Что такое файл robots.txt и зачем он нужен

Файл robots.txt необходим для управления сканированием сайта поисковыми ботами. Данный процесс базируется на «Стандарте исключения для роботов» — документе от 1994 года, в котором прописаны требования, методы и форматы предоставления доступов поисковым роботам к разным частям сайта. На сайтах могут быть страницы, индексация которых нежелательна — чтобы не индексировать эти страницы, необходимо прописать это в директиве robots.txt.

При составлении robots.txt необходимо предоставить доступ к:

• неканоническим страницам;
  
• страницам с метатегом robots=»noindex»;
  
• посадочным страницам;
  
• файлам, отвечающим за рендеринг страницы (особенно это касается JS и CSS) — это необходимо, чтобы робот сделал правильный вывод об адаптивности сайта и получил доступ к тому контенту, который подается через средства JS.

Мы рекомендуем разделять блоки директив для каждой поисковой системы. Это связано с тем, что у Яндекса и Google разный подход к считыванию директив: есть директивы, которые считывает только Yandex, а Googlebot их не распознает. Кроме этого робот Google может игнорировать инструкции. Также Googlebot может принять самостоятельное решение не индексировать сайт, если по каким-либо причинам он не может скачать файл и посмотреть содержимое robots.txt. Общая рекомендация на этот счет: robots.txt для Яндекс должен учитывать, что точно должно попасть в индекс, а для Google — что в индекс попасть не должно.

Существует несколько основных директив, которые задают поисковым роботам определенные команды.

1. User-agent — обязательная директива, от которой зависит, каким поисковым ботам требуется выполнить данную инструкцию. У Google это Googlebot, у Яндекса — Yandex. Если рекомендации в файле направлены на обе поисковые системы, то ставится символ звездочки — *.
Выглядит данная директива следующим образом:

User-agent: * — сайт открыт для сканирования всем краулерам, вне зависимости от поисковой системы
User-agent: Yandex — доступ предоставлен только роботам Яндекса
User-agent: Googlebot — доступ предоставлен только роботам Google

2. Disallow — директива, которая позволяет закрыть от индексации в robots.txt некоторые или все страницы. Если на вашем сайте нет страниц, индексацию которых нужно запретить, то после директивы Disallow не указываются никакие символы. Для запрета индексации всего сайта используется символ слэша. Если нужно скрыть конкретный раздел сайта, то после слэша ставится соответствующий URL. Примеры директивы:

User-agent: *
Disallow:

Расшифровка: разрешена индексация всего сайта для всех краулеров. Пустое поле директивы означает, что ни один из разделов сайта не закрыт для индексации.

User-agent: *
Disallow: /

Расшифровка: запрещена индексация всего сайта для всех поисковых роботов — ни один из разделов сайта не открыт для индексации.

User-agent: *
Disallow: /razdel/

Расшифровка: запрещена индексация в пределах указанного URL — робот не должен индексировать раздел с соответствующим URL.

3. Allow — директива, разрешающая индексацию страниц. Она используется автоматически, если в файле robots.txt сайта не указаны запреты, то есть изначально все данные сайта открыты к сканированию. Поэтому чаще всего директива Allow используется для указания исключений из правил, установленных директивой Disallow. Например, весь сайт закрыт для индексации, но нужно открыть одну страницу раздела. Тогда прописывается следующее:

User-agent:*
Disallow: /
Allow: /razdel/

Расшифровка: запрещена индексация всего сайта для всех краулеров, кроме одного раздела — страница с указанным URL (razdel) доступна для индексации.

Также можно запретить сканировать сайт роботам Яндекса и разрешить индексацию роботам Google. Пример файла robots.txt в этом случае выглядит так:

User-agent: Yandex
Disallow: /
User-agent: Googlebot
Allow: /

4. Sitemap — необязательная директива с картой сайта и перечнем всех доступных для индексации страниц. Директивой выступает полная ссылка на файл с указанными данными в формате .xml. Пример:

User-agent: *
Disallow: /
Sitemap: https://example.com/sitemap1.xml

5. Clean-param — межсекционная директива для Яндекса, которая позволяет запретить индексирование дублей страниц. Применяется как альтернатива Disallow, так как Clean-param в robots.txt работает в связке с основной страницей, позволяя улучшить ее ранжирование. Пример:

User-agent: Yandex
Disallow:
Clean-param:sort_field&order /catalog/category/

Расшифровка: поисковому боту Yandex разрешена индексация всего сайта, но рекомендуется не индексировать страницы с параметрами sort_field и order, так как их содержание дублирует страницу site.ru/catalog/category/, которая и будет проиндексирована.

Также существуют уже неактуальные директивы для Яндекса, использование которых уже не имеет смысла. Это директивы Crawl-delay (задает скорость обхода сайта — сейчас лучше настраивать скорость через Яндекс.Вебмастер) и Host (указывает на основное зеркало).

Яндекс строго следует заданным правилам и всегда учитывает директивы robots.txt. Проверить корректность выполнения директив можно через Яндекс Вебмастер. Google может обходить запреты robots.txt, игнорировать инструкцию и индексировать то, что в директиве Disallow указано как нерекомендуемое к индексации. Чтобы избежать подобных ситуаций можно использовать тег <meta name=»robots» content=»noindex, nofollow»/> — он поможет закрыть страницы от индексации Googlebot'а.

Обе директивы из одного User-agent блока сортируются роботом по принципу: от меньшего префикса URL к большему и применяются в том порядке, в котором их расставил робот. Если конкретной странице сайта соответствует сразу несколько директив, то робот отдает предпочтение последней в своем списке. Отсюда следует вывод, что распределение директив в файле robots.txt не имеет значения.

В случае, если в двух директивах длина URL одинаковая, робот выберет Allow как приоритетную.

К сожалению, инструкция для поисковых роботов не гарантирует полного ограничения доступа ботам конкурентов и парсерам. Файл с директивами носит рекомендательный характер и на самом деле не может ничего запретить — мы в этом убеждаемся даже на примере работы с robots.txt Google , который может проигнорировать директиву и проиндексировать то, на что стоит запрет.