Анализ robots.txt

  1. Как проверить файл
  2. Как узнать, обойдет ли робот определенный URL
  3. Как отслеживать изменения файла
  4. Вопросы и ответы

Инструмент Анализ robots.txt помогает проверить, правильно ли составлен файл robots.txt или написать содержимое файла и после проверки скопировать его в robots.txt.

Также инструмент поможет отследить изменения в файле и скачать определенную версию.

Урок Как управлять индексированием сайта.

Урок Как управлять индексированием сайта.
  1. Как проверить файл
  2. Как узнать, обойдет ли робот определенный URL
  3. Как отслеживать изменения файла
  4. Вопросы и ответы

Как проверить файл

Если сайт добавлен в Яндекс Вебмастер и права на его управление подтверждены

Содержимое файла появится на странице Инструменты → Анализ robots.txt после подтверждения прав на управление сайтом.

Если содержимое отображается на странице Анализ robots.txt, нажмите кнопку Проверить.

Если сайт не добавлен в Яндекс Вебмастер
  1. Перейдите на страницу Анализ robots.txt.
  2. В поле Проверяемый сайт укажите адрес вашего сайта. Например, https://example.com.
  3. Нажмите значок . Содержимое robots.txt и результаты анализа отобразятся ниже.

В предназначенных для робота Яндекса (User-agent: Yandex или User-agent:*) разделах инструмент проверяет директивы, руководствуясь правилами использования robots.txt. Остальные разделы проверяются в соответствии со стандартом.

После проверки могут отобразиться:
  • Предупреждения. Они сообщают об отклонении от правил, которое инструмент может исправить самостоятельно. Также предупреждения указывают на потенциальную проблему, связанную с опечаткой или неточностью в написании правил.
  • Ошибки в файле. Это значит, что инструмент не может обработать строку, секцию или весь файл из-за серьезных ошибок в синтаксисе, допущенных при составлении директив.
Подробное описание см. в разделе Справочник по ошибкам анализа robots.txt.

Как узнать, обойдет ли робот определенный URL

Когда ваш файл robots.txt загружен в Яндекс Вебмастер, на странице Анализ robots.txt отображается блок Разрешены ли URL?.

  1. В поле Список URL укажите адрес страницы, которую хотите проверить. Можно указать полный URL или адрес относительно корневого каталога сайта. Например, https://example.com/page/ или /page/.
  2. Нажмите кнопку Проверить.

Если URL разрешен для индексирования роботами Яндекса, напротив адреса появится значок , если запрещен — отобразится адрес, выделенный красным.

Как отслеживать изменения файла

Примечание. Доступна история изменений за шесть месяцев. Максимальное количество сохраненных версий — 100.

Чтобы своевременно узнавать об изменениях файла robots.txt, настройте уведомления.

Яндекс Вебмастер регулярно проверяет обновления файла и сохраняет версии с учетом даты и времени изменения. Чтобы их посмотреть, перейдите на страницу Инструменты → Анализ robots.txt.

Список версий отображается, если одновременно выполнены следующие условия:
  • вы добавили сайт в Яндекс Вебмастер и подтвердили права на управление сайтом;
  • в Яндекс Вебмастере есть информация об изменениях robots.txt.
Вы можете:
Просмотреть текущую и предыдущие версии файла

Выберите из списка Версия robots.txt версию файла. В поле ниже отобразится содержимое robots.txt, а также результаты анализа.

Скачать выбранную версию файла
  1. Выберите из списка Версия robots.txt версию файла.
  2. Нажмите кнопку Скачать. Файл сохранится на вашем устройстве в формате TXT.

Вопросы и ответы

Ошибка «Этот URL не принадлежит вашему домену»

Скорее всего, в списке URL вы указали неглавный адрес вашего сайта, например http://example.com вместо http://www.example.com. Формально это два различных URL. Проверяемые URL должны принадлежать сайту, для которого производится анализ robots.txt.

Укажите инструмент, в работе которого вы нашли ошибку, опишите ситуацию как можно подробнее, а при необходимости приложите скриншот, иллюстрирующий ситуацию.