Анализ robots.txt
- Как проверить файл
- Как узнать, обойдет ли робот определенный URL
- Как отслеживать изменения файла
- Вопросы и ответы
Инструмент Анализ robots.txt помогает проверить, правильно ли составлен файл robots.txt или написать содержимое файла и после проверки скопировать его в robots.txt.
Также инструмент поможет отследить изменения в файле и скачать определенную версию.
Как проверить файл
- Если сайт добавлен в Яндекс Вебмастер и права на его управление подтверждены
-
Содержимое файла появится на странице
после подтверждения прав на управление сайтом.Если содержимое отображается на странице Анализ robots.txt, нажмите кнопку Проверить.
- Если сайт не добавлен в Яндекс Вебмастер
-
- Перейдите на страницу Анализ robots.txt.
- В поле Проверяемый сайт укажите адрес вашего сайта. Например, https://example.com.
- Нажмите значок . Содержимое robots.txt и результаты анализа отобразятся ниже.
В предназначенных для робота Яндекса (User-agent: Yandex или User-agent:*) разделах инструмент проверяет директивы, руководствуясь правилами использования robots.txt. Остальные разделы проверяются в соответствии со стандартом.
- Предупреждения. Они сообщают об отклонении от правил, которое инструмент может исправить самостоятельно. Также предупреждения указывают на потенциальную проблему, связанную с опечаткой или неточностью в написании правил.
- Ошибки в файле. Это значит, что инструмент не может обработать строку, секцию или весь файл из-за серьезных ошибок в синтаксисе, допущенных при составлении директив.
Как узнать, обойдет ли робот определенный URL
Когда ваш файл robots.txt загружен в Яндекс Вебмастер, на странице Анализ robots.txt отображается блок Разрешены ли URL?.
- В поле Список URL укажите адрес страницы, которую хотите проверить. Можно указать полный URL или адрес относительно корневого каталога сайта. Например, https://example.com/page/ или /page/.
- Нажмите кнопку Проверить.
Если URL разрешен для индексирования роботами Яндекса, напротив адреса появится значок , если запрещен — отобразится адрес, выделенный красным.
Как отслеживать изменения файла
Чтобы своевременно узнавать об изменениях файла robots.txt, настройте уведомления.
Яндекс Вебмастер регулярно проверяет обновления файла и сохраняет версии с учетом даты и времени изменения. Чтобы их посмотреть, перейдите на страницу
.- вы добавили сайт в Яндекс Вебмастер и подтвердили права на управление сайтом;
- в Яндекс Вебмастере есть информация об изменениях robots.txt.
- Просмотреть текущую и предыдущие версии файла
-
Выберите из списка Версия robots.txt версию файла. В поле ниже отобразится содержимое robots.txt, а также результаты анализа.
- Скачать выбранную версию файла
-
- Выберите из списка Версия robots.txt версию файла.
- Нажмите кнопку Скачать. Файл сохранится на вашем устройстве в формате TXT.
Вопросы и ответы
Скорее всего, в списке URL вы указали неглавный адрес вашего сайта, например http://example.com вместо http://www.example.com. Формально это два различных URL. Проверяемые URL должны принадлежать сайту, для которого производится анализ robots.txt.