Вебмастер
Содержимое сайта и партнерские программы
Партнерские программы
Безопасность сайта

Анализатор robots.txt

Как осуществляется проверка robots.txt?

Анализатор автоматически загружает robots.txt из корневой директории вашего сайта в поле «robots.txt».

После нажатия кнопки Проверить анализатор производит построчный разбор содержимого поля Текст robots.txt и анализ содержащихся в них директив. Также вы можете узнать, будет ли робот обходить страницы, заданные в поле Список URL.

Редактируя правила, вы можете составить файл robots.txt, подходящий для вашего сайта. Помните, что файл на сайте при этом не меняется. Для того, чтобы изменения вступили в силу, вам потребуется самостоятельно загрузить обновленную версию файла на сайт.

Для разделов, предназначенных для робота Яндекса (User-agent: Yandex или User-agent:*), анализатор проверяет директивы, руководствуясь правилами использования robots.txt. Для остальных разделов проверка осуществляется в соответствии со стандартом. При разборе файла анализатор сообщает об обнаруженных ошибках и предупреждает о неточностях в написании правил, а также перечисляет части файла, которые предназначены для робота Яндекса.

Также рекомендуем просмотреть урок Как управлять индексированием сайта.

При анализе robots.txt были обнаружены ошибки. Как узнать, в чем их причина?

Существует два типа сообщений, которые могут поступать от анализатора: ошибки и предупреждения. Их подробное описание дано в Справочнике по ошибкам анализа robots.txt.

Ошибкой считается ситуация, когда анализатор не в состоянии обработать какую-либо строку, секцию или же весь файл из-за серьезных ошибок в синтаксисе, допущенных при составлении директив.

Предупреждение обычно сообщает об отклонении от правил, которое анализатор в силах исправить самостоятельно, или же указывает на потенциальную проблему (которой в действительности может и не быть), связанную со случайной опечаткой или неточностью в написании правил.

Почему анализатор выдает ошибку «Этот URL не принадлежит вашему домену»?

Скорее всего, в списке URL вы указали адрес одного из зеркал вашего сайта, например, http://example.com вместо http://www.example.com (формально, это два различных URL). Необходимо, чтобы проверяемые URL принадлежали сайту, для которого производится анализ robots.txt.

Оцените статью
Спасибо за ваш отзыв!