Вебмастер
Содержимое сайта и партнерские программы
Партнерские программы
Безопасность сайта

Справочник по ошибкам анализа robots.txt

Ошибки

Перечень ошибок, возникающих при анализе файла robots.txt.

ОшибкаРасширение ЯндексаОписание
Правило начинается не с символа / и не с символа *Да

Правило может начинаться только с символа / или *.

Найдено несколько правил вида User-agent: *Нет

Допускается только одно правило такого типа.

Найдено несколько директив HostДа

Допускается только одна директива Host.

Превышен допустимый размер robots.txtДа

Количество правил в файле превышает 2048.

Перед правилом нет директивы User-agent.Нет

Правило должно всегда следовать за директивой User-agent. Возможно, файл содержит пустую строку после User-agent.

Слишком длинное правилоДа

Правило превышает допустимую длину (1024 символа).

Некорректное имя главного зеркала сайтаДа

Имя главного зеркала сайта в директиве Host содержит синтаксическую ошибку.

Некорректный формат URL файла sitemapДа

В качестве URL файла sitemap должен быть указан полный адрес, включая протокол. Например, https://www.example.com/sitemap.xml

Некорректный формат директивы Crawl-delayДа

Время в директиве Crawl-delay указано неверно.

Найдено несколько директив Crawl-delayДа

Допускается только одна директива Crawl-delay.

Некорректный формат директивы Clean-paramДа

В директиве Clean-param указывается один или несколько параметров, которые робот будет игнорировать, и префикс пути. Параметры перечисляются через символ & и отделяются от префикса пути пробелом.

Предупреждения

Перечень предупреждений, возникающих при анализе файла robots.txt.

ПредупреждениеРасширение ЯндексаОписание
Возможно, был использован недопустимый символДа

Обнаружен спецсимвол, отличный от * и $.

Обнаружена неизвестная директиваДа

Обнаружена директива, не описанная в правилах использования robots.txt. Возможно, эта директива используется роботами других поисковых систем.

Синтаксическая ошибкаДа

Строка не может быть интерпретирована как директива robots.txt.

Неизвестная ошибкаДа

При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки.

Ошибки проверки URL

Перечень ошибок проверки URL в Анализаторе robots.txt.

ОшибкаОписание
Синтаксическая ошибка

Ошибка синтаксиса URL.

Этот URL не принадлежит вашему домену

Заданный URL не принадлежит сайту, для которого производится анализ файла. Возможно, вы указали адрес одного из зеркал вашего сайта или допустили ошибку в написании имени домена.

Оцените статью
Спасибо за ваш отзыв!