Справочник по ошибкам анализа robots.txt

Ошибки анализа файла robots.txt

Перечень ошибок, которые могут возникнуть при анализе файла robots.txt.

Ошибка

Расширение Яндекса

Описание

Правило начинается не с символа / и не с символа *

Да

Правило может начинаться только с символа / или *.

Убедитесь, что каждое правило Allow или Disallow начинается с / (для указания пути) или * (для использования маски).

Пример

❌ Disallow: admin

✅ Disallow: /admin

Найдено несколько правил вида User-agent: *

Нет

Допускается только одно правило User-agent: * в файле.

Объедините все правила для всех роботов в один блок с User-agent: *.

Если нужны специфичные правила для конкретных роботов, укажите их отдельными блоками до или после общего блока.

Пример
User-agent: Yandex
Disallow: /private/

User-agent: *
Disallow: /admin/

Превышен допустимый размер robots.txt

Да

Количество правил в файле превышает 2048.

Оптимизируйте правила, объединяя похожие директивы.

Используйте маски * для группировки путей. Например, вместо отдельных правил для /page1/, /page2/, /page3/ используйте /page*/.

Проверьте, можно ли закрыть целые разделы сайта одним правилом вместо перечисления отдельных страниц.

Если нужно закрыть много страниц, используйте метатег robots или заголовок X-Robots-Tag на уровне сервера. Подробно см. Настройка правил загрузки и индексирования страниц.

Перед правилом нет директивы User-agent.

Нет

Правило должно всегда следовать за директивой User-agent. Возможно, файл содержит пустую строку после User-agent или директива отсутствует.

Убедитесь, что каждый блок правил начинается с директивы User-agent.

Удалите лишние пустые строки между User-agent и первым правилом.

Пример

❌

User-agent: *

Disallow: /admin/

✅

User-agent: *
Disallow: /admin/

Слишком длинное правило

Да

Правило превышает допустимую длину — 1024 символа.

Разбейте длинное правило на несколько коротких.

Используйте маски * для сокращения правил.

Если правило содержит длинный URL с параметрами, рассмотрите использование директивы Clean-param для игнорирования параметров.

Пример

Было: Disallow: /catalog/category1/subcategory1/product-with-very-long-name-and-parameters?param1=value1&param2=value2...

Стало: Disallow: /catalog/*/product-with-very-long-name*

Некорректный формат URL файла Sitemap

Да

В качестве URL файла Sitemap должен быть указан полный адрес, включая протокол.

Укажите полный URL с протоколом (http:// или https://).

Пример

❌ Sitemap: www.example.com/sitemap.xml или Sitemap: /sitemap.xml

✅ Sitemap: https://www.example.com/sitemap.xml

Некорректный формат директивы Clean-param

Да

Нарушен синтаксис директивы Clean-param.

Используйте правильный формат: Clean-param: параметры путь. Параметры перечисляются через символ & и отделяются от префикса пути пробелом.

Пример

Роботы должны игнорировать параметры utm_source и utm_medium для всех страниц в разделе /catalog, считая их одной страницей без дублирования контента:

❌ Clean-param: utm_source&utm_medium/catalog (нет пробела после параметров)

✅ Clean-param: utm_source&utm_medium /catalog

Подробно см. Директива Clean-param.

Возможно, был использован недопустимый символ

Да

В правилах robots.txt для Яндекса допустимы только спецсимволы * (любая последовательность символов) и $ (конец URL).

Удалите или замените недопустимые спецсимволы.

Пример правильного использования

  • Disallow: /*.pdf$ — запрет на индексацию PDF-файлов.

  • Disallow: /admin* — запрет на индексацию всех страниц, которые начинаются с /admin.

Обнаружена неизвестная директива

Да

Обнаружена директива, не описанная в правилах использования robots.txt. Возможно, эта директива используется роботами других поисковых систем.

Проверьте правильность написания директивы (возможна опечатка).

Убедитесь, что используете только поддерживаемые Яндексом директивы.

Синтаксическая ошибка

Да

Строка не может быть интерпретирована как директива robots.txt.

Проверьте правильность написания директив (регистр не важен, но должно быть корректное название).

Убедитесь, что используется правильный разделитель — двоеточие : после названия директивы.

Удалите лишние символы, пробелы в начале строки или некорректные переносы строк.

Пример

❌ Disallow /admin (нет двоеточия)

✅ Disallow: /admin

Неизвестная ошибка

Да

При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки.

Проверьте кодировку файла — должна быть UTF-8.

Убедитесь, что файл находится в корневом каталоге сайта (доступен по адресу https://example.com/robots.txt).

Проверьте, что сервер возвращает корректный HTTP-статус (200 OK).

Если ошибка повторяется, обратитесь в службу поддержки с указанием домена и скриншотом ошибки.

Ошибки проверки URL

Перечень ошибок проверки URL в инструменте Анализ robots.txt.

Ошибка

Описание и как исправить

Синтаксическая ошибка

Ошибка синтаксиса URL. Проверьте правильность написания URL.

Этот URL не принадлежит вашему домену

Заданный URL не принадлежит сайту, для которого производится анализ файла.

Убедитесь, что указываете URL именно того сайта, который добавлен в Яндекс Вебмастер. Например, указан верный протокол http:// или https://.

Проверьте, что используете главный адрес сайта и правильно написали домен (возможна опечатка).

Как избежать ошибок в файле robots.txt

  • Проверяйте файл после каждого изменения — используйте инструмент Анализ robots.txt в Яндекс Вебмастере.

  • Используйте простые правила — чем проще структура файла, тем меньше вероятность ошибки.

  • Тестируйте на конкретных URL — в инструменте Анализ robots.txt можно проверить, как правила применяются к конкретным страницам.

  • Следите за размером файла — если правил становится слишком много, пересмотрите стратегию управления индексацией.

  • Документируйте изменения — добавляйте комментарии (строки, начинающиеся с #) для пояснения сложных правил.

Подробно см. Использование файла robots.txt.

Написать в службу поддержки



Также вы можете перейти на сервис

Предыдущая
Справочник по кодам статуса HTTP
Следующая
Справочник по ошибкам обработки файла Sitemap