---
metadata:
- name: generator
content: Diplodoc Platform v5.50.6
alternate:
- https://yandex.ru/support/webmaster/en/error-dictionary/robots-txt.md
- https://yandex.ru/support/webmaster/ru/error-dictionary/robots-txt.md
---
> **Documentation Index:** Fetch the complete configuration index at https://yandex.ru/support/webmaster/ru/llms.txt
# Справочник по ошибкам анализа robots.txt
## Ошибки анализа файла robots.txt {#errors}
Перечень ошибок, которые могут возникнуть при [анализе файла `robots.txt`](https://yandex.ru/support/webmaster/ru/indexing-options/robots-txt-analyzer.md).
#|
||
**Ошибка**
|
**Расширение Яндекса**
|
**Описание**
||
||
Правило начинается не с символа / и не с символа *
|
Да
|
Правило может начинаться только с символа `/` или `*`.
Убедитесь, что каждое правило `Allow` или `Disallow` начинается с `/` (для указания пути) или `*` (для использования маски).
{% cut "Пример" %}
❌ `Disallow: admin`
✅ `Disallow: /admin`
{% endcut %}
||
||
Найдено несколько правил вида User-agent: *
|
Нет
|
Допускается только одно правило `User-agent: *` в файле.
Объедините все правила для всех роботов в один блок с `User-agent: *`.
Если нужны специфичные правила для конкретных роботов, укажите их отдельными блоками до или после общего блока.
{% cut "Пример" %}
``` translate=no
User-agent: Yandex
Disallow: /private/
User-agent: *
Disallow: /admin/
```
{% endcut %}
||
||
Превышен допустимый размер ` robots.txt`
|
Да
|
Количество правил в файле превышает 2048.
Оптимизируйте правила, объединяя похожие директивы.
Используйте маски `*` для группировки путей. Например, вместо отдельных правил для `/page1/`, `/page2/`, `/page3/` используйте `/page*/`.
Проверьте, можно ли закрыть целые разделы сайта одним правилом вместо перечисления отдельных страниц.
Если нужно закрыть много страниц, используйте метатег `robots` или заголовок `X-Robots-Tag` на уровне сервера. Подробно см. [Настройка правил загрузки и индексирования страниц](https://yandex.ru/support/webmaster/ru/controlling-robot/metatags.md#meta-robots).
||
||
Перед правилом нет директивы User-agent.
|
Нет
|
Правило должно всегда следовать за директивой `User-agent`. Возможно, файл содержит пустую строку после `User-agent` или директива отсутствует.
Убедитесь, что каждый блок правил начинается с директивы `User-agent`.
Удалите лишние пустые строки между `User-agent` и первым правилом.
{% cut "Пример" %}
#|
|| ❌
``` translate=no
User-agent: *
Disallow: /admin/
```
|
✅
``` translate=no
User-agent: *
Disallow: /admin/
```
||
|#
{% endcut %}
||
||
Слишком длинное правило
|
Да
|
Правило превышает допустимую длину — 1024 символа.
Разбейте длинное правило на несколько коротких.
Используйте маски `*` для сокращения правил.
Если правило содержит длинный URL с параметрами, рассмотрите использование директивы [`Clean-param`](https://yandex.ru/support/webmaster/ru/robot-workings/clean-param.md) для игнорирования параметров.
{% cut "Пример" %}
Было: `Disallow: /catalog/category1/subcategory1/product-with-very-long-name-and-parameters?param1=value1¶m2=value2...`
Стало: `Disallow: /catalog/*/product-with-very-long-name*`
{% endcut %}
||
||
Некорректный формат URL файла Sitemap
|
Да
|
В качестве URL файла `Sitemap` должен быть указан полный адрес, включая протокол.
Укажите полный URL с протоколом (`http://` или `https://`).
{% cut "Пример" %}
❌ `Sitemap: www.example.com/sitemap.xml` или `Sitemap: /sitemap.xml`
✅ `Sitemap: https://www.example.com/sitemap.xml`
{% endcut %}
||
||
Некорректный формат директивы Clean-param
|
Да
|
Нарушен синтаксис директивы `Clean-param`.
Используйте правильный формат: `Clean-param: параметры путь`. Параметры перечисляются через символ `&` и отделяются от префикса пути пробелом.
{% cut "Пример" %}
Роботы должны игнорировать параметры `utm_source` и `utm_medium` для всех страниц в разделе `/catalog`, считая их одной страницей без дублирования контента:
❌ `Clean-param: utm_source&utm_medium/catalog` (нет пробела после параметров)
✅ `Clean-param: utm_source&utm_medium /catalog`
{% endcut %}
Подробно см. [Директива Clean-param](https://yandex.ru/support/webmaster/ru/robot-workings/clean-param.md).
||
||
Возможно, был использован недопустимый символ
|
Да
|
В правилах `robots.txt` для Яндекса допустимы только спецсимволы `*` (любая последовательность символов) и `$` (конец URL).
Удалите или замените недопустимые спецсимволы.
{% cut "Пример правильного использования" %}
* `Disallow: /*.pdf$` — запрет на индексацию PDF-файлов.
* `Disallow: /admin*` — запрет на индексацию всех страниц, которые начинаются с `/admin`.
{% endcut %}
||
||
Обнаружена неизвестная директива
|
Да
|
Обнаружена директива, не описанная в [правилах использования robots.txt](https://yandex.ru/support/webmaster/ru/controlling-robot/robots-txt.md). Возможно, эта директива используется роботами других поисковых систем.
Проверьте правильность написания директивы (возможна опечатка).
Убедитесь, что используете только [поддерживаемые Яндексом директивы](https://yandex.ru/support/webmaster/ru/controlling-robot/metatags.md#sup).
||
||
Синтаксическая ошибка
|
Да
|
Строка не может быть интерпретирована как директива `robots.txt`.
Проверьте правильность написания директив (регистр не важен, но должно быть корректное название).
Убедитесь, что используется правильный разделитель — двоеточие `:` после названия директивы.
Удалите лишние символы, пробелы в начале строки или некорректные переносы строк.
{% cut "Пример" %}
❌ `Disallow /admin` (нет двоеточия)
✅ `Disallow: /admin`
{% endcut %}
||
||
Неизвестная ошибка
|
Да
|
При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки.
Проверьте кодировку файла — должна быть UTF-8.
Убедитесь, что файл находится в корневом каталоге сайта (доступен по адресу `https://example.com/robots.txt`).
Проверьте, что сервер возвращает корректный HTTP-статус (200 OK).
Если ошибка повторяется, обратитесь в службу поддержки с указанием домена и скриншотом ошибки.
||
|#
## Ошибки проверки URL {#url-errors}
Перечень ошибок проверки URL в инструменте **Анализ robots.txt**.
#|
||
**Ошибка**
|
**Описание и как исправить**
||
||
Синтаксическая ошибка
|
Ошибка синтаксиса URL. Проверьте правильность написания URL.
||
||
Этот URL не принадлежит вашему домену
|
Заданный URL не принадлежит сайту, для которого производится анализ файла.
Убедитесь, что указываете URL именно того сайта, который добавлен в Яндекс Вебмастер. Например, указан верный протокол `http://` или `https://`.
Проверьте, что используете [главный адрес сайта](https://yandex.ru/support/webmaster/ru/yandex-indexing/site-addresses.md) и правильно написали домен (возможна опечатка).
||
|#
## Как избежать ошибок в файле robots.txt {#tips}
* Проверяйте файл после каждого изменения — используйте инструмент [Анализ robots.txt](https://yandex.ru/support/webmaster/ru/indexing-options/robots-txt-analyzer.md) в Яндекс Вебмастере.
* Используйте простые правила — чем проще структура файла, тем меньше вероятность ошибки.
* Тестируйте на конкретных URL — в инструменте [Анализ robots.txt](https://yandex.ru/support/webmaster/ru/indexing-options/robots-txt-analyzer.md) можно проверить, как правила применяются к конкретным страницам.
* Следите за размером файла — если правил становится слишком много, пересмотрите стратегию управления индексацией.
* Документируйте изменения — добавляйте комментарии (строки, начинающиеся с `#`) для пояснения сложных правил.
Подробно см. [Использование файла robots.txt](https://yandex.ru/support/webmaster/ru/controlling-robot/robots-txt.md).
---
Задайте вопрос Нейровебмастеру — в правом нижнем углу нажмите кнопку .
Если у вас остались вопросы, напишите в чат службы поддержки — в правом нижнем углу нажмите значок . Чат доступен ежедневно с 8:00 до 00:00 по московскому времени.
{% cut "Написать в службу поддержки" %}
{% endcut %}