Вопрос о файле robots.txt

Файл robots.txt является для робота строгой инструкцией при индексировании сайта. Подробнее об этом файле см. в разделе Помощи Использование robots.txt.

Для проверки корректности указаний в файле robots.txt используйте Анализатор robots.txt. Инструмент позволяет изменять указания и проверять, запрещены или разрешены страницы к индексированию.

Если ваш вопрос касается работы инструмента Анализ robots.txt, перейдите в раздел Анализ robots.txt.

Если у вас остались вопросы о файле robots.txt, уточните тему: