Robots.txt — это текстовый файл с параметрами индексирования сайта для роботов поисковых систем. С его помощью можно ограничить индексирование страниц, чтобы снизить нагрузку на сайт и ускорит его работу.
Чтобы настроить robots.txt:
Написать в чат
Написать письмо