Механизм обработки нового RSS-канала

Чтобы сформировать Турбо-страницы, робот Яндекса должен обойти ваш RSS-канал. Для этого:
  1. Положите сформированный RSS-файл на сервер вашего сайта.
  2. Разрешите индексирующим роботам Яндекса скачивание файла: добавьте директиву Allow в файл  robots.txt.

    User-agent: Yandex
    Allow: /file.rss
    ...
    #последняя строка должна быть пустой

    Проверить корректность robots.txt можно в Яндекс.Вебмастере.

    Если вы используете в robots.txt директиву Crawl-delay, укажите ее для робота отдельно (со значением от 0.1 до 2).

    User-agent: Yandex
    Allow: /file.rss
    Crawl-delay: 0.1
    ...
    #последняя строка должна быть пустой