Скорость обхода сайта

Роботы Яндекса постоянно индексируют сайты: обходят их и загружают страницы в свою базу.

Скорость обхода сайта — это количество запросов в секунду, которое робот отправляет на ваш сайт. Настройка скорости обхода заменяет директиву Crawl-delay, используемую в файле robots.txt.

Примечание. Необходимо отдельно настроить скорость обхода для основного домена сайта и каждого его поддомена.
  1. Настройки по умолчанию
  2. Изменение скорости обхода

Настройки по умолчанию

Оптимальная скорость обхода сайта рассчитывается по алгоритмам так, чтобы робот смог загрузить максимальное количество страниц без лишней нагрузки на сервер. Поэтому в Яндекс.Вебмастере по умолчанию включена опция Доверять Яндексу в разделе Индексирование → Скорость обхода.

Изменение скорости обхода

Примечание. Изменение скорости обхода в интерфейсе Яндекс.Вебмастера не влияет на количество обращений робота, который скачивает RSS-канал для формирования и обновления Турбо-страниц.

Снижение скорости обхода сайта может потребоваться, если вы заметили большое число обращений роботов к серверу, на котором находится ваш сайт. Это может увеличивать время ответа сервера и, как следствие, снижать скорость загрузки страниц сайта. Проверить эти показатели можно с помощью отчета Яндекс.Метрики.

Перед тем, как изменить скорость обхода сайта, выясните к каким именно страницам робот обращается чаще.

  • Проанализируйте логи сервера. Обратитесь к сотруднику, ответственному за сайт, или к хостинг-провайдеру.
  • Посмотрите список URL на странице Индексирование → Статистика обхода в Яндекс.Вебмастере (установите переключатель в положение Все страницы).

Если вы обнаружите, что робот обращается к служебным страницам, запретите их индексирование в файле robots.txt с помощью директивы Disallow. Это поможет снизить количество лишних обращений робота.

Чтобы проверить корректность установленных правил, используйте инструмент Анализ robots.txt.

  1. В интерфейсе Яндекс.Вебмастера перейдите на страницу Индексирование → Скорость обхода.
  2. Включите опцию Задать вручную.
  3. Передвиньте ползунок в нужное положение. По умолчанию он выставлен на оптимальную скорость обхода, рассчитанную для вашего сайта.



  4. Сохраните изменения.