Проверка ответа сервера

С помощью инструмента «Проверка ответа сервера» вы можете узнать, доступны ли страницы сайта для роботов Яндекса.

Внимание. Когда ответ сервера отличается от HTTP-статуса с кодом 200 OK или отображается сообщение из списка ниже, страница не может участвовать в результатах поиска.

Чтобы проверить ответ сервера, перейдите на страницу Проверка ответа сервера и выполните следующее:

  1. В поле Опрашиваемый URL укажите адрес страницы, которую хотите проверить. Например, https://example.com.
  2. В поле Робот выберите робота, для которого хотите проверить доступность страницы. В раскрывающемся списке приведены основные роботы, которые посещают большинство сайтов. Когда вы выберите робота, под полем отобразится его User-agent. Подробнее см. в разделе Роботы Яндекса в логах сервера.
  3. Нажмите кнопку Проверить.
Также вы можете проверить ответ, если ваш сервер отправляет HTTP-статус с кодом 304 Not Modified в ответ на заголовок If-Modified-Since. Для этого в поле If-Modified-Since укажите дату и время:
  • Последнего обновления проверяемой страницы. Тогда полученный ответ должен содержать HTTP-статус с кодом 200 OK.
  • Другую дату — должен вернуться ответ с кодом 304 Not Modified.

После проверки в Яндекс.Вебмастере отобразится ответ сервера роботу. Пояснения см. в разделе Справочник по кодам статуса HTTP.

Примечание. Ответ, полученный инструментом «Проверка ответа сервера», может отличаться от реального ответа роботу, так как инструмент имеет другой IP-адрес. Проверить ответ можно в логах вашего сервера.

Кроме ответа могут отображаться другие сообщения:

СообщениеПримечание
Не удалось загрузить документПоявляется по следующим причинам:
  • Запрос робота блокируется на стороне сервера или соединение обрывается при попытке получить ответ. В этом случае проверьте, не заблокирован ли робот по IP-адресу.
  • Ошибка DNS. Проверьте, что сайт доступен и DNS настроены правильно. Если настройки изменялись недавно, данные о них обновятся в течение суток.
  • Истек тайм-аут ожидания ответа. Ответ должен быть получен в течение трех секунд.
Не удалось подключиться к серверу
Произошел обрыв соединения
URL запрещён к индексированию директивой noindexОзначает, что на странице есть мета-тег robots с директивой noindex.
URL запрещён к индексированию тегом noindexОзначает, что на странице есть HTML-элемент noindex.
URL запрещён к индексированию в robots.txtОзначает, что в файле robots.txt указана директива Disallow, запрещающая индексирование страницы или каталога, в котором она размещена.
Слишком большой объем документаМаксимальный объем страницы сайта — 10 МБ.
Формат документа не поддерживаетсяПоддерживаются HTML-документы и документы следующих типов: PDF, DOC/DOCX, XLS/XLSX, PPT/PPTX (MS Office); ODS, ODP, ODT, ODG (Open Office); RTF, TXT и SWF.
Некорректный код ответаПоддерживаются стандартные коды HTTP-статусов.
Язык документа не распознанСписок поддерживаемых языков.
В документе нет содержимого для индексированияОзначает, что страница пуста или не содержит контент, который может быть проиндексирован роботом.
Содержимое страницы отсутствует

Проверьте в настройках вашего сервера:

  • HTTP-заголок. Например, если он содержит "Content-length: 0", то робот не сможет проиндексировать такую страницу.
  • Размер содержимого страницы. Он должен быть больше 0 и соответствовать HTTP-заголовку.
Пример сообщения