Немного теории
Чтобы попасть в Поиск, сайт должен быть доступен для поисковых роботов. Иначе они не смогут его проиндексировать.
Одна из причин недоступности сайта — это сбой на сервере. В этом случае не только поисковые роботы, но и пользователи не смогут зайти на сайт. А если он будет недоступен продолжительное время, поисковые системы удалят его из своих баз, чтобы поддерживать их в актуальном состоянии. Поэтому важно следить за тем, чтобы сервер исправно отвечал на запросы.
У многих сервисов Яндекса есть свой поисковый робот. Например, свой робот есть у Поиска, Яндекс Картинок, Яндекс Видео, Яндекс Каталога. И у каждого робота свои задачи и правила работы.
Иногда сервер может быть настроен так, что он пропускает на сайт основной робот Яндекса, но не жалует роботов Яндекс Видео и Яндекс Картинок, а это значит, что контент сайта, скорее всего, не попадёт на эти сервисы. Поэтому, если вы заметили, что какой-то тип контента плохо индексируется, проверьте, попадает ли нужный робот на ваш ресурс.
Проверить, отвечает сервер или нет, можно в сервисе Яндекс Вебмастер — через инструмент «Проверка ответа сервера».
Здесь нам предстоит заполнить форму. Указываем адрес сайта и выбираем поискового робота. Вот, например, основной поисковый робот. Выбираем его и нажимаем кнопку «Проверить».
Ответ готов.
Как видите, ответ состоит из нескольких пунктов. Давайте разберём самые важные из них. В первой строчке сообщается статус проверяемой страницы. Если сайт отвечает на запрос и доступен для поискового робота, Яндекс Вебмастер показывает статус 200. Остальные статусы передают другую информацию. Например, статус 404 означает, что запрашиваемая страница удалена. Описание статусов можно найти в разделе «Помощь» сервиса Яндекс Вебмастер.
Переходим к строчке «Время ответа сервера». Чем меньше это время, тем лучше: поисковые роботы и пользователи смогут быстрее попасть на сайт.
В сообщении есть и другая информация. Например, мы можем посмотреть IP-адрес страницы, её кодировку и размер.
Задание
Попробуйте узнать, попадают ли на ваш сайт роботы Яндекс Картинок, Яндекс Видео и основной робот Яндекса. Проверка ответа сервера доступна и без подтверждения прав на сайт. Чтобы воспользоваться инструментом, нужно только зарегистрироваться в Вебмастере.