Платон Щукин

Поговорим о главной

7 ноября, 16:15

Нам часто пишут с вопросами о пункте Диагностики Яндекс.Вебмастера "Главная страница сайта недоступна":

  • почему главная страница открывается, а Вебмастер сообщает об ошибке?
  •  почему раньше страница была доступна, а сейчас нет?
  • что нужно проверять в первую очередь при получении предупреждения?

Прямо сейчас такое предупреждение отображается для более 100 тысяч сайтов, добавленных в сервис. Важно разобраться в проблеме, поскольку с главной страницы робот начинает обход нового ресурса, формирует структуру сайта, зачастую использует её в качестве наиболее релевантной страницы по навигационным запросам. Предупреждение может помочь избежать проблем во всём перечисленном.

Используя в Яндекс.Вебмастере инструмент "Проверка статуса URL", можно узнать больше подробностей о странице, которая хранится сейчас в поисковой базе и попробовать разобраться самостоятельно.

Как разобраться? 
В разделе "Статистика обхода" можно посмотреть, какой именно код ответа отдавала страница на запросы робота:

В графе "Стало" отображается код, который получил робот при посещении страницы. 
Если код ответа отличается от 200 ОК, то рекомендую убедиться в актуальности проблемы при помощи инструмента "Проверка ответа сервера". В этом же инструменте обратите внимание на отдаваемое страницей содержимое: возможна ситуация, при которой страница отвечает кодом 200 ОК и не может индексироваться. Например, если страница будет содержать в HTTP-ответе заголовок "Content-length: 0", то робот не сможет проиндексировать такую страницу. При проверке ответа вместо содержимого будет отображаться сообщение "Содержимое страницы отсутствует":

Если страница доступна и проверка показывает, что страница отвечает 200 ОК, то проверьте её исходный код: существует вероятность, что страница запрещена при помощи мета-тега noindex.

Если в результате проверки страница отвечает кодом 200 ОК и проблем с доступностью контента нет, то предупреждение в Вебмастере пропадет в течение нескольких дней и можно считать, что с проблемой справились ;)

10 комментариев
Есть ещё причина почему главная страница не индексируется:
1. Главная страница находится в файле index.html, считается дублем.
2. Сайт регистрирован как WWW или без. Хотя лучше без он лучше работает
3. Остальные секреты я не скажу потому, что Платон тут всё сказал
Меня больше интересует почему главная яндекс вебмастера недоступна часто?
denisov.4957300
8 ноября, 12:57
Исправьте опечатку:
вместо "Content-lenght" должно стоять "Content-length".
Исправили, спасибо! 
Вот скажите, у меня https://locator.by часто выдает что недоступен, по нашим тестам такого и рядом нет. И еще, не знаю как это связано, но после такого сообщения о недоступности меняется снипет, притом на текст которого даже в коде нет.  Может надо пенять на ДНС,  но с другими сайтами такого не происходит, вот скрин https://clck.one/NGJrc
Дело не в недоступности сайта - именно такой title получает робот при обходе главной страницы сайта:
<title>
Spartan.by Map
</title>
https://webmaster.yandex.ru/tools/server-response/?url=https%3A%2F%2Flocator.by&user-agent=robot&if-modified-since=
Здравствуйте, Платон:) Писал в саппорт, но ответа не получил, поэтому приходится писать сюда. Дело в том, что я обнаружил ошибку в результатах поисковой выдачи: по запросу "антивирус" в первой десятке (и даже 20-ке) отсутствует сайт нашего клиента - kaspersky.ru. Иными словами, такие сомнительные сайты, как programdownloadfree.com, soft.mydiv.net, all-freeload.net и т.п., присутствующие в ТОП-10, Яндекс считает более релевантными, чем сайт крупнейшего российского производителя антивируса и одного из мировых лидеров. При этом конкуренты Касперского, имеющие в разы меньшую долю рынка, в ТОП-10 представлены. Налицо манипуляция выдачей. Как мне кажется, если Яндекс стремится отвечать корректно на запросы пользователей, то сайт Касперского заслуживает больше, чем 21-е место. Мои предположения подтверждает другой крупный поисковик, название которого мы все знаем - в его выдаче по запросу "антивирус" сайт kaspersky.ru находится НА ПЕРВОМ МЕСТЕ. Надеюсь, моя информация поможет Яндексу улучшить поисковый движок и вернет сайт Касперского на его заслуженное место.
Все же напишите нам через форму обратной связи https://yandex.ru/support/webmaster-troubleshooting-info/rank.html , пожалуйста. Без ответа письмо точно не останется :)