Блог Яндекса для вебмастеров

Раздел «История индексирования» в Яндекс.Вебмастере

20 декабря 2011, 14:07

Одной из причин ошибок индексации сайта может быть неправильный ответ веб-сервера на запрос поискового робота Яндекса. Для того чтобы владельцы сайта могли проверить, как веб-сервер их сайта отвечает роботу Яндекса на запрос конкретной страницы, в Яндекс.Вебмастере существует инструмент «Проверка ответа сервера».


Недавно в Яндекс.Вебмастере появился новый раздел – «История индексирования». Информация в нём поможет узнать, как ваш веб-сервер отвечал роботу Яндекса в разное время, а также следить за динамикой индексирования.

Вы можете посмотреть графики, отражающие число 
запросов поискового робота Яндекса к сайту, узнать о числе ошибок, возникших при попытке робота установить соединение, а также ознакомиться с данными о количестве ответов с различными HTTP-кодами ответов сервера.




Информация в «Истории индексирования» поможет выявить ряд проблем на сайте:


– Неправильная настройка веб-сервера – роботы Яндекса не могут загрузить страницы (например, ошибка DNS или ошибка соединения). В таких случаях мы рекомендуем обратиться к администратору веб-сервера.

– Излишняя нагрузка, которая создается роботами Яндекса. В этом случае можно воспользоваться директивой crawl-delay, чтобы задать поисковому роботу минимальный период времени между концом закачки одной страницы и началом закачки следующей. 

– Краткосрочная некорректная работа сайта (внутренние ошибки – 5XX, битые ссылки – 4XX и т.п.). В Помощи вы найдете справочник по HTTP-кодам веб-сервера и наши рекомендации.


Команда Яндекс.Вебмастера и роботы-любители корректных ответов

9 комментариев
Подписаться на комментарии к посту

Ну и зачем мне это? Ну посмотрю я на эти графики, и что мне это даст? Вот история попадания/выбывания страниц в поисковую базу мне бы реально пригодилась.

А для массовой проверки статусов можно пользоваться специальной тулзой.

Дембицкий Сергей
21 декабря 2011, 08:05

Хорошая вещь

Вещь будет полезной для аналитиков, а рядовому SEO'шнику она в пень не впиралась, но раз уж разработчики склепали очередную опцию, значит со временем и она приживется, при условии, что на неё кто-то будет образать внимание.

Склоняюсь к тому, что все нововведения Яндекса последних лет не только бесполезны, но и вредны. Имею два сайта, которые Яндекс невзлюбил с самого начала и прессует их не переставая. Были домены bescomblog.ru и lero-art.ru - уникальные авторские статьи, графика и оформление. Индексации - ноль. Перенесены оба в зону .com с оставлением 301-го редиректа на старых доменах, и Яндекс после индексации жалких пары десятков страниц снова взялся за свое - теперь в индексе по 2-3 страницы. Сайты не участвуют ни в одной бирже автоматической продажи статей и ссылок, не содержат ни одного баннера и блока контекстной рекламы, полностью уникальны от начала до конца. Саппорт в ответ на письма советует: "пишите истчо", и сайты обязательно проиндексируются. Ага, уже замаялись писать...
Ну и зачем мне ваши графики, если у вас не работает ОСНОВНОЕ - правильная индексация полезных и уникальных сайтов, а море говносайтов, увешанных рекламой - в индексе?
Это реально крик души, надоело уже такое отношение - или наладьте на самом деле работу алгоритмов, или не пишите о том, как у вас все хорошо...

Более того, уже три недели индекс отстаёт от текущего числа (последний индекс от 7 декабря).

То есть вы, владельцы магазинов и просто сайтов, ни за что не успеете вовремя сообщить ищущим людям о своих новогодних акциях и скидках.

вот это полезная штука, можно хоть посмотреть активность яндекса по отношению к сайту

Этот отчет вещь полезная. Но по тому, как выводится информация совершенно невозможно определить реальное количество загруженных страниц в день.
Ниже привожу картинки с примерами.

Попробуйте ответить, сколько было запросов от роботов Яндекса 07/02. Невозможно сказать даже с точностью до 100 запросов. Реальные логи показывают цифры совершенно другие - гораздо больше запросов, чем можно предположить, глядя на отчет от яндекса. Реально робот яндекса загружает в 3-10 раз больше страниц, чем то количество, которое приходит на ум, глядя на эти графики.


Здесь или ошибка или некорректное отображение.



Гораздо удобнее было бы отображение отчетов, как в Метрике,  - наводишь мышкой на график и видишь в какой день сколько точно посетителей зашло.

В метрике конечно расрпеделение посещения по минутам не отображается в основных отчетах.Но какой смысл в Яндекс-Вебмастере отображать поминутную статистику запросов от робота Яндекса, если все равно не понятно сколько страниц загружается. Пока все что можно сказать по этим графикам - робот от яндекса заходил в какие-то из дней.

У меня этот график не загружается, уже второй день!!!