Блог Яндекса для вебмастеров

Яндекс.Вебмастер расскажет больше об исключенных страницах

1 ноября 2012, 18:47

На этапе загрузки или обработки страниц поисковый робот может столкнуться с различными препятствиями, которые не позволяют ему проиндексировать документы. На сервисе Яндекс.Вебмастер есть раздел «Исключенные страницы» — там вы найдете подробную информацию о таких страницах и о причинах их исключения.

Наличие исключенных страниц на сайте — это нормальная ситуация, не всегда требующая исправления. Например, какие-то страницы на вашем сайте перестают существовать или вы сами запрещаете их индексирование в robots.txt. Но иногда проблемы возникают на стороне сервера или сайта, и это, как правило, приводит к нежелательному выпадению страниц из результатов поиска.


Не так давно мы обновили раздел «Исключенные страницы» и разделили все причины исключения на три группы:

Ошибки на стороне сервера или сайта
На эту группу стоит обратить внимание в первую очередь – в этом случае вам необходимо устранить причину возникновения этих ошибок.

Страницы запрещены к индексированию вебмастером или не существуют
Здесь, как правило, ничего исправлять не нужно. В этом разделе показывается информация об удаленных и более не существующих на сайте страницах, о страницах, запрещенных в robots.txt, неканонических страницах и т.д.

Не поддерживается роботом
Сюда попадают страницы с неподдерживаемым форматом, языком и т.п.

Такое разделение помогает понять, что необходимо исправить, а что исправлять не требуется. Если какая-то причина исключения конкретно для вашего сайта не является ошибкой, вы всегда можете самостоятельно внести изменения в разделе «Настройки», выбрав «Исключенные страницы». Смотрите также Справочник по ошибкам индексирования.

Кроме того, на графике в разделе «Общая информация о сайте» теперь показываются данные только о страницах из первой группы (которые были исключены по причине ошибок на стороне сервера или сайта), что помогает максимально быстро обнаружить проблему во взаимодействии вашего сайта с поисковой системой.

 

 

36 комментариев
Подписаться на комментарии к посту

Это хорошо, давно ждал.

Замечательно! Давно ждала.

Спасибо боьшое за обновление !

Йандэкс уапще неуиноуат, страныца сам выпал, сэрвэр уиноуат

Сайт  http://aizberg116.narod.ru/

Вношу изменения (редактирую), сохраняю. Эти кнопки активны, работают.

А в результате на сайте никаких изменений не происходит.

В чём дело ? Объясните пож-ста.

 

Уточните, пожалуйста, о внесении изменений на какой странице идет речь?

Мои действия (на Главной странице сайта http://aizberg116.narod.ru/ ) : 1. Кнопка Редактировать (вношу изменения) --.  Готово   2. Кнопка Опубликовать. 

НО - На Главной странице (в данном случае) изменения не сохраняются, т.е. ничего не меняется. При этом, если вернуться на Редактирование, то там есть эти изменения.

ПОЧЕМУ ИЗМЕНЕНИЯ НЕ ПРОИСХОДЯТ/НЕ СОХРАНЯЮТСЯ ?

 

ДРУГОЙ ВОПРОС: Выбираю страницу для редактирования КОНТАКТЫ (http://aizberg116.narod.ru/contacts/). Кнопка Редактировать -- НО открывается не Контакты, а Главная страница (http://aizberg116.narod2.yandex.ru/edit/) для редактирования.

 

В чём причина ? Раньше нормально было всё. Вносили изменения, которые сохранялись. Сайт наполовину сделан.

 

отлично, будем использовать!!

 http://www.meh-kazan.com/#!shuby/component_41229

Почему исключает страницы такого содержания?

component_41229 является фото-галереей

Что делать если нет воможности редактировать исходный код сайта?

И можно ли напрямую через администраторов проиндексировать? :-|

Дело в том, что html-версии данных страниц вида http://www.meh-kazan.com/?_escaped_fragment_=shuby/component_41229 содержат мета-тег . Это является ошибкой, уберите мета-тег, в этом случае страницы будут проиндексированы и смогут появиться в поиске. Подробнее об индексировании AJAX-сайтов
вы можете прочитать на следующей странице нашей Помощи:
http://help.yandex.ru/webmaster/?id=1125296

Что делать если нет воможности редактировать исходный код сайта?

Если у Вас нет возможности самостоятельно внести подобные изменения в исходный код страниц, то обратитесь по этому вопросу к разработчикам сайта.

И можно ли напрямую через администраторов проиндексировать? :-|

Здесь я Вас, к сожалению, не совсем понял. Уточните, пожалуйста, о каких администраторах идет речь и что Вы подразумеваете под "проиндексировать напрямую"?

 

Спасибо, я все понял.

 

Лучше бы про страницы в скрытом индексе рассказали

Сергей, вы о чём?

Например, страницы, которых нет в индексе, но с которых идут уникальные ссылки с редкими анкорами. Если снять такую ссылку - у страницы акцептора понизится вес ссылочного ранжирования и она опустится по этому уникальному запросу. Значит страницы есть в каком-то индексе, просто не показываются?

 

Вроде говорили на конференции о чем-то похожем, что когда вероятность показа страницы в выдачи по любым запросам стремится к 0, то она просто не включается в индекс, хотя яндекс о ней знает - возможно это связано с этим.

 

 

Аналогичная ситуация, нечто подобное наблюдается.

Мы уже рассказали о подобных страницах в Помощи.

Так покажите их в кабинете вебмастера

Так как эти страницы нормально индексируются, то мы не считаем нужным показывать информацию о них в обсуждаемом здесь разделе, но мы подумаем над тем, как можно было бы удобно предоставить информацию о них пользователю. Спасибо.

Скажите, пожалуйста, а если страницы нового сайта в количестве 13 штук были проиндексированы, но где-то через двое суток полностью выпали из индекса, это бан? Характерно, что именно в эти двое суток на сайте ничего не делала. Пытаюсь снова добавить сайт в систему - система его принимает и сообщает, что сайт будет проиндексирован. Хотя другие пользователи пишут, что в случае бана должна появиться запись - сайт запрещен к индексированию. Или это был быстрый робот и для индексации сайта надо дождаться прихода основного робота? Или нет шансов на реанимацию сайта? Заранее огромное спасибо.

Может быть много причин. Если сайт не начнёт индексироваться в течение двух недель после добавления в Яндекс.Вебмастер, то напишите об этом в службу поддержки.

Вольфыч, а кстати: с тех пор, как Яндекс полностью перешел на ручную модерацию топа придурками-асессорами, ты чем зарабатываешь? Твоя математика теперичо вроде никому никуда не упала. Асессоры математику (впрочем, и русскимй язык) знают на уровне 3-его класса максимум

Здравствуйте!

Скоро буду праздновать со страницами 404 второй год, это так и должно быть ?

Например, страницы 404 в Я.В. висять с 2011 года, еще 25 страниц с ошибками "Документ имеет размер 0 байт", когда они никак не могут иметь 0 байт, возможно это ошибка сервера была во время обхода робота но они там висят уже 3 месяца - это тоже так должно быть ?

Яндекс же пытается максимально долго держать страницы с контентом, выпавшие в 404  - типа надеется что они вернутся))

 

Хорошо бы если сделали аналог сайтмапа но для страниц, подлежащих удалению из индекса. Когда страниц сотни-тысячи - вручную все или через роботс не поудаляешь.

Согласен, такого быть не должно, но в некоторых случаях, действительно, могут возникать длительные задержки в удалении информации о ранее исключенных страницах. Пожалуйста, напишите в службу поддержки и приведите несколько примеров страниц, которые на текущий момент доступны, но длительное время не переобходятся роботом. Эти примеры помогут нам проанализировать ситуацию подробнее и со временем улучшить переобход страниц в целом.

Страниц в поиске 506 (раньше было 780-800)

Загружено роботом 786

исключено 46

 

786 - 506 - 46 = 234 страницы потерялись

куда же они делись? 

Одно могу казать точно, раз этих страниц нет в исключенных, значит, они были успешно проиндексированы роботом. Такие страницы могут не попадать в поиск по различным причинам, например, они могут являться дублями уже участвующих в поиске страниц,  противоречить нашему пониманию качественных страниц или просто не являться одним из наиболее релевантных ответов на запрос пользователей и т.п.

Если Вас интересуют причины отсутствия в поиске каких-то конкретных страниц, пожалуйста, напишите в службу поддержки и приведите примеры этих страниц. Мы проверим, с чем это может быть связано.

Простите я тоже не могу понять! Раньше было много страниц в индексе буквально за 200 а теперь 43 http://mobilshop1.com 

у меня интернет магазин и клиенты сразу не довольные) 

 

Года эдак три пользуюсь вебмастером. Ничего нового вы не добавили, там это было всегда.

 

(B)[:]|||||||||[:](B)

 

По данному вопросу прошу ответить – по какой причине исключено очень много страниц на нашем сайте Самарамонтажинжиниринг , т.к. на странице Яндекс-вебмастер не понятна причина.

Ошибки на стороне сервера или сайта, но ниже Страницы, исключённые из-за ошибок на стороне сервера или сайта, отсутствуют...

в чем может быть дело? и как это исправить? графика нету...

Скажите пож-та, а как быстро робот проиндексирует исправленный robots.txt - в результате случайной ошибки в него попали две правильные страницы сайта ...ошибка была исправлена в течение дня, но уже 10 дней эти 2 страницы не индексируются  и висят в списке исключенных...как быстро обычно робот обновляет robots.txt? www.tuktuk.by

У меня на сайте http://gamewest.ru/ в тецении дня проиндексировал и нужные страницы выпвли из поиска.

Мои страницы вообще выпали из индекса из-за двух дневной ошибки сервера и как их теперь туда вернуть непонимаю...  http://www.info-gp.ru/

У меня на моем домене был старый сайт, сайт изменил, теперь куча исключенных страниц.


Форум для вебмастеров - Создание и продвижение сайтов
Андрей Полупан
17 ноября 2016, 10:12
Подскажите по такому моменту. Сделан новый сайт.
Залит вместо старого.
В разделе - Неработающие внутренние ссылки отображаются старые ссылки возрастом 1,5 - 2 года с ошибкой 500. Что с ними делать? Таких страниц уже давно не существует.