Клуб о поиске Яндекса

Загружено роботом

Serega386
28 января 2013, 18:17

Что означает "Загружено роботом" в веб-мастерской?
Нигде не написано за какой период загружено.
Может ли этот показатель со временем уменьшаться?
Роботу дан sitemap.xml, но он сосет что попало, даже игнорируя robots.txt
Суть вопроса не в том что робот непослушный, а в цифре "Загружено роботом".

6 комментариев
Подписаться на комментарии к посту

Добрый день.

"Загружено роботом" - это число страниц сайта, которые хранятся в базе поискового робота. Посмотрите видеогид по сервису, возможно, будет понятнее с этой частью.

Нигде не написано за какой период загружено - загружено за всё время
Может ли этот показатель со временем уменьшаться? Может, так как страницы могут удаляться (например, 404-е без ссылок).
"Роботу дан sitemap.xml, но он сосет что попало, даже игнорируя robots.txt". Поисковый робот не может игнорировать robots.txt! Пришлите сюда или в службу поддержки ip такого робота. И рекомендуем проверить файл robots.txt на соответствие стандартам с помощью Яндекс.Вебмастера.

Интересно как скоро удаляются страницы из базы робота если они запрещены в robots.txt или имеют ошибку 404?

Если страниц не много, то 404-е можно поудалять через форму: http://webmaster.yandex.ru/delurl.xml

Это для удаления проиндексированных страниц.

А вот как бы удалить всякий хлам из базы, чтобы не тыркался туда робот больше.

Это я к тому что одна и та же страница может быть доступна по sef- и обычной ссылке. И робот изначально наглотался не тех страниц. Теперь вот ситуация уже пол года как исправиться не может.

Т.е. переместили товар из одной категории в другую, но CMS отображает без учета категории. Потому получается странных эффект. Товар доступен и по старой ссылке и по новой. Но если его смотреть по старой, то категория товара получается неверной. Это может несколько озадачить посетителя.

Ссылок очень много, поэтому выбирать из тысяч загруженных какие проиндексированы затруднительно.

Такая же фигня. Три года паук яндекса носа не сувал дальше разрешенног в роботсе - страниц в поиске было нормально, в пределах 1000. Но пару месяцев назад, гляжу - паучара сожрал на сайте все, что можно, все закрытые страницы, скрипты, ссылки с параметрами и прочее. Страниц съедено более 70.000... полюбому санкции еще какие-нибудь наложит за дубли и прочее.

даааа попадос. пиши платону.