Загружено роботом

Serega386

28 января 2013, 18:17

Что означает "Загружено роботом" в веб-мастерской?
Нигде не написано за какой период загружено.
Может ли этот показатель со временем уменьшаться?
Роботу дан sitemap.xml, но он сосет что попало, даже игнорируя robots.txt
Суть вопроса не в том что робот непослушный, а в цифре "Загружено роботом".

6 комментариев

Авторизуйтесь, чтобы оставить комментарий

t1r1

27 января 2016, 23:58

Добрый день.

"Загружено роботом" - это число страниц сайта, которые хранятся в базе поискового робота. Посмотрите видеогид по сервису, возможно, будет понятнее с этой частью.

Нигде не написано за какой период загружено - загружено за всё время
Может ли этот показатель со временем уменьшаться? Может, так как страницы могут удаляться (например, 404-е без ссылок).
"Роботу дан sitemap.xml, но он сосет что попало, даже игнорируя robots.txt". Поисковый робот не может игнорировать robots.txt! Пришлите сюда или в службу поддержки ip такого робота. И рекомендуем проверить файл robots.txt на соответствие стандартам с помощью Яндекс.Вебмастера.

Serega386

27 января 2016, 23:58

Интересно как скоро удаляются страницы из базы робота если они запрещены в robots.txt или имеют ошибку 404?

banki-vrn

27 января 2016, 23:58

Если страниц не много, то 404-е можно поудалять через форму: http://webmaster.yandex.ru/delurl.xml

Serega386

27 января 2016, 23:58

Это для удаления проиндексированных страниц.

А вот как бы удалить всякий хлам из базы, чтобы не тыркался туда робот больше.

Это я к тому что одна и та же страница может быть доступна по sef- и обычной ссылке. И робот изначально наглотался не тех страниц. Теперь вот ситуация уже пол года как исправиться не может.

Т.е. переместили товар из одной категории в другую, но CMS отображает без учета категории. Потому получается странных эффект. Товар доступен и по старой ссылке и по новой. Но если его смотреть по старой, то категория товара получается неверной. Это может несколько озадачить посетителя.

Ссылок очень много, поэтому выбирать из тысяч загруженных какие проиндексированы затруднительно.

supermegasuper

27 января 2016, 23:58

Такая же фигня. Три года паук яндекса носа не сувал дальше разрешенног в роботсе - страниц в поиске было нормально, в пределах 1000. Но пару месяцев назад, гляжу - паучара сожрал на сайте все, что можно, все закрытые страницы, скрипты, ссылки с параметрами и прочее. Страниц съедено более 70.000... полюбому санкции еще какие-нибудь наложит за дубли и прочее.

onetalkagency

27 января 2016, 23:58

даааа попадос. пиши платону.