Блог Яндекса для вебмастеров

Изменение User-Agent роботов Яндекса

6 мая 2010, 17:33

В течение июня 2010 года все роботы Яндекса изменят вид своего представления в User-Agent.

С помощью этих изменений мы хотим:
― привести представления всех роботов к единому виду;
― сделать представления роботов более информативными.

Понять по нынешнему User-Agent, какой из роботов проиндексировал страницу на сайте, можно либо обладая очень хорошей памятью, либо проштудировав Яндекс.Помощь (http://help.yandex.ru/webmaster/?id=995329). Новые User-Agent позволят легко определить по имени робота его принадлежность к тому или иному сервису Яндекса.

Список новых User-Agent:
Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.
Mozilla/5.0 (compatible; YandexImageResizer/2.0) — робот мобильных сервисов




Ростислав Шоргин и команда поиска

38 комментариев
Подписаться на комментарии к посту
И года не прошло)
хорошо что не 10
Дмитрий
6 мая 2010, 17:44

теперь в robots.txt писать

User-agent: YandexBot
Так? Что писать в случае с зеркальщиком? Остальными? Часть до слеша?

 

Для того, чтобы составить общие правила для всех роботов достаточно написать:
User-Agent: Yandex

Если требуется составить различные правила для разных роботов, то нужно конкретизировать их названия:

User-Agent: YandexBot
User-Agent: YandexBlogs
Дмитрий
7 мая 2010, 15:27
спасибо

У Вас написано: "Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) " и предлагается запрещать индексирование ППБ через


User-Agent: YandexBlogs


Но у меня по сайту ходит бот "YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot)" . В его названии нет s . ip из ваших подсетей. Как его заблокировать?


 


Кроме того, прописав в robots.txt


User-Agent: YandexBlogs


я смогу удалить из ППБ свои сайты? А то я давно не даю их индексировать, а архивы от 2008 года удалить не могу.

А антивирус можно попросить представиться.
Неплохо! Весьма!) Движение - жизнь!
А зачем нужен робот метрики? :)
ну как же...в индексе робота метрики будут "более релеванттные" (по мнению яши) страницы
а как проверить, на всех ли страницах сайта установлен счетчик?
Там скорее всего дятел. Метрика ведь позволяет уведомлять о неработающем сайте.
Like название робота Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel
Dyatel он у них давно уже :)
Да, теперь будет "по-человечески" ;)
gelandewagen-1
6 мая 2010, 20:35
Давно пора!
Молодцы!(B)
Отлично)) Теперь понятно из названия что за робот.
Отлично!
Жаль, что нельзя посмотреть логи захода робота на домене narod.ru и narod2.ru.
когда же наконец сделают чтобы города можно было указать без тиц, миллионы сайтов от этого страдают , постоянная болтанка.

Вот этого сжечь :

Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector)

Молодцы, ребята, работаете.... Яндекс уже брендом стал?!!!
Отличная новость!

+1!!!


на костер Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector)!

даже и не предполагал, что их так много!
Реквестирую в панеле вебмастера кнопочки вызова конкретных ботов. Например, обновился фавикон - жмём и нужный бот приходит. Срочно нужно проиндексировать картинки - зовём YandexImages.  Зачем? Чтобы контент меньше тырили.

По поводу зеркальщика - присоединяюсь к общему мату.  Есть у меня на сервере на одном айпишнике несколько блогов (авторские блоги, написанные людьми и для людей - уломал авторов перебраться с бесплатных блогхостингов на свои домены за небольшую рекламу на их блогах).  Так вот несколько из них выбрали одинаковый дизайн (отличаются только шапками). Контент абсолютный разный. И только авторский.  А вот эта мразь, которая теперь будет обзываться  Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) всех посчитал зеркалами одного из них. Отчего сие? Один ip и шаблон это не зеркала. Как исправить? Писать Платонам, а потом запрещать индексацию этим ботом? А вдруг это клоакингом посчитают, ведь логика ваших ботов весьма сомнительна...


Да и системы статистики придётся переписывать...

Можете привести список склеенных блогов?
Могу, не на публичное обозрение.
Пришлите список на chubinskiy@yandex.ru
Погорячился. Сейчас вышеописанной склейки не уже наблюдаю. Хотя относительно недавно, она была. Врочем с того момента, сервер сменился. Короче, извиняюсь за шум. Но посмотрим, что будет дальше.
my.mail-ruscams
11 мая 2010, 21:53
ребята когда снова можно будет менять yandex на вебмани ??? я понимаю что случилась беда но все таки  всемы русские и можем договарится .

Блин  вообще не по приколу то что случилось

       

Петр Смирнов
25 апреля 2011, 22:27

а вот здесь старые роботы http://samtymaster.ru/?p=282

Петр Смирнов
8 марта 2016, 21:24
Петр Смирнов,
страница переехала сюда http://stuffi.ru/blog/znakomtes-poiskovyy-robot-yandeks
golovina.sweta2010
16 мая 2010, 05:03
Клёвый!:-DЧем то похож на Гомера из "Симпсонов", только железный!..:-)
vladislav-diyakov
20 мая 2010, 20:54
А про ФайрФокс Портаибл Вы позабыли.
ну да, так будет удобнее
В логах обнаружил "Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; B; +http://yandex.com/bots) 2 readers", все бы ничего, но смущает "B;", фактически имя бота получается "YandexBlogs/0.99; robot", а не так, как записано на http://help.yandex.ru/webmaster/?id=995329
ура ура ура )

Уважаемые хозяева YandexBot ))

Почему ваш основной робот индексирует картинки на моем сайте? Разве это не должен делать специальный бот YandexImages ?

У меня картинки на сайте генерируется с токеном и расширение получается такое .jpg?67df26b763f2816b79541ea959e391df

Нормально ли это или нужно бить тревогу