Как проверить, что робот принадлежит Маркету

Вы можете проверить, что робот принадлежит Маркету, используя идентификацию, основанную на обратных DNS запросах (reverse DNS lookup). Для этого выполните следующее:

  1. Определите IP-адрес нужного User agent по логам вашего сервера. User agent роботов Маркета см. ниже.

  2. По полученному IP-адресу определите доменное имя хоста, используя обратный DNS запрос.

  3. После определения имени хоста, Вы можете проверить, принадлежит ли он Яндексу. Имена всех роботов Яндекса заканчиваются на 'yandex.ru', 'yandex.net' или 'yandex.com'. Если имя хоста имеет другое окончание, это означает, что робот не принадлежит Яндексу.

  4. Напоследок удостоверьтесь в корректности полученного имени. Для этого нужно использовать прямой DNS запрос (forward DNS lookup), чтобы получить IP-адрес, соответствующий имени хоста. Он должен совпадать с IP-адресом, использованным при обратном DNS запросе. Если IP-адреса не совпадают, это означает, что полученное имя хоста поддельное.

Роботы Маркета в логах сервера

  • Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots) — проверяет доступность сайта магазина, а также соответствие цен в прайс-листе и на сайте.
  • Mozilla/5.0 (compatible; YandexMarket/2.0; +http://yandex.com/bots) — скачивает прайс-лист с сайта магазина.