Клуб Яндекс.Метрики

Новый фильтр и отчет по роботам

Пост в архиве.

Существует некоторое количество роботов, которые умеют выполнять JavaScript-код или загружать картинки, так что их действия могут повлиять на статистику и стать проблемой при анализе данных.

Для таких случаев мы создали новый фильтр и новый отчет «Роботы» (Отчеты группы Мониторинг). Теперь вы можете управлять фильтрацией роботов. Настроить фильтрацию можно по одному из трех значений:

  • полностью отключить фильтрацию роботов;
  • фильтровать роботов только по строгим правилам. Осуществляется фильтрацию по заданным IP-адресам и директивам User-Agent. С этой настройкой фильтр работает по умолчанию;
  • фильтровать роботов по строгим правилам и по поведению. Этот фильтр мы рекомендуем включать, если на сайте случаются неестественные всплески активности, и тому есть подтверждение в отчете «Роботы».

В отчете вы можете увидеть данные о действиях всех типов роботов, которые посещали сайт, с разбивкой по правилам фильтрации. На общей диаграмме отображается доля роботов среди всех посетителей сайта за выбранный отчетный период.

 

Для фильтрации используется технология Матрикснет. Подробнее о настройке фильтрации роботов читайте в разделе помощи «Фильтры и операции».

18 комментариев

новый отчет «Роботы». - где его искать?

Мониторинг --> Роботы

Алексей Корепов
27 января 2016, 22:42

А в других счетчиках (например Google Analytics) можно как-нибудь отфильтровать заходы роботов Яндекса, который эмулирует javascript? Такие заходы в последнее время увеличиваются, сильно влияя на статистику сайта.

Только через фильтры по трафику их обрезать..

Алексей Корепов
27 января 2016, 22:42

Обрезать-то не проблема, проблема как определить в фильтрах что этот заход делает именно бот.

Бот Яндекса вообще не представляется что он от Яндекса, просто как Браузер: Mozilla Compatible Agent

Вот статья, тут обрезают роботов через регулярные выражения. http://www.searchengines.ru/articles/nestandartnye_priemi.html

Алексей Корепов
27 января 2016, 22:42

Статью я видел, даже откомментил в ней:

если оставить or то данный фильтр скосит порядка 20-25% нормальных посетителей сайта. Поэтому нужно поменять на and, тогда отфильтруются именно Яндекс.Боты а остальные практически не пострадают

Но автор почему-то проигнорил этот факт ;(

И даже если по-нормальному настроить, то данный способ будет работать только для бота Яндекса и только пока он представляется именно так как сейчас, но ведь у них не один бот и настройки могут меняться со временем.

Поэтому хотелось бы какой-то универсальный способ определения придумать, либо от Яндекса получить точную информацию каким образом определять что это их бот.

Тогда стоит писать уже в форму Google Analytics. Пусть думают :) Но он на англ. Попробуйте спросить на этом форуме http://allmetrics.ru/ . Пока он не заспамлен, толково отвечают.

Алексей Корепов
27 января 2016, 22:42

Ну по англ у меня не особо проблема, сделал тему https://productforums.google.com/forum/#!msg/analytics/cQ-5jH9xo_g/dwqf0WEdHVEJ и там даже уже наотвечали, но не знаю достучался ли я для самих разработчиков, будем надеятся на лучшее, а пока миксовать метрику и аналитикс ;)

настроил вот такой сегмент:

 

интернет провайдер: yandex enterprise network

канал: none

браузер: Mozilla Compatible Agent

 

 

если всключить только их то получаем:

страниц/посещение: 1

отказы: 100%

 

вроде как людей не отрезает он, а только роботов

Алексей Корепов
27 января 2016, 22:42

О, спасибо, что-то про "интернет провайдер: yandex enterprise network" я забыл, действительно можно фильтровать. Хотя "боевые человекоподобные роботы" (с) и с других сторон активно наступают ;(

Михаил, не могли бы Вы подробнее написать, как настроить такой сегмент? Пошагово, для блондинок... (love)

находях в любом отчете ga, вверху слева нажимаете "расширенные сегменты"

 

потом в открывшемся окне, справа нажмаем "добавить сегмент"

 

и далее делаем его похожим вот на это

https://www.evernote.com/shard/s25/sh/d0f9ae1d-2f51-4328-95f4-f3fc8bd9dae9/527d527d57048df6bcfaf5c94646221f

параметры что писать, указаны в сообщении выше.

 

после этого когда будете включать данный сегмент у вас получится отчет где будет исключен данный трафик

по браузеру (MCA) не все боты фильтруются 
такой сегмент сейчас пользуем http://screencast.com/t/fwqLQzlbbuw 
он еще +40% отфильтровывает и это все пустышки - вот сравнение сегментов http://screencast.com/t/zjftgkqbb 
этот сегмент дает показатели наиболее близкие к Метрике.

да, так еще часть ботов отлавливается, тех что пропускает прошлый фильтр.

 

вот только я источник не задал, все остальные параметры ввел, получил трафик но там прямые заходы, так что ваш фильтр получается так же часть может пропускать из-за первого условия

 

а вообще если поискать поглубже в статистике то там еще можно найти разных ботов, но они не так активно посещают сайт

Спасибо!

А как посмотреть откуда пришли на сайт эти роботы? 

Где "Мониторинг" искать то?