Появилась необходимость в своём проекте самостоятельно считать количество просмотров и уникальных посетителей для дальнейшей обработки. Реализовал сбор данных по аналогии с метрикой: подключается скрипт (async = true), который сперва берёт userId из куки (а если кука пустая, то создаёт), а потом делает удар по урлу со всеми необходимыми данными. Далее в отложенном режиме анализируется UserAgent на предмет ботов, браузера, операционной системы и т.д. 

Статистика по уникальным посетителям строится группировкой по userId. Проблема состоит в том, что в моей статистике количество уникальных посетителей стабильно на 30-40% больше, чем в яндекс-метрике, а количество просмотров (хиты) примерно одинаковое (у меня на 5% больше, ну или отличие совсем незначительное). И это несмотря на то, что я вообще не считаю тех, у кого отключены куки, а так же исключаю ботов.

В чем может быть причина? Может есть какой-то перечень UserAgent, которые игнорируется метрикой по ряду причин?