Блог Яндекс.Метрики

Выгружайте сырые данные из Метрики через Logs API

18 ноября 2016, 12:36

Мы всегда старались сделать веб-аналитику как можно более гибкой — поэтому в Метрику можно передавать неограниченный объём данных и при этом управлять семплированием. А с сегодняшнего дня вы можете ещё и забирать из Метрики сырые данные за любой период — и распоряжаться ими по своему усмотрению: решать сложные аналитические задачи или импортировать в другие системы аналитики. Выгрузку сырых данных обеспечивает новый программный интерфейс — Logs API.


Чем сырые данные отличаются от агрегированных

Агрегированные, или обобщённые данные, которые вы видите в интерфейсе Метрики или выгружаете через API отчётов, рассчитываются для определённой группы визитов. Например, метрика «время на сайте» вычисляется для всех переходов из какого-либо источника трафика, всех визитов от посетителей мужского пола или всех визитов с планшетов.

А основой для этих расчётов служат сырые данные — записи об отдельных визитах или просмотрах. Таблица с этими записями и передаётся через Logs API, при этом каждая запись дополнена полезными сведениями из Метрики. Это подробные данные по Директу и по электронной коммерции, страна и город посетителя, а ещё — различная техническая информация о визите: например, браузер и модель мобильного телефона.


Зачем нужны сырые данные

С агрегированными данными удобно работать: они уже собраны в готовые показатели эффективности, и вам остаётся только сделать выводы. А сырые данные необходимы, чтобы получить новую статистику помимо той, что доступна в отчётах. 

Вот несколько примеров использования неагрегированных данных:
 

Сложные воронки продаж 

Чтобы детально изучать пути к покупке, вы можете отслеживать историю переходов на ваш сайт для каждого посетителя в отдельности — и выделять закономерности, важные для вашего бизнеса. Скажем, исследовать, как разнесены по времени визиты, в которых посетитель совершает целевые действия, и какие каналы обычно приводят клиентов на каждом шаге воронки.


Собственные модели атрибуции

В Метрике есть три готовых модели атрибуции: по первому, последнему и последнему значимому переходу. Работая с сырыми данными, вы сможете создавать любые другие модели и подробно анализировать вклад разных маркетинговых каналов в конверсии. Например, отслеживать, как влияет на продажи медийная реклама в том случае, если она хотя бы один раз приводила посетителя на сайт — но при этом не была первым или последним источником перехода. 


Объединение данных из разных источников

Сырые данные из Метрики можно добавлять к вашим данным из других систем — например, чтобы собирать в одной точке всю статистику по рекламным расходам. Или на своей стороне связывать данные из Метрики с данными в вашей CRM.


Контроль над расхождениями в статистике

Бывает, что цифры в других системах аналитики не сходятся с цифрами в Метрике. Обычно такие нестыковки связаны с разными принципами подсчёта: анализируя сырые логи, вы сможете понять, как каждая система обрабатывает данные — и выбрать для себя тот подход, который лучше отвечает вашим задачам. 


Как работать с Logs API

Сырые данные передаются в стандартном формате tsv — такой файл можно легко импортировать в большинство систем управления базами данных. В их числе — ClickHouse, бесплатное открытое решение, на котором работает и сама Метрика. ClickHouse умеет обрабатывать сложные запросы в реальном времени, легко настраивается и не требует больших вычислительных ресурсов. А автоматически подгружать свежие данные в ClickHouse можно с помощью скрипта, подготовленного командой Метрики. 

Документация по Logs API, подробное описание схемы данных и скрипт выгрузки в ClickHouse доступны на сайте технологий.
 

12 комментариев
Подписаться на комментарии к посту
Очень очень круто , огромное спасибо за такую возможность)


Успехов в развитии опенсорс проекта ClickHouse 


PS ClickHouse не тормозит ))
Яндекс Василиса
18 ноября 2016, 23:44
mr@g1k.ru,
спасибо!
То есть началось и уже можно?
Яндекс Василиса
21 ноября 2016, 15:38
batievskiy,
да, можно пользоваться)
Просто очень круто! Сейчас с логами работает очень немного компаний, но благодаря этому сервису внутренняя аналитика станет возможна и доступна. 
В сырых данных для каждого посетителя есть уникальный идентификатор (который в отчетах и настройке сегментов сейчас отсутствует)?
Яндекс Василиса
29 декабря 2016, 19:24
emfycom,
в документации к Logs API можно увидеть список параметров, данные по которым выгружаются из Метрики https://tech.yandex.ru/metrika/doc/api2/logs/fields/hits-docpage/
В их числе есть, например ym:pv:clientID и ym:s:clientID - Идентификатор пользователя на сайте
Приветствую! Не уверен, что задаю свой вопрос в правильной для этого теме, но тем не менее, кто-то тут может проконсультировать по работе с данными Яндекс-Метрика? Заранее спасибо.
Яндекс Василиса
9 февраля, 14:54
ilzhukov,
что именно вы хотели бы узнать?
Яндекс Василиса,
Добрый день! Как лучше построить отчетность по данным Метрики нескольких сайтов (как открытых так и с закрытой метрикой)? Спасибо.
Яндекс Василиса
10 февраля, 21:13
ilzhukov,
есть несколько вариантов:
1. поставить на все сайты один общий счетчик
2. воспользоваться отчетом по группе счетчиков https://yandex.ru/support/metrika/reports/report-tag.xml
Яндекс Василиса,
Спасибо за ответ.