Метрика

Статистическая достоверность данных

Метрика предоставляет много цифр по всевозможным аспектам работы вашего сайта и все эти цифры точны с точки зрения методики их расчета. Но с точки зрения анализа работы сайта это не всегда так: например, если на сайт заходил один посетитель и смотрел страницы 20 минут, формально верно, что среднее время посещения сайта — 20 минут. Но с точки зрения здравого смысла это не так: делать какие-то выводы о сайте на основании этого визита нельзя.

Другой пример: необходимо определить, с каких страниц сайта чаще всего начинаются визиты, которые завершились конверсией. Кажется, все просто: открываем отчет Страницы входа, выбираем нужную цель и сортируем отчет по конверсии.

Отчет содержит множество страниц, на которых был один посетитель и при этом достиг цели: конверсия визитов, начавшихся с таких страниц — 100%. При этом очевидно, что такие страницы ценности для анализа не представляют. Можно попробовать задать ограничение на количество просмотров страницы — например, более 100 просмотров.

Видим, что 100 оказывается недостаточно — есть страницы, которые смотрели более 100 раз, но в рамках одного визита (и при этом визита с достижением цели). Возможно, это автообновление страницы или визиты роботов. В любом случае эти строки в отчете мешают видеть интересующие данные, так что от них хотелось бы избавиться. Зададим 1000 просмотров.

Это позволило убрать из отчета лишнюю информацию. Но граница количества визитов будет зависеть от выбранного периода построения отчета и ограничение для каждого периода надо будет подбирать новое.

Данный пример показывает, что для анализа работы сайта важна не вычисленная конверсия, а истинная — та, которую мы увидели бы, если бы визитов было очень много. Просто при 1000 визитах разница истинной и вычисленной конверсии будет небольшая. А при одном визите реальная конверсия может оказаться где угодно от очень малой величины до 100%.

Методы математической статистики позволяют рассчитать, сколько же необходимо визитов, чтобы можно было уверенно утверждать (например, с вероятностью 95%), что посчитанное нами значение конверсии отличается от истинного значения незначительно (например, не более чем на 5%).

Метрика дает возможность делать такой расчет автоматически и скрывать те строки из отчета, для которых нельзя уверенно утверждать, что отображенное значение отличается от теоретического истинного незначительно. Для этого используется поле Скрывать статистически недостоверные данные.

Фильтрация применяется к значению того столбца, по которому в настоящий момент отсортированы данные. Также можно произвольно изменить пороги фильтрации — те самые 95% вероятности и 5% отклонения: