Что такое погрешность измерений
Погрешность — это отклонение между вычисленным результатом измерений и истинным. Термин используется во всех сферах, связанных со статистикой: в экономике, маркетинге, социологии и других областях.
В зависимости от того, меняются ли измеряемые величины во времени, погрешность может быть статической или динамической. В маркетинге требуется измерение показателей, которые меняются от недели к неделе и от месяца к месяцу, поэтому учитывается только динамический тип.
Отклонение измерений в маркетинге может появляться по разным причинам: например, из-за недостаточного объёма информации, багов и технических ошибок при интеграции сервисов аналитики. Также неточности могут быть связаны с человеческим фактором: неверным выбором метрик или методик сбора данных.
В любом случае оценка эффективности маркетинговых каналов не считается точной, если не указана погрешность измерений.
Какие виды погрешностей существуют и как определить их значение по формулам
Погрешность с точки зрения математики может быть трёх видов: абсолютной, относительной и приведённой. Разберёмся, как вычисляется каждая из них.
Абсолютная погрешность — это итоговая разница между полученным и истинным значением. Такая погрешность выражена в единице измерений той системы, в которой ведётся подсчёт.
Формула расчёта: Δ = х1 − х2, где х1 — полученная величина, а х2 — реальная.
Относительная погрешность — это отношение абсолютной погрешности к реальному измеряемому значению, выраженное в процентах.
Формула расчёта: δ = (Δ ÷ х2) × 100%, где Δ — абсолютная погрешность, а х2 — истинное значение какого-либо показателя.
Приведённая погрешность — это отношение абсолютной погрешности к единице измерения нормирующей шкалы.
Формула расчёта: Y = (Δ ÷ х3) × 100%, где Δ — абсолютная погрешность, а х3 — единица измерения нормирующей шкалы.
Любой аналитический сервис, как и измерительные приборы, имеет свою математическую погрешность. Можно сравнить это с обычной линейкой: есть эталон, относительно которого любая линейка будет измерять расстояние не совсем точно.
Как найти допустимое отклонение измерений: как правило, его указывают на самом приборе. А если речь о сервисе, средняя погрешность указывается в интерфейсе программы или справочных материалах.
Что такое случайные и систематические погрешности
Кроме отклонений в измерениях аналитических сервисов, существуют погрешности оценки. Они связаны с методикой оценки каких-либо показателей и могут быть случайными и систематическими.
Случайные погрешности
Возникают из-за непредвиденных сбоев в сборе данных или влияния внешних факторов. Например, если какой-либо товар мелькает в профиле известного блогера, на продукт может резко вырасти спрос. При этом данные о продажах с сайта нельзя будет использовать для прогнозирования дальнейшей прибыли, так как скачок спроса был случайным. Это утверждение справедливо, если речь не идёт о запланированных интеграциях.
Подобные случайности мало влияют на статистику и могут нивелироваться большим объёмом собранной информации.
Систематические погрешности
Это устойчивые ошибки, связанные с использованием методов сбора или анализа данных, которые приводят к регулярному отклонению результатов. В отличие от случайных погрешностей, систематические не компенсируются увеличением объёма данных.
Из-за чего они могут возникать:
Некорректно настроенные UTM-метки: отсутствие важных параметров в адресе или их дублирование, а также опечатки в UTM.
Ошибочные фильтры данных в аналитике: дублирование данных из-за неправильной настройки счётчиков, исключение важных для бизнеса параметров, например геометок. Также распространённая проблема — исключение или включение неверных IP-адресов в аналитику данных, например учёт или, наоборот, не учёт трафика сотрудников самой компании.
К чему может привести появление систематических ошибок в аналитике:
- Неверная оценка эффективности маркетинговых каналов — они выглядят более или менее результативными, чем есть на самом деле
- Неправильное определение ROI кампаний — так как специалист получает некорректные цифры о клиентах компании, он не может определить, окупаются ли вложенные в маркетинговый канал средства
- Ошибка в сегментации аудитории — из-за систематических проблем трудно определить, какие источники, рекламные кампании, объявления и другие инструменты приводят на сайт клиентов, где находятся покупатели, какого они возраста, пола и какие у них интересы
Из-за перечисленных причин маркетолог может отказаться от эффективных рекламных инструментов, так как не будет видеть их реальную пользу.
Какие погрешности в веб-аналитике встречаются чаще всего
- Некорректное отслеживание событий. Такая ситуация возникает, когда событие: клик по кнопке, просмотр страницы или добавление товара в корзину — не регистрируется корректно или не фиксируется вовсе. Подобное происходит по разным причинам: например, из-за неправильно настроенных или повреждённых скриптов отслеживания, а также из-за ошибок в коде, которые блокируют скрипты аналитических сервисов.
В результате: нельзя точно оценить конверсию страниц, проанализировать данные о пользователях и покупателях, можно сделать ошибочные выводы о поведении клиентов.
- Потери данных из-за блокировщиков рекламы. Эти программы могут влиять на сбор данных, так как они не только отключают рекламные объявления, но и препятствуют считыванию аналитических скриптов: UTM-меток, счётчиков и пикселей отслеживания. Это может привести к отсутствию данных о части аудитории, которая активно использует такие инструменты.
В результате: искажаются данные о трафике и конверсиях, нет точной информации о некоторых группах пользователей, появляются ошибки в оценке ROI рекламных кампаний.
- Неправильная интерпретация метрик. Проблема возникает, если специалист не обладает достаточным пониманием того, от чего зависят разные показатели и насколько они отличаются в разных сферах бизнеса. Например, для интернет-магазина конверсия — это покупка, а для блога или новостного сайта — подписка на рассылку или прочтение статьи, и маркетолог должен учитывать эти отличия при анализе информации.
В результате: неправильное определение целей, например отслеживание кликов вместо завершённой покупки, может привести к неверному восприятию эффективности продвижения.
Как минимизировать погрешность выборки
Погрешность выборки — разновидность погрешности оценки, когда выборка, которую используют в исследовании, не репрезентативна для всей совокупности данных. Часто такие ошибки появляются, если:
- Специалист использует для исследования неполный или содержащий ошибки массив данных. Например, он берёт для анализа базу покупателей за последние 10 лет, при этом не учитывает, что клиенты за это время могли переехать, мог измениться их социальный статус, интересы и другие характеристики аудитории.
- Маркетолог неверно определяет целевую аудиторию исследования или исключает из неё какие-либо основные группы. Например, специалист анализирует эффективность рекламы для бизнеса, который продаёт товары онлайн и офлайн, но учитывает только данные по покупкам в интернете. При этом он игнорирует клиентов, которые увидели объявление в поиске, а затем пришли в магазин.
Чтобы минимизировать подобные погрешности:
Увеличивайте объём выборки. Методика подойдёт, чтобы снизить влияние случайных факторов на точность информации. Чем больше данных, тем выше вероятность, что выборка будет отражать реальную картину, так как маленькие выборки часто содержат случайные отклонения.
Исследуйте отдельные группы ЦА. Анализируйте данные не по всем клиентам компании, а разделяйте их на отдельные группы по возрасту, полу, географии и другим характеристикам.
Пример: при анализе трафика из разных регионов России важно учитывать, что Москва и Санкт-Петербург могут занимать значительную долю трафика, но не полностью отражают поведение аудитории из других регионов.
Используйте случайные выборки (рандомизацию). Методика позволяет снизить влияние систематических погрешностей на точность данных. Например, если специалист исследует поведение пользователей на сайте, ему стоит выбирать случайные сеансы из общего массива данных, а не только тех пользователей, которые совершили конверсии.
Используйте контрольные группы. Создавайте группы, которые не подвергались воздействию, например не видели рекламы, и сравнивайте их поведение с тестируемой группой. Это позволит исключить влияние внешних факторов на результат анализа.
Проводите аудит выборки. Регулярно проверяйте, соответствует ли база данных текущей целевой аудитории. Например, если бизнес выходит на дополнительные рынки, нужно изучить характеристики и потребности новой группы целевой аудитории и учесть эту информацию для прогнозов и выводов.
Какие погрешности учитывать при работе с Яндекс Метрикой
Яндекс Метрика позволяет анализировать данные о пользователях, которые переходили на определённый сайт. Так как сбор и анализ всего массива данных о посетителях занимает много времени, сервис использует технологию семплирования при создании отчётов.
Семплирование — это статистический способ обработки информации, при котором анализируется только определённая часть от всех данных, то есть выборка. В Яндекс Метрике методика применяется, если на сайт совершили больше 500 000 визитов в заданной специалистом выборке или более 2 миллионов визитов в отдельных отчётах. При этом коэффициент семплирования автоматически определяется сервисом так, чтобы обеспечить построение отчёта по максимальному количеству данных. Это позволяет снизить погрешность в данных. Подробную информацию об этом можно найти в Яндекс Справке.
Также в Яндекс Метрике есть инструменты для анализа контекстной рекламы с учётом погрешностей, например «Директ, эксперименты». С помощью этого раздела специалист может тестировать рекламные гипотезы и затем создавать отчёты по разным сегментам аудитории с учётом их характеристик и поведения. Также в «Директ, экспериментах» есть возможность сравнивать поведение тестовой группы пользователей с контрольной группой, которая не видела запущенных объявлений.
На какие погрешности обращать внимание в аналитике опросов
Для анализа разных сегментов целевой аудитории и снижения погрешностей выборки можно использовать Яндекс Взгляд. В этом сервисе специалист может создавать опросы для исследования клиентов, таргетировать их на определённые группы ЦА и быстро получать обратную связь.
Яндекс Взгляд позволяет проводить опросы по многомиллионной базе пользователей Яндекса и офлайн-респондентам, что снижает влияние погрешностей выборки. Специалист может таргетировать вопросы по социально-демографическим характеристикам, географии, интересам и сегментам Яндекс Аудиторий. Результаты опросов отображаются в реальном времени, поэтому у маркетолога на руках всегда будут актуальные данные.
Выводы: какие погрешности учитывать при работе с маркетинговой аналитикой
- В первую очередь маркетолог должен учитывать погрешность самих аналитических сервисов, чтобы составлять отчёты, которые отображают реальное положение дел в продвижении компании.
- Кроме того, специалист должен уметь работать с погрешностями выборки: верно определять метрики, группы целевой аудитории и их характеристики. Также ему необходимо собирать достаточный массив данных, чтобы избежать появления систематических ошибок.
- Но главное — маркетологу нужно понимать специфику продвигаемого бизнеса и иметь полное представление о целевой аудитории, чтобы использовать статистику для принятия верных решений в бизнесе в целом и в маркетинге в частности.
