“Yandex Direct, experiments”报表
实验可帮助您测试不同版本的广告和着陆页,以及在 Yandex Direct 中进行不同的广告预测。 您可以测试任何广告系列设置、广告系列类型和媒体计划。
该报表可以帮助您确定实验的效果如何:您可以通过多种指标(例如,跳出率和停留时间)以及转化率,将测试组与控制组(如果在实验中使用)进行比较。 通过这种方式,您可以使用该报表根据一系列指标来分析实验结果。
如果您需要基于 CPA 的明确答案,请使用 A/B 测试可靠性计算器。 您可以更改显著性水平(p 值)。 在报表 “Yandex.Direct, experiments” 中,p 值为 68%。
要查看报表,请转到 Reports → Sources → Yandex Direct, experiments。
获取报表的条件
要运行测试,请在 Yandex Audience 中创建实验。 指定您需要的细分数量,以及用于划分受众群体的比例。 然后在 Yandex Direct 中为实验配置广告系列。
如果您在 Yandex Audience 中删除了一个实验,则在删除之前的时间段内,Yandex Metrica 中会提供有关该实验及其细分的统计数据。
如何进行实验
在启动实验之前,请为 Yandex Direct 中的实验活动指定明确的名称。 这样做可以让您更轻松地分析 Yandex Metrica 中的统计数据。
在名称中,请指定广告系列所针对的实验和群组。 例如,如果您的实验中有一组是控制组(您将与其他组的结果进行比较),则应在针对该组的广告系列名称中注明这一点。
在 Yandex Direct 中启动实验广告系列后,您可以检查实际上实验是否已经开始。 要实现这一目的,请在 Yandex Metrica 报表“Direct, experiments”中创建细分,并包含所有参与实验的广告系列。 如果报表显示这些广告系列的会话和其他统计数据,则实验已启动。
提示
保存已创建细分 — 稍后您在查看统计数据时将需要它。
为什么要创建细分
在 Yandex Audience 中创建实验后,系统会为 Yandex 用户随机划分实验组。 实验可能同时包括访问过和未访问过广告商网站的用户。 访问该网站的用户可能已通过 Yandex Direct 广告以外的其他方式到达网站。 要选择仅来自广告的会话,请创建包含相关 Yandex Direct 广告系列的细分。
评估实验结果
备注
我们建议您在启动实验两周后再使用“Yandex Direct, experiments”报表评估数据。
在 “Yandex Direct, experiments” 报表中:
- 选择要分析的实验。
- 选择为实验创建的包含 Yandex Direct 广告系列的细分。 如果您还没有细分,请遵循我们的建议创建细分。
- 比较实验的细分。 单击 Comparison mode,并选择一个控制组来比较其他组的结果。
备注
要比较实验广告系列和控制广告系列的有效性,您可以将之前创建的目标添加到报表中。
在比较模式下,某些指标会以不同的颜色突出显示:
- 如果有足够的数据可以评估实验结果,则会显示绿色或红色标记。 绿色表示此指标明显优于控制组。 红色表示此指标明显劣于控制组。
- 灰色表示虽有足够数据,但控制组中的指标值与测试组并无差异。
如果比较模式不适用于所选指标或没有积累足够的数据,则不会显示颜色。 请再等待一段时间或使用其他设置启动实验,以便收集更多的流量。
以不同的颜色突出显示的指标
- 浏览次数
- 会话
- Converted session
- 用户
- Converted user
- 目标完成数量
- 每个用户的转化次数
- Conversions
- 用户转化率
- 跳出
- 商品浏览量
- 浏览过该商品的用户数量
- 加入购物篮的商品数量
- 移出购物篮的商品数量
- 将商品加入购物篮的用户数量
- 购买的商品数量
- 购买商品的访客数量
- 未接来电的百分比
- 首次来电的百分比
- 来自唯一电话号码的来电次数
您可以将其他指标添加到报表中。 仅以上列表中包含的指标会以不同颜色突出显示。
数据解读
您可以使用报表按不同指标对广告系列进行比较。 这样做可以帮助您了解基于哪些指标,某项广告系列应该较其他广告系列更富有成效。
要验证实验结果,您可以考虑误差幅度。 这是指标实际值与其真实值之间可能存在的偏差,或者在实验广告系列无限期进行时,指标将努力达到的值。 要考虑误差幅度,请单击 Comparison mode 并启用误差幅度的显示。
报表中的误差幅度是相对的。 它的指标反映了值可能的扩散百分比。 误差幅度越低,指标值准确的概率越高。 误差幅度越高,偏差越大。 在其他条件相同的情况下,您可以认为误差幅度较低的广告系列指标更理想。
报表结构和设置
报表中的数据按照在 Yandex Audience 中创建的实验名称进行分组。 您只能将用于进行实验的群组和细分添加到报表中。
某些指标仅在满足条件时才会计算和显示:
指标 |
条件 |
Converted session |
设定目标。 |
转化的用户数量 |
|
Conversions |
|
每个用户的转化次数 |
|
转化率 |
|
用户转化率 |
|
商品浏览量 |
将电商数据传送到 Yandex Metrica。 |
浏览过该商品的用户数量 |
|
加入购物篮的商品数量 |
|
移出购物篮的商品数量 |
|
将商品加入购物篮的用户数量 |
|
购买的商品数量 |
|
购买商品的用户数量 |
|
未接来电的百分比 |
将来电相关信息传送到 Yandex Metrica。 |
首次来电的百分比 |
|
来自唯一电话号码的来电次数 |
您可以在 Yandex.Direct 的其他报表(例如 Yandex.Direct, summary)中查看实验的总体统计数据:
实验名称在 Yandex Metrica 中显示为分组条件。 例如,您可以在实验中查看广告系列的统计数据。
在 Yandex Audience 中创建的细分在 Yandex Metrica 中显示为细分条件。 例如,您只能查看处于所选实验细分中的用户的会话深度。
问题与解答
如何比较跳出率和转化率
要比较实验广告系列和控制广告系列中的跳出率和转化率,请在比较模式下将相关列切换为相对值 ()。 您将看到实验广告系列中的指标值与对照广告系列相比的差异百分比,而不是像其他 Yandex Metrica 报表中那样显示该指标在“Total and average”中的占比。
例如,如果在实验广告系列的 Bounce rate 列中看到 100%,则意味着控制组和实验组的跳出率相同。
如何比较指标
Yandex Metrica 根据每个指标的行为使用不同的方法来验证指标的统计显著性。 该比较考虑了实验组和控制组的分布,而不是绝对值。