Relatório "Yandex Direct, experimentos"
Os experimentos servem para testar diferentes versões de anúncios e páginas de destino, assim como diferentes previsões para publicidade no Yandex Direct. Você pode testar diversas configurações de campanha, tipos de campanha e planos de mídia.
O relatório ajuda a determinar o grau de sucesso de um experimento: é possível comparar grupos de teste entre si e com o grupo-controle (se você o utilizar no experimento) em relação a uma variedade de métricas (por exemplo, rejeições e tempo no site) e também à taxa de conversão. Sendo assim, você pode usar o relatório para analisar o resultado de um experimento com base em um conjunto de métricas.
Caso você precise de uma resposta clara com base no CPA, use a calculadora de confiabilidade de testes A/B. Você pode alterar o nível de relevância (valor-p). No relatório "Yandex Direct, experimentos", o valor-p é de 68%.
Para ver o relatório, acesse Relatórios → Origens → Yandex Direct, experimentos.
Condições de obtenção do relatório
Para fazer um teste, crie um experimento no Yandex Audience. Especifique quantos segmentos você deseja e que proporções usar para dividir o público. Em seguida, configure campanhas publicitárias para o experimento no Yandex Direct.
Se você deletar um experimento no Yandex Audience, as respectivas estatísticas e segmentos relativas ao período anterior à exclusão estarão disponíveis no Yandex Metrica.
Como realizar um experimento
Antes de lançar o experimento, dê nomes explícitos para as suas campanhas experimentais no Yandex Direct. Desse modo, ficará mais fácil para você analisar estatísticas no Yandex Metrica.
No nome, especifique o experimento e o grupo para o qual a campanha é direcionada. Por exemplo, se um dos grupos do seu experimento for um grupo-controle (você vai comparar os resultados dos outros grupos com ele), isso deve estar escrito no nome da campanha direcionada a ele.
Depois de lançar uma campanha experimental no Yandex Direct, você pode verificar se o experimento realmente foi iniciado. Para isso, no relatório "Direct, experimentos" do Yandex Metrica, crie um segmento com todas as campanhas envolvidas no experimento. Se o relatório mostrar sessões e outras estatísticas dessas campanhas, então o experimento foi lançado.
Sugestão
Salve o segmento criado — você precisará dele mais tarde ao visualizar as estatísticas.
Por que é preciso criar um segmento
Após a criação de um experimento no Yandex Audience, o sistema divide os usuários Yandex aleatoriamente em grupos experimentais. O experimento pode incluir usuários que visitaram o site do anunciante e usuários que não visitaram. Os usuários que visitaram o site podem ter chegado lá de outra forma que não por um anúncio do Yandex Direct. Para selecionar apenas sessões oriundas de anúncios, crie um segmento com as campanhas pertinentes do Yandex Direct.
Avaliação dos resultados do experimento
Observação
Recomendamos que você comece a avaliar os dados usando o relatório "Yandex Direct, experimentos" duas semanas após o lançamento de um experimento.
No relatório "Yandex Direct, experimentos":
- Selecione o experimento que você deseja analisar.
- Selecione o segmento com as campanhas do Yandex Direct que você criou para o experimento. Caso ainda não tenha um segmento, crie um seguindo nossas recomendações.
- Compare os segmentos do experimento. Clique em Modo comparativo e selecione um grupo-controle para comparar com os resultados dos outros grupos.
Observação
Para comparar a eficácia de uma campanha experimental e de controle, é possível adicionar objetivos criados previamente ao relatório.
No modo comparativo, algumas métricas são realçadas com cores:
- Marcações em verde ou vermelho, se houver dados suficientes para avaliar o resultado do experimento. Verde significa que essa métrica foi consideravelmente melhor do que no grupo-controle. Vermelho significa que consideravelmente pior.
- Cinza significa que há dados suficientes, mas os valores das métricas no grupo-controle não diferem das do grupo testado.
Se o modo comparativo não estiver disponível para a métrica selecionada ou se não houver dados acumulados suficientes, não haverá cor nenhuma. Aguarde um pouco mais ou inicie um experimento com outras configurações, que permitam coletar mais tráfego.
Métricas que são realçadas com cores
- Visualizações de página
- Sessões
- Sessões convertidas
- Usuários
- Usuários convertidos
- Conclusões de objetivo
- Conversões por usuário
- Conversões
- Taxa de conversão, usuários
- Rejeições
- Visualizações de produto
- Usuários que visualizaram o item
- Itens adicionados à cesta
- Itens removidos da cesta
- Número de usuários que adicionaram o produto à cesta
- Produtos comprados
- Número de visitantes que compraram o produto
- Percentual de chamadas perdidas
- Percentual de primeiras chamadas
- Número de chamadas de números de telefone únicos
É possível adicionar outras métricas ao relatório. Apenas as que estão na lista acima serão realçadas com cores.
Interpretação de dados
É possível usar o relatório para comparar campanhas publicitárias segundo diferentes métricas. Isso contribui para entender segundo quais métricas uma campanha deve ser mais eficaz que outra.
Para verificar os resultados de um experimento, pode-se levar em conta a margem de erro. Trata-se do possível desvio do valor da métrica em relação ao seu valor verdadeiro, ou aquele a que ela tenderia se a campanha experimental fosse conduzida indefinidamente. Para considerar a margem de erro, clique em Modo comparativo e habilite a exibição da margem de erro.
A margem de erro do relatório é relativa. O indicador reflete a possível variação do valor em percentual. Quanto menor for a margem de erro, maior a probabilidade de o valor da métrica estar exato. Já com uma margem maior, o desvio será maior. Você pode pressupor que, tudo o mais constante, os indicadores de uma campanha publicitária serão melhores quando a margem de erro for menor.
Estrutura e configurações do relatório
Os dados do relatório são agrupados pelo nome do experimento criado no Yandex Audience. Só é possível adicionar ao relatório os grupos e segmentos que foram criados para conduzir o experimento.
Algumas métricas serão calculadas e exibidas apenas quando a condição for atendida:
|
Métrica |
Critério |
|
Sessões convertidas |
|
|
Usuários convertidos |
|
|
Conversões |
|
|
Conversões por usuário |
|
|
Taxa de conversão |
|
|
Taxa de conversão de usuários |
|
|
Visualizações de item |
Informe os dados de E-Commerce para o Yandex Metrica. |
|
Usuários que visualizaram o item |
|
|
Itens adicionados à cesta |
|
|
Itens removidos da cesta |
|
|
Número de usuários que adicionaram um item à cesta |
|
|
Itens comprados |
|
|
Número de usuários que compraram itens |
|
|
Percentual de chamadas perdidas |
Informe informações sobre chamadas para o Yandex Metrica. |
|
Percentual de primeiras chamadas |
|
|
Número de chamadas de números de telefone únicos |
É possível ver estatísticas gerais de um experimento em outros relatórios do Yandex Direct, por exemplo Yandex Direct, sumário:
O nome do experimento é exibido como uma condição de agrupamento no Yandex Metrica. Por exemplo, você pode ver as estatísticas de uma campanha publicitária como parte de um experimento.
Um segmento criado no Yandex Audience é exibido como condição de segmentação no Yandex Metrica. Por exemplo, você só consegue ver a profundidade de sessão daqueles usuários que estavam no segmento selecionado do experimento.
Perguntas e respostas
Como comparar conversão e taxa de rejeição
Para comparar conversão e taxa de rejeição em campanhas experimentais e de controle, mude a coluna desejada para valores relativos no modo comparativo (
). Você verá o percentual de diferença do valor da métrica na campanha experimental em relação à campanha de controle, e não a parcela representada por essa métrica em "Total e média", como em outros relatórios do Yandex Metrica.
Por exemplo, se você vir 100% na coluna Taxa de rejeição de uma campanha experimental, isso significa que a taxa de rejeição é a mesma nos grupos controle e experimental.
Como as métricas são comparadas
O Yandex Metrica usa diferentes métodos para verificar a relevância estatística das métricas, com base no comportamento de cada uma delas. A comparação leva em conta a variação entre os grupos experimental e controle, não os valores absolutos.