A/B Deneyleri

A/B deneyleri kullanılabilir:

• Birleşik performans kampanyası içerisinde, siteler ve uygulamaların tanıtımı amacıyla, mesajlaşma uygulamalarında gösterim yapılan kampanyalar hariç;
• medya kampanyalarında.

1. Adım Hipotezi formüle edin

Deneyler, Direct kampanyalarındaki hangi ayarların işletmeniz için en etkili olduğunu kontrol etmenizi sağlar. Örneğin, farklı reklam ögeleri, promosyonlar ve açılış sayfaları ile kampanyaları karşılaştırabilir veya ayar değişikliklerinin etkinliği nasıl etkilediğini test edebilirsiniz.

Bir deneyde yalnızca bir hipotezi ve bir parametreyi test etmek daha iyidir.

A/B deneyleri için sınırlamalar

• Toplam aktif deney sayısı — en fazla 50.
• Bir kampanyada aktif deney sayısı:
  • Birleşik Performans Kampanyası'nda — en fazla 5;
  • medya kampanyalarında — en fazla 4.
• Deneydeki benzersiz kampanyaların toplam sayısı — en fazla 50.
• Bir deneyde seçenek sayısı — 2 ile 20 arasında.

2. Adım Test edilecek kampanyaları oluşturun

Deney kapsamında yalnızca kampanyaları veya bir kampanya içindeki farklı ayarları karşılaştırabilirsiniz. Test etmek istediğiniz ayar dışında tamamen aynı olan iki kampanya oluşturun. Bir kampanya içinde farklı teklifleri test etmeniz gerekiyorsa, aynı kampanyayı her iki seçeneğe de ekleyin.

Durdurulan bir kampanyaya deneyi ekledikten sonra kampanya otomatik olarak başlatılacaktır.

3. Adım Direct'te deney ayarlayın

Yeni bir deney oluşturun

Yeni bir A/B deneyi eklemek için aşağıdaki yöntemlerden birini kullanabilirsiniz:

• Sol menüde Kitaplık bölümünde A/B deneyleri → Deney ekle butonuna tıklayın.

• Kampanya ek ayarlarında A/B deneyleri bloğuna gidin ve Deneylere geçin → Bir deney ekle butonuna tıklayın.

• Sayfada Kampanyalar gerekli kampanyanın adının yanında üç noktalı simgeye tıklayın ve menüde A/B deneyleri → Deneylere geçin → Deney ekle seçeneğini belirleyin.

  

Parametreler blokunu doldurun

1. Deneyin ana metriğini seçin. Ana metrik hipotezinizi yansıtır fakat sonuçların hesaplanmasını etkilemez; raporda tüm kullanılabilir metrikler hesaplanacaktır.

2. Deneyin başlatılmasından kaç gün sonra raporu analiz etmeyi planladığınızı belirtin. Süre, sonucu kaç gün sonra görmeyi beklediğinizi gösterir. Ancak deney, siz durdurana kadar devam edecektir.

3. Dönüşüm istatistiklerini almak istediğiniz hedefi seçin:

   • Eğer bir deneyi, siteyi tanıtmak amacıyla yapılan kampanyalar için başlatıyorsanız ve hedefler belirtmek istiyorsanız — Yandex Metrica sayacını belirtin ve listeden bir hedef seçin.

   • Eğer bir uygulama tanıtım kampanyası için deney başlatıyorsanız, Uygulama tanıtımı seçeneğini listeden seçin.

   “Dönüşümler” ve “Dönüşüm %” metriklerinde varsayılan olarak tüm hedefler dikkate alınır.

Kampanya seçeneklerini seçin

Test edilecek seçeneklerin sayısını belirleyin. Deney sonuçları raporunda tüm seçenekler kontrol grubu ile karşılaştırılacaktır.

1. Kontrol ve test seçeneklerinde gerekli kampanyaları seçin. Her seçeneğe bir veya daha fazla kampanya ekleyebilirsiniz.

2. Her seçenek için örnekleme yüzdesini belirtin. Hedef kitleyi eşit olarak bölmenizi öneririz. Kampanya bütçelerinin örneklemelere orantılı olduğundan emin olun.

3. Gerekirse ayarlamaları etkinleştirin. Bunlar örneğin bir kampanya içinde farklı teklifleri test etmek istiyorsanız gereklidir. Bu durumda aynı kampanyayı kontrol ve test seçeneğine ekleyin ve ayarlamaları yapın.

Mevcut deneylere kampanya nasıl eklenir

Mevcut deneylere kampanya eklemek için aşağıdaki yöntemlerden birini kullanın:

• Kampanya ek ayarlarında A/B deneyleri bloğuna gidin ve Ekle düğmesine tıklayın.

• Sayfada Kampanyalar gerekli kampanya adının yanında üç noktalı simgeye tıklayın ve menüde A/B deneyleri → Ekle seçeneğini belirleyin.

• Kampanyalar sayfasında bir veya birden fazla kampanyayı seçin ve İşlemler → A/B deneyleri → Deneye ekle öğesine tıklayın.

• Sayfada Kampanyalar sütununda Durum altında deneyler işaretine tıklayın.

Deney listesinde onların durumunu görebilirsiniz.

4. Adım Deney istatistiklerini değerlendirin

Deney raporunu açmak için Kitaplık bölümünde A/B deneyleri → Deney Adı → Rapor seçeneğine tıklayın veya deneme ayarlarında Rapor sekmesine gidin.

Raporda tüm metrikler hesaplanacaktır. Ana metrik ilk sırada yer alacaktır.

Rapor, her test seçeneği için metrik değerlerini gösterir. Bunlar genişletilebilir ve her kampanya için değerler görülebilir. Rapor, Rapor Sihirbazı’nda mevcut olan verilere dayanarak oluşturulur.

Sonuç tablosunda p-value değerine bağlı olarak hücrelerin renk vurgulaması kullanılır. P‑value 0,2’den azsa hafif vurgulama uygulanır, 0,05’ten azsa parlak vurgulama uygulanır. Hücrelerin renk vurgulaması ayrıca sonucun etkinliğine de bağlıdır. Örneğin, gösterim sayısı artarsa hücre yeşil renkte olur, dönüşüm fiyatı artarsa kırmızı renkte olur.

Yüzde olarak gösterilen fark, kontrol grubuna göre gösterilir.

Tablodaki her hücrede iki metrik değeri belirtilmiştir: Alt kısımda gerçek mutlak değer, üst kısımda örnekleme katsayısı ile çarpılmış değer, böylece %100’e eşit olur.

Deney sonuçları nasıl analiz edilir

Öğrenme dönemini ve biriktirilmiş verileri dikkate alın

Analiz doğru olması için kampanyalar eşit koşullarda olmalıdır.

Her kampanya için deneyde eğitim süresi gerekli — ortalama 7 ila 14 gün. Sonuçlar çıkarmadan önce, her seçenek için haftada en az 10 dönüşüm olması koşuluyla yeterli veri miktarının biriktiğinden emin olun.

Eğer yeni bir kampanyayı çalışan bir kampanya ile karşılaştırıyorsanız, aktif kampanyanın biriktirilmiş istatistiklerinin etkisini göz önünde bulundurun. Bu durumlarda testin toplam süresini artırın (örneğin dört haftaya kadar) ve sonuçları dönemin son segmentlerine göre değerlendirin (örneğin dördüncü haftanın göstergelerine göre). Bu noktada her iki kampanya da yeterli veri toplayacak ve karşılaştırma daha objektif olacak.

Bütçe döngülerine göre sonuçları değerlendirin

Lütfen göz önünde bulundurun: ayrı ayrı günler bazında yapılan analiz güvenilir olmayan sonuçlar verebilir.

Eğer haftalık bütçeler kullanıyorsanız, sonuçları tam takvim haftalarına göre değerlendirin.

En az iki tam bütçe aralığına ait verileri kullanın. Bu, kısa vadeli faktörlerin (hafta sonları, tatiller, talep patlamaları) etkisini azaltmaya ve elde edilen sonuçların kararlılığını doğrulamaya yardımcı olacaktır.

Hedef metrikler üzerinde odaklanın

Eğer kampanya dönüşüm sayısına optimize edilmişse, sistem tam olarak bu göstergeyi artırmaya çalışacaktır. Bununla birlikte, yardımcı metriklerin değerleri (örneğin, gösterim veya tık sayısı) A ve B seçenekleri arasında farklılık gösterebilir.

5. Adım Deneyi tamamlayın

Hangi seçeneğin sizi memnun ettiğini analiz edin ve deneyi tamamlayın. Bunu iki şekilde yapabilirsiniz:

• Rapor varsayılan olarak kilit metrikte en büyük değişiklik olan seçeneği seçer. Sonuç sizi memnun ediyorsa, %100 Başlat seçeneğine basın. Seçilen kampanyalar, deney örneklemesi sınırlaması olmadan çalışmaya devam edecek, diğerleri durdurulacaktır.

• Deneyler listesindeki tabloda veya raporun sağ üst köşesinde Deneyi durdur seçeneğine basın. Tüm kampanyaları veya bazılarını seçin – bunlar mevcut ayarlarla ve örnekleme sınırlaması olmadan çalışmaya devam edecek. Tüm işaretleri kaldırırsanız – deneydeki tüm kampanyalar durdurulacaktır.

Başka sorunuz var mı?

QR kodunu tarayın veya bağlantıya gitmek için koda tıklayın.