A/B Testi

A/B testinde genellikle mevcut sürüm kontrol grubu olarak “A”, değişiklik içeren sürüm ise “B” olarak kullanılır. Uygun kullanıcılar varyasyonlara rastgele dağıtılır ve sonuçlar belirlenen metrikler üzerinden karşılaştırılır. Optimizely de A/B testini iki varyasyonun rastgele kullanıcı gruplarında performansının ölçüldüğü kontrollü deney yöntemi olarak açıklar.[1]

Testin amacı yalnızca hangi versiyonun daha yüksek sayı ürettiğine bakmak değildir. Deney başlamadan önce hipotezin, ana metriğin, örnekleme yaklaşımının ve testin hangi kullanıcı grubunda yürütüleceğinin belirlenmesi gerekir.

Bir sonuçta fark görülmesi de otomatik olarak “B kazandı” demek değildir. Farkın istatistiksel belirsizliği, test süresi, örneklem büyüklüğü ve deney tasarımı dikkate alınmalıdır. Ayrıca istatistiksel olarak anlamlı bir fark, işletme açısından mutlaka büyük veya değerli bir etki olduğu anlamına gelmez.

A/B testi ile çok değişkenli test aynı şey değildir. A/B testinde iki veya daha fazla bütün varyasyon karşılaştırılabilirken, multivariate test birden fazla öğenin kombinasyonlarını aynı deney içinde inceleyebilir.

Dönüşüm optimizasyonunda görüşler kolayca “bu tasarım daha iyi” tartışmasına dönebilir. A/B testi, uygun trafik ve doğru deney tasarımı olduğunda bu tartışmayı ölçülebilir hipotezlere çevirmeye yardımcı olur. Ancak düşük trafik, hatalı ölçüm veya sürekli test kurcalama gibi sorunlar deneyin güvenilirliğini zayıflatabilir.