A/B testi, bir sayfanın veya kullanıcı deneyiminin iki farklı versiyonunu benzer kullanıcı gruplarına göstererek hangi versiyonun belirlenen hedefte daha iyi performans verdiğini ölçme yöntemidir. E-ticarette bu hedef satın alma, sepete ekleme, form gönderimi, ürün görüntüleme, checkout başlatma veya gelir gibi doğrudan ticari metrikler olabilir.
A/B testinin asıl değeri tasarım tercihlerinde tahmin yürütmeyi azaltmasıdır. Bir butonun renginin, başlığın, fiyat gösteriminin veya ürün sayfasındaki teslimat bilgisinin daha iyi çalışacağını düşünmek başka şeydir; gerçek kullanıcı davranışında daha iyi sonuç verdiğini ölçmek başka şeydir.
Bu nedenle iyi bir A/B testi yalnızca iki tasarımı karşılaştırmaz. Önce veriyle bir problem tespit edilir, sonra neden yaşandığına dair hipotez oluşturulur, yalnızca bu hipotezi test edecek değişiklik yapılır ve sonuç dönüşüm verileri üzerinden değerlendirilir. CRO çalışmalarında A/B testinin asıl amacı sürekli daha fazla değişiklik yapmak değil, hangi değişikliğin kullanıcı davranışını gerçekten iyileştirdiğini kanıtlamaktır.
A/B Testi Nedir?
A/B testinde mevcut sürüm genellikle A veya kontrol grubu olarak adlandırılır. Değiştirilen sürüm ise B veya varyasyon grubudur.
Örneğin bir ürün sayfasında mevcut durumda sepete ekle butonunun altında teslimat bilgisi bulunmadığını düşünelim. Kullanıcı araştırmalarında müşterilerin ürünün ne zaman teslim edileceğini merak ettiği görülüyorsa B varyasyonunda butonun hemen altında tahmini teslimat tarihi gösterilebilir.
Trafiğin bir bölümü mevcut sayfayı, diğer bölümü yeni sayfayı görür. Daha sonra iki grubun sepete ekleme ve satın alma oranları karşılaştırılır.
Buradaki kritik nokta A/B testinin yalnızca estetik tercihler için kullanılmamasıdır. Şu iki yaklaşım arasında büyük fark vardır:
Birincisi, butonu yeşil yapalım, belki daha fazla tıklanır.
İkincisi, kullanıcı testlerinde ana CTA’nın fark edilmediğini gözlemledik. Butonun görsel hiyerarşisini güçlendirmenin sepete ekleme oranını artıracağını düşünüyoruz.
İkinci yaklaşım ölçülebilir bir probleme ve hipoteze dayanır.
A/B Testi Neden Yapılır?
A/B testi e-ticaret sitelerinde çoğunlukla dönüşüm oranını artırmak için kullanılır ancak kullanım alanı bundan daha geniştir. Asıl amaç kullanıcı davranışını ölçerek hangi deneyimin iş hedeflerine daha fazla katkı sağladığını bulmaktır.
Örneğin ürün sayfasına daha fazla güven unsuru eklemek kullanıcıların sepete ekleme oranını artırabilir. Ancak aynı değişiklik sayfayı gereğinden fazla kalabalıklaştırıp mobil deneyimi kötüleştirebilir. A/B testi bu etkinin varsayımla değil veriyle ölçülmesini sağlar.
Testler şu tür sorulara cevap verebilir:
- Ürün fiyatının yanında ücretsiz kargo bilgisini göstermek satın almayı artırıyor mu?
- Sticky sepete ekle butonu mobil dönüşüm oranını yükseltiyor mu?
- Tek adımlı checkout, mevcut checkout yapısından daha iyi performans gösteriyor mu?
- Daha kısa Landing page formu daha fazla nitelikli lead getiriyor mu?
- Ürün yorumlarını fiyatın yakınına taşımak kullanıcı güvenini artırıyor mu?
- Ana sayfadaki banner yerine kategori odaklı yapı daha fazla ürün keşfi sağlıyor mu?
A/B testinin özellikle CRO sürecinde önemli olmasının nedeni, kullanıcı deneyimini daha iyi hale getiren her değişikliğin doğrudan dönüşüm artırmayabilmesidir. Bir tasarım daha güzel görünebilir ama satın alma davranışında hiçbir fark yaratmayabilir.
A/B Testi Nasıl Yapılır?
Sağlıklı bir A/B testi doğrudan varyasyon hazırlayarak başlamaz. Önce problem belirlenir.
Örneğin GA4 verisinde ürün görüntülemelerinin yüksek ancak sepete ekleme oranının düşük olduğunu fark ettiniz. Ardından Hotjar kayıtlarında kullanıcıların beden tablosını aradığını veya teslimat bilgisini bulamadığını gördünüz.
Bu durumda problem ürün sayfasında kullanıcı belirsizliği olabilir.
A/B test süreci genel olarak şu sırayla yürütülmelidir:
- Problem veriden tespit edilir.
- Problemin nedenine ilişkin hipotez oluşturulur.
- Birincil başarı metriği belirlenir.
- Kontrol ve varyasyon hazırlanır.
- Trafik rastgele gruplara dağıtılır.
- Test yeterli veri oluşana kadar çalıştırılır.
- Sonuç istatistiksel ve ticari açıdan değerlendirilir.
- Kazanan varyasyon gerekiyorsa kalıcı hale getirilir.
- Sonraki test için yeni problem seçilir.
En önemli noktalardan biri aynı testte çok fazla şeyi değiştirmemektir. Başlık, buton, fiyat, görseller ve sayfa düzenini aynı anda değiştirirseniz sonuç farklı çıksa bile hangi değişikliğin etkili olduğunu anlayamazsınız.
A/B Testi İçin Hipotez Nasıl Oluşturulur?
Hipotez, yapılacak değişikliğin neden sonuç üretmesini beklediğinizi açıkça tanımlamalıdır.
İyi bir hipotez üç parçadan oluşur:
Gözlem + değişiklik + beklenen sonuç
Örneğin:
Kullanıcı kayıtlarında mobil ziyaretçilerin sepete ekle butonunu görmek için aşağı kaydırdığı görülüyor. Mobil ekranda sticky sepete ekle butonu kullanılırsa CTA sürekli görünür olacağı için sepete ekleme oranının artacağını düşünüyoruz.
Bu hipotezin güçlü olmasının nedeni somut bir davranış problemine dayanmasıdır.
Zayıf hipotez ise şöyledir:
Sticky buton kullanırsak dönüşüm artabilir.
Burada neden artacağı açıklanmamıştır.
Hipotez oluşturmak için yalnızca analitik verilere değil kullanıcı davranışı verilerine de bakılmalıdır. GA4 hangi noktada problem olduğunu gösterebilir. Hotjar gibi araçlar ise kullanıcının o noktada ne yaptığını daha iyi anlamanıza yardımcı olabilir.
Örneğin yüksek çıkış oranını Analytics gösterirken, kullanıcıların teslimat sekmesini sürekli açıp kapatması veya form alanında takılması Hotjar kayıtlarında görülebilir.
A/B Testinde Hangi Öğeler Test Edilir?
Teorik olarak sayfadaki birçok öğe test edilebilir ancak test önceliği potansiyel ticari etkiye göre belirlenmelidir.
Bir ürün sayfasında küçük ikon değişikliğini test etmek yerine karar vermeyi doğrudan etkileyen unsurlara öncelik verilmelidir.
E-ticarette yüksek etkili test alanları arasında şunlar bulunur:
- Ürün başlığı ve ana mesaj
- Sepete ekle CTA’sı
- Fiyat ve indirim sunumu
- Kargo ve teslimat bilgisi
- Ürün yorumlarının konumu
- Ürün görselleri ve video kullanımı
- Beden veya varyant seçimi
- Güven mesajları
- Ücretsiz kargo eşiği
- Checkout form yapısı
- Landing page form uzunluğu
- Mobil sticky CTA
- Ürün önerileri ve cross-sell alanları
Test konusu seçerken kullanıcı yolculuğundaki darboğaza odaklanmak gerekir.
Örneğin kullanıcıların yüzde 70’i ürün sayfasında çıkıyorsa checkout butonu testi öncelikli değildir. Problem daha erken aşamadadır.
A/B Testi Ne Kadar Süre Çalıştırılmalıdır?
A/B testinin süresi yalnızca gün sayısıyla belirlenmez. Gerekli süre trafik hacmine, mevcut dönüşüm oranına, beklenen etki büyüklüğüne ve testin ihtiyaç duyduğu örneklem sayısına bağlıdır.
Bu nedenle 7 gün geçti, testi kapatalım yaklaşımı doğru değildir.
Test şu koşulları sağlamadan sonuçlandırılmamalıdır:
- Yeterli kullanıcı her iki varyasyonu görmüş olmalı
- Yeterli dönüşüm gerçekleşmiş olmalı
- Haftanın farklı günleri mümkün olduğunca kapsanmalı
- Kampanya veya trafik yapısında olağan dışı değişiklik yaşanmamalı
- İstatistiksel belirsizlik kabul edilebilir seviyeye gelmeli
Özellikle e-ticarette testi yalnızca birkaç gün çalıştırmak yanıltıcı olabilir. Hafta sonu kullanıcı davranışı hafta içine göre farklı olabilir.
Bir testin cuma günü başlayıp pazartesi bitirilmesi yerine mümkünse tam iş haftalarını kapsaması daha sağlıklıdır.
Düşük trafikli sitelerde ise testin çok uzun sürmesi başka sorun oluşturabilir. Fiyatlar, kampanyalar, sezon veya trafik kaynakları değiştikçe test ortamı sabitliğini kaybedebilir.
Bu nedenle düşük trafik bulunan mağazalarda çok küçük değişiklikler yerine daha yüksek etki potansiyeli taşıyan testler tercih edilmelidir.
İstatistiksel Anlamlılık Nedir?
İstatistiksel anlamlılık, A ve B varyasyonları arasındaki farkın yalnızca rastlantıdan kaynaklanma ihtimalinin ne kadar düşük olduğunu anlamaya yardımcı olur.
Örneğin:
A varyasyonu 100 ziyaretçiden 4 satış aldı.
B varyasyonu 100 ziyaretçiden 6 satış aldı.
B varyasyonu yüzde 50 daha iyi görünüyor olabilir ancak yalnızca iki ek satış söz konusu olduğu için fark tamamen tesadüfi olabilir.
Aynı oran binlerce kullanıcı üzerinde tekrarlandığında sonuç çok daha güvenilir hale gelir.
Bu nedenle yalnızca dönüşüm oranındaki yüzdesel farkı değerlendirmek yeterli değildir.
İstatistiksel değerlendirmede şu veriler birlikte dikkate alınmalıdır:
- Örneklem büyüklüğü
- Kontrol dönüşüm oranı
- Varyasyon dönüşüm oranı
- Minimum tespit edilebilir etki
- Güven düzeyi
- Test süresi
Bir başka önemli konu da istatistiksel olarak anlamlı sonucun her zaman ticari olarak anlamlı olmamasıdır.
Örneğin milyonlarca ziyaretçisi bulunan bir mağazada yüzde 0,1 dönüşüm artışı istatistiksel olarak güçlü olabilir. Ancak bu değişikliğin geliştirme maliyeti çok yüksekse ticari açıdan öncelikli olmayabilir.
Tersi durumda yüzde 5 gelir artışı ticari olarak çok önemli olabilir ancak örneklem düşük olduğu için henüz yeterince güvenilir olmayabilir.
E-Ticarette A/B Testi Nasıl Yapılır?
E-ticarette A/B testi yaparken yalnızca tıklama oranını değil satın alma yolculuğunun tamamını takip etmek gerekir.
Örneğin yeni CTA sepete ekleme oranını yüzde 15 artırabilir ancak kullanıcılar daha düşük satın alma niyetiyle sepete ürün ekliyorsa purchase oranı aynı kalabilir.
Bu nedenle testlerde yalnızca mikro dönüşüm değil, mümkün olduğunda nihai iş metriği de takip edilmelidir.
Bir ürün sayfası testinde birincil metrik add_to_cart olabilirken, guardrail olarak purchase ve revenue per user ölçülebilir.
Checkout testinde ise doğrudan purchase veya checkout completion rate daha anlamlıdır.
Ürün Sayfasında A/B Testi Nasıl Yapılır?
Ürün sayfasında test yapılırken öncelikle kullanıcıların ürünü satın almadan önce hangi sorulara cevap aradığı belirlenmelidir.
Örneğin kullanıcı kayıtlarında beden tablosunun yoğun kullanıldığı ve iade oranının yüksek olduğu görülüyorsa ürün sayfasındaki beden seçimi test edilebilir.
Kontrol sürümünde klasik beden dropdown’ı olabilir.
B varyasyonunda her beden ayrı butonla gösterilebilir ve hemen altında beden rehberi yer alabilir.
Burada ölçülmesi gereken yalnızca beden seçimine tıklama değildir. Sepete ekleme ve satın alma oranı da takip edilmelidir.
Başka bir örnek teslimat bilgisidir.
A sürümünde teslimat bilgisi sekmenin içinde gizlidir.
B sürümünde sepete ekle butonunun hemen altında Tahmini teslimat: 23-24 Eylül bilgisi gösterilir.
Hipotez, teslimat belirsizliğinin azalmasının satın alma kararını hızlandıracağıdır.
Ürün sayfasındaki testlerde aynı zamanda iade oranını da kontrol etmek gerekir. Yanlış beklenti yaratarak dönüşümü artıran bir test uzun vadede daha fazla iade ve müşteri memnuniyetsizliği oluşturabilir.
Shopify tasarım tarafında yapılan ürün sayfası değişikliklerinde test performansı kadar site hızına da dikkat edilmelidir. Yeni varyasyon kullanıcı deneyimini iyileştirirken ağır JavaScript ekliyorsa elde edilen dönüşüm avantajı başka bir performans problemi yaratabilir.
Landing Page A/B Testi Nasıl Yapılır?
Landing page testlerinde temel amaç reklam veya trafik kaynağından gelen kullanıcının sayfa üzerindeki ana aksiyona daha fazla ilerlemesini sağlamaktır.
Öncelikle sayfanın tek ana amacı belirlenmelidir.
Örneğin hedef teklif formu göndermekse test metriği form submission olabilir. E-ticaret landing page ise add_to_cart veya purchase daha anlamlı olabilir.
Test konusu seçilirken mesaj bütünlüğü özellikle önemlidir.
Örneğin Google Ads reklamında Shopify Mağaza Kurulumu 8.999 TL mesajı kullanılıyor ancak landing page’in ilk ekranında fiyat görünmüyorsa kullanıcı beklentisi ile sayfa arasında kopukluk oluşabilir.
A varyasyonu mevcut sayfa olabilir.
B varyasyonunda reklam mesajı H1’e taşınır, fiyat ilk ekranda gösterilir ve form daha kısa hale getirilir.
Ancak burada üç değişiklik aynı anda yapılırsa hangi unsurun sonucu değiştirdiği belirsizleşir.
Bu nedenle mümkün olduğunda tek hipotez etrafında test yapılmalıdır.
Örneğin sadece form alanı sayısı test edilebilir:
A: 7 alan
B: 4 alan
Birincil metrik form gönderim oranıdır.
Ancak daha kısa form daha fazla ancak düşük kaliteli lead üretebilir. Bu nedenle yalnızca submission değil, qualified lead oranı da izlenmelidir.
Bu CRO açısından önemli bir noktadır: daha fazla dönüşüm her zaman daha iyi iş sonucu anlamına gelmez.
Checkout A/B Testi Nasıl Yapılır?
Checkout A/B testleri doğrudan gelire etki edebileceği için güçlü test alanlarından biridir ancak aynı zamanda en dikkatli yürütülmesi gereken testler arasındadır.
Öncelikle checkout funnel analiz edilmelidir.
Örneğin:
begin_checkout → add_shipping_info → add_payment_info → purchase
En yüksek düşüş hangi noktadaysa test o probleme göre tasarlanmalıdır.
Örneğin kullanıcıların büyük kısmı kargo adımında çıkıyorsa şu hipotez test edilebilir:
Kargo ücretini checkout öncesinde göstermek, son anda oluşan sürpriz maliyeti azaltacağı için checkout completion rate’i artırabilir.
Başka bir test zorunlu hesap oluşturmayla ilgili olabilir.
A sürümünde hesap oluşturmak zorunludur.
B sürümünde guest checkout sunulur.
Ana metrik purchase oranıdır.
Checkout testlerinde şu alanlar ayrıca değerlendirilebilir:
- Form alanı sayısı
- Adres otomatik tamamlama
- Misafir checkout
- Ödeme yöntemi görünürlüğü
- Kargo ücretinin gösterildiği aşama
- Tahmini teslimat tarihi
- Hata mesajları
- Mobil input tasarımı
Checkout üzerindeki testlerde yalnızca dönüşüm artışına değil ödeme hataları, destek talepleri ve fraud gibi yan etkilere de bakılmalıdır.
A/B Testi Sonuçları Nasıl Analiz Edilir?
Test bittiğinde yalnızca A yüzde 3,2, B yüzde 3,8 dönüşüm aldı diyerek karar verilmemelidir.
Öncelikle testin ana metriğine bakılır. Ardından sonucu destekleyen ve olası olumsuz etkileri gösteren ikincil metrikler analiz edilir.
Örneğin bir ürün sayfası testinde:
A varyasyonu:
Sepete ekleme: %8,2
Satın alma: %2,4
Ortalama sipariş değeri: 1.450 TL
B varyasyonu:
Sepete ekleme: %9,7
Satın alma: %2,9
Ortalama sipariş değeri: 1.180 TL
İlk bakışta B varyasyonu daha iyi görünür çünkü hem sepete ekleme hem satın alma oranı artmıştır. Ancak ortalama sipariş değeri ciddi şekilde düşmüşse gelir bazında sonuç farklı olabilir.
Bu nedenle e-ticaret testlerinde mümkün olduğunda revenue per visitor gibi gelir odaklı metrikler de izlenmelidir.
Sonuç ayrıca segmentlere ayrılmalıdır.
Örneğin B varyasyonu genel olarak kazanan olabilir ancak:
Mobilde +%15
Masaüstünde -%3
sonucu verebilir.
Bu durumda değişikliğin bütün cihazlarda aynı şekilde uygulanması yerine responsive yapı özelinde farklı çözüm düşünülebilir.
Segment analizinde şunlara bakılabilir:
- Mobil / masaüstü
- Yeni / geri dönen kullanıcı
- Organik / ücretli trafik
- Ülke
- Trafik kampanyası
- Ürün kategorisi
Ancak çok fazla segment açarak tesadüfi sonuç aramaktan kaçınılmalıdır. Testten önce hangi segmentlerin önemli olduğu belirlenmesi daha sağlıklıdır.
Kazanan varyasyon bulunduğunda test hemen unutulmamalıdır. Değişiklik kalıcı hale getirildikten sonra birkaç hafta performans takip edilmelidir. Test ortamında oluşan avantaj gerçek trafik koşullarında devam ediyor mu kontrol edilmelidir.
En iyi A/B test programları tek seferlik büyük testlerden değil, düzenli öğrenme döngülerinden oluşur. Analytics problemi gösterir, Hotjar kullanıcı davranışının nedenini anlamaya yardımcı olur, hipotez oluşturulur, test uygulanır ve sonuç yeni bir optimizasyon sorusu doğurur.
Bu süreç doğru yürütüldüğünde A/B testi yalnızca hangi tasarımın daha iyi olduğunu söylemez. Kullanıcının neye ihtiyaç duyduğunu, hangi sürtünmelerin satın alma kararını engellediğini ve CRO çalışmalarında hangi değişikliklerin gerçekten ticari değer ürettiğini ortaya çıkarır.
Kaynaklar