Deniz'in masasında iki teklif vardı. Birincisi üç ayda dönüşüm oranında garantili yüzde otuz artış vaat ediyor, fiyatı diğerinin yarısı ediyordu. İkincisi hiçbir artış rakamı vermiyor, bunun yerine ilk altı haftada hangi ölçümlerin onarılacağını madde madde yazıyordu. Deniz birincisini seçti.
Dördüncü ayın sonunda elinde on dört slaytlık bir sunum, üç "kazanan" test ve neredeyse hiç kıpırdamamış bir dönüşüm oranı kaldı. Testlerin hiçbiri iki haftadan uzun sürmemişti. Hiçbirinin altında kaç ziyaretçiyle çalışıldığına dair bir hesap yoktu. Sözleşmedeki yüzde otuz ise hangi metriğin, hangi dönemde, hangi tabana göre ölçüleceğine bağlanmamıştı. Deniz'i bu yazı için kurguladım; yazıdaki tek kurgu da o.
CRO ajansı seçmek bir tedarikçi seçimi değil, ölçüm ortağı seçimidir. Yanlış seçim yalnızca bütçeyi götürmez, sonraki bir yılın kararlarını da bozar — çünkü hatalı ölçülmüş bir test, yanlış bilgiyi doğru bilgi kılığında geride bırakır. Aşağıda beş değerlendirme kriteri, ilk görüşmede sorulacak sekiz soru ve masadan kalkmanız gereken üç vaat var. İşin kendisi nasıl yürür sorusunun cevabı dönüşüm optimizasyonu hizmetimizde, kavramın tanımı ise CRO nedir yazısında duruyor.
CRO ajansı ne satar, ne satmaz?
CRO ajansı size trafik satmaz; mevcut trafikten daha fazla satış ya da teklif talebi çıkarma yöntemini satar. Bu ayrım sözleşme imzalanmadan netleşmezse iki taraf da baştan yanlış işi bekler.
Bir dönüşüm optimizasyonu ajansı üç şeyi teslim eder: ziyaretçinin nerede vazgeçtiğinin sayısal dökümü, o noktaları düzeltmek için sıralanmış hipotezler ve her hipotezin testle doğrulanmış sonucu. Satmadığı şeyler ise reklam bütçesinin yönetimi, yeni ziyaretçi kaynağı ve ürünün pazara oturması.
Bu sınır önemli, çünkü CRO danışmanlığı yanlış soruna uygulandığında en pahalı hatayı üretir. Ayda birkaç yüz ziyaretçi alan bir sitede A/B testi rastlantıyı ölçer. Sayfaları saniyelerce açılmayan bir sitede sorun ikna değil altyapıdır. İyi ajans bunu ilk görüşmede söyler ve sizi başka bir işe yönlendirir; zayıf ajans sözleşmeyi imzalar.
Ajans ölçüm altyapınıza nasıl bakıyor?
İlk kriter budur: ajans teste başlamadan önce mevcut ölçümü doğruluyor mu? Yanlış kurulmuş bir dönüşüm tanımı, üzerine kurulan her testi olduğu gibi geçersiz kılar — ve kimse fark etmez, çünkü rapor yine dolu gelir.
Görüşmede şunu sorun: "İlk iki haftada ölçüm tarafında ne yapacaksınız?" İyi cevap somuttur — dönüşüm olaylarının yeniden tanımlanması, çift sayımın ayıklanması, kanal atıflarının kontrolü, mobil ve masaüstü akışların ayrı doğrulanması. Zayıf cevap tek cümledir: "Mevcut kurulumunuzu kullanırız."
Ölçümü önce onarmanın bedeli baştan görünür, getirisi geç görünür — ama görünür. SOYLU AVM vakasında piksel ve dönüşüm izleme kampanyadan önce sıfırdan kuruldu; ilk 6 günde kaydedilen 1,5 milyon dolarlık geliri ve toplam trafikteki %150 artışı okunabilir kılan şey tam olarak o sıraydı. Ölçüm sonradan eklenen bir madde değil, birinci maddedir.
Hipotez disiplini mi, uzun bir fikir listesi mi?
İkinci kriter, ajansın bir fikri hipoteze çevirip çeviremediğidir. Hipotez üç parçadan oluşur: neyi değiştiriyoruz, neden değiştiriyoruz, hangi metrikte ne kadarlık bir fark bekliyoruz.
"Butonu turuncu yapalım" bir fikirdir. "Sepete ekle butonu mobilde ilk ekranın altında kaldığı için tıklanma oranı düşük; butonu sabitlersek mobil sepete ekleme oranında en az %10 göreli artış bekliyoruz" bir hipotezdir. Aradaki fark üslup değil: ikincisi yanlış çıkabilir, birincisi çıkamaz. Yanlış çıkabilen cümle ölçülebilir, çıkamayan cümle tartışılır.
Ajanstan mevcut bir müşterisinin test listesinden anonimleştirilmiş beş satır isteyin. Her satırda beklenen etki ve uygulama eforu yazıyorsa sıralama disiplini vardır. Yalnızca değişiklik başlıkları duruyorsa, elinizde bir yöntem değil bir yapılacaklar listesi var demektir. Listede kaybeden testler de duruyorsa, doğru masadasınız.
Test süresi konusunda dürüst mü?
Üçüncü kriter en çok atlanandır: ajans bir testin ne kadar süreceğini önceden hesaplıyor mu? Örneklem büyüklüğü hesabı yapmayan ajans, testi ne zaman durduracağına sonuca bakarak karar verir — bu da testi bir ölçüm aracı olmaktan çıkarır.
Rakamla konuşalım. Aylık 20.000 ziyaretçi alan ve %2 dönüşen bir sayfada, %10'luk göreli bir artışı güvenle ayırt etmek için varyant başına on binlerce oturum gerekir; bu çoğu sitede hafta demektir, gün değil. Ajans bu hesabı görüşmede yapabiliyorsa bir yöntemi vardır. "Birkaç güne sonuç alırız" diyorsa size istatistik değil his satıyordur.
Dürüstlüğün ikinci göstergesi erken durdurma politikasıdır. İyi ajans karar eşiğini ve süreyi testten önce yazıya döker, sonra ona uyar. Test üçüncü günde iyi göründüğü için kapatılıyorsa, kazanan varyant çoğu zaman gürültüdür — ve o gürültü siteye kalıcı olarak yerleşir.
Raporlama ne kadar şeffaf?
Dördüncü kriter tek soruya iner: raporda kaybeden testler var mı? Yalnızca kazananları taşıyan bir belge rapor değil, sunumdur.
Şeffaf bir CRO raporu dört şeyi taşır: her testin hipotezi, çalıştığı süre ve toplanan örneklem, sonucu (kazandı, kaybetti, fark yok) ve o sonucun hangi kararı değiştirdiği. "Fark yok" çıkan testler birer başarısızlık değil, envanterin parçasıdır; hangi fikrin işe yaramadığını bilmek bir sonraki çeyreğin bütçesini korur.
Raporun kim tarafından anlatıldığı da bir sinyaldir. Aylık toplantıda test sonuçlarını analist değil de satış temsilcisi anlatıyorsa, aradaki katman bilgiyi süzüyordur. Aynı toplantıda şunu da sorun: çalışma bittiğinde test kurulumu, dönüşüm tanımları ve geçmiş test kayıtları kimde kalıyor? Cevap "bizde" ise satın aldığınız şey optimizasyon değil bağımlılıktır.
Hangi ücretlendirme modeli sizin için doğru?
Beşinci kriter fiyatın kendisi değil, fiyatın yapısıdır. Dört model dolaşımda ve her biri ajansın farklı bir davranışını ödüllendirir.
- Aylık retainer: sabit ücret, sürekli test döngüsü. Trafiği yüksek ve sık değişen sitelerde yerinde bir model; ancak aylık test sayısı ve ortalama test süresi sözleşmeye baştan yazılmalı.
- Proje bazlı: sabit kapsam, sabit süre, sabit fiyat. İlk denetim ve ölçüm onarımı için doğru model; sürekli optimizasyonu tek başına taşımaz.
- Sonuç bazlı: ücretin bir kısmı dönüşüm artışına bağlanır. Kulağa adil gelir ve tek koşulu vardır — artışın tanımı, ölçüm kaynağı ve baz dönem sözleşmede yazılı olmalı. Yazılı değilse model ajansın lehine çalışır.
- Araç lisansı artı kurulum: ajans esasen bir test aracının bayisidir. Lisans gerekli olabilir, ama tek başına satın aldığınız şey yazılımdır, yöntem değil.
Model seçerken tek bir soru işi görür: bu ücretlendirme ajansın hangi davranışını ödüllendiriyor? Test sayısını ödüllendiren model çok ve kısa test üretir; öğrenmeyi ödüllendiren model az ve uzun test üretir. İkincisi daha yavaş görünür ve daha hızlı ilerler.
İlk görüşmede hangi sekiz soruyu sorarsınız?
Sekiz soru bir eleme aracı değil, bir dinleme aracıdır. Asıl bilgi verilen cevapta değil, ajansın nerede duraksadığında saklıdır.
- İlk iki haftada ölçüm tarafında tam olarak ne yapacaksınız?
- Bir test için gereken örneklemi nasıl hesaplıyorsunuz?
- Testi ne zaman durduracağınıza nasıl karar veriyorsunuz ve bu karar önceden yazılı mı?
- Son çeyrekte kaç testiniz kaybetti ve hangisinden ne öğrendiniz?
- Benim sektörümde benzer ölçekte hangi işi yaptınız, rakamlarını görebilir miyim?
- Raporda kaybeden testler nasıl görünüyor?
- Çalışma bittiğinde geriye ne kalıyor ve kurulum kimde duruyor?
- Bu işi almamanız gereken bir durum var mı?
Sekizinci soru en çok bilgiyi verendir. "Her sitede çalışırız" cevabı çoğu zaman doğrudur ama tek başına söylendiğinde hiçbir şey ifade etmez. Hangi durumda sizi reddedeceğini söyleyebilen ajans kendi kapsamını biliyor demektir; bilmeyen ajans kapsamı sizin bütçenizle öğrenir.
Bu sorular ajans seçiminin CRO'ya özgü katmanıdır. İlişkinin genel katmanı — veri kullanımı, kanal bütünlüğü, kriz refleksi — için sözleşmeyi imzalamadan önce ajansa sorulacak 8 soru yazısı aynı disiplini daha geniş bir çerçevede kuruyor.
Hangi üç vaat sizi masadan kaldırmalı?
Üç vaat var ki, duyulduğu anda görüşmenin geri kalanı gereksizleşir. Üçü de aynı şeyi gizler: ölçmeden konuşma alışkanlığını.
Birincisi garantili artış vaadi. "Üç ayda %30 dönüşüm artışı garanti ediyoruz" cümlesi verilemez, çünkü sonuç mevcut sorunların büyüklüğüne, trafiğe ve kategoriye bağlıdır. Aralık vermek dürüstlüktür, garanti vermek satıştır — ve garantiyi veren teklifte artışın tanımı çoğu zaman boş bırakılmıştır.
İkincisi örneklem hesabı yapmayan ajanstır. "Testi ne kadar çalıştıracaksınız?" sorusuna süre yerine "sonuç netleşene kadar" cevabı geliyorsa, ölçüm yerine izlenim satılıyordur. Üçüncüsü yalnızca araç lisansı satan modeldir: ısı haritası, oturum kaydı ve test aracı işin gereçleridir, hiçbiri işin kendisi değildir. Araç kurulumuyla biten bir teklifte eksik olan şey hipotez üretimi, sıralama ve karardır — yani ücretin karşılığı.
Dördüncü bir işaret daha var; sessiz olduğu için daha tehlikeli. Fiyatı planı görmeden veren ajans, kapsamı ya sonradan daraltır ya da sonradan büyütür. İkisi de aynı yere çıkar: pazarlığın merkezine işin değil, faturanın oturması.
Rakamlı vaka nasıl istenir?
Vaka istemek kolaydır, doğru vakayı istemek değil. Sunumdaki logo duvarı bir kanıt değil, bir müşteri listesidir.
Üç şeyi birlikte isteyin: başlangıç değeri, bitiş değeri ve arada geçen süre. "Dönüşüm oranını artırdık" bir cümledir; "dönüşüm oranı %1,4'ten %2,1'e çıktı, dokuz haftada, şu sayfada" bir kayıttır. Bağlamı olmayan yüzde, üretilmesi en kolay rakamdır.
Kendi tarafımızdan aynı ölçüyle bir örnek: GYMWOLVES'te hedef, satışı 3 ayda ikiye katlamaktı. Veri akışı onarıldı, dönüşüm hunisi yeniden kuruldu ve kampanya sporcularla çekilen sosyal kanıtla beslendi; üçüncü ayın sonunda satış 12 katına, oturum süresi 3 katına, etkileşim 8 katına çıktı. Buradaki asıl bilgi 12 katı değil, sıradır: önce ölçüm, sonra huni, sonra kampanya.
Bir de şunu isteyin: işe yaramamış bir çalışma. Beklediği sonucu vermeyen bir projeyi anlatabilen ajans, size sonraki sekiz ay boyunca da doğruyu söyleyecek olan ajanstır.
Ajans mı, CRO uzmanı mı, iç ekip mi?
Karar, kaybın nerede durduğuna bağlıdır. Tek bir sayfada veya tek bir adımda kayıp varsa bir CRO uzmanı yeterlidir; kayıp ölçüm, arayüz, içerik ve teknik altyapı arasına dağılmışsa tek kişi bu katmanları aynı anda tutamaz.
İç ekip kurmak üç koşulda mantıklıdır: aylık trafik sürekli test yürütmeye yetiyorsa, ürün ekibi kazanan testi iki hafta içinde yayına alabiliyorsa ve şirket kaybeden testi bir başarısızlık saymıyorsa. Üçüncüsü en zor koşuldur ve çoğu zaman bütçesel değil kültürel bir karardır.
Melez model orta ölçekli markaların çoğu için doğru cevaptır: ajans ilk altı ayda ölçümü kurar, ilk test dalgasını yürütür ve düzeni iç ekibe devreder; sonrasında dışarısı yalnızca hipotez üretimi ve denetim için kalır. Bu modelde ajansın başarısı kendini gereksizleştirmesiyle ölçülür, dolayısıyla devir oturumunu sözleşmeye yazdırın.
Sonuç: seçimden önce yapabileceğiniz tek test
CRO ajansı seçimi bir sunum karşılaştırması değil, bir yöntem denetimidir. Ölçümü önce onaran, fikri hipoteze çeviren, testin süresini önceden hesaplayan ve kaybettiği testi raporda gösteren ajans; garanti veren ajanstan her koşulda daha iyi bir yatırımdır. Çünkü birincisi size sonuç kadar gerekçe de bırakır.
Bugün yapabileceğiniz somut test şu: kendi sitenizden tek bir sayfa seçin, o sayfanın mevcut dönüşüm oranını ve aylık ziyaretçi sayısını not edin, sonra görüştüğünüz her ajansa aynı soruyu sorun — "Bu sayfada %10'luk göreli bir artışı ayırt etmek için kaç ziyaretçi ve kaç gün gerekir?" Görüşmede bir aralık verebilen ajans hesabı biliyordur. "Bakıp döneriz" diyenle çalışmadan önce bir kez daha düşünün.
Bu soruları bize de sorun. Yöntemin adım sırası dönüşüm optimizasyonu hizmet sayfamızda açıkça yazılı; cevapları yan yana koyup karşılaştırın.