ARAŞTIRMA · B2B SATIŞ

B2B satış tahminleri geriye dönük nasıl sınanır?

Açık bir fırsatın 30 gün içinde kazanılma olasılığını nasıl ölçeriz? Bu çalışma 18 haftalık CRM görüntüsünde üç tahmini karşılaştırıyor. Veri kaynağı, kod ve haftalık sonuçlar açık.

1.000 kredi + 7 gün tam erişimİlk uygulama girişinde · Cihaz başına bir kez · Kart gerekmez

ÖZET

8.800 kurgusal CRM kaydından, 18 haftalık testte 4.791 benzersiz fırsat için 40.800 tahmin oluşturduk. 30 günlük Brier skoru, kapanmış fırsatların kazanma oranıyla 0,3729, aynı vadeye ait geçmiş oranla 0,1033, fırsat yaşına göre hesapla 0,1049 oldu. Yaş grupları 60 günlük testte hatayı düşürdü. Sonuçlar, bu örnekte model seçiminden önce tahmin vadesinin doğru tanımlanması gerektiğini gösteriyor.

GÜNCELLENDİ

· 11 dk okuma · Anivo ekibi · English

01

30 günlük bir olasılığın neyi tahmin ettiğini belirleyin

1 Temmuz’da açık olan bir iş için CRM’de %60 yazdığını düşünün. Bu sayı işin sonunda kazanılma ihtimalini, ay içinde kapanma ihtimalini veya ay içinde kazanılma ihtimalini anlatabilir. Satış toplantısında aynı yüzdeyle üç farklı karar alınabilir.

Çalışmanın hedefi, bir fırsatın gözlem günü sonunda açık ve görüşme aşamasına girmiş olması koşuluyla, izleyen 30 takvim gününde kazanılmasıdır. Satış kaybedilirse veya 30. gün sonunda açık kalırsa bu tahmin için sonuç sıfırdır. Fırsat 31. gün kazanıldığında da ilk tahminin sonucu sıfır kalır.

İki soru sorduk. İlk olarak, belirli bir vadeyi hesaba katan geçmiş oran, kapanmış işlerin kazanma oranından daha düşük hata veriyor mu? İkinci olarak, görüşmeye girileli geçen günleri eklemek, aynı vadeye ait temel oranı iyileştiriyor mu? 15 ve 60 günü ayrıca inceleyerek sonucun vade seçimine duyarlılığını ölçtük.

IBM araştırmacıları, devam eden B2B fırsatlarının belirli bir zaman aralığında kazanılma ihtimalini ayrı bir tahmin problemi olarak ele alıyor. Rezazadeh’in saha çalışması, bir B2B danışmanlık şirketinin CRM verisinde daha zengin değişkenlerle tahmin yapıyor. Buradaki karşılaştırma, yalnızca açık olma durumu ve geçen süre ile denetlenebilir bir başlangıç modeli kurmaya odaklanıyor. Kaynaklar bölümünde her çalışmanın kapsamı belirtilmiştir.

02

Hangi fırsatları geçmiş tarihlere yerleştirebildik?

Maven Analytics, CRM Sales Opportunities arşivini bilgisayar donanımı satan kurgusal bir şirketten örnek olarak sunuyor. İnceleme birimi ürün, müşteri veya ödeme değil, tekil satış fırsatı.

Tablonun son durumundaki kayıtlar
Son durumFırsat sayısıBu çalışmadaki rolü
Kazanıldı4.238Görüşme ve kapanış tarihi var. Yalnızca kapanış tarihinden sonra gerçekleşmiş sonuç sayıldı.
Kaybedildi2.473Görüşme ve kapanış tarihi var. Kapanışa kadar risk kümesinde yer alabildi.
Görüşmede1.589Görüşme tarihi var. Veri kesimine kadar kapanış kaydı yok.
Aday araştırması500Görüşme tarihi yok. Geçmiş bir görüntüye güvenle yerleştirilemedi.
Toplam8.800Benzersiz fırsat numarası 8.800. Görüşme tarihi olan 8.300 kayıt hesaplamaya uygun.

Veri sözlüğünde engage_date, fırsatın görüşme aşamasına geçtiği gün. close_date, kazanıldığı veya kaybedildiği gün. Kapanmış 6.711 kayıtta kapanış tarihi, görüşme tarihinden önce gelmiyor. İlk kapanış 1 Mart 2017, son kapanış 31 Aralık 2017. Bu nedenle geçmiş değerlendirme görüntülerini 6 Mart’tan başlattık ve takip bitişini 31 Aralık olarak aldık.

Arşivin iki açık kopyası aynı SHA-256 özetine sahipti. Hesabı yalnızca satış fırsatları tablosuyla yaptık. Son deal_stage alanını geçmiş görüntülerde tahmin girdisi olarak kullanmadık. Bu alanı kapanış tarihinde gerçekleşen sonucu belirlemek için okuduk.

Veri, bir fırsatın ilk görüşmeden sonra geçirdiği tüm aşamaların tarihlerini içermiyor. Kayıt kaybolduysa, sonradan geriye dönük düzeltildiyse veya kapatılıp yeniden açıldıysa bunu bu dışa aktarımdan göremiyoruz. Yeniden kurulan görüntüler bu nedenle bir CRM etkinlik günlüğünden alınmış gerçek tarihsel görüntülerle aynı kanıt gücüne sahip değil.

03

Her tahmini yalnızca o gün sonuçlanmış geçmişe dayandırın

Bir pazartesi gününün sonunda görüntü aldık. Görüşme tarihi o gün veya daha önce olan ve henüz kapanmamış kayıtlar, o tarihte tahmin yapılacak fırsatları oluşturuyor. Kapanış tarihi gözlem günüyle aynı olan kayıtlar, tahmin anında zaten sonuçlanmış kabul ediliyor.

Test, 3 Temmuz ile 30 Ekim 2017 arasındaki 18 pazartesiyi kapsıyor. Her pazartesi model yeniden hesaplanıyor. Geçmiş görüntülerin sonuçları ancak ilgili vadenin son günü geçince veya o günün sonunda biliniyor. Örneğin 3 Temmuz’da 30 günlük tahmin kurarken 29 Mayıs görüntüsünün tamamı kullanılabilir. 5 Haziran görüntüsünün 30. günü 5 Temmuz olduğundan o haftayı eğitimden çıkardık.

3 Temmuz gün sonu tahmininde tarih sınırları
Kurgusal durumTahmin kümesine girer mi?30 günlük sonuç
3 Temmuz’da kazanılmış kayıtHayırGözlem gününün sonunda kapanmış durumda.
3 Temmuz’da açık, 2 Ağustos’ta kazanıldıEvet1. Vadenin son günü dahil.
3 Temmuz’da açık, 3 Ağustos’ta kazanıldıEvet0. Kazanım vadenin dışında.
3 Temmuz’da açık, 12 Temmuz’da kaybedildiEvet0. Vade içinde kazanım gerçekleşmedi.
İlk görüşme 4 Temmuz’da başladıHayırGözlem anında kapsama henüz girmemişti.

Bu tasarımda aynı fırsat, kapanana kadar birden fazla pazartesi yeniden tahmin edilebiliyor. Birincil ölçüm, fırsat ve tarih çiftlerini sayıyor. Gerçek bir haftalık toplantıda aynı sorunun tekrar sorulmasını bu ölçüm yansıtıyor. Tekrarlara karşı ek kontrolde her fırsatın yalnızca ilk test görüntüsünü tuttuk ve mevcut tahminleri bu altkümede yeniden puanladık.

Rastgele satır bölmek, aynı fırsata ait sonraki haftayı eğitime sokabilir. Tarih sıralı değerlendirme ile bütün vade sonuçlarının geçmişte kalması şartı bu yolu kapatıyor. Eğitim görüntülerinin üst üste binmesi ise gözlemleri birbirinden bağımsız kılmıyor. Bu yüzden haftalık farkları ve tek gözlem kontrolünü tanımlayıcı olarak sunuyoruz.

04

Üç hesap aynı soruya ne kadar iyi yanıt veriyor?

Karşılaştırılan üç yaklaşım
YaklaşımTahmin günü nasıl hesaplandı?Ne ölçer?
Kapanmış işlerin kazanma oranıO güne kadar kazanılanları, o güne kadar kazanılan ve kaybedilenlerin toplamına böl.Kapanmış işler içindeki kazanma payı.
Vadeye uygun temel oranTakip süresi tamamlanmış geçmiş görüntülerde, hedef vade içinde kazanılan fırsat-tarih çiftlerinin payını al.Yaştan bağımsız vade içi kazanılma olasılığı.
Yaşa göre vade içi oranAynı geçmiş görüntüleri 0–29, 30–59, 60–89 ve 90+ gün olarak böl. Her gruba kendi oranını ver.Tahmin günündeki fırsat yaşına bağlı vade içi olasılık.

Yaş, ilk görüşme tarihinden tahmin gününe kadar geçen gün sayısıdır. Görüşme aşamasında aralıksız geçirilen süreyi ölçtüğümüzü varsaymadık. Bir yaş grubunda geçmişten 50 fırsat-tarih çifti yoksa o hafta temel orana döndük. Bu eşik bir çalışma koşuludur. 50 farklı firma veya bağımsız fırsat anlamına gelmez.

Ana ölçü Brier skoru, tahmin olasılığı ile gerçekleşen 0 veya 1 arasındaki farkın karesinin ortalamasıdır. %70 tahminle kazanılan bir fırsat 0,09 hata yazar. Aynı tahminle kazanılmayan fırsat 0,49 hata yazar. Düşük skor daha iyidir. Skora, büyük ve küçük tutarlı fırsatlar eşit ağırlıkla girer.

Kalibrasyon, verilen olasılıkların tekrar eden durumlarda gözlenen sıklıklarla uyumudur. Her fırsata %20 vermek, grubun beşte biri kazanırsa ortalamada kalibre olabilir. Yine de tek tek fırsatları ayırmayabilir. Bu nedenle ortalama olasılık ile gerçekleşen payı, yaş grubundaki sapmaları ve Brier skorunu birlikte inceledik.

05

Kapanmış işlerin oranı 30 günlük kazanımı yüksek gösterdi

18 haftada 30 günlük test sonuçları
ÖlçüKapanmış iş oranıVadeye uygun temel oranYaşa göre oran
Ortalama tahmin%63,44%17,00%17,58
Gerçekleşen kazanım sıklığı%11,27%11,27%11,27
Brier skoru0,372880,103330,10493

18 haftada 40.800 tahmin, 4.791 benzersiz fırsata aitti. Sonuç satırlarının 4.599’u 30 gün içinde kazanımla bitti. Bu 4.599 gözlemin içinde, farklı tarihlerde tahmin edilen aynı kazanım yer alabilir. Bu nedenle sayı, 4.599 farklı satış anlamına gelmez.

Gözlenen %11,27 ile kapanmış iş oranının tahmin ettiği %63,44 arasındaki fark 52,17 yüzde puanı. Vadeye uygun temel oranda fark 5,73 puana iniyor. Yaş eklenince Brier skoru 0,00160 yükseliyor ve ortalama fark 6,31 puana çıkıyor. Farkın yönü, yaş modelini bu testte otomatik iyileştirme olarak kullanmayı desteklemiyor.

18 haftada üç çizgi. Gözlenen oran 2 Ekim’de %2,5’e düşerken temel ve yaşa göre tahminler yaklaşık %17’de kaldı.
Şekil 1. Her nokta, 2017’de bir pazartesi açık olan fırsatların izleyen 30 gününü gösterir. Temmuz sonunda gerçekleşme artıyor, ekim başında iki model de belirgin biçimde yüksek kalıyor.

3 Temmuz’da 1.717 fırsatın 87’si 30 gün içinde kazanıldı. Gözlenen %5,1’e karşı temel tahmin %19,3’tü. 28 Ağustos’ta gözlenen %17,4, temel tahmin %16,5’ti. 2 Ekim’de ise 2.452 fırsatın 61’i kazanıldı ve gerçekleşme %2,5’e indi. Haftalar arasındaki bu hareketi, kullanılan veride sezon etkisi, müşteri davranışı veya veri üretim şekli açıklayabilir. Bunları ayıracak ek veri bulunmuyor.

06

Fırsat yaşı bilgi içeriyor, ama tahminin düzeyini de kontrol etmek gerekiyor

30 günlük kazanım sıklığı ve yaşa göre tahmin
İlk görüşmeden geçen günGözlemGözlenenYaşa göre ortalama tahmin
0–2911.106%10,97%11,08
30–599.844%12,18%14,86
60–897.492%21,16%31,38
90 ve üzeri12.358%4,83%17,23
Dört yaş grubu için gerçekleşen ve tahmin edilen oran. En büyük fark, 90 gün ve üzeri grupta %4,83 ile %17,23 arasında.
Şekil 2. Olasılıklar test dönemi boyunca her gözlemin kendi tahmininden ortalandı. Yaş aralığı, tahmin anındaki ilk görüşme tarihinden hesaplandı.

En yüksek gerçekleşme 60–89 gün grubunda görüldü. 90 gün ve üzeri grup ise grubun tahmininden 12,40 yüzde puanı aşağıda kaldı. 0–29 gün grubunda ortalamalar birbirine yakın. Bu dağılım, yaş etkisini her gün azalan tek bir katsayıyla ifade etmenin bu arşivde gözlenen yapıyı yakalayamayacağını gösteriyor.

Bir yaş aralığının ortalama tahmini, o gruptaki her fırsatın aynı olasılığa sahip olduğunu göstermez. Her pazartesi geçmiş oranlar değişiyor. Yaş gruplarının içindeki diğer özellikler de farklı olabilir. Bu tablo, yaşın satışa neden olduğunu veya 90. günde tek başına bir eşik etkisi bulunduğunu göstermiyor.

07

15, 30 ve 60 gün aynı model tercihini vermedi

Aynı 18 tarihte vadeye göre Brier skorları
VadeGözlenen kazanımTemel oranYaşa göre oranYaşın daha iyi olduğu hafta
15 gün%6,310,060580,061589 / 18
30 gün%11,270,103330,104939 / 18
60 gün%21,310,177580,1678417 / 18

Yaş grupları 60 günde skoru 0,00974 düşürdü. Bu, temel orana göre yaklaşık %5,5 daha düşük Brier hatasıdır. 15 ve 30 günde toplam hata arttı. Haftalar arasında gözlemler ortak olduğu için 17/18 sayısını bağımsız deney veya istatistiksel anlamlılık olarak yorumlamadık.

Her fırsatın yalnızca ilk test görüntüsüyle duyarlılık kontrolü
VadeBenzersiz fırsatGözlenen kazanımTemel oran BrierYaşa göre Brier
15 gün4.791%13,550,119330,12275
30 gün4.791%14,970,130010,13904
60 gün4.791%24,840,194590,19227

Her fırsatı bir kez sayınca da 30 günlük hata yükseliyor ve 60 günlük hata düşüyor. İlk görünüm altkümesinin dağılımı, haftalık açık portföyün dağılımından farklı. Bu yüzden iki tablonun mutlak Brier skorlarını yarıştırmadık. Yalnızca aynı tablodaki iki yöntemi ve farkın yönünü karşılaştırdık.

60 günlük tahminde önceki sonuçların olgunlaşması daha uzun sürüyor. Dolayısıyla aynı test gününde kullanılan geçmiş küme de 30 günlük modeldekinden farklı. Model performansının vade değişince neden değiştiğini söylerken hem farklı hedefi hem farklı eğitim penceresini hesaba katmak gerekir.

08

Ekip kendi geçmişinde hangi bilgileri saklamalı?

  1. Önce tek hedef ve vade yazın.

    Örneğin pazartesi gün sonu açık olan işlerin 30 günde kazanılması. Hangi durumların kapsamda olduğunu ve aynı gün kapanış kuralını yazılı hale getirin.

  2. Her görüntüyü sonradan üzerine yazılmayacak biçimde saklayın.

    Fırsat numarası, görüntü tarihi, o gün bilinen aşama, tutar ve para birimi, sonraki görev ile beklenen karar tarihini kaydedin. Gerçekleşen kazanım ve kaybın tarihlerini ayrı bir olay olarak ekleyin.

  3. Basit modeli sabitleyin ve yeni modeli aynı tarihlerde çalıştırın.

    Önce vade içi temel oranı saklayın. Aşama, yaş veya müşteri teyidi gibi tek bir ek bilginin değerini aynı tahmin günleri ve aynı hedef üzerinde ölçün.

  4. Olasılık ile iş hacmini ayrı değerlendirin.

    Gerçekleşen kazanımların sıklığını, Brier skorunu ve varsa sipariş tutarı hatasını ayrı raporlayın. Tutar için tahmin gününde bilinen sipariş değerini kullanın.

  5. Modeli kullanmadan önce yeni bir dönemde tekrar sınayın.

    Tahmin çok yüksek kalıyorsa hangi fırsatları kapsadığınızı, kapanış tarihlerini ve veri toplama sıklığını kontrol edin. Daha karmaşık modele geçmeden önce aynı süreci ileri tarihli gerçek kayıtlarla yürütün.

Bir tahminin çıktısı toplantıda değişiklik kararı doğuracaksa, o kararın hangi hataya duyarlı olduğunu da yazın. Örneğin gelecek ayın ekip kapasitesi için toplam iş yükü önemlidir. Kritik bir müşteriyi arama sırası için fırsatlar arasındaki sıralama daha önemli olabilir. Aynı skor her iki kararı tek başına cevaplamaz.

Hesap tablosu kurmak isteyenler ağırlıklı satış tahmini örneğini kullanabilir. Geçiş kararları için satış aşamalarını tanımlama rehberi başlangıç noktasıdır. Bu makaledeki olasılık modeli harici araştırma koduyla hesaplanmıştır.

09

Bulguların hangi koşullarda geçerli olduğunu okuyun

Veri seti kurgusaldır, tek arşivden gelir ve test 2017’nin 18 pazartesisiyle sınırlıdır. Oranlar herhangi bir sektörün, müşteri tipinin veya Anivo kullanıcılarının performansını temsil etmez. Bu, yayınlanmış bir teknik incelemedir ve harici hakem değerlendirmesinden geçmemiştir.

İlk görüşme tarihi mevcut olan kayıtlar üzerinde çalıştık. Henüz görüşmeye geçmemiş 500 adayın davranışı, bir tarama aşamasının verimi veya yeni fırsat üretimi araştırma kapsamında değil. Veri kesimine kadar görüşmede görünen kayıtların kesimden sonraki gerçek sonuçları da bilinmiyor.

Kapanma tarihi ve son durum ile geçmiş açık kayıtları yaklaşık olarak kurduk. Gün içindeki sıralama, önceki aşamalar, kayıtların sisteme gerçekte ne zaman işlendiği ve kapanış tarihinin sonradan düzeltilip düzeltilmediği arşivde bulunmuyor. Bu ayrımlar, gerçek bir CRM’de modelden önce veri kayıt yönteminin sınanmasını gerektirir.

Örneklem haftaları ve tahmin vadeleri çakışıyor. Güven aralığı veya nedensel etki tahmini üretmedik. Diğer satış döngülerinde sonucu ölçmek için daha uzun zaman aralığı, iş türüne göre ayrım ve gerçek zamanlı arşivlenmiş görüntüler gerekir. Yalnızca kazanılan işten sonra bilinen close_value alanını tahminde kullanmadık.

10

Aynı arşivle sonuçları baştan hesaplayın

Maven Analytics veri kaynağını ve lisansını kaynakçadan açabilirsiniz. Çalışmada kullanılan ZIP’in açık aynası da orada. Kod, ZIP’in SHA-256 özetini denetliyor ve veri farklıysa duruyor. Kaynak kayıtlar siteye yeniden yüklenmedi.

Python 3.10 veya üzeri ile çalışır. Harici paket gerektirmez.

Python analiz kodunu indir

Kod ile arşivi aynı klasöre alın. Ardından python reproduce.py CRM+Sales+Opportunities.zip komutunu çalıştırın. Dosya adını kendi indirdiğiniz ZIP’in adıyla değiştirebilirsiniz. Kod haftalık sonuçları CSV, özet ve denetim bilgilerini JSON olarak yazar.

Üç vade için tahmin günü, gözlem sayısı, gerçekleşen sonuç, ortalama olasılıklar ve Brier skorları.

Haftalık sonuç tablosunu indir

Arşiv özeti, tarih kesimleri, yaş grupları ve her fırsatın bir kez sayıldığı kontrol.

Özet sonuç dosyasını indir

Grafik üretim kodu aynı iki dosyayı okuyup Matplotlib ile yeniden çizer. Ana 30 günlük gözlem sayısını ve iki vadeye uygun modelin Brier skorunu ayrı bir SQLite hesabıyla da karşılaştırdık.

11

Modeli değiştirmeden önce soruyu ve tarihi sabitleyin

Bu örnekte en büyük hata, kapanmış işlerin kazanma payını açık işlerin kısa vadede kazanılma ihtimali gibi kullanmaktan geldi. Aynı vadeye ait geçmiş oranla hesaplanan basit bir tahmin, 30 günlük testte daha düşük hata verdi. Yaş bilgisinin katkısı ise vade değiştikçe yön değiştirdi.

Bir ekibin kendi verisinde sınayabileceği karar şudur. Önce tahminin üretildiği günü ve neyin başarı sayılacağını kaydedin. Geçmişi aynı kurallarla puanlayın. Yeni bir değişkeni ancak aynı hedef ve tarihlerde temel tahmine karşı ölçtükten sonra kullanıma alın.

SIK SORULAN SORULAR

Sık sorulan sorular

Araştırma tasarımı ve yorumla ilgili kısa yanıtlar.

Brier skoru nasıl yorumlanır?

Olasılık ile gerçekleşen 0 veya 1 arasındaki kare hatanın ortalamasıdır. Düşük değer daha iyidir. Aynı hedef, vade ve test satırları üzerinde iki modeli kıyaslayın.

Bu araştırma gerçek müşteri verisine mi dayanıyor?

Hayır. Kullanılan Maven Analytics arşivi kurgusal bir donanım şirketine ait örnek veridir. Sayılar bu arşiv üzerinde çalıştırılan analizden gelir.

Kapanan işlerin kazanma oranı neden 30 günlük tahmin için yüksek çıktı?

Paydası yalnızca kapanan işleri kapsıyor. Açık işlerin önümüzdeki 30 günde hâlâ bekleme olasılığını hesaba katmıyor.

Gecikmeli kapanan bir fırsat kayıp mı sayıldı?

İşin gerçek statüsünü değiştirmedik. Hedef vade içinde kazanım gerçekleşmediyse o tahminin sonucu sıfır olarak puanlandı.

Bu model satış tutarını tahmin ediyor mu?

Hedefi fırsatın belirli bir sürede kazanılması. Ağırlıklı sipariş tutarı için tahmin anında bilinen tutarlara ve ayrıca tutar hatası kontrolüne ihtiyaç var.

Aşama geçmişi olan bir CRM’de yöntem nasıl genişler?

Her gözlem gününde bilinen aşamayı ve aşamada geçirilen süreyi kaydedin. Bu alanları aynı tarihlerde ve aynı vade ile, temel modele karşı sınayın.

KAYNAKLAR

Kaynaklar ve örnek notu

Araştırmanın veri kaynağı, dosya aynası ve kullanılan yöntemlerin literatürdeki karşılıkları.

İLK ARAŞTIRMANIZA BAŞLAYIN

Tahminin dayandığı bilgiyi fırsat kaydında tutun

Fırsat aşamasını, alıcının teyidini ve takip görevini Anivo’da kaydedin. Tahminlerinizi tarihli bir tabloda sınayın.