B2B satış tahminleri geriye dönük nasıl sınanır?
Açık bir fırsatın 30 gün içinde kazanılma olasılığını nasıl ölçeriz? Bu çalışma 18 haftalık CRM görüntüsünde üç tahmini karşılaştırıyor. Veri kaynağı, kod ve haftalık sonuçlar açık.
1.000 kredi + 7 gün tam erişimİlk uygulama girişinde · Cihaz başına bir kez · Kart gerekmez
8.800 kurgusal CRM kaydından, 18 haftalık testte 4.791 benzersiz fırsat için 40.800 tahmin oluşturduk. 30 günlük Brier skoru, kapanmış fırsatların kazanma oranıyla 0,3729, aynı vadeye ait geçmiş oranla 0,1033, fırsat yaşına göre hesapla 0,1049 oldu. Yaş grupları 60 günlük testte hatayı düşürdü. Sonuçlar, bu örnekte model seçiminden önce tahmin vadesinin doğru tanımlanması gerektiğini gösteriyor.
30 günlük bir olasılığın neyi tahmin ettiğini belirleyin
1 Temmuz’da açık olan bir iş için CRM’de %60 yazdığını düşünün. Bu sayı işin sonunda kazanılma ihtimalini, ay içinde kapanma ihtimalini veya ay içinde kazanılma ihtimalini anlatabilir. Satış toplantısında aynı yüzdeyle üç farklı karar alınabilir.
Çalışmanın hedefi, bir fırsatın gözlem günü sonunda açık ve görüşme aşamasına girmiş olması koşuluyla, izleyen 30 takvim gününde kazanılmasıdır. Satış kaybedilirse veya 30. gün sonunda açık kalırsa bu tahmin için sonuç sıfırdır. Fırsat 31. gün kazanıldığında da ilk tahminin sonucu sıfır kalır.
İki soru sorduk. İlk olarak, belirli bir vadeyi hesaba katan geçmiş oran, kapanmış işlerin kazanma oranından daha düşük hata veriyor mu? İkinci olarak, görüşmeye girileli geçen günleri eklemek, aynı vadeye ait temel oranı iyileştiriyor mu? 15 ve 60 günü ayrıca inceleyerek sonucun vade seçimine duyarlılığını ölçtük.
IBM araştırmacıları, devam eden B2B fırsatlarının belirli bir zaman aralığında kazanılma ihtimalini ayrı bir tahmin problemi olarak ele alıyor. Rezazadeh’in saha çalışması, bir B2B danışmanlık şirketinin CRM verisinde daha zengin değişkenlerle tahmin yapıyor. Buradaki karşılaştırma, yalnızca açık olma durumu ve geçen süre ile denetlenebilir bir başlangıç modeli kurmaya odaklanıyor. Kaynaklar bölümünde her çalışmanın kapsamı belirtilmiştir.
Hangi fırsatları geçmiş tarihlere yerleştirebildik?
Maven Analytics, CRM Sales Opportunities arşivini bilgisayar donanımı satan kurgusal bir şirketten örnek olarak sunuyor. İnceleme birimi ürün, müşteri veya ödeme değil, tekil satış fırsatı.
| Son durum | Fırsat sayısı | Bu çalışmadaki rolü |
|---|---|---|
| Kazanıldı | 4.238 | Görüşme ve kapanış tarihi var. Yalnızca kapanış tarihinden sonra gerçekleşmiş sonuç sayıldı. |
| Kaybedildi | 2.473 | Görüşme ve kapanış tarihi var. Kapanışa kadar risk kümesinde yer alabildi. |
| Görüşmede | 1.589 | Görüşme tarihi var. Veri kesimine kadar kapanış kaydı yok. |
| Aday araştırması | 500 | Görüşme tarihi yok. Geçmiş bir görüntüye güvenle yerleştirilemedi. |
| Toplam | 8.800 | Benzersiz fırsat numarası 8.800. Görüşme tarihi olan 8.300 kayıt hesaplamaya uygun. |
Veri sözlüğünde engage_date, fırsatın görüşme aşamasına geçtiği gün. close_date, kazanıldığı veya kaybedildiği gün. Kapanmış 6.711 kayıtta kapanış tarihi, görüşme tarihinden önce gelmiyor. İlk kapanış 1 Mart 2017, son kapanış 31 Aralık 2017. Bu nedenle geçmiş değerlendirme görüntülerini 6 Mart’tan başlattık ve takip bitişini 31 Aralık olarak aldık.
Arşivin iki açık kopyası aynı SHA-256 özetine sahipti. Hesabı yalnızca satış fırsatları tablosuyla yaptık. Son deal_stage alanını geçmiş görüntülerde tahmin girdisi olarak kullanmadık. Bu alanı kapanış tarihinde gerçekleşen sonucu belirlemek için okuduk.
Veri, bir fırsatın ilk görüşmeden sonra geçirdiği tüm aşamaların tarihlerini içermiyor. Kayıt kaybolduysa, sonradan geriye dönük düzeltildiyse veya kapatılıp yeniden açıldıysa bunu bu dışa aktarımdan göremiyoruz. Yeniden kurulan görüntüler bu nedenle bir CRM etkinlik günlüğünden alınmış gerçek tarihsel görüntülerle aynı kanıt gücüne sahip değil.
Her tahmini yalnızca o gün sonuçlanmış geçmişe dayandırın
Bir pazartesi gününün sonunda görüntü aldık. Görüşme tarihi o gün veya daha önce olan ve henüz kapanmamış kayıtlar, o tarihte tahmin yapılacak fırsatları oluşturuyor. Kapanış tarihi gözlem günüyle aynı olan kayıtlar, tahmin anında zaten sonuçlanmış kabul ediliyor.
Test, 3 Temmuz ile 30 Ekim 2017 arasındaki 18 pazartesiyi kapsıyor. Her pazartesi model yeniden hesaplanıyor. Geçmiş görüntülerin sonuçları ancak ilgili vadenin son günü geçince veya o günün sonunda biliniyor. Örneğin 3 Temmuz’da 30 günlük tahmin kurarken 29 Mayıs görüntüsünün tamamı kullanılabilir. 5 Haziran görüntüsünün 30. günü 5 Temmuz olduğundan o haftayı eğitimden çıkardık.
| Kurgusal durum | Tahmin kümesine girer mi? | 30 günlük sonuç |
|---|---|---|
| 3 Temmuz’da kazanılmış kayıt | Hayır | Gözlem gününün sonunda kapanmış durumda. |
| 3 Temmuz’da açık, 2 Ağustos’ta kazanıldı | Evet | 1. Vadenin son günü dahil. |
| 3 Temmuz’da açık, 3 Ağustos’ta kazanıldı | Evet | 0. Kazanım vadenin dışında. |
| 3 Temmuz’da açık, 12 Temmuz’da kaybedildi | Evet | 0. Vade içinde kazanım gerçekleşmedi. |
| İlk görüşme 4 Temmuz’da başladı | Hayır | Gözlem anında kapsama henüz girmemişti. |
Bu tasarımda aynı fırsat, kapanana kadar birden fazla pazartesi yeniden tahmin edilebiliyor. Birincil ölçüm, fırsat ve tarih çiftlerini sayıyor. Gerçek bir haftalık toplantıda aynı sorunun tekrar sorulmasını bu ölçüm yansıtıyor. Tekrarlara karşı ek kontrolde her fırsatın yalnızca ilk test görüntüsünü tuttuk ve mevcut tahminleri bu altkümede yeniden puanladık.
Rastgele satır bölmek, aynı fırsata ait sonraki haftayı eğitime sokabilir. Tarih sıralı değerlendirme ile bütün vade sonuçlarının geçmişte kalması şartı bu yolu kapatıyor. Eğitim görüntülerinin üst üste binmesi ise gözlemleri birbirinden bağımsız kılmıyor. Bu yüzden haftalık farkları ve tek gözlem kontrolünü tanımlayıcı olarak sunuyoruz.
Üç hesap aynı soruya ne kadar iyi yanıt veriyor?
| Yaklaşım | Tahmin günü nasıl hesaplandı? | Ne ölçer? |
|---|---|---|
| Kapanmış işlerin kazanma oranı | O güne kadar kazanılanları, o güne kadar kazanılan ve kaybedilenlerin toplamına böl. | Kapanmış işler içindeki kazanma payı. |
| Vadeye uygun temel oran | Takip süresi tamamlanmış geçmiş görüntülerde, hedef vade içinde kazanılan fırsat-tarih çiftlerinin payını al. | Yaştan bağımsız vade içi kazanılma olasılığı. |
| Yaşa göre vade içi oran | Aynı geçmiş görüntüleri 0–29, 30–59, 60–89 ve 90+ gün olarak böl. Her gruba kendi oranını ver. | Tahmin günündeki fırsat yaşına bağlı vade içi olasılık. |
Yaş, ilk görüşme tarihinden tahmin gününe kadar geçen gün sayısıdır. Görüşme aşamasında aralıksız geçirilen süreyi ölçtüğümüzü varsaymadık. Bir yaş grubunda geçmişten 50 fırsat-tarih çifti yoksa o hafta temel orana döndük. Bu eşik bir çalışma koşuludur. 50 farklı firma veya bağımsız fırsat anlamına gelmez.
Ana ölçü Brier skoru, tahmin olasılığı ile gerçekleşen 0 veya 1 arasındaki farkın karesinin ortalamasıdır. %70 tahminle kazanılan bir fırsat 0,09 hata yazar. Aynı tahminle kazanılmayan fırsat 0,49 hata yazar. Düşük skor daha iyidir. Skora, büyük ve küçük tutarlı fırsatlar eşit ağırlıkla girer.
Kalibrasyon, verilen olasılıkların tekrar eden durumlarda gözlenen sıklıklarla uyumudur. Her fırsata %20 vermek, grubun beşte biri kazanırsa ortalamada kalibre olabilir. Yine de tek tek fırsatları ayırmayabilir. Bu nedenle ortalama olasılık ile gerçekleşen payı, yaş grubundaki sapmaları ve Brier skorunu birlikte inceledik.
Kapanmış işlerin oranı 30 günlük kazanımı yüksek gösterdi
| Ölçü | Kapanmış iş oranı | Vadeye uygun temel oran | Yaşa göre oran |
|---|---|---|---|
| Ortalama tahmin | %63,44 | %17,00 | %17,58 |
| Gerçekleşen kazanım sıklığı | %11,27 | %11,27 | %11,27 |
| Brier skoru | 0,37288 | 0,10333 | 0,10493 |
18 haftada 40.800 tahmin, 4.791 benzersiz fırsata aitti. Sonuç satırlarının 4.599’u 30 gün içinde kazanımla bitti. Bu 4.599 gözlemin içinde, farklı tarihlerde tahmin edilen aynı kazanım yer alabilir. Bu nedenle sayı, 4.599 farklı satış anlamına gelmez.
Gözlenen %11,27 ile kapanmış iş oranının tahmin ettiği %63,44 arasındaki fark 52,17 yüzde puanı. Vadeye uygun temel oranda fark 5,73 puana iniyor. Yaş eklenince Brier skoru 0,00160 yükseliyor ve ortalama fark 6,31 puana çıkıyor. Farkın yönü, yaş modelini bu testte otomatik iyileştirme olarak kullanmayı desteklemiyor.

3 Temmuz’da 1.717 fırsatın 87’si 30 gün içinde kazanıldı. Gözlenen %5,1’e karşı temel tahmin %19,3’tü. 28 Ağustos’ta gözlenen %17,4, temel tahmin %16,5’ti. 2 Ekim’de ise 2.452 fırsatın 61’i kazanıldı ve gerçekleşme %2,5’e indi. Haftalar arasındaki bu hareketi, kullanılan veride sezon etkisi, müşteri davranışı veya veri üretim şekli açıklayabilir. Bunları ayıracak ek veri bulunmuyor.
Fırsat yaşı bilgi içeriyor, ama tahminin düzeyini de kontrol etmek gerekiyor
| İlk görüşmeden geçen gün | Gözlem | Gözlenen | Yaşa göre ortalama tahmin |
|---|---|---|---|
| 0–29 | 11.106 | %10,97 | %11,08 |
| 30–59 | 9.844 | %12,18 | %14,86 |
| 60–89 | 7.492 | %21,16 | %31,38 |
| 90 ve üzeri | 12.358 | %4,83 | %17,23 |

En yüksek gerçekleşme 60–89 gün grubunda görüldü. 90 gün ve üzeri grup ise grubun tahmininden 12,40 yüzde puanı aşağıda kaldı. 0–29 gün grubunda ortalamalar birbirine yakın. Bu dağılım, yaş etkisini her gün azalan tek bir katsayıyla ifade etmenin bu arşivde gözlenen yapıyı yakalayamayacağını gösteriyor.
Bir yaş aralığının ortalama tahmini, o gruptaki her fırsatın aynı olasılığa sahip olduğunu göstermez. Her pazartesi geçmiş oranlar değişiyor. Yaş gruplarının içindeki diğer özellikler de farklı olabilir. Bu tablo, yaşın satışa neden olduğunu veya 90. günde tek başına bir eşik etkisi bulunduğunu göstermiyor.
15, 30 ve 60 gün aynı model tercihini vermedi
| Vade | Gözlenen kazanım | Temel oran | Yaşa göre oran | Yaşın daha iyi olduğu hafta |
|---|---|---|---|---|
| 15 gün | %6,31 | 0,06058 | 0,06158 | 9 / 18 |
| 30 gün | %11,27 | 0,10333 | 0,10493 | 9 / 18 |
| 60 gün | %21,31 | 0,17758 | 0,16784 | 17 / 18 |
Yaş grupları 60 günde skoru 0,00974 düşürdü. Bu, temel orana göre yaklaşık %5,5 daha düşük Brier hatasıdır. 15 ve 30 günde toplam hata arttı. Haftalar arasında gözlemler ortak olduğu için 17/18 sayısını bağımsız deney veya istatistiksel anlamlılık olarak yorumlamadık.
| Vade | Benzersiz fırsat | Gözlenen kazanım | Temel oran Brier | Yaşa göre Brier |
|---|---|---|---|---|
| 15 gün | 4.791 | %13,55 | 0,11933 | 0,12275 |
| 30 gün | 4.791 | %14,97 | 0,13001 | 0,13904 |
| 60 gün | 4.791 | %24,84 | 0,19459 | 0,19227 |
Her fırsatı bir kez sayınca da 30 günlük hata yükseliyor ve 60 günlük hata düşüyor. İlk görünüm altkümesinin dağılımı, haftalık açık portföyün dağılımından farklı. Bu yüzden iki tablonun mutlak Brier skorlarını yarıştırmadık. Yalnızca aynı tablodaki iki yöntemi ve farkın yönünü karşılaştırdık.
60 günlük tahminde önceki sonuçların olgunlaşması daha uzun sürüyor. Dolayısıyla aynı test gününde kullanılan geçmiş küme de 30 günlük modeldekinden farklı. Model performansının vade değişince neden değiştiğini söylerken hem farklı hedefi hem farklı eğitim penceresini hesaba katmak gerekir.
Ekip kendi geçmişinde hangi bilgileri saklamalı?
Önce tek hedef ve vade yazın.
Örneğin pazartesi gün sonu açık olan işlerin 30 günde kazanılması. Hangi durumların kapsamda olduğunu ve aynı gün kapanış kuralını yazılı hale getirin.
Her görüntüyü sonradan üzerine yazılmayacak biçimde saklayın.
Fırsat numarası, görüntü tarihi, o gün bilinen aşama, tutar ve para birimi, sonraki görev ile beklenen karar tarihini kaydedin. Gerçekleşen kazanım ve kaybın tarihlerini ayrı bir olay olarak ekleyin.
Basit modeli sabitleyin ve yeni modeli aynı tarihlerde çalıştırın.
Önce vade içi temel oranı saklayın. Aşama, yaş veya müşteri teyidi gibi tek bir ek bilginin değerini aynı tahmin günleri ve aynı hedef üzerinde ölçün.
Olasılık ile iş hacmini ayrı değerlendirin.
Gerçekleşen kazanımların sıklığını, Brier skorunu ve varsa sipariş tutarı hatasını ayrı raporlayın. Tutar için tahmin gününde bilinen sipariş değerini kullanın.
Modeli kullanmadan önce yeni bir dönemde tekrar sınayın.
Tahmin çok yüksek kalıyorsa hangi fırsatları kapsadığınızı, kapanış tarihlerini ve veri toplama sıklığını kontrol edin. Daha karmaşık modele geçmeden önce aynı süreci ileri tarihli gerçek kayıtlarla yürütün.
Bir tahminin çıktısı toplantıda değişiklik kararı doğuracaksa, o kararın hangi hataya duyarlı olduğunu da yazın. Örneğin gelecek ayın ekip kapasitesi için toplam iş yükü önemlidir. Kritik bir müşteriyi arama sırası için fırsatlar arasındaki sıralama daha önemli olabilir. Aynı skor her iki kararı tek başına cevaplamaz.
Hesap tablosu kurmak isteyenler ağırlıklı satış tahmini örneğini kullanabilir. Geçiş kararları için satış aşamalarını tanımlama rehberi başlangıç noktasıdır. Bu makaledeki olasılık modeli harici araştırma koduyla hesaplanmıştır.
Bulguların hangi koşullarda geçerli olduğunu okuyun
Veri seti kurgusaldır, tek arşivden gelir ve test 2017’nin 18 pazartesisiyle sınırlıdır. Oranlar herhangi bir sektörün, müşteri tipinin veya Anivo kullanıcılarının performansını temsil etmez. Bu, yayınlanmış bir teknik incelemedir ve harici hakem değerlendirmesinden geçmemiştir.
İlk görüşme tarihi mevcut olan kayıtlar üzerinde çalıştık. Henüz görüşmeye geçmemiş 500 adayın davranışı, bir tarama aşamasının verimi veya yeni fırsat üretimi araştırma kapsamında değil. Veri kesimine kadar görüşmede görünen kayıtların kesimden sonraki gerçek sonuçları da bilinmiyor.
Kapanma tarihi ve son durum ile geçmiş açık kayıtları yaklaşık olarak kurduk. Gün içindeki sıralama, önceki aşamalar, kayıtların sisteme gerçekte ne zaman işlendiği ve kapanış tarihinin sonradan düzeltilip düzeltilmediği arşivde bulunmuyor. Bu ayrımlar, gerçek bir CRM’de modelden önce veri kayıt yönteminin sınanmasını gerektirir.
Örneklem haftaları ve tahmin vadeleri çakışıyor. Güven aralığı veya nedensel etki tahmini üretmedik. Diğer satış döngülerinde sonucu ölçmek için daha uzun zaman aralığı, iş türüne göre ayrım ve gerçek zamanlı arşivlenmiş görüntüler gerekir. Yalnızca kazanılan işten sonra bilinen close_value alanını tahminde kullanmadık.
Aynı arşivle sonuçları baştan hesaplayın
Maven Analytics veri kaynağını ve lisansını kaynakçadan açabilirsiniz. Çalışmada kullanılan ZIP’in açık aynası da orada. Kod, ZIP’in SHA-256 özetini denetliyor ve veri farklıysa duruyor. Kaynak kayıtlar siteye yeniden yüklenmedi.
Python 3.10 veya üzeri ile çalışır. Harici paket gerektirmez.
Kod ile arşivi aynı klasöre alın. Ardından python reproduce.py CRM+Sales+Opportunities.zip komutunu çalıştırın. Dosya adını kendi indirdiğiniz ZIP’in adıyla değiştirebilirsiniz. Kod haftalık sonuçları CSV, özet ve denetim bilgilerini JSON olarak yazar.
Üç vade için tahmin günü, gözlem sayısı, gerçekleşen sonuç, ortalama olasılıklar ve Brier skorları.
Arşiv özeti, tarih kesimleri, yaş grupları ve her fırsatın bir kez sayıldığı kontrol.
Grafik üretim kodu aynı iki dosyayı okuyup Matplotlib ile yeniden çizer. Ana 30 günlük gözlem sayısını ve iki vadeye uygun modelin Brier skorunu ayrı bir SQLite hesabıyla da karşılaştırdık.
Modeli değiştirmeden önce soruyu ve tarihi sabitleyin
Bu örnekte en büyük hata, kapanmış işlerin kazanma payını açık işlerin kısa vadede kazanılma ihtimali gibi kullanmaktan geldi. Aynı vadeye ait geçmiş oranla hesaplanan basit bir tahmin, 30 günlük testte daha düşük hata verdi. Yaş bilgisinin katkısı ise vade değiştikçe yön değiştirdi.
Bir ekibin kendi verisinde sınayabileceği karar şudur. Önce tahminin üretildiği günü ve neyin başarı sayılacağını kaydedin. Geçmişi aynı kurallarla puanlayın. Yeni bir değişkeni ancak aynı hedef ve tarihlerde temel tahmine karşı ölçtükten sonra kullanıma alın.
Sık sorulan sorular
Araştırma tasarımı ve yorumla ilgili kısa yanıtlar.
Brier skoru nasıl yorumlanır?
Olasılık ile gerçekleşen 0 veya 1 arasındaki kare hatanın ortalamasıdır. Düşük değer daha iyidir. Aynı hedef, vade ve test satırları üzerinde iki modeli kıyaslayın.
Bu araştırma gerçek müşteri verisine mi dayanıyor?
Hayır. Kullanılan Maven Analytics arşivi kurgusal bir donanım şirketine ait örnek veridir. Sayılar bu arşiv üzerinde çalıştırılan analizden gelir.
Kapanan işlerin kazanma oranı neden 30 günlük tahmin için yüksek çıktı?
Paydası yalnızca kapanan işleri kapsıyor. Açık işlerin önümüzdeki 30 günde hâlâ bekleme olasılığını hesaba katmıyor.
Gecikmeli kapanan bir fırsat kayıp mı sayıldı?
İşin gerçek statüsünü değiştirmedik. Hedef vade içinde kazanım gerçekleşmediyse o tahminin sonucu sıfır olarak puanlandı.
Bu model satış tutarını tahmin ediyor mu?
Hedefi fırsatın belirli bir sürede kazanılması. Ağırlıklı sipariş tutarı için tahmin anında bilinen tutarlara ve ayrıca tutar hatası kontrolüne ihtiyaç var.
Aşama geçmişi olan bir CRM’de yöntem nasıl genişler?
Her gözlem gününde bilinen aşamayı ve aşamada geçirilen süreyi kaydedin. Bu alanları aynı tarihlerde ve aynı vade ile, temel modele karşı sınayın.
Kaynaklar ve örnek notu
Araştırmanın veri kaynağı, dosya aynası ve kullanılan yöntemlerin literatürdeki karşılıkları.
- Maven Analytics · CRM Sales Opportunities
Kurgusal veri arşivinin yayımlayan kaynağı. Lisansı kamu malı olarak listeleniyor.
- Veri arşivinin açık aynası · GitHub
Çalışmada kullanılan ZIP’in aynası. Dosyayı analiz kodunun içindeki SHA-256 ile karşılaştırabilirsiniz.
- Yan ve diğerleri (2015) · Sales pipeline win propensity prediction
Devam eden B2B fırsatlarında belirli bir vadede kazanılma olasılığını inceliyor.
- Rezazadeh (2020) · A Generalized Flow for B2B Sales Predictive Modeling
Bir danışmanlık şirketinin CRM verisinde, farklı değişkenlerle satış sonucu tahmini üzerine saha çalışması.
- Tashman (2000) · Out-of-sample tests of forecasting accuracy
Tahmin değerlendirmesinde zaman pencereleri ve kayan tahmin tarihlerini inceliyor.
- Gneiting ve Raftery (2007) · Strictly Proper Scoring Rules, Prediction, and Estimation
Olasılık tahminlerini değerlendirmede uygun puanlama kurallarının ve Brier skorunun kuramsal dayanağı.
