Kalibrasyon & Güven

Out-of-sample · derin model

Demo defteri değil — derin bir model (takım başına hücum/savunma + Dixon-Coles) walk-forward, gelecek sızıntısı olmadan kuruldu ve modelin HİÇ GÖRMEDİĞİ bir sezonda test edildi. 'AI tahmin ediyor' değil: 'tahminlerimiz görmediği maçlarda şu kadar tuttu, güveni şu kadar dürüst — %95 güven aralığıyla.'

veri kaynağıClaude

OUT-OF-SAMPLEModel 9.029 maçta (2017-2022) eğitildi; tüm rakamlar modelin hiç görmediği 2022-23 sezonunda (1.826 maç) ölçüldü. Hiperparametreler yalnız train'de ayarlandı → test setine uydurma yok.

Güven Skoru

/100 · güvenilir

İsabet (out-of-sample)

%52.7

%95 GA %50.4–%54.9

Kalibrasyon hatası

0.014

ECE · GA 0.009–0.028

Beceri (şansa karşı)

+%8.5

Brier skill score

Brier

0.588

GA 0.572–0.602

Log-loss

0.986

baseline 1.063

Karar Türüne Göre Güven her tahmin ayrı doğrulandı

Sistem her tahminine aynı güveni vermez — hangisine ne kadar güvenebileceğini dürüstçe söyler. Doğrulanamayanlar açıkça işaretli.

/100

Maç Sonucu (1/X/2)güvenilir

Hangi takım kazanır / berabere — en güçlü katman.

isabet %52.7

ECE 0.014 · beceri +%8.5

/100

Çok Gollü Maç (Üst/Alt 2.5)zayıf

Maçta 3+ gol olur mu — orta güç.

isabet %48.4 / taban %52.2

ECE 0.162 · beceri +%-8.6

/100

Karşılıklı Golzayıf

İki takım da gol atar mı — zayıf, tahminden az iyi.

isabet %46.3 / taban %53.7

ECE 0.168 · beceri +%-10.7

—

Kadro / Rotasyon KararıVERİ BEKLİYOR

Doğrulanamaz: kimin gerçekten oynadığı + maç sonucu eşli veri gerekir (Süper Lig kadro+sonuç akışı).

—

Sakatlık RiskiVERİ BEKLİYOR

Doğrulanamaz: gerçek sakatlık zaman serisi + yük/giyilebilir veri gerekir (Sportmonks haberi yetmez).

Güvenilirlik Eğrisi

"%X dediğinde gerçekten %X mi oluyor?" — nokta köşegende = dürüst güven.

Köşegene yakınlık = güven rakamı gerçeği yansıtıyor. Köşegenin altı = fazla iddialı, üstü = fazla temkinli. Nokta büyüklüğü = o güven aralığındaki maç sayısı.

Şanstan İyi mi? beceri kanıtı

Bizim model0.588

Naif tahmin (taban oranı)0.642

Brier hatası — düşük olan daha iyi. Model baseline'ın altında = gerçek tahmin becerisi (şanstan iyi).

Güven aralığına göre gerçek isabet

Model dedi	Gerçek	Maç	Uyum
%33–40	%35	285	tam
%40–50	%48	626	tam
%50–60	%53	455	tam
%60–70	%64	270	tam
%70–80	%77	145	tam
%80–100	%80	45	tam

Model Karşılaştırma aynı görülmemiş test setinde

Derin model (hücum/savunma + Dixon-Coles) vs eski tek-Elo. Düşük Brier/log-loss/ECE = iyi.

Model	İsabet	Brier ↓	Log-loss ↓	ECE ↓	Beceri ↑
AKTİFEnsemble (Atak/Defans·xG·DC %70 + Elo %30)	%52.7	0.5875	0.9863	0.0141	+%8.5
Atak/Defans + Şut(xG) + Dixon-Coles (bileşen)	%53.0	0.5894	0.9885	0.0122	+%8.2
Elo tek güç (bileşen)	%53.5	0.5960	1.0054	0.0410	+%7.2

Derin model olasılıkları belirgin daha kalibre (ECE düşük) ve log-loss'u daha iyi — yani güven rakamı daha dürüst. Bu, "%X dediğinde gerçekten %X oluyor" demektir.

Lig kırılımı

Premier League	380 maç	%53.2
Ligue 1	380 maç	%51.8
La Liga	380 maç	%54.7
Serie A	380 maç	%52.1
Bundesliga	306 maç	%51.3

Örnek defter son maçlar · tahmin → gerçek

✓Udinese – Juventustahmin 2 %430-1

✓Roma – Speziatahmin 1 %642-1

✓Milan – Veronatahmin 1 %693-1

✓Lecce – Bolognatahmin 2 %402-3

✓Atalanta – Monzatahmin 1 %525-2

✓Napoli – Sampdoriatahmin 1 %852-0

✗Valladolid – Getafetahmin 2 %360-0

✗Espanol – Almeriatahmin 1 %443-3

✗Elche – Cadiztahmin 1 %401-1

Doğrulanmış Model — Canlı Tahmin

öğrenilmiş gerçek takım güçleriyle · bir eşleşme seç

(ev) vs(dep)

%53.8

%21.6

%24.6

● Bayern Munich %53.8● Beraberlik %21.6● Dortmund %24.6

Beklenen skor

2.3–1.7

en olası 2-1

Üst 2.5 gol

%68.5

çok gollü olasılığı

Karşılıklı gol

%66.6

iki takım da atar

En olası skorlar

2-1%8.3

1-1%7.7

2-2%6.9

Bu tahmin, sayfadaki doğrulanmış modelin öğrendiği gerçek takım güçleriyle üretildi — maç sonucu katmanı out-of-sample güven 76. Aynı motor Süper Lig verisine bağlanınca senin maçların için bunu, kendi doğrulanmış güveniyle üretir.

Karar Kanıt Defteri

her motor şu an ne iddia ediyor + nasıl doğrulanacak

Maç sonucu motoru gerçek maçlarla doğrulandı (güven 76). Sakatlık ve kadro kararlarının "doğru cevabı" ise ancak gelecekte belli olur. Bu yüzden her motor şu an yaptığı falsifiye edilebilir iddiaları kaydediyor ve nasıl doğrulanacağını yazıyor. Gerçek sonuç akınca (Süper Lig sezonu) defter dolar, her motor kendi "%X tuttu" rakamını kazanır. Sahte sonuç üretilmez — şu an "birikiyor" dürüstçe görünür.

Maç Sonucu

DOĞRULANDI · 76

Şu anki açık iddialar (1)

%52Beşiktaş vs Antalyaspor — Beşiktaş galibiyeti %52 · en olası 1-1 (maç günü)

Reconcile: Maç oynanınca skordan otomatik: tahmin edilen sonuç (1/X/2) gerçekleşti mi.

Bu motor zaten 1826 gerçek maçta doğrulandı (out-of-sample).

Sakatlık Riski

BİRİKİYOR · 0 sonuçlandı

Şu anki açık iddialar (6)

%86Kökçü (10) — Önümüzdeki 14 günde yüksek sakatlık/yük riski (endeks 86) (14 gün)

%73Uduokhai (15) — Önümüzdeki 14 günde yüksek sakatlık/yük riski (endeks 73) (14 gün)

%71Yılmaz (3) — Önümüzdeki 14 günde yüksek sakatlık/yük riski (endeks 71) (14 gün)

%68Djaló (4) — Önümüzdeki 14 günde yüksek sakatlık/yük riski (endeks 68) (14 gün)

%65Touré (19) — Önümüzdeki 14 günde yüksek sakatlık/yük riski (endeks 65) (14 gün)

%61Yılmaz (18) — Önümüzdeki 14 günde yüksek sakatlık/yük riski (endeks 61) (14 gün)

Reconcile: 14 gün içinde oyuncu gerçekten kas/yük kaynaklı maç kaçırdı mı? Evet → isabet.

Gerçek sakatlık zaman serisi + yük/giyilebilir veri gerekir.

Kadro / Rotasyon

BİRİKİYOR · 0 sonuçlandı

Şu anki açık iddialar (6)

%44Murillo (2) — Rotasyona alınmalı / dakika sınırlı (risk 44) (maç günü)

%71Yılmaz (3) — Bu maçta dinlendirilmeli (risk 71) (maç günü)

%38Ndidi (6) — Rotasyona alınmalı / dakika sınırlı (risk 38) (maç günü)

%86Kökçü (10) — Bu maçta dinlendirilmeli (risk 86) (maç günü)

%41Ünder (11) — Rotasyona alınmalı / dakika sınırlı (risk 41) (maç günü)

%22Hyeon-Gyu (9) — Rotasyona alınmalı / dakika sınırlı (risk 22) (maç günü)

Reconcile: Öneri uygulandığında oyuncu fit kaldı + sonuç beklentiyi tuttu mu? İhlal edilip sakatlanırsa öneri doğrulanır.

Kim gerçekten oynadı + maç sonucu eşli veri gerekir.

Motor Sicili maçlar boyu isabet · değerlendirmelerden birikir

Uygulanan Öneriler analist teyidi · maç modundan

Bu Ne Kanıtlıyor, Ne Kanıtlamıyor

✓ Kanıtlıyor

Sistem gerçek maçlarda şanstan belirgin iyi tahmin ediyor (beceri +%8).
Söylediği güven dürüst/kalibre (ECE 0.014) — "%60" dediğinde gerçekten ~%60 oluyor.
Motor gelecek sızıntısı olmadan çalışıyor; metrikler 1.826 bağımsız maçtan.

⚠ Kanıtlamıyor / Sınırlar

Bu test maç sonucu (1/X/2) tahminciyi doğrular. Sakatlık/yük kararları ayrı veri (giyilebilir cihaz) ister.
Model gol verisine dayanır. Kadro/sakatlık/canlı-xG sinyalleri eklenince beceri daha da artar (mimari hazır).
Senin ligin (Süper Lig) için bu rapor, Sportmonks canlı verisi bağlanınca senin maçlarınla üretilir.

Sonuç: Aynı motor Sportmonks Süper Lig verisine bağlandığında, senin takımının maçları için de bu "ne kadar güvenebilirsin" rakamını üretecek. Bir karar destek sistemini gerçekten güvenilir kılan şey budur: tahmin etmek değil, tahmininin ne kadar tuttuğunu kanıtlamak.