📏 Evaluasi Model: Metrik & Train/Test Split

Confusion matrix, precision, recall, F1, MSE, R² — dan kenapa accuracy saja tidak cukup.

📌 1. Kenapa Harus Train/Test Split?

Model yang diuji di data yang sama dengan saat belajar akan "menghafal" (overfitting) dan skorannya bohong. Analogi: ujian harus pakai soal baru, bukan soal latihan.

Data (100 titik)
├── 70% → TRAIN  : model belajar di sini (bobot di-update)
└── 30% → TEST   : model TIDAK pernah lihat; dipakai ukur kemampuan umum

Aturan:
• Test set harus TIDAK SENTUH proses training (tidak untuk tuning hyperparameter)
• Untuk tuning: pakai 3-way split (train/valid/test) atau cross-validation
• Data harus di-shuffle dulu sebelum dibagi (supaya tiap kelas tersebar)

📌 2. Confusion Matrix: Fondasi Metrik Klasifikasi

                       PREDIKSI
                    ┌──────────────┬──────────────┐
                    │   Kelas 0    │   Kelas 1    │
  AKTUAL  ┌─────────┼──────────────┼──────────────┤
   Kelas 0│         │  True Neg    │  False Pos   │   FP = "kambuh" padahal sehat
          │         │     (TN)     │      (FP)    │
          ├─────────┼──────────────┼──────────────┤
   Kelas 1│         │  False Neg   │  True Pos    │   FN = sakit tapi dianggap sehat ⚠️
          │         │      (FN)    │     (TP)     │
          └─────────┴──────────────┴──────────────┘

Accuracy  = (TN + TP) / semua
Precision = TP / (TP + FP)   ← dari yang DIPREDIKSIT positif, berapa benar?
Recall    = TP / (TP + FN)   ← dari yang BENAR-BENAR positif, berapa tertangkap?
F1        = 2·P·R / (P + R)  ← rata-rata harmonik (seimbang)

📌 3. Contoh: Jebakan Accuracy pada Data Tidak Seimbang

Kasus nyata: deteksi penyakit langka (90% sehat, 10% sakit). Model bodoh "prediksi semua sehat" tetap dapat accuracy 90% — tapi tidak berguna.

print("=== DETEKSI PENYAKIT: 90% SEHAT, 10% SAKIT ===\n")
random_seed(42)
X, y = [], []
for _ in range(90):
    X.append([randn(), randn()]); y.append(0)      # sehat: di sekitar (0,0)
for _ in range(10):
    X.append([2.0 + randn(), 2.0 + randn()]); y.append(1)  # sakit: di sekitar (2,2)

Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, seed=1)
print("Test set: %d sehat, %d sakit" %
      (yte.count(0), yte.count(1)))

# ── MODEL A: bodoh, prediksi semua "sehat" ──
predA = [0] * len(yte)

# ── MODEL B: nearest centroid (sederhana tapi belajar) ──
groups = {}
for p, l in zip(Xtr, ytr):
    groups.setdefault(l, []).append(p)
cents = {l: [mean([q[0] for q in pts]), mean([q[1] for q in pts])]
         for l, pts in groups.items()}
predB = []
for p in Xte:
    d = {l: euclidean(p, c) for l, c in cents.items()}
    predB.append(min(d, key=d.get))

print("\n%-14s %-10s %-10s %-8s" % ("Model", "Accuracy", "Recall", "F1"))
print("-" * 44)
print("%-14s %-10.1f %-10.2f %-8.2f" %
      ("A: semua sehat", accuracy(yte, predA) * 100,
       recall(yte, predA), f1_score(yte, predA)))
print("%-14s %-10.1f %-10.2f %-8.2f" %
      ("B: centroid", accuracy(yte, predB) * 100,
       recall(yte, predB), f1_score(yte, predB)))

cm, lab = confusion_matrix(yte, predB)
print("\nConfusion Matrix Model B:")
heatmap(cm, ["akt 0 (sehat)", "akt 1 (sakit)"],
        ["pred 0", "pred 1"], title="")
print("\n→ Model A: accuracy tinggi TAPI recall = 0 (semua pasien lolos!)")
print("→ Untuk deteksi penyakit, RECALL yang paling penting.")

Output:

💡 Pilih metrik sesuai biaya kesalahan: deteksi kanker → recall tinggi (jangan ada yang lolos); filter spam → precision tinggi (jangan email penting masuk folder spam); rekomendasi film → F1/accuracy sering cukup.

📌 4. Metrik Regresi: MSE, RMSE, MAE, R²

Metrik	Rumus	Karakter
MSE	mean((y - ŷ)²)	Outlier dihukum PAKAI (dikuadratkan)
RMSE	√MSE	Satuan sama dengan target (mudah diinterpretasi)
MAE	mean(\|y - ŷ\|)	Lebih toleran terhadap outlier
R²	1 - SS_res/SS_tot	1 = sempurna, 0 = sama saja dengan tebak mean, <0 = lebih buruk dari mean

print("=== PERBANDINGAN METRIK REGRESI ===\n")
random_seed(42)
X, y = make_regression(80, slope=2.0, intercept=1.0, noise=1.0)

# Tiga "model" dengan kualitas berbeda:
pred_naive    = [mean(y)] * len(y)      # tebak rata-rata
pred_off      = [v + 0.5 for v in y]    # nyaris benar, geser 0.5
pred_perfect  = y[:]                     # sempurna

print_table(["Model", "MSE", "RMSE", "MAE", "R²"],
            ["naive (mean)",  fmt(mse(y, pred_naive)),  fmt(rmse(y, pred_naive)),
             fmt(mae(y, pred_naive)),  fmt(r2_score(y, pred_naive))],
            ["geser +0.5",    fmt(mse(y, pred_off)),    fmt(rmse(y, pred_off)),
             fmt(mae(y, pred_off)),    fmt(r2_score(y, pred_off))],
            ["sempurna",      fmt(mse(y, pred_perfect)), fmt(rmse(y, pred_perfect)),
             fmt(mae(y, pred_perfect)), fmt(r2_score(y, pred_perfect))])

# Dampak outlier pada MSE vs MAE
y_out = y[:]
y_out[0] += 20.0   # satu error besar
pred_out = y_out[:]
pred_out[0] = y[0]  # model salah tebak titik itu
print("\nDampak 1 outlier (error = 20) pada %d titik:" % len(y))
print("  MSE = %.2f   (meledak karena kuadrat!)" % mse(y_out, pred_out))
print("  MAE = %.2f   (tetap tenang)" % mae(y_out, pred_out))
print("→ Mau toleran outlier? Pakai MAE. Mau menghukum error besar? Pakai MSE.")

Output:

🧠 Latihan

Hitung precision Model B di contoh penyakit. Jika precision rendah, apa artinya secara medis? (Banyak orang sehat yang dipanggil "sakit" → overdiagnosis.)
Buat data dengan 99% kelas 0 dan 1% kelas 1. Berapa accuracy model "prediksi semua 0"? Berapa recall-nya?
Jelaskan kenapa R² bisa negatif. (Petunjuk: model lebih buruk dari menebak mean.)
Sebutkan 2 situasi di mana MAE lebih tepat dari MSE, dan 1 situasi di mana MSE lebih tepat.