📮 Naive Bayes

Klasifikasi probabilistik berbasis teorema Bayes — cepat, ringan, dan juara di dunia teks.

🎬 Animasi: Naive Bayes: Kata Memperbarui Keyakinan

Tiap kata baru memperbarui P(spam) via teorema Bayes. Kata-kata mirip spam menumpuk → probabilitas melonjak → pesan ditandai SPAM.

📌 1. Teorema Bayes: Memperbarui Keyakinan

P(A|B) = P(B|A) · P(A) / P(B)

Contoh medis:
  P(mengidap kanker) = 0.001            ← prior (jarang)
  P(test+ | kanker)  = 0.99             ← sensitivitas
  P(test+ | sehat)   = 0.05             ← false positive

  P(kanker | test+) = 0.99·0.001 / (0.99·0.001 + 0.05·0.999)
                   ≈ 0.019  → hanya 1.9% !!

Pelajaran: prior (keberadaan awal) sangat berpengaruh.
Model yang mengabaikan prior akan salah besar di data tidak seimbang.

📌 2. Asumsi "Naive": Fitur Independen

Untuk klasifikasi dengan banyak fitur, kita butuh P(fitur₁, fitur₂, ... | kelas) — yang mustahil diestimasi dari data (kombinasinya meledak). Solusi Naive Bayes: anggap semua fitur independen satu sama lain (given kelas):

P(kelas | fitur₁..fiturₙ) ∝ P(kelas) · Π P(fiturᵢ | kelas)

"Naive" = asumsi independen ini TIDAK benar di dunia nyata
("obat" dan "murah" jelas saling terkait di teks spam),
TAPI praktiknya hasilnya sering tetap bagus — dan jauh lebih murah.

Varian:
• Multinomial NB  → fitur = frekuensi kata (TEKS)
• Gaussian NB     → fitur = angka kontinu (distribusi Gauss per kelas)
• Bernoulli NB    → fitur = ada/tidak ada

⚠️ Laplace smoothing (+1): jika sebuah kata tidak pernah muncul di kelas spam, probabilitasnya 0 → hasil kali jadi 0 selamanya. Smoothing memberi "probabilitas kecil" untuk semua kemungkinan.

📌 3. Contoh: Spam Detector (Multinomial NB)

print("=== SPAM DETECTOR: NAIVE BAYES ===\n")
train = [
    ("beli obat murah gratis ongkir", 1),
    ("promo diskon besar hari ini", 1),
    ("klik link ini menang undian", 1),
    ("obat kuat original harga murah", 1),
    ("gratis pulsa 100rb sekarang", 1),
    ("rapat proyek besok jam 9", 0),
    ("kirim laporan keuangan minggu ini", 0),
    ("undangan seminar machine learning", 0),
    ("jadwal ujian akhir semester", 0),
    ("silakan hadir di ruang rapat", 0),
]

def tokenize(t):
    return [w for w in t.lower().replace(",", " ").split() if w]

vocab = sorted(set(w for t, _ in train for w in tokenize(t)))
print("Vocabulary (%d kata):" % len(vocab))
print(vocab)

# ── Hitung probabilitas (dengan Laplace smoothing) ──
alpha = 1.0
p_class = {l: sum(1 for t, y in train if y == l) / len(train) for l in (0, 1)}
counts = {l: {w: 0.0 for w in vocab} for l in (0, 1)}
total = {l: 0.0 for l in (0, 1)}
for t, l in train:
    words = tokenize(t)
    total[l] += len(words)
    for w in words:
        counts[l][w] += 1

def nb_predict(text):
    scores = {}
    for l in (0, 1):
        s = math.log(p_class[l])
        for w in tokenize(text):
            s += math.log((counts[l].get(w, 0.0) + alpha) /
                          (total[l] + alpha * len(vocab)))
        scores[l] = s
    # softmax 2 kelas → probabilitas
    e0, e1 = math.exp(scores[0]), math.exp(scores[1])
    return (1 if scores[1] > scores[0] else 0), e1 / (e0 + e1)

print("\nUji prediksi:")
tests = [
    "promo gratis ongkir belanja sekarang",
    "jadwal rapat tim besok pagi",
    "menang undian klik link ini",
    "kirim tugas sebelum minggu depan",
    "diskon besar obat murah",
]
for text in tests:
    pred, p_spam = nb_predict(text)
    label = "SPAM" if pred == 1 else "HAM "
    print("  [%s] P(spam)=%.3f  '%s'" % (label, p_spam, text))

print("\nKata yang paling 'menyeret' ke spam (P(spam|kata) tinggi):")
for w in ["gratis", "obat", "rapat", "ujian", "link"]:
    if w in vocab:
        p = (counts[1][w] + 1) / (total[1] + 2 * len(vocab))
        q = (counts[0][w] + 1) / (total[0] + 2 * len(vocab))
        print("  '%s': frekuensi spam=%.1f, ham=%.1f" % (w, counts[1][w], counts[0][w]))

Output:

Coba tambah kalimat training baru (mis. "diskon gajian beli sekarang", 1) dan lihat prediksinya berubah.

📌 4. Contoh: Gaussian NB untuk Fitur Angka

Versi untuk data numerik: tiap (kelas, fitur) dimodelkan sebagai distribusi Gauss N(μ, σ) yang diestimasi dari data training.

print("=== GAUSSIAN NAIVE BAYES ===\n")
random_seed(42)
X, y = make_classification(120, n_features=2, sep=1.5)
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3)

# ── Estimasi parameter per kelas: mean & std tiap fitur ──
params = {}
for l in (0, 1):
    pts = [p for p, yy in zip(Xtr, ytr) if yy == l]
    params[l] = ([mean([q[0] for q in pts]), mean([q[1] for q in pts])],
                 [max(std([q[0] for q in pts]), 1e-6),
                  max(std([q[1] for q in pts]), 1e-6)])
p_class = {l: sum(1 for yy in ytr if yy == l) / len(ytr) for l in (0, 1)}

print("Parameter yang dipelajari:")
for l in (0, 1):
    mu, sd = params[l]
    print("  kelas %d: mu=[%.2f, %.2f]  sigma=[%.2f, %.2f]  P=%.2f"
          % (l, mu[0], mu[1], sd[0], sd[1], p_class[l]))

def gauss_pdf(x, mu, s):
    return math.exp(-((x - mu) ** 2) / (2 * s * s)) / (s * math.sqrt(2 * math.pi))

def gnb_predict(x):
    scores = {}
    for l in (0, 1):
        mu, sd = params[l]
        s = math.log(p_class[l])
        for j in range(len(x)):
            s += math.log(gauss_pdf(x[j], mu[j], sd[j]))
        scores[l] = s
    return max(scores, key=scores.get)

pred = [gnb_predict(x) for x in Xte]
print("\nAkurasi test = %.1f%%" % (accuracy(yte, pred) * 100))
print("Precision = %.2f  Recall = %.2f  F1 = %.2f"
      % (precision(yte, pred), recall(yte, pred), f1_score(yte, pred)))

# Transparansi: satu titik
x = Xte[0]
for l in (0, 1):
    mu, sd = params[l]
    lik = gauss_pdf(x[0], mu[0], sd[0]) * gauss_pdf(x[1], mu[1], sd[1])
    print("P(kelas %d | x) ∝ %.1e · %.3f = %.1e"
          % (l, p_class[l], lik, p_class[l] * lik))
print("→ prediksi: kelas %d (aktual %d)" % (gnb_predict(x), yte[0]))

Output:

💡 NB sangat cepat (hanya hitung probabilitas, tanpa iterasi) — dipakai di filter spam email, sentimen analysis, dan rekomendasi. Kelemahannya: asumsi independen gagal saat fitur sangat berkorelasi.

🧠 Latihan

Tambahkan 5 kalimat spam dan 5 ham baru ke training. Apa yang berubah di prediksinya?
Set alpha = 0 (tanpa smoothing), lalu uji teks yang mengandung kata baru (tidak ada di vocab). Apa yang terjadi?
Hitung manual: di spam detector, berapa P(kata "gratis" | spam)? Bandingkan dengan P("gratis" | ham).
Di Gaussian NB, ubah sep=1.5 menjadi sep=0.8. Kenapa akurasi turun? (Petunjuk: overlap distribusi Gauss.)