🎯 Logistic Regression

Klasifikasi biner berbasis probabilitas — model paling banyak dipakai di industri.

🎬 Animasi: Logistic Regression: Garis Keputusan

Garis keputusan memisahkan dua kelas. Warna latar menunjukkan probabilitas sigmoid (biru ≈ kelas 0, oranye ≈ kelas 1).

📌 1. Konsep: Dari Garis Menjadi Probabilitas

Linear regression menghasilkan angka bebas batas. Untuk klasifikasi kita mau probabilitas 0–1. Solusinya: jepit output garis dengan fungsi sigmoid:

z    = w·x + b                 (skor linear, -∞ .. +∞)
P(y=1|x) = sigmoid(z) = 1 / (1 + e^(-z))

z = -5  →  P ≈ 0.007   (sangat yakin kelas 0)
z =  0  →  P =  0.5    (ragu-ragu, tepat di batas)
z = +5  →  P ≈ 0.993   (sangat yakin kelas 1)

Keputusan: P ≥ 0.5 → kelas 1,  selain itu → kelas 0
          (threshold 0.5 bisa digeser sesuai biaya kesalahan!)

Garis w·x + b = 0 disebut decision boundary — pembatas antar kelas di ruang fitur.

📌 2. Training: Cross-Entropy + Gradient Descent

Cost function: CROSS-ENTROPY (bukan MSE!)
    L = -[ y·ln(P) + (1-y)·ln(1-P) ]

Kenapa bukan MSE? Cross-entropy + sigmoid menghasilkan gradien yang
"bersih" dan tidak datar di area ekstrem → training cepat & stabil.

Gradien (hasil turunan cross-entropy terhadap w):
    ∂L/∂wᵢ = (P - y) · xᵢ      ← bentuknya elegan!

Update per sampel (stochastic gradient descent):
    w ← w - lr · (P - y) · x

Interpretasi: jika P=0.9 tapi y=0 (salah tebak yakin), gradien besar →
bobot dikoreksi kuat. Jika P=0.1 dan y=0 (benar), gradien kecil.

📌 3. Contoh: Klasifikasi Biner + Probabilitas

print("=== LOGISTIC REGRESSION ===\n")
random_seed(42)
X, y = make_classification(120, n_features=2, sep=1.5)
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3)

# ── Training ──
w = [0.0, 0.0, 0.0]          # [bias, w1, w2]
Xb = add_bias(Xtr)
lr = 0.5
losses = []
for epoch in range(200):
    total = 0.0
    for i in range(len(Xb)):
        p = sigmoid(dot(w, Xb[i]))
        total += cross_entropy(ytr[i], p)
        w = vec_sub(w, vec_scale(Xb[i], lr * (p - ytr[i])))
    losses.append(total / len(Xb))

# ── Evaluasi ──
proba = [sigmoid(dot(w, [1.0] + x)) for x in Xte]
pred  = [1 if p >= 0.5 else 0 for p in proba]
print("Accuracy = %.1f%%" % (accuracy(yte, pred) * 100))
print("Log loss = %.3f" % log_loss(yte, proba))
print("Precision = %.2f   Recall = %.2f   F1 = %.2f"
      % (precision(yte, pred), recall(yte, pred), f1_score(yte, pred)))

print("\nContoh prediksi (perhatikan P(kelas 1)):")
print_table(["x1", "x2", "P(kelas 1)", "Prediksi", "Aktual"],
            *[["%.2f" % Xte[i][0], "%.2f" % Xte[i][1],
               "%.3f" % proba[i], pred[i], yte[i]]
              for i in range(0, 8)])

cost_curve(losses)

Output:

📌 4. Contoh: Visualisasi Decision Boundary

Kita "warnai" seluruh bidang dengan probabilitas model. Perhatikan: data moons bentuknya melengkung, tapi logistic regression hanya bisa membuat garis lurus — akurasinya akan terbatas.

print("=== DECISION BOUNDARY LOGISTIC REGRESSION ===\n")
random_seed(42)
X, y = make_moons(120, noise=0.2)

# Training (tanpa split, hanya untuk visualisasi)
w = [0.0, 0.0, 0.0]
Xb = add_bias(X)
for epoch in range(300):
    for i in range(len(Xb)):
        p = sigmoid(dot(w, Xb[i]))
        w = vec_sub(w, vec_scale(Xb[i], 0.5 * (p - y[i])))

pred = [1 if sigmoid(dot(w, [1.0] + x)) >= 0.5 else 0 for x in X]
print("Akurasi di data moons (non-linear): %.1f%%" % (accuracy(y, pred) * 100))
print("→ Terbatas karena boundary-nya HANYA GARIS LURUS.\n")

# Warnai grid dengan probabilitas
pts = []
gx = -1.6
while gx <= 1.61:
    gy = -1.1
    while gy <= 0.11:
        p = sigmoid(dot(w, [1.0, gx, gy]))
        ch = "." if p < 0.25 else (":" if p < 0.75 else "#")
        pts.append((gx, gy, ch))
        gy += 0.1
    gx += 0.1
for x, l in zip(X, y):
    pts.append((x[0], x[1], "o" if l == 0 else "x"))

scatter2d(pts, title=". = P<0.25   : = 0.25-0.75 (zona ragu)   # = P>0.75")
print("o = kelas 0, x = kelas 1")
print("Zona ':' tipis = boundary tajam; lebar = model ragu.")

Output:

💡 Batas garis lurus ini bisa "dibengkokkan" dengan feature engineering (tambah fitur x², x1·x2) atau pakai model non-linear: KNN, decision tree, atau neural network (bab 6, 7, 13).

🧠 Latihan

Ubah threshold dari 0.5 menjadi 0.3 dan 0.7. Apa yang terjadi pada precision vs recall?
Tambahkan fitur kuadrat: X2 = [[x[0]**2, x[1]**2, x[0]*x[1]] for x in X] lalu latih logistic regression 3 fitur di data moons. Naik akurasinya?
Hitung berapa banyak sampel training yang "salah tebak yakin" (P>0.9 tapi salah, atau P<0.1 tapi salah).
Jelaskan kenapa cross-entropy lebih cocok untuk klasifikasi daripada MSE. (Petunjuk: gradien di area P mendekati 0 atau 1.)