📊 Data, Statistik & Preprocessing

Feature, label, statistik deskriptif, korelasi, dan kenapa data harus diskalakan.

📌 1. Struktur Data ML: Feature & Label

Setiap data ML berbentuk tabel: baris = sampel, kolom = feature (input), dan satu kolom label (yang mau diprediksi).

Contoh: prediksi apakah pelanggan akan resign (churn)

sampel │ umur │ gaji │ lama_kerja │ churn?  ← label
───────┼──────┼──────┼────────────┼────────
  1    │  25  │  5   │     2      │   0
  2    │  41  │  12  │     8      │   1
  3    │  33  │  7   │     5      │   0
  ...  │ ...  │ ...  │    ...     │  ...

X = [[25, 5, 2], [41, 12, 8], ...]   ← matriks fitur
y = [0, 1, 0, ...]                    ← vektor label

Klasifikasi : label = kategori (0/1, kucing/anjing)
Regresi     : label = angka kontinu (harga, suhu)
Clustering  : TIDAK ADA label

Di simulator, data diwakili X (list of list) dan y (list). make_classification(), make_blobs(), dll. menghasilkan pasangan (X, y) ini.

📌 2. Statistik Deskriptif & Korelasi

Ukuran	Fungsi	Catatan
`mean`	Rata-rata	Sensitif terhadap outlier
`median`	Tengah data	Tahan outlier — bandingkan dengan mean!
`std`	Sebaran data	Besar = data menyebar
`min/max`	Range	Deteksi nilai mustahil (usia 200?)
`correlation`	Hubungan linear 2 fitur, [-1..1]	\|r\|>0.7 = kuat; r=0 bukan berarti "tidak berhubungan" (bisa non-linear)

📌 3. Contoh: Eksplorasi Data (EDA)

Langkah pertama sebelum modeling: kenali datamu. Statistik + grafik + korelasi.

print("=== EKSPLORASI DATA (EDA) ===\n")
random_seed(42)
X, y = make_classification(120, n_features=2, sep=1.5)

f1 = [p[0] for p in X]
f2 = [p[1] for p in X]

print("1) STATISTIK DESKRIPTIF")
print_table(["Fitur", "mean", "std", "min", "max", "median"],
            ["fitur_1", fmt(mean(f1)), fmt(std(f1)),
             fmt(minimum(f1)), fmt(maximum(f1)), fmt(median(f1))],
            ["fitur_2", fmt(mean(f2)), fmt(std(f2)),
             fmt(minimum(f2)), fmt(maximum(f2)), fmt(median(f2))])

print("\n2) KORELASI ANTAR FITUR:  r = %.3f" % correlation(f1, f2))
print("   (r=1 searah sempurna, r=0 tidak linear, r=-1 berlawanan)")

print("\n3) DISTRIBUSI")
histogram(f1, bins=12, title="Distribusi fitur_1 (semua kelas)")

print("\n4) PANDANGAN 2D PER KELAS")
plot_points(X, y, title="Distribusi 2D per kelas")

# Insight: mean fitur_1 kelas 0 vs kelas 1
m0 = mean([p[0] for p, l in zip(X, y) if l == 0])
m1 = mean([p[0] for p, l in zip(X, y) if l == 1])
print("\n5) INSIGHT: mean fitur_1 kelas 0 = %.2f, kelas 1 = %.2f" % (m0, m1))
print("   → fitur_1 MEMBAWA INFORMASI kelas (mean-nya beda jauh)")

Output:

📌 4. Normalisasi vs Standardisasi

Banyak algoritma (KNN, SVM, neural network, gradient descent) sensitif terhadap skala fitur. Jika satu fitur bernilai 0–1000 dan fitur lain 0–1, fitur besar akan "mendominasi" perhitungan jarak.

Min-Max Normalization          Z-Score Standardization
─────────────────────          ─────────────────────────
x' = (x - min) / (max - min)    x' = (x - mean) / std

Hasil: semua di [0, 1]          Hasil: mean 0, std 1
Cocok:  neural net, data        Cocok:  data dengan outlier,
         dengan range jelas         algoritma berbasis jarak/GD
Risiko: outlier merempress       (mean/std ikut terdorong)
         skala keseluruhan

📌 5. Contoh: Dampak Skala pada Jarak

Bukti nyata kenapa scaling penting — lihat bagaimana fitur "gaji" mendominasi jarak:

print("=== MENGAPA DATA HARUS DISKALAKAN ===\n")
random_seed(42)
gaji = [2 + 10 * rand() for _ in range(6)]    # juta rupiah: 2 - 12
usia = [18 + 40 * rand() for _ in range(6)]   # tahun: 18 - 58

print("Data: gaji (juta Rp) dan usia (tahun)")
for i in range(6):
    print("  orang %d: gaji=%.1f  usia=%d" % (i + 1, gaji[i], int(usia[i])))

A = [gaji[0], float(usia[0])]
B = [gaji[1], float(usia[1])]
C = [gaji[2], float(usia[2])]

print("\nJarak TANPA scaling (gaji mendominasi!):")
print("  d(A,B) = %.2f   (beda gaji %.1f, beda usia %d th)"
      % (euclidean(A, B), abs(A[0]-B[0]), abs(A[1]-B[1])))
print("  d(A,C) = %.2f   (beda gaji %.1f, beda usia %d th)"
      % (euclidean(A, C), abs(A[0]-C[0]), abs(A[1]-C[1])))

# Scale dulu
g = standardize(gaji)
u = standardize(usia)
As = [g[0], u[0]]; Bs = [g[1], u[1]]; Cs = [g[2], u[2]]
print("\nJarak SETELAH standardisasi (setara):")
print("  d(A,B) = %.2f" % euclidean(As, Bs))
print("  d(A,C) = %.2f" % euclidean(As, Cs))

print("\nPerbandingan hasil scaling:")
print_table(["Kolom", "min", "max", "mean", "std"],
            ["gaji (min-max)",  fmt(minimum(normalize(gaji))), fmt(maximum(normalize(gaji))),
             fmt(mean(normalize(gaji))), fmt(std(normalize(gaji)))],
            ["usia (min-max)",  fmt(minimum(normalize(usia))), fmt(maximum(normalize(usia))),
             fmt(mean(normalize(usia))), fmt(std(normalize(usia)))],
            ["gaji (z-score)",  fmt(minimum(g)), fmt(maximum(g)),
             fmt(mean(g)), fmt(std(g))],
            ["usia (z-score)",  fmt(minimum(u)), fmt(maximum(u)),
             fmt(mean(u)), fmt(std(u))])

Output:

⚠️ Aturan emas: scaling dihitung dari data TRAIN saja, lalu parameter (min/max atau mean/std) yang sama dipakai ke data test. Menghitung dari data test = data leakage (model "curi" info test).

🧠 Latihan

Di EDA, hitung juga correlation(f1, f2) per kelas (kelas 0 dan kelas 1 terpisah). Apa bedanya?
Buat data dengan outlier: xs = [1, 2, 2, 3, 3, 3, 4, 100]. Bandingkan mean vs median, lalu bandingkan hasil normalize() vs standardize(). Mana yang lebih "aman"?
Jelaskan kenapa correlation = 0 tidak berarti dua variabel tidak berhubungan. (Petunjuk: coba data y = x² untuk x simetris di sekitar 0.)
Kapan scaling TIDAK perlu? (Petunjuk: pikirkan algoritma yang berbasis aturan if x < threshold.)