Evaluasi Model ML UMKM: Visualisasi, Interpretasi & Dampak Bisnis

Bagian 3: Evaluasi Model Machine Learning UMKM

Evaluasi model bertujuan memastikan ML bisa dioperasikan di UMKM dan menghasilkan keputusan bisnis yang tepat.

Daftar Isi

1. Evaluasi Model Klasifikasi (KNN / Decision Tree)
2. Visualisasi Segmentasi K-Means
3. Studi Kasus UMKM
4. Evaluasi Decision Tree (Feature Importance)
5. Grafik Dampak Bisnis Before–After
6. Diagram Pipeline Inline SVG
7. Tips Evaluasi & Kesalahan Umum

1. Evaluasi Model Klasifikasi

from sklearn.metrics import confusion_matrix, classification_report
import seaborn as sns
import matplotlib.pyplot as plt

cm = confusion_matrix(y_test, y_pred)
sns.heatmap(cm, annot=True, fmt="d", cmap="Blues")
plt.xlabel("Predicted")
plt.ylabel("Actual")
plt.title("Confusion Matrix Klasifikasi Pelanggan UMKM")
plt.show()

print(classification_report(y_test, y_pred))

2. Visualisasi Segmentasi K-Means

plt.scatter(df["recency"], df["monetary"], c=df["cluster"])
plt.xlabel("Recency")
plt.ylabel("Monetary")
plt.title("Segmentasi Pelanggan UMKM (RFM)")
plt.show()

3. Studi Kasus Nyata UMKM

UMKM toko fashion lokal, 2.500 transaksi:

• RFM → K-Means (3 cluster)
• KNN → klasifikasi pelanggan baru
• Flask API → integrasi ke POS

Hasil 2 bulan:

• Repeat Order: 18% → 27%
• Efektivitas Promo: 35% → 62%
• Waktu Analisis: 10 jam → 1 jam

4. Evaluasi Decision Tree (Feature Importance)

importance = dt_model.feature_importances_
features = ["recency","frequency","monetary"]

df_importance = pd.DataFrame({
    "feature": features,
    "importance": importance
}).sort_values(by="importance", ascending=False)

plt.barh(df_importance["feature"], df_importance["importance"])
plt.xlabel("Importance Score")
plt.title("Feature Importance Decision Tree - Pelanggan UMKM")
plt.gca().invert_yaxis()
plt.show()

5. Grafik Dampak Bisnis Before–After

metrics = ["Repeat Order (%)","Efektivitas Promo (%)","Waktu Analisis (Jam)"]
before = [18,35,10]
after = [27,62,1]

x = range(len(metrics))
plt.bar(x, before, label="Sebelum ML")
plt.bar(x, after, bottom=before, label="Sesudah ML")

plt.xticks(x, metrics, rotation=10)
plt.ylabel("Nilai")
plt.title("Dampak Machine Learning terhadap Operasional UMKM")
plt.legend()
plt.show()

6. Diagram Pipeline Inline SVG

7. Tips Evaluasi & Kesalahan Umum

• Terlalu fokus akurasi → abaikan bisnis
• Tidak visualisasi cluster → sulit diterima owner
• Tidak kaitkan cluster → promo salah sasaran
• Evaluasi = alat keputusan, bukan angka semata

8. Penutup

Evaluasi ML UMKM berarti visualisasi + storytelling bisnis. Bagian 4 membahas Deploy Model ke Flask API untuk prediksi real-time.