Panduan Lengkap Metrik Evaluasi Model Klasifikasi (Accuracy, Precision, Recall, F1, AUC)

Model klasifikasi merupakan salah satu pilar penting dalam dunia machine learning, yang berfungsi untuk mengkategorikan data ke dalam kelas-kelas yang telah ditentukan. Analoginya seperti seorang pustakawan yang mengelompokkan buku ke rak-rak yang sesuai, model klasifikasi mengelompokkan data berdasarkan karakteristiknya. Namun, bagaimana kita tahu seberapa baik model klasifikasi bekerja? Di sinilah evaluasi model menjadi krusial. Memilih metrik evaluasi yang salah dapat berakibat fatal, seperti mendiagnosis pasien sehat sebagai sakit, atau menganggap transaksi legal sebagai penipuan. Oleh karena itu, pemahaman mendalam mengenai metrik evaluasi model klasifikasi seperti accuracy, precision, recall, F1-score, ROC curve, dan AUC sangatlah penting.

Memahami Konsep Dasar Evaluasi Model Klasifikasi

Sebelum membahas metrik evaluasi secara mendalam, ada dua konsep fundamental yang perlu dipahami: Confusion Matrix dan Data Imbalance.

Confusion Matrix: Dasar Perhitungan Metrik Evaluasi

Confusion matrix adalah tabel yang menggambarkan kinerja model klasifikasi dengan merinci jumlah prediksi yang benar dan salah untuk setiap kelas. Komponen-komponen confusion matrix adalah:

• True Positive (TP): Model memprediksi positif, dan prediksi tersebut benar.
• True Negative (TN): Model memprediksi negatif, dan prediksi tersebut benar.
• False Positive (FP): Model memprediksi positif, tetapi prediksi tersebut salah (Type I error).
• False Negative (FN): Model memprediksi negatif, tetapi prediksi tersebut salah (Type II error).

Berikut contoh visual confusion matrix:

                  | Prediksi Positif | Prediksi Negatif |
----------------------|-------------------|-------------------|
Aktual Positif       |        TP         |        FN         |
Aktual Negatif       |        FP         |        TN         |

Data Imbalance dan Pengaruhnya

Data imbalance terjadi ketika proporsi kelas dalam data tidak seimbang, misalnya, jumlah data positif jauh lebih sedikit daripada data negatif. Dalam kasus seperti ini, metrik seperti accuracy bisa menyesatkan. Model bisa saja memiliki accuracy tinggi hanya dengan memprediksi semua data sebagai kelas mayoritas (negatif), padahal performanya buruk dalam mengklasifikasikan kelas minoritas (positif). Hal ini sangat relevan dalam konteks “evaluasi model klasifikasi imbalance data”.

Baca juga: Mengatasi Imbalanced Data dalam Machine Learning: Panduan Lengkap

Metrik Evaluasi Model Klasifikasi: Definisi, Rumus, dan Interpretasi

Berikut adalah penjelasan mendalam mengenai metrik evaluasi model klasifikasi yang umum digunakan:

Accuracy: Kapan Metrik Ini Tepat Digunakan?

Accuracy mengukur persentase prediksi yang benar dari keseluruhan data.

Rumus:

Accuracy = (TP + TN) / (TP + TN + FP + FN)

Contoh Perhitungan:

Misalkan dari confusion matrix didapatkan: TP = 90, TN = 50, FP = 10, FN = 50.

Accuracy = (90 + 50) / (90 + 50 + 10 + 50) = 140 / 200 = 0.7

Interpretasi:

Accuracy 0.7 berarti 70% dari prediksi model adalah benar. Accuracy cocok digunakan jika data memiliki proporsi kelas yang seimbang dan biaya kesalahan (baik FP maupun FN) dianggap sama. “Cara menghitung accuracy” relatif mudah, namun perlu diingat keterbatasannya.

Precision: Fokus pada Prediksi Positif yang Benar

Precision mengukur persentase prediksi positif yang benar-benar positif.

Rumus:

Precision = TP / (TP + FP)

Contoh Perhitungan:

Menggunakan contoh confusion matrix sebelumnya:

Precision = 90 / (90 + 10) = 90 / 100 = 0.9

Interpretasi:

Precision 0.9 berarti 90% dari data yang diprediksi positif oleh model memang benar-benar positif. Precision tinggi mengindikasikan rendahnya tingkat FP. Metrik ini penting ketika biaya FP tinggi (misalnya, salah mengklasifikasikan email penting sebagai spam). Penting untuk mengetahui “perbedaan precision dan recall” agar dapat memilih metrik yang sesuai.

Recall: Seberapa Baik Model Menemukan Semua Kasus Positif?

Recall mengukur persentase kasus positif yang berhasil diprediksi dengan benar oleh model.

Rumus:

Recall = TP / (TP + FN)

Contoh Perhitungan:

Menggunakan contoh confusion matrix sebelumnya:

Recall = 90 / (90 + 50) = 90 / 140 = 0.64

Interpretasi:

Recall 0.64 berarti model berhasil mengidentifikasi 64% dari seluruh kasus positif yang ada. Recall tinggi mengindikasikan rendahnya tingkat FN. Metrik ini krusial ketika biaya FN tinggi (misalnya, tidak mendeteksi pasien yang sakit). Memahami “perbedaan precision dan recall” akan membantu dalam memilih metrik yang tepat sesuai kebutuhan.

F1-Score: Keseimbangan Antara Precision dan Recall

F1-score adalah harmonic mean dari precision dan recall, memberikan keseimbangan antara keduanya.

Rumus:

F1-Score = 2 * (Precision * Recall) / (Precision + Recall)

Contoh Perhitungan:

F1-Score = 2 * (0.9 * 0.64) / (0.9 + 0.64) = 1.152 / 1.54 = 0.75

Interpretasi:

F1-score 0.75 menunjukkan keseimbangan yang baik antara precision dan recall. “Kapan menggunakan F1-score”? F1-score ideal digunakan ketika kita mencari keseimbangan antara precision dan recall, terutama pada data imbalance. “Mengapa F1-score lebih baik daripada accuracy pada data imbalance“? Karena F1-score mempertimbangkan FP dan FN, yang seringkali lebih informatif daripada accuracy pada data imbalance.

Kurva ROC (Receiver Operating Characteristic) dan AUC (Area Under the Curve)

Kurva ROC adalah grafik yang menunjukkan performa model klasifikasi pada berbagai threshold. Sumbu x adalah False Positive Rate (FPR), dan sumbu y adalah True Positive Rate (TPR) atau recall. “Kurva ROC AUC” memberikan gambaran visual performa model.

AUC adalah area di bawah kurva ROC. Nilai AUC berkisar antara 0 hingga 1. AUC yang lebih tinggi menunjukkan performa model yang lebih baik. “Interpretasi kurva ROC” dan nilai AUC adalah sebagai berikut:

• AUC = 1: Model sempurna.
• AUC = 0.5: Model tidak lebih baik dari tebakan acak.
• AUC < 0.5: Model lebih buruk dari tebakan acak.

Memilih Metrik yang Tepat: Studi Kasus dan Rekomendasi

Pemilihan metrik evaluasi sangat bergantung pada konteks masalah dan tujuan dari model klasifikasi. Berikut adalah beberapa studi kasus:

Studi Kasus 1: Deteksi Penipuan (Data Imbalance)

• Problem: Mendeteksi transaksi keuangan yang merupakan penipuan.
• Goal: Meminimalkan kerugian akibat penipuan (meminimalkan FN) tanpa terlalu banyak memblokir transaksi yang sah (mengendalikan FP).
• Rekomendasi Metrik:
  • Prioritas: Recall. Lebih baik mengidentifikasi sebanyak mungkin transaksi penipuan, meskipun ada beberapa transaksi sah yang salah diklasifikasikan (FP).
  • Alternatif: F1-score, jika ingin menyeimbangkan antara precision dan recall.
• Alasan: Biaya FN (transaksi penipuan lolos) jauh lebih tinggi daripada biaya FP (transaksi sah diblokir).

Baca juga: Prediksi Churn Pelanggan dengan Machine Learning: Panduan Lengkap

Studi Kasus 2: Klasifikasi Gambar (Data Balanced)

• Problem: Mengklasifikasikan gambar kucing dan anjing.
• Goal: Memprediksi dengan benar sebanyak mungkin gambar.
• Rekomendasi Metrik:
  • Prioritas: Accuracy. Karena data diasumsikan balanced, accuracy memberikan gambaran yang baik tentang performa keseluruhan model.
  • Alternatif: F1-score.
• Alasan: Biaya FP dan FN dianggap sama.

Baca juga: Panduan Praktis Klasifikasi Gambar dengan TensorFlow dan Keras

Studi Kasus 3: Diagnosa Penyakit

• Problem: Mendiagnosis apakah seorang pasien menderita penyakit tertentu atau tidak.
• Goal: Mengidentifikasi pasien yang benar-benar sakit seakurat mungkin (meminimalkan FN).
• Rekomendasi Metrik:
  • Prioritas: Recall. Lebih baik mengidentifikasi sebanyak mungkin pasien yang berpenyakit, walaupun terdapat beberapa pasien yang sehat namun salah terdiagnosis mengidap penyakit (FP).
  • Alternatif: F1-Score dan melihat kurva ROC AUC.
• Alasan: Biaya FN (pasien sakit tidak terdiagnosis) jauh lebih tinggi daripada biaya FP (pasien sehat didiagnosis sakit).

“Bagaimana cara memilih metrik evaluasi yang tepat untuk model klasifikasi?” Jawabannya adalah dengan memahami konteks masalah, tujuan model, dan konsekuensi dari kesalahan klasifikasi (FP dan FN). “Apa yang harus dilakukan jika accuracy tinggi tapi precision rendah?” Ini menunjukkan bahwa model mungkin terlalu sering memprediksi kelas positif. Pertimbangkan untuk menggunakan F1-score atau fokus pada recall, tergantung pada kasusnya.

Teknik Tambahan untuk Evaluasi Model Klasifikasi

Cross Validation

“Cross-validation model klasifikasi” adalah teknik untuk mengevaluasi kinerja model dengan membagi data menjadi beberapa fold, melatih model pada beberapa fold, dan mengujinya pada fold yang tersisa. Ini membantu mendapatkan estimasi performa yang lebih stabil dan menghindari overfitting. Jenis-jenis cross-validation antara lain:

• K-Fold Cross-Validation: Data dibagi menjadi K fold. Model dilatih pada K-1 fold dan diuji pada 1 fold yang tersisa, secara bergantian.
• Stratified K-Fold Cross-Validation: Mirip dengan K-Fold, tetapi memastikan proporsi kelas tetap sama di setiap fold. Penting untuk data imbalance.
• Leave-One-Out Cross-Validation (LOOCV): Setiap data point digunakan sebagai data uji sekali, dan sisanya sebagai data latih.

Baca juga: Cross Validation: Panduan Lengkap Evaluasi Model AI 2025

Thresholding

“Threshold model klasifikasi” adalah nilai batas yang digunakan untuk menentukan kelas prediksi. Secara default, threshold biasanya 0.5 (untuk klasifikasi biner). Mengubah threshold dapat mempengaruhi precision dan recall. Menurunkan threshold akan meningkatkan recall (lebih banyak kasus positif terdeteksi), tetapi menurunkan precision (lebih banyak FP). Menaikkan threshold akan meningkatkan precision, tetapi menurunkan recall.

Oversampling dan Undersampling

“Oversampling undersampling” adalah teknik untuk menangani data imbalance. Oversampling meningkatkan jumlah data kelas minoritas (misalnya, dengan duplikasi atau generating synthetic data), sedangkan undersampling mengurangi jumlah data kelas mayoritas. Teknik-teknik oversampling antara lain SMOTE (Synthetic Minority Oversampling Technique), ADASYN (Adaptive Synthetic Sampling Approach). Teknik-teknik undersampling antara lain random undersampling, NearMiss.

Kesimpulan

Memilih metrik evaluasi yang tepat untuk model klasifikasi sangat penting untuk memastikan model bekerja sesuai dengan tujuan yang diharapkan. Accuracy, precision, recall, F1-score, kurva ROC, dan AUC adalah beberapa metrik yang umum digunakan, masing-masing dengan kelebihan dan kekurangannya. Pemilihan metrik yang tepat bergantung pada konteks masalah, jenis data, dan konsekuensi dari kesalahan klasifikasi. Jika Anda memerlukan bantuan dalam mengembangkan dan mengevaluasi model klasifikasi, atau solusi digital berbasis AI lainnya, Kirim.ai hadir untuk membantu. Kami menawarkan berbagai layanan, mulai dari pengembangan aplikasi mobile dan website, hingga strategi pemasaran digital dan pembuatan konten visual.