Memahami Metrik Evaluasi Model Regresi MSE, RMSE, MAE, dan R-squared

Dalam dunia machine learning, model regresi digunakan untuk memprediksi nilai kontinu berdasarkan hubungan antara variabel independen dan dependen. Model regresi dapat diibaratkan seperti peramal yang mencoba menebak angka berdasarkan data. Contohnya, memprediksi harga rumah berdasarkan luas tanah, jumlah kamar, dan lokasi. Namun, seberapa akurat “peramal” ini? Di sinilah metrik evaluasi berperan penting.

Evaluasi model regresi sangat krusial untuk mengetahui seberapa baik model kita bekerja. Tanpa evaluasi, kita seperti menerbangkan pesawat tanpa instrumen. Evaluasi membantu kita memilih model terbaik, menghindari overfitting dan underfitting, serta memastikan model memberikan prediksi yang akurat dan dapat diandalkan. Dengan metrik performa regresi yang tepat, kita dapat melakukan validasi model regresi dan meningkatkan performanya. Oleh karena itu, pemahaman tentang berbagai metrik evaluasi sangatlah krusial.

Baca juga: Cross Validation: Panduan Lengkap Evaluasi Model AI 2025

Mean Squared Error (MSE)

Definisi Matematis

MSE dihitung dengan menjumlahkan kuadrat selisih antara nilai prediksi dan nilai aktual, kemudian dibagi dengan jumlah data. Rumus MSE adalah sebagai berikut:

MSE = (1/n) * Σ(yi - ŷi)²

di mana:

• n adalah jumlah data
• yi adalah nilai aktual
• ŷi adalah nilai prediksi

Contoh Perhitungan

Misalkan kita memiliki data prediksi dan aktual sebagai berikut:

aktual = [10, 12, 15, 18, 20]
prediksi = [11, 14, 13, 17, 22]

Langkah-langkah menghitung MSE:

1. Hitung selisih antara nilai aktual dan prediksi: [-1, -2, 2, 1, -2]
2. Kuadratkan setiap selisih: [1, 4, 4, 1, 4]
3. Jumlahkan semua kuadrat selisih: 1 + 4 + 4 + 1 + 4 = 14
4. Bagi dengan jumlah data (n=5): 14 / 5 = 2.8

Jadi, MSE dari contoh data di atas adalah 2.8.

Contoh kode Python dengan Scikit-learn:

from sklearn.metrics import mean_squared_error

aktual = [10, 12, 15, 18, 20]
prediksi = [11, 14, 13, 17, 22]

mse = mean_squared_error(aktual, prediksi)
print(f"MSE: {mse}")

Interpretasi dan Penggunaan

Nilai MSE yang lebih rendah menunjukkan model yang lebih baik. MSE memiliki satuan kuadrat dari variabel yang diprediksi (misalnya, Rupiah² jika memprediksi harga rumah dalam Rupiah). Hal ini membuat interpretasi MSE menjadi kurang intuitif.

Kelebihan MSE:

• Mudah dihitung.
• Memberikan bobot lebih besar pada kesalahan yang lebih besar.

Kekurangan MSE:

• Sensitif terhadap outlier.
• Satuannya kuadrat, sehingga sulit diinterpretasikan.

MSE cocok digunakan ketika kita ingin memberikan penalti yang lebih besar pada kesalahan prediksi yang besar, misalnya dalam prediksi cuaca di mana kesalahan besar lebih bermasalah.

Root Mean Squared Error (RMSE)

Definisi Matematis

RMSE adalah akar kuadrat dari MSE. Ini membuat satuan RMSE sama dengan satuan variabel yang diprediksi. Rumus RMSE:

RMSE = √MSE = √( (1/n) * Σ(yi - ŷi)²)

Contoh Perhitungan

Menggunakan data yang sama, RMSE dihitung dengan mengambil akar kuadrat dari MSE:

RMSE = √2.8 ≈ 1.67

Jadi, RMSE adalah sekitar 1.67.

Contoh kode Python dengan Scikit-learn:

from sklearn.metrics import mean_squared_error
import numpy as np

aktual = [10, 12, 15, 18, 20]
prediksi = [11, 14, 13, 17, 22]

rmse = np.sqrt(mean_squared_error(aktual, prediksi))
print(f"RMSE: {rmse}")

Interpretasi dan Penggunaan

RMSE lebih intuitif daripada MSE karena satuannya sama dengan variabel yang diprediksi. Nilai RMSE yang lebih rendah menunjukkan model yang lebih baik. RMSE lebih mudah diinterpretasikan daripada MSE, tetapi tetap sensitif terhadap outlier.

Kelebihan RMSE:

• Satuannya sama dengan variabel yang diprediksi.
• Memberikan bobot lebih besar pada kesalahan yang lebih besar.

Kekurangan RMSE:

• Tetap sensitif terhadap outlier.

RMSE ideal jika kita ingin mengukur kesalahan prediksi dalam satuan yang sama dengan variabel target dan sering digunakan sebagai metrik utama dalam kompetisi machine learning. Penggunaan RMSE memberikan gambaran jelas tentang akurasi model.

Mean Absolute Error (MAE)

Definisi Matematis

MAE dihitung dengan menjumlahkan nilai absolut selisih antara nilai prediksi dan nilai aktual, lalu dibagi dengan jumlah data. Rumus MAE:

MAE = (1/n) * Σ|yi - ŷi|

Contoh Perhitungan

Menggunakan data yang sama, MAE dihitung sebagai berikut:

1. Hitung nilai absolut selisih: [1, 2, 2, 1, 2]
2. Jumlahkan semua nilai absolut selisih: 1 + 2 + 2 + 1 + 2 = 8
3. Bagi dengan jumlah data (n=5): 8 / 5 = 1.6

Jadi, MAE adalah 1.6.

Contoh kode Python dengan Scikit-learn:

from sklearn.metrics import mean_absolute_error

aktual = [10, 12, 15, 18, 20]
prediksi = [11, 14, 13, 17, 22]

mae = mean_absolute_error(aktual, prediksi)
print(f"MAE: {mae}")

Interpretasi dan Penggunaan

MAE memiliki satuan yang sama dengan variabel yang diprediksi. Nilai MAE yang lebih rendah menunjukkan model yang lebih baik. MAE lebih robust terhadap outlier dibandingkan MSE dan RMSE. MAE memberikan gambaran kinerja model yang lebih akurat jika ada outlier.

Kelebihan MAE:

• Satuannya sama dengan variabel yang diprediksi.
• Lebih robust terhadap outlier.

Kekurangan MAE:

• Tidak memberikan bobot lebih pada kesalahan besar.

MAE adalah pilihan baik jika kita ingin mengukur kesalahan prediksi dalam satuan yang sama dengan variabel target dan data kita mungkin memiliki outlier.

R-squared (Coefficient of Determination)

Definisi Matematis

R-squared mengukur seberapa baik variasi variabel dependen dijelaskan oleh model. Nilainya berkisar antara 0 dan 1 (bisa negatif jika model sangat buruk). Rumus R-squared:

R² = 1 - (SSres / SStot)

di mana:

• SSres adalah jumlah kuadrat residual (selisih antara nilai aktual dan prediksi)
• SStot adalah jumlah kuadrat total (selisih antara nilai aktual dan rata-rata nilai aktual)

Contoh Perhitungan

Menggunakan data yang sama, kita hitung SSres dan SStot:

1. Hitung rata-rata nilai aktual: (10 + 12 + 15 + 18 + 20) / 5 = 15
2. Hitung SStot: (10-15)² + (12-15)² + (15-15)² + (18-15)² + (20-15)² = 25 + 9 + 0 + 9 + 25 = 68
3. SSres sudah dihitung sebelumnya (dalam perhitungan MSE): 14
4. Hitung R-squared: 1 - (14 / 68) ≈ 0.794

Jadi, R-squared adalah sekitar 0.794.

Contoh kode Python dengan Scikit-learn:

from sklearn.metrics import r2_score

aktual = [10, 12, 15, 18, 20]
prediksi = [11, 14, 13, 17, 22]

r2 = r2_score(aktual, prediksi)
print(f"R-squared: {r2}")

Interpretasi dan Penggunaan

R-squared 0.794 berarti 79.4% variasi data aktual dijelaskan oleh model. Semakin tinggi R-squared (mendekati 1), semakin baik. R-squared mendekati 0 menunjukkan model tidak menjelaskan variasi data dengan baik. R-squared bisa negatif. Umumnya, nilai di atas 0.7 dianggap baik, tetapi tergantung konteks.

Kelebihan R-squared:

• Mudah diinterpretasikan.
• Mengukur seberapa baik model dibandingkan model dasar.

Kekurangan R-squared:

• Bisa meningkat artifisial jika variabel independen ditambahkan.
• Tidak memberikan informasi kesalahan prediksi.

Untuk mengatasi masalah ini, gunakan adjusted R-squared yang memberikan penalti untuk penambahan variabel independen yang tidak signifikan. R-squared berguna untuk memahami seberapa baik model menjelaskan variabilitas data. Gunakan adjusted R-squared saat membandingkan model dengan jumlah variabel independen berbeda. Jika model memiliki banyak variabel, adjusted R-squared lebih disarankan.

Baca juga: Apa itu Model AI? Panduan Lengkap Komponen dan Cara Kerjanya

Perbandingan Metrik Evaluasi Regresi

Berikut adalah tabel ringkasan perbandingan metrik evaluasi regresi, diikuti dengan beberapa contoh kasus penggunaan.

Tabel Ringkasan

Contoh Kasus Penggunaan

• Prediksi harga rumah: RMSE baik karena mengukur kesalahan dalam Rupiah. Jika ada outlier, MAE lebih baik.
• Prediksi penjualan: RMSE atau MAE, tergantung pada bobot kesalahan.
• Prediksi suhu: MSE cocok jika kesalahan besar lebih serius.
• Data dengan outlier: MAE lebih disarankan.

Baca juga: 10 Kesalahan Machine Learning yang Harus Dihindari Pemula

Kesimpulan

Memilih metrik evaluasi yang tepat sangat penting. MSE, RMSE, MAE, dan R-squared memiliki kelebihan dan kekurangan. Pemilihan harus mempertimbangkan data, tujuan, dan outlier. Metrik yang tepat memastikan hasil akurat dan dapat diandalkan.

Jika Anda membutuhkan bantuan implementasi metrik evaluasi atau solusi AI, Kirim.ai menyediakan platform SaaS dengan berbagai alat AI. Kami juga menawarkan pengembangan platform, strategi pemasaran digital, dan pembuatan konten. Pelajari lebih lanjut tentang Kirim.ai.