Peningkatan Kinerja Multinomial Naïve Bayes untuk Analisis Sentimen Mobile JKN dengan SMOTE

Abstract

Aplikasi Mobile JKN merupakan salah satu layanan digital yang digunakan untuk mendukung akses peserta terhadap layanan Jaminan Kesehatan Nasional. Ulasan pengguna pada Google Play Store menyediakan informasi mengenai pengalaman dan tanggapan pengguna, tetapi distribusi sentimen yang tidak seimbang dapat menyebabkan model klasifikasi lebih dominan mengenali kelas mayoritas. Penelitian ini bertujuan menganalisis pengaruh Synthetic Minority Over-sampling Technique (SMOTE) terhadap kinerja Multinomial Naïve Bayes (MNB) dalam klasifikasi sentimen ulasan Mobile JKN. Data penelitian diperoleh melalui web scraping sebanyak 10.000 ulasan, kemudian melalui proses seleksi dan preprocessing sehingga diperoleh 7.726 ulasan untuk pemodelan dengan tiga kelas sentimen, yaitu negatif, netral, dan positif. Representasi teks menggunakan Term Frequency–Inverse Document Frequency (TF-IDF), sedangkan evaluasi dilakukan menggunakan Stratified 5-Fold Cross-Validation dengan membandingkan MNB tanpa SMOTE dan MNB dengan SMOTE. Hasil menunjukkan bahwa MNB baseline memperoleh accuracy 86,77%, macro precision 59,48%, macro recall 59,50%, dan macro F1-score 58,97%. Penerapan SMOTE menghasilkan accuracy 74,37%, tetapi meningkatkan macro precision menjadi 63,25%, macro recall menjadi 64,10%, dan macro F1-score menjadi 60,13%. Recall kelas netral meningkat dari 0% menjadi 39,22%. Hasil tersebut menunjukkan bahwa SMOTE tidak meningkatkan accuracy keseluruhan, tetapi mampu meningkatkan kemampuan model dalam mengenali kelas minoritas dan menghasilkan kinerja yang lebih seimbang antar kelas pada data ulasan Mobile JKN tersebut.