Analisis Sentimen Wattpad di Play Store Menggunakan Naïve Bayes Berbasis TF-IDF dan SMOTE

Abstract

Kajian ini menguji performa klasifikasi Multinomial Naive Bayes yang diintegrasikan dengan skema pembobotan TF-IDF untuk memilah ulasan aplikasi Wattpad ke dalam kategori Positif, Negatif, dan Netral, sembari menakar kontribusi Synthetic Minority Oversampling Technique (SMOTE) dalam memitigasi ketimpangan jumlah data. Sebanyak 2.829 ulasan valid hasil web scraping melalui library google-play-srcaper diproses melalui tahapan krusial, meliputi pembersihan teks, case folding, konversi kata tidak baku, tokenisasi, eliminasi 773 stopword, hingga stemming dengan PySastrawi. Transformasi data menjadi vektor TF-IDF dengan batasan max_features=5.000 serta ngram_range=(1,2) menghasilkan matriks berdimensi 2.829 × 4.499. Melalui skema pembagian stratified split 80:20, teknik SMOTE diaplikasikan pada sektor data latih untuk mendongkrak jumlah sampel dari 2.263 menjadi 4.056 agar komposisi antar kelas lebih proporsional. Hasil observasi memperlihatkan pergeseran metrik performa yang cukup signifikan pasca-intervensi SMOTE. Sebelum dilakukan penyeimbangan data, model memang mencatat akurasi 68,37% dengan presisi 62,83% dan F1-score 60,24%, namun sistem menunjukkan kelemahan fatal yakni kegagalan total dalam mengidentifikasi kelas Netral. Setelah SMOTE diterapkan, kendati terjadi penurunan akurasi ke angka 58,83%, model justru menunjukkan ketangguhan lebih baik melalui peningkatan presisi menjadi 65,25% dan F1-score ke level 61,22%, serta lonjakan recall pada kelas Netral dari titik nol menjadi 0,43. Secara keseluruhan, pemetaan sentimen didominasi oleh opini Negatif sebesar 59,51%, disusul opini Positif 26,01%, dan Netral 14,48%, di mana mayoritas keluhan pengguna berhulu pada persoalan teknis aplikasi seperti lonjakan iklan, hambatan login, serta rendahnya stabilitas sistem.