Pemanfaatan AI Multimodal Untuk Deteksi Dini Stres Melalui Suara, Teks, dan Fisiologis
DOI:
https://doi.org/10.31004/riggs.v5i2.10668Keywords:
AI Multimodal, Deteksi Stres, Kesehatan Mental Digital, Machine Learning, Sinyal FisiologisAbstract
Deteksi dini stres menjadi kebutuhan penting karena metode konvensional yang mengandalkan kuesioner dan laporan diri masih rentan terhadap bias subjektif, keterbatasan akurasi, serta belum mampu memantau perubahan kondisi psikologis secara berkelanjutan dan real-time. Perkembangan kecerdasan buatan (Artificial Intelligence/AI) membuka peluang untuk mengembangkan sistem deteksi stres yang lebih objektif melalui pemanfaatan berbagai sumber data secara simultan. Artikel ini bertujuan menyusun rancangan konseptual pemanfaatan AI multimodal dalam mendeteksi stres melalui analisis suara, teks, dan sinyal fisiologis sebagai dasar pengembangan sistem skrining kesehatan mental digital. Metode yang digunakan adalah studi literatur naratif terhadap tujuh belas artikel ilmiah yang membahas kesehatan mental digital, machine learning, speech emotion recognition, analisis teks, sensor fisiologis, serta chatbot berbasis AI. Hasil kajian menunjukkan bahwa setiap modalitas memiliki karakteristik dan keunggulan yang saling melengkapi. Analisis teks mampu mengidentifikasi pola linguistik, pilihan kata, dan sentimen, analisis suara menangkap perubahan prosodi, intonasi, serta fitur akustik yang berkaitan dengan kondisi emosional, sedangkan sinyal fisiologis merepresentasikan respons biologis yang relatif lebih objektif terhadap stres. Integrasi ketiga modalitas melalui pendekatan fusi fitur, fusi keputusan, maupun fusi hybrid berpotensi meningkatkan akurasi, stabilitas, dan keandalan sistem dibandingkan pendekatan unimodal. Meskipun demikian, implementasinya masih memerlukan validasi klinis, perlindungan privasi data, transparansi model AI, serta mekanisme rujukan kepada tenaga profesional. Oleh karena itu, AI multimodal lebih tepat diposisikan sebagai alat skrining dan pendukung deteksi dini kesehatan mental, bukan sebagai pengganti diagnosis psikologis maupun layanan konseling profesional.
Downloads
References
[1] A. N. Haryanti, M. B. S. Putra, N. Larasati, V. N. Khairunnisa, and L. D. D. A, “Analisis Kondisi Kesehatan Mental di Indonesia Dan Strategi Penanganannya,” Student Res. Journa, vol. 2, no. 3, pp. 28–40, 2024, doi: https://doi.org/10.55606/srjyappi.v2i3.1219.
[2] M. Junenda, T. W. Widyanigsih, and A. Rifqi, “Pengembangan Sistem Informasi Kesehatan Mental dengan Mengukur Persepsi Tingkat Stres Menggunakan Instrumen Perceived Stress Scale ( PSS ),” J. Sist. Komput. dan Kecerdasan Buatan, vol. 8, no. 1, 2024.
[3] D. F. M. Dina, T. Haryanti, and M. A. Haq, “DETEKSI GANGGUAN DEPRESI MENGGUNAKAN MACHINE LEARNING : TINJAUAN PUSTAKA Dinda,” SNESTIK, pp. 52–59, 2024, doi: 10.31284/p.snestik.2024.5876.
[4] S. Rahmadani, C. S. Rahayu, A. Salim, and K. N. Cahyo, “No Title,” DETEKSI EMOSI BERDASARKAN WICARA MENGGUNAKAN Deep Learn. Model, vol. 4, no. 3, pp. 220–224, 2022.
[5] F. Kasyidi, R. Ilyas, and N. M. Annisa, “Peningkatan Kemampuan Pengenalan Emosi melalui Suara dalam Bahasa Indonesia,” MIND (Multimedia Artif. Intell. Netw. Database) J. MIND, vol. 6, no. 2, pp. 194–204, 2021, doi: https://doi.org/10.26760/mindjournal.v6i2.
[6] Y. K. Aini, T. B. Santoso, and T. Dutono, “Pemodelan CNN Untuk Deteksi Emosi Berbasis Speech Bahasa Indonesia,” J. Politek. Caltex Riau, vol. 7, no. 1, pp. 143–152, 2021.
[7] A. P. Wibowo and G. Prayitno, “Pengembangan Algoritma Deteksi Emosi Melalui Analisis Suara untuk Aplikasi Konseling Digital,” J. New Trends Sci., vol. 3, no. 2, pp. 36–47, 2025, doi: https://doi.org/10.59031/jnts.v3i2.792.
[8] A. M. Husein, L. H. Muntaza, G. Sinaga, Khoirulliza, and M. L. B. Sembiring, “Model CNN-LSTM Untuk Klasifikasi Tingkat Stres Mahasiswa Dalam Menghadapi Ujian Menggunakan Data Elektrokardiogram ( EKG ),” Decod. J. Pendidik. Teknol. Inf., vol. 5, no. 1, pp. 191–201, 2025, [Online]. Available: https://journal.umkendari.ac.id/index.php/
[9] D. A. Firmanda, E. S. Pramukantoro, and B. H. Prasetio, “Implementasi Sistem Deteksi Stress berbasis Machine Learning berdasarkan Sinyal Photoplethysmogram dari Polar Verity Sense,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 1, no. 1, pp. 1–8, 2017, [Online]. Available: http://j-ptiik.ub.ac.id
[10] D. A. Sinhal, D. A. Sinhal, and A. Sinhal, “Stress Monitoring in Healthcare : An Ensemble Machine Learning Framework Using Wearable Sensor Data”.
[11] D. Tawakalna and J. Zeniarja, “SISTEM CHATBOT KESEHATAN MENTAL BERBASIS LLM DENGAN DETEKSI EMOSI DAN RETRIEVAL AUGMENTED GENERATION,” RABIT J. Teknol. dan Sist. Inf. Univrab, vol. 11, no. 1, pp. 1398–1412, 2026.
[12] I. A. Assegaf et al., “PENGEMBANGAN CHATBOT KONSULTASI KESEHATAN MENTAL KESEHATAN MENTAL BERBASIS OPEN AI MODEL GPT-3.5 TURBO MENGGUNAKAN MEDIA WHATSAPP,” J. Inform. Teknol. dan Sains, vol. 6, no. 6, pp. 785–793, 2024.
[13] N. A. Sutrisno, S. R. Sofiana, and N. Nuurfathina, “LAYANAN KONSELOR MANUSIA DALAM DUKUNGAN,” JITET (Jurnal Inform. dan Tek. Elektro Ter., vol. 14, no. 1, pp. 1427–1438, [Online]. Available: http://dx.doi.org/10.23960/jitet.v14i1.8587
[14] D. Suratmini and T. Afriani, “PEMANFAATAN DETEKSI STRES REMAJA YANG EFEKTIF DAN EFISIEN MELALUI APLIKASI : SYSTEMATIC REVIEW,” J. Keperawatan Respati Yogyakarta, vol. 6, no. 1, pp. 542–547, 2019.
[15] Y. Tolla and Kusrini, “Deteksi Stres dan Depresi Unggahan Media Sosial dengan Machine Learning,” J. FASILKOM, vol. 15, no. 1, pp. 84–92, 2025.
[16] N. A. R. Putri and Ardiansyah, “Analisis Sentimen Terhadap Kemajuan Kecerdasan Buatan di Indonesia Menggunakan BERT dan RoBERTa,” J. Sains dan Inform., vol. 9, no. 2, pp. 136–145, 2023, doi: 10.34128/jsi.v9i2.649.
[17] A. Roihan, P. A. Sunarya, and A. S. Rafika, “Pemanfaatan Machine Learning dalam Berbagai Bidang : Review paper,” IJCIT (Indonesian J. Comput. Inf. Technol., vol. 5, no. 1, pp. 75–82, 2020, [Online]. Available: http://ejournal.bsi.ac.id/ejurnal/index.php/ijcit
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2026 Muhammad Tafazzani Addien, Apriade Voutama, Taufiq Ridwan

This work is licensed under a Creative Commons Attribution 4.0 International License.


















