Pemanfaatan AI Multimodal Untuk Deteksi Dini Stres Melalui Suara, Teks, dan Fisiologis

Authors

  • Muhammad Tafazzani Addien Universitas Singaperbangsa Karawang
  • Apriade Voutama Universitas Singaperbangsa Karawang
  • Taufiq Ridwan Universitas Singaperbangsa Karawang

DOI:

https://doi.org/10.31004/riggs.v5i2.10668

Keywords:

AI Multimodal, Deteksi Stres, Kesehatan Mental Digital, Machine Learning, Sinyal Fisiologis

Abstract

Deteksi dini stres menjadi kebutuhan penting karena metode konvensional yang mengandalkan kuesioner dan laporan diri masih rentan terhadap bias subjektif, keterbatasan akurasi, serta belum mampu memantau perubahan kondisi psikologis secara berkelanjutan dan real-time. Perkembangan kecerdasan buatan (Artificial Intelligence/AI) membuka peluang untuk mengembangkan sistem deteksi stres yang lebih objektif melalui pemanfaatan berbagai sumber data secara simultan. Artikel ini bertujuan menyusun rancangan konseptual pemanfaatan AI multimodal dalam mendeteksi stres melalui analisis suara, teks, dan sinyal fisiologis sebagai dasar pengembangan sistem skrining kesehatan mental digital. Metode yang digunakan adalah studi literatur naratif terhadap tujuh belas artikel ilmiah yang membahas kesehatan mental digital, machine learning, speech emotion recognition, analisis teks, sensor fisiologis, serta chatbot berbasis AI. Hasil kajian menunjukkan bahwa setiap modalitas memiliki karakteristik dan keunggulan yang saling melengkapi. Analisis teks mampu mengidentifikasi pola linguistik, pilihan kata, dan sentimen, analisis suara menangkap perubahan prosodi, intonasi, serta fitur akustik yang berkaitan dengan kondisi emosional, sedangkan sinyal fisiologis merepresentasikan respons biologis yang relatif lebih objektif terhadap stres. Integrasi ketiga modalitas melalui pendekatan fusi fitur, fusi keputusan, maupun fusi hybrid berpotensi meningkatkan akurasi, stabilitas, dan keandalan sistem dibandingkan pendekatan unimodal. Meskipun demikian, implementasinya masih memerlukan validasi klinis, perlindungan privasi data, transparansi model AI, serta mekanisme rujukan kepada tenaga profesional. Oleh karena itu, AI multimodal lebih tepat diposisikan sebagai alat skrining dan pendukung deteksi dini kesehatan mental, bukan sebagai pengganti diagnosis psikologis maupun layanan konseling profesional.

Downloads

Download data is not yet available.

References

[1] A. N. Haryanti, M. B. S. Putra, N. Larasati, V. N. Khairunnisa, and L. D. D. A, “Analisis Kondisi Kesehatan Mental di Indonesia Dan Strategi Penanganannya,” Student Res. Journa, vol. 2, no. 3, pp. 28–40, 2024, doi: https://doi.org/10.55606/srjyappi.v2i3.1219.

[2] M. Junenda, T. W. Widyanigsih, and A. Rifqi, “Pengembangan Sistem Informasi Kesehatan Mental dengan Mengukur Persepsi Tingkat Stres Menggunakan Instrumen Perceived Stress Scale ( PSS ),” J. Sist. Komput. dan Kecerdasan Buatan, vol. 8, no. 1, 2024.

[3] D. F. M. Dina, T. Haryanti, and M. A. Haq, “DETEKSI GANGGUAN DEPRESI MENGGUNAKAN MACHINE LEARNING : TINJAUAN PUSTAKA Dinda,” SNESTIK, pp. 52–59, 2024, doi: 10.31284/p.snestik.2024.5876.

[4] S. Rahmadani, C. S. Rahayu, A. Salim, and K. N. Cahyo, “No Title,” DETEKSI EMOSI BERDASARKAN WICARA MENGGUNAKAN Deep Learn. Model, vol. 4, no. 3, pp. 220–224, 2022.

[5] F. Kasyidi, R. Ilyas, and N. M. Annisa, “Peningkatan Kemampuan Pengenalan Emosi melalui Suara dalam Bahasa Indonesia,” MIND (Multimedia Artif. Intell. Netw. Database) J. MIND, vol. 6, no. 2, pp. 194–204, 2021, doi: https://doi.org/10.26760/mindjournal.v6i2.

[6] Y. K. Aini, T. B. Santoso, and T. Dutono, “Pemodelan CNN Untuk Deteksi Emosi Berbasis Speech Bahasa Indonesia,” J. Politek. Caltex Riau, vol. 7, no. 1, pp. 143–152, 2021.

[7] A. P. Wibowo and G. Prayitno, “Pengembangan Algoritma Deteksi Emosi Melalui Analisis Suara untuk Aplikasi Konseling Digital,” J. New Trends Sci., vol. 3, no. 2, pp. 36–47, 2025, doi: https://doi.org/10.59031/jnts.v3i2.792.

[8] A. M. Husein, L. H. Muntaza, G. Sinaga, Khoirulliza, and M. L. B. Sembiring, “Model CNN-LSTM Untuk Klasifikasi Tingkat Stres Mahasiswa Dalam Menghadapi Ujian Menggunakan Data Elektrokardiogram ( EKG ),” Decod. J. Pendidik. Teknol. Inf., vol. 5, no. 1, pp. 191–201, 2025, [Online]. Available: https://journal.umkendari.ac.id/index.php/

[9] D. A. Firmanda, E. S. Pramukantoro, and B. H. Prasetio, “Implementasi Sistem Deteksi Stress berbasis Machine Learning berdasarkan Sinyal Photoplethysmogram dari Polar Verity Sense,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 1, no. 1, pp. 1–8, 2017, [Online]. Available: http://j-ptiik.ub.ac.id

[10] D. A. Sinhal, D. A. Sinhal, and A. Sinhal, “Stress Monitoring in Healthcare : An Ensemble Machine Learning Framework Using Wearable Sensor Data”.

[11] D. Tawakalna and J. Zeniarja, “SISTEM CHATBOT KESEHATAN MENTAL BERBASIS LLM DENGAN DETEKSI EMOSI DAN RETRIEVAL AUGMENTED GENERATION,” RABIT J. Teknol. dan Sist. Inf. Univrab, vol. 11, no. 1, pp. 1398–1412, 2026.

[12] I. A. Assegaf et al., “PENGEMBANGAN CHATBOT KONSULTASI KESEHATAN MENTAL KESEHATAN MENTAL BERBASIS OPEN AI MODEL GPT-3.5 TURBO MENGGUNAKAN MEDIA WHATSAPP,” J. Inform. Teknol. dan Sains, vol. 6, no. 6, pp. 785–793, 2024.

[13] N. A. Sutrisno, S. R. Sofiana, and N. Nuurfathina, “LAYANAN KONSELOR MANUSIA DALAM DUKUNGAN,” JITET (Jurnal Inform. dan Tek. Elektro Ter., vol. 14, no. 1, pp. 1427–1438, [Online]. Available: http://dx.doi.org/10.23960/jitet.v14i1.8587

[14] D. Suratmini and T. Afriani, “PEMANFAATAN DETEKSI STRES REMAJA YANG EFEKTIF DAN EFISIEN MELALUI APLIKASI : SYSTEMATIC REVIEW,” J. Keperawatan Respati Yogyakarta, vol. 6, no. 1, pp. 542–547, 2019.

[15] Y. Tolla and Kusrini, “Deteksi Stres dan Depresi Unggahan Media Sosial dengan Machine Learning,” J. FASILKOM, vol. 15, no. 1, pp. 84–92, 2025.

[16] N. A. R. Putri and Ardiansyah, “Analisis Sentimen Terhadap Kemajuan Kecerdasan Buatan di Indonesia Menggunakan BERT dan RoBERTa,” J. Sains dan Inform., vol. 9, no. 2, pp. 136–145, 2023, doi: 10.34128/jsi.v9i2.649.

[17] A. Roihan, P. A. Sunarya, and A. S. Rafika, “Pemanfaatan Machine Learning dalam Berbagai Bidang : Review paper,” IJCIT (Indonesian J. Comput. Inf. Technol., vol. 5, no. 1, pp. 75–82, 2020, [Online]. Available: http://ejournal.bsi.ac.id/ejurnal/index.php/ijcit

Downloads

Published

31-07-2026

How to Cite

[1]
M. T. Addien, A. Voutama, and T. Ridwan, “Pemanfaatan AI Multimodal Untuk Deteksi Dini Stres Melalui Suara, Teks, dan Fisiologis”, RIGGS, vol. 5, no. 2, pp. 26029–26036, Jul. 2026.

Issue

Section

Articles