Evaluasi Usability Website Kaderisasi Salman ITB Berbasis AI-Generated Design Menggunakan Task-Based Usability Testing

Wafi Ulya Az Zahra; Btari Mariska Purwaamijaya; Muhammad Dzikri Ar Ridlo

doi:10.31004/riggs.v5i2.9275

Authors

Wafi Ulya Az Zahra Universitas Pendidikan Indonesia
Btari Mariska Purwaamijaya Universitas Pendidikan Indonesia
Muhammad Dzikri Ar Ridlo Universitas Pendidikan Indonesia

DOI:

https://doi.org/10.31004/riggs.v5i2.9275

Keywords:

AI-Generated Design, Cognitive Friction, System Usability Scale, Task-Based Usability Testing, Usability

Abstract

Penggunaan AI-generated design dalam pengembangan antarmuka website dapat membantu mempercepat proses desain, tetapi hasil antarmuka yang dihasilkan tetap perlu dievaluasi berdasarkan pengalaman pengguna. Penelitian ini bertujuan untuk mengevaluasi usability website Kaderisasi Salman ITB yang dikembangkan dengan pendekatan AI-generated design, serta mengidentifikasi hambatan interaksi dan indikasi cognitive friction yang dialami pengguna baru. Penelitian ini menggunakan pendekatan deskriptif-evaluatif melalui task-based usability testing terhadap delapan partisipan first-time user. Data dikumpulkan melalui observasi, screen recording, pengukuran Task Success Rate (TSR), Time on Task (ToT), Error Rate, kuesioner System Usability Scale (SUS), dan wawancara post-test. Hasil penelitian menunjukkan bahwa tugas pendaftaran akun memiliki performa terbaik dengan TSR sebesar 87,5%, rata-rata waktu penyelesaian 73,38 detik, dan jumlah error terendah. Sebaliknya, hambatan lebih banyak ditemukan pada tugas pencarian informasi umum dan pencarian serta pendaftaran kegiatan. Skor rata-rata SUS sebesar 62,8 menunjukkan bahwa website berada pada kategori OK, sehingga masih dapat digunakan tetapi belum optimal. Temuan utama meliputi inkonsistensi status pendaftaran kegiatan, kurangnya informasi identitas organisasi, deskripsi kegiatan yang generik, ketidakjelasan fitur Leaderboard, serta kurangnya bantuan dan dokumentasi visual. Penelitian ini menyimpulkan bahwa website Kaderisasi Salman ITB masih dapat digunakan secara fungsional, tetapi belum sepenuhnya mendukung kejelasan kognitif pengguna baru. Oleh karena itu, diperlukan perbaikan pada konsistensi informasi, struktur konten, penjelasan fitur, dan kurasi antarmuka berbasis AI.

Downloads

Download data is not yet available.

References

1. International Organization for Standardization, ISO 9241-11:2018 Ergonomics of Human-System Interaction—Part 11: Usability: Definitions and Concepts. Geneva, Switzerland: ISO, 2018.

2. W. Albert and T. Tullis, Measuring the User Experience: Collecting, Analyzing, and Presenting UX Metrics, 3rd ed. Cambridge, MA, USA: Morgan Kaufmann, 2022.

3. J. Sauro and J. R. Lewis, Quantifying the User Experience: Practical Statistics for User Research, 2nd ed. Cambridge, MA, USA: Morgan Kaufmann, 2016.

4. M. Takaffoli, S. Li, and V. Mäkelä, “Generative AI in user experience design and research: How do UX practitioners, teams, and companies use GenAI in industry?,” in Proc. 2024 ACM Designing Interactive Systems Conf. (DIS ’24), 2024, doi: 10.1145/3643834.3660720.

5. D. A. Norman, The Design of Everyday Things, rev. and expanded ed. New York, NY, USA: Basic Books, 2013.

6. A. Cooper, R. Reimann, D. Cronin, and C. Noessel, About Face: The Essentials of Interaction Design, 4th ed. Indianapolis, IN, USA: Wiley, 2014

7. A. R. R. Putri and A. D. Indriyanti, “Evaluasi usability user interface dan user experience pada aplikasi M.Tix dengan metode usability testing (UT) dan System Usability Scale (SUS),” Journal of Emerging Information Systems and Business Intelligence, vol. 4, no. 2, pp. 21–30, 2023.

8. Y. N. Saputro, H. M. Az-Zahra, and T. Afirianto, “Evaluasi usability aplikasi SoulMath dengan menggunakan metode usability testing,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 9, no. 4, pp. 1–10, 2025.

9. J. Rubin and D. Chisnell, Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests, 2nd ed. Indianapolis, IN, USA: Wiley, 2008.

10. J. Lazar, J. H. Feng, and H. Hochheiser, Research Methods in Human-Computer Interaction, 2nd ed. Cambridge, MA, USA: Morgan Kaufmann, 2017.

11. J. Nielsen, “Why you only need to test with 5 users,” Nielsen Norman Group, 2000. [Online]. Available: https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/

12. J. Brooke, “SUS: A ‘quick and dirty’ usability scale,” in Usability Evaluation in Industry, P. W. Jordan, B. Thomas, B. A. Weerdmeester, and A. L. McClelland, Eds. London, U.K.: Taylor & Francis, 1996, pp. 189–194.

13. J. Nielsen, “Enhancing the explanatory power of usability heuristics,” in Proc. SIGCHI Conf. Human Factors in Computing Systems, 1994, pp. 152–158, doi: 10.1145/191666.191729.

14. Nielsen Norman Group, “10 usability heuristics for user interface design,” 2020. [Online]. Available: https://www.nngroup.com/articles/ten-usability-heuristics/

15. International Organization for Standardization, ISO 9241-210:2019 Ergonomics of Human-System Interaction—Part 210: Human-Centred Design for Interactive Systems. Geneva, Switzerland: ISO, 2019.