Analisis Perbandingan Efektivitas Zero-Shot vs Chain-of-Thought Prompting dalam Meningkatkan Presisi Informasi pada LLM Berbasis Dokumen PDF

Abstract

Pemanfaatan Large Language Models (LLM) dalam ekosistem pendidikan tinggi untuk ekstraksi informasi akademik sering kali terkendala oleh fenomena halusinasi data yang dapat menyesatkan pengguna. Penelitian ini bertujuan untuk menganalisis perbandingan efektivitas antara teknik Zero-Shot dan Chain-of-Thought (CoT) prompting dalam upaya meningkatkan presisi informasi pada sistem Retrieval-Augmented Generation (RAG) yang berbasis dokumen PDF. Metode penelitian yang digunakan adalah eksperimen laboratorium dengan mengintegrasikan framework LangChain dan database vektor FAISS untuk memproses dokumen teknis berupa Panduan Akademik institusi. Evaluasi kualitas jawaban dilakukan melalui pendekatan hibrida, menggunakan metrik otomatis BERTScore untuk mengukur kemiripan semantik dan penilaian manusia (Human Evaluation) oleh pakar Teknologi Informasi untuk mengukur tingkat presisi serta validitas informasi secara kualitatif. Hasil penelitian menunjukkan bahwa teknik Chain-of-Thought secara konsisten mengungguli Zero-Shot di seluruh parameter evaluasi yang diuji. Peningkatan paling signifikan tercatat pada aspek validitas jawaban berdasarkan penilaian pakar sebesar 37,14%, serta kenaikan skor presisi pada metrik BERTScore sebesar 9,03%. Temuan ini membuktikan bahwa mekanisme penalaran logis secara bertahap pada teknik CoT mampu mereduksi halusinasi secara efektif dengan memastikan setiap klaim jawaban memiliki jejak audit yang kuat pada dokumen sumber. Implikasi praktis dari penelitian ini memberikan rekomendasi strategis bagi pengembang sistem informasi akademik untuk menerapkan pendekatan 'CoT-by-Design' guna membangun asisten virtual yang lebih akurat, etis, dan kredibel di lingkungan perguruan tinggi.