Rancang Bangun Sistem Agregasi Data E-Procurement Berbasis Web Scraping Menggunakan Framework Next.js

Abstract

Staf PT Segara Lentera Teknologi setiap hari harus membuka belasan situs pengadaan secara bergantian hanya untuk mencari tender atau permintaan produk yang relevan dengan bisnis perusahaan. Cara kerja ini memakan waktu besar dan berulang kali membuat peluang terlewat karena informasi datang terlambat. Penelitian ini membangun sistem dashboard berbasis web yang mengambil alih pekerjaan tersebut secara otomatis melalui teknik web crawling. Sistem dikembangkan berdasarkan observasi langsung terhadap proses manual di perusahaan dan wawancara dengan pembimbing lapangan untuk memahami kebutuhan spesifik. Arsitektur yang digunakan menggabungkan Next.js dengan Server-Side Rendering untuk antarmuka yang cepat dan responsif, Puppeteer dengan plugin Stealth sebagai agen crawling untuk halaman dinamis berbasis JavaScript, MongoDB sebagai database dokumen NoSQL terpadu, dan Agenda.js sebagai scheduler tugas latar belakang. Data diekstraksi dari dua sumber utama: Indonetwork sebagai direktori Business-to-Business dan Layanan Pengadaan Secara Elektronik (LPSE) sebagai portal tender pemerintah. Sebelum masuk ke database, data dibersihkan menggunakan ekspresi reguler untuk menghilangkan tag HTML dan karakter tidak valid. Di dashboard, pengguna hanya melihat data yang sesuai kategori bisnis yang dipilih saat registrasi. Sistem dilengkapi fitur bookmark, manajemen profil dengan upload foto, klasifikasi sektor otomatis berbasis pencocokan kata kunci, dan panel admin untuk pemantauan crawler dan manajemen data. Pengujian fungsional dengan metode black-box menunjukkan seluruh 12 skenario utama berjalan sesuai spesifikasi, dan sistem berhasil mengonsolidasikan data pengadaan dari kedua sumber ke satu antarmuka terpusat tanpa intervensi manual.