RANCANG BANGUN PROTOTIPE LIBRARY VIRTUAL ASSISTANT BEBASIS SEMANTIC SEARCH SEBAGAI LAYANAN TEMU KEMBALI INFORMASI KARYA TULIS ILMIAHNIM.: 242000110Viona Febiyola BakkaraauthorDi era digital, ketersediaan informasi yang melimpah justru tidak selalu berbanding lurus dengan kemudahan pencarian informasi yang relevan dan sesuai dengan kebutuhan secara cepat. Perpustakaan perguruan tinggi yang juga bertransformasi secara digital menghadapi kendala serupa, salah satu penyebabnya adalah sistem pencarian informasi yang pada umumnya masih mengandalkan algoritma konvensional berbasis Boolean dan keyword-based search yang cara kerjanya hanya mencocokkan kata secara eksak (exact match). Akibatnya, sistem tidak mampu memahami sinonim, variasi istilah, maupun konteks semantik dari apa yang sesungguhnya pengguna cari, sehingga banyak dokumen relevan yang luput dari hasil pencarian. Perkembangan teknologi Large Language Model (LLM) menawarkan solusi atas keterbatasan ini melalui kemampuannya memahami bahasa alami secara semantik dan kontekstual. Berangkat dari peluang tersebut, penelitian ini bertujuan mengembangkan prototipe library virtual assistant berbasis semantics search sebagai layanan temu kembali informasi karya tulis ilmiah, sekaligus menguji tingkat fungsionalitasnya dan mengevaluasi performa sistem. Penelitian ini menggunakan metode Research and Development (R&D) dengan model pengembangan prototyping dengan empat tahapan, yaitu analisis kebutuhan, akuisisi data, perancangan, dan pengujian fungsionalitas serta performa sistem. Pengujian fungsionalitas melibatkan 10 responden dengan metode black box testing dengan teknik equivalence partitioning vii dan satu judgment expert pengujian white box testing dengan teknik unit testing. Sedangkan evaluasi performa diukur melalui nilai precision dari confusion matrix terhadap 50 kata kunci dari seluruh responden. Hasil penelitian ini menunjukkan tingkat fungsionalitas 100% pada pengujian testing (8 skenario, 80 eksekusi) dan white box testing (14 test case, 6 modul). Sedangkan performa sistem menghasilkan nilai Precision sebesar 45,41% dari 1.786 dokumen yang dikembalikan dengan 811 di antaranya relevan, yang berdasarkan Skala Penilaian Precision tergolong kategori kurang efektif. Temuan ini mengindikasikan bahwa sistem telah berfungsi sebagai layanan temu kembali berbasis semantics search informasi namun masih memerlukan optimalisasi lebih lanjut dalam peningkatan relevansi hasil pencarian. Kata Kunci: Virtual Assistant, Large Language Model (LLM), Temu Kembali Informasi, confusion matrix, Precision, Black Box Testing, White Box Testing, Perpustakaan Digital.Ilmu Perpustakaan dan Informasi2026-06-22UIN SUNAN KALIJAGA YOGYAKARTA;PASCASARJANAThesis