@mastersthesis{digilib78274,
           month = {June},
           title = {RANCANG BANGUN PROTOTIPE LIBRARY
VIRTUAL ASSISTANT BEBASIS SEMANTIC
SEARCH SEBAGAI LAYANAN TEMU
KEMBALI INFORMASI KARYA
TULIS ILMIAH},
          school = {UIN SUNAN KALIJAGA YOGYAKARTA},
          author = {NIM.: 242000110 Viona Febiyola Bakkara},
            year = {2026},
            note = {Dr. Syifaun Nafisah, S.T., M.T.},
        keywords = {Virtual Assistant, Large Language Model
(LLM), Temu Kembali Informasi,
confusion matrix, Precision, Black Box
Testing, White Box Testing, Perpustakaan
Digital.},
             url = {https://digilib.uin-suka.ac.id/id/eprint/78274/},
        abstract = {Di era digital, ketersediaan informasi yang melimpah justru
tidak selalu berbanding lurus dengan kemudahan pencarian
informasi yang relevan dan sesuai dengan kebutuhan secara
cepat. Perpustakaan perguruan tinggi yang juga
bertransformasi secara digital menghadapi kendala serupa,
salah satu penyebabnya adalah sistem pencarian informasi
yang pada umumnya masih mengandalkan algoritma
konvensional berbasis Boolean dan keyword-based search
yang cara kerjanya hanya mencocokkan kata secara eksak
(exact match). Akibatnya, sistem tidak mampu memahami
sinonim, variasi istilah, maupun konteks semantik dari apa
yang sesungguhnya pengguna cari, sehingga banyak
dokumen relevan yang luput dari hasil pencarian.
Perkembangan teknologi Large Language Model (LLM)
menawarkan solusi atas keterbatasan ini melalui
kemampuannya memahami bahasa alami secara semantik
dan kontekstual. Berangkat dari peluang tersebut, penelitian
ini bertujuan mengembangkan prototipe library virtual
assistant berbasis semantics search sebagai layanan temu
kembali informasi karya tulis ilmiah, sekaligus menguji
tingkat fungsionalitasnya dan mengevaluasi performa
sistem. Penelitian ini menggunakan metode Research and
Development (R\&D) dengan model pengembangan
prototyping dengan empat tahapan, yaitu analisis
kebutuhan, akuisisi data, perancangan, dan pengujian
fungsionalitas serta performa sistem. Pengujian
fungsionalitas melibatkan 10 responden dengan metode
black box testing dengan teknik equivalence partitioning
vii
dan satu judgment expert pengujian white box testing
dengan teknik unit testing. Sedangkan evaluasi performa
diukur melalui nilai precision dari confusion matrix
terhadap 50 kata kunci dari seluruh responden. Hasil
penelitian ini menunjukkan tingkat fungsionalitas 100\%
pada pengujian testing (8 skenario, 80 eksekusi) dan white
box testing (14 test case, 6 modul). Sedangkan performa
sistem menghasilkan nilai Precision sebesar 45,41\% dari
1.786 dokumen yang dikembalikan dengan 811 di
antaranya relevan, yang berdasarkan Skala Penilaian
Precision tergolong kategori kurang efektif. Temuan ini
mengindikasikan bahwa sistem telah berfungsi sebagai
layanan temu kembali berbasis semantics search informasi
namun masih memerlukan optimalisasi lebih lanjut dalam
peningkatan relevansi hasil pencarian.
Kata Kunci: Virtual Assistant, Large Language Model
(LLM), Temu Kembali Informasi,
confusion matrix, Precision, Black Box
Testing, White Box Testing, Perpustakaan
Digital.}
}