Institutional Repository UIN Sunan Kalijaga YogyakartaRANCANG BANGUN PROTOTIPE LIBRARY VIRTUAL ASSISTANT BEBASIS SEMANTIC SEARCH SEBAGAI LAYANAN TEMU KEMBALI INFORMASI KARYA TULIS ILMIAHNIM.: 242000110Viona Febiyola BakkaraauthorDi era digital, ketersediaan informasi yang melimpah justru tidak selalu berbanding lurus dengan kemudahan pencarian informasi yang relevan dan sesuai dengan kebutuhan secara cepat. Perpustakaan perguruan tinggi yang juga bertransformasi secara digital menghadapi kendala serupa, salah satu penyebabnya adalah sistem pencarian informasi yang pada umumnya masih mengandalkan algoritma konvensional berbasis Boolean dan keyword-based search yang cara kerjanya hanya mencocokkan kata secara eksak (exact match). Akibatnya, sistem tidak mampu memahami sinonim, variasi istilah, maupun konteks semantik dari apa yang sesungguhnya pengguna cari, sehingga banyak dokumen relevan yang luput dari hasil pencarian. Perkembangan teknologi Large Language Model (LLM) menawarkan solusi atas keterbatasan ini melalui kemampuannya memahami bahasa alami secara semantik dan kontekstual. Berangkat dari peluang tersebut, penelitian ini bertujuan mengembangkan prototipe library virtual assistant berbasis semantics search sebagai layanan temu kembali informasi karya tulis ilmiah, sekaligus menguji tingkat fungsionalitasnya dan mengevaluasi performa sistem. Penelitian ini menggunakan metode Research and Development (R&D) dengan model pengembangan prototyping dengan empat tahapan, yaitu analisis kebutuhan, akuisisi data, perancangan, dan pengujian fungsionalitas serta performa sistem. Pengujian fungsionalitas melibatkan 10 responden dengan metode black box testing dengan teknik equivalence partitioning vii dan satu judgment expert pengujian white box testing dengan teknik unit testing. Sedangkan evaluasi performa diukur melalui nilai precision dari confusion matrix terhadap 50 kata kunci dari seluruh responden. Hasil penelitian ini menunjukkan tingkat fungsionalitas 100% pada pengujian testing (8 skenario, 80 eksekusi) dan white box testing (14 test case, 6 modul). Sedangkan performa sistem menghasilkan nilai Precision sebesar 45,41% dari 1.786 dokumen yang dikembalikan dengan 811 di antaranya relevan, yang berdasarkan Skala Penilaian Precision tergolong kategori kurang efektif. Temuan ini mengindikasikan bahwa sistem telah berfungsi sebagai layanan temu kembali berbasis semantics search informasi namun masih memerlukan optimalisasi lebih lanjut dalam peningkatan relevansi hasil pencarian. Kata Kunci: Virtual Assistant, Large Language Model (LLM), Temu Kembali Informasi, confusion matrix, Precision, Black Box Testing, White Box Testing, Perpustakaan Digital.Ilmu Perpustakaan dan Informasi2026-06-22UIN SUNAN KALIJAGA YOGYAKARTA;PASCASARJANAThesis

For work being deposited by its own author: In self-archiving this collection of files and associated bibliographic metadata, I grant Institutional Repository UIN Sunan Kalijaga Yogyakarta the right to store them and to make them permanently available publicly for free on-line. I declare that this material is my own intellectual property and I understand that Institutional Repository UIN Sunan Kalijaga Yogyakarta does not assume any responsibility if there is any breach of copyright in distributing these files or metadata. (All authors are urged to prominently assert their copyright on the title page of their work.)

For work being deposited by someone other than its author: I hereby declare that the collection of files and associated bibliographic metadata that I am archiving at Institutional Repository UIN Sunan Kalijaga Yogyakarta) is in the public domain. If this is not the case, I accept full responsibility for any breach of copyright that distributing these files or metadata may entail.

Clicking on the deposit button indicates your agreement to these terms.