Institutional Repository UIN Sunan Kalijaga YogyakartaEVALUASI BERT DENGAN INVERSE-FREQUENCY WEIGHTED FOCAL LOSS UNTUK KLASIFIKASI KEBUTUHANPERANGKAT LUNAK PADA AGILE USER STORYNIM.: 24206051016Anisatul MukaromahauthorKlasifikasi kebutuhan perangkat lunak pada agile user story menghadapi distribusi kelas tidak seimbang karena jumlah functional requirements (FR) lebih besar daripada setiap kategori non-functional requirements (NFR). Penelitian ini mengevaluasi BERT-base-uncased dengan Inverse-Frequency Weighted Focal Loss untuk klasifikasi satu kelas FR dan tujuh kategori NFR. Dataset terdiri atas 10.006 user story berbahasa Inggris yang dibagi secara berstrata menjadi 8.004 data training, 1.001 data validation, dan 1.001 data test menggunakan seed 42. Bobot kelas dihitung dari frekuensi pada training set dan dinormalisasi sehingga jumlah bobot delapan kelas sama dengan delapan. Focal Loss menggunakan gamma 2. Hyperparameter optimization berbasis grid search menguji learning rate 2e-5, 3e-5, dan 5e-5 serta batch size 16 dan 32. Konfigurasi dan checkpoint dipilih berdasarkan Macro F1 pada validation set, kemudian konfigurasi terpilih dilatih ulang dari BERT dasar dan dievaluasi pada test set independen. Learning rate 2e-5 dan batch size 32 memperoleh validation Macro F1 tertinggi sebesar 0,8913. Evaluasi test menghasilkan Accuracy 0,9351, Weighted F1 0,9358, Macro F1 0,9027, dan Matthews Correlation Coefficient 0,8875. F1 per kelas berada pada rentang 0,8323–0,9639; FR memperoleh F1 tertinggi dan Usability terendah. Dari 65 kesalahan, 32 data FR diprediksi sebagai NFR, 14 data NFR diprediksi sebagai FR, dan 19 data NFR diprediksi sebagai kategori NFR lain. Kesalahan dua arah terbesar terjadi pada pasangan FR–Usability dan FR–Security. Hasil menunjukkan performa empiris pipeline pada dataset dan konfigurasi yang digunakan.005.1 Pemrograman Komputer2026-08-28UIN SUNAN KALIJAGA YOGYAKARTA;FAKULTAS SAINS DAN TEKNOLOGIThesis

For work being deposited by its own author: In self-archiving this collection of files and associated bibliographic metadata, I grant Institutional Repository UIN Sunan Kalijaga Yogyakarta the right to store them and to make them permanently available publicly for free on-line. I declare that this material is my own intellectual property and I understand that Institutional Repository UIN Sunan Kalijaga Yogyakarta does not assume any responsibility if there is any breach of copyright in distributing these files or metadata. (All authors are urged to prominently assert their copyright on the title page of their work.)

For work being deposited by someone other than its author: I hereby declare that the collection of files and associated bibliographic metadata that I am archiving at Institutional Repository UIN Sunan Kalijaga Yogyakarta) is in the public domain. If this is not the case, I accept full responsibility for any breach of copyright that distributing these files or metadata may entail.

Clicking on the deposit button indicates your agreement to these terms.