EVALUASI BERT DENGAN INVERSE-FREQUENCY WEIGHTED FOCAL LOSS UNTUK KLASIFIKASI KEBUTUHANPERANGKAT LUNAK PADA AGILE USER STORY

Anisatul Mukaromah, NIM.: 24206051016 (2026) EVALUASI BERT DENGAN INVERSE-FREQUENCY WEIGHTED FOCAL LOSS UNTUK KLASIFIKASI KEBUTUHANPERANGKAT LUNAK PADA AGILE USER STORY. Masters thesis, UIN SUNAN KALIJAGA YOGYAKARTA.

	Text (EVALUASI BERT DENGAN INVERSE-FREQUENCY WEIGHTED FOCAL LOSS UNTUK KLASIFIKASI KEBUTUHANPERANGKAT LUNAK PADA AGILE USER STORY) 24206051016_BAB-I_IV-atau-V_DAFTAR-PUSTAKA.pdf - Published Version Download (6MB)
	Text (EVALUASI BERT DENGAN INVERSE-FREQUENCY WEIGHTED FOCAL LOSS UNTUK KLASIFIKASI KEBUTUHANPERANGKAT LUNAK PADA AGILE USER STORY) 24206051016_BAB-II_sampai_SEBELUM-BAB-TERAKHIR.pdf - Published Version Restricted to Registered users only Download (9MB) | Request a copy

Abstract

Klasifikasi kebutuhan perangkat lunak pada agile user story menghadapi distribusi kelas tidak seimbang karena jumlah functional requirements (FR) lebih besar daripada setiap kategori non-functional requirements (NFR). Penelitian ini mengevaluasi BERT-base-uncased dengan Inverse-Frequency Weighted Focal Loss untuk klasifikasi satu kelas FR dan tujuh kategori NFR. Dataset terdiri atas 10.006 user story berbahasa Inggris yang dibagi secara berstrata menjadi 8.004 data training, 1.001 data validation, dan 1.001 data test menggunakan seed 42. Bobot kelas dihitung dari frekuensi pada training set dan dinormalisasi sehingga jumlah bobot delapan kelas sama dengan delapan. Focal Loss menggunakan gamma 2. Hyperparameter optimization berbasis grid search menguji learning rate 2e-5, 3e-5, dan 5e-5 serta batch size 16 dan 32. Konfigurasi dan checkpoint dipilih berdasarkan Macro F1 pada validation set, kemudian konfigurasi terpilih dilatih ulang dari BERT dasar dan dievaluasi pada test set independen. Learning rate 2e-5 dan batch size 32 memperoleh validation Macro F1 tertinggi sebesar 0,8913. Evaluasi test menghasilkan Accuracy 0,9351, Weighted F1 0,9358, Macro F1 0,9027, dan Matthews Correlation Coefficient 0,8875. F1 per kelas berada pada rentang 0,8323–0,9639; FR memperoleh F1 tertinggi dan Usability terendah. Dari 65 kesalahan, 32 data FR diprediksi sebagai NFR, 14 data NFR diprediksi sebagai FR, dan 19 data NFR diprediksi sebagai kategori NFR lain. Kesalahan dua arah terbesar terjadi pada pasangan FR–Usability dan FR–Security. Hasil menunjukkan performa empiris pipeline pada dataset dan konfigurasi yang digunakan.

Share this knowledge with your friends :

Actions (login required)

View Item