eprintid: 79633
rev_number: 10
eprint_status: archive
userid: 12460
dir: disk0/00/07/96/33
datestamp: 2026-11-02 03:58:43
lastmod: 2026-11-02 03:58:43
status_changed: 2026-11-02 03:58:43
type: thesis
metadata_visibility: show
contact_email: muh.khabib@uin-suka.ac.id
creators_name: Anisatul Mukaromah, NIM.: 24206051016
title: EVALUASI BERT DENGAN INVERSE-FREQUENCY WEIGHTED FOCAL LOSS UNTUK KLASIFIKASI KEBUTUHANPERANGKAT LUNAK PADA AGILE USER STORY
ispublished: pub
subjects: 005.1
divisions: S2_inf
full_text_status: restricted
keywords: BERT, Focal Loss, Inverse-Frequency Weighting, Klasifikasi Kebutuhan Perangkat Lunak, Non-Functional Requirements
note: Dr. Ir. Bambang Sugiantoro, M.T., IPU., ASEAN Eng.
abstract: Klasifikasi kebutuhan perangkat lunak pada agile user story menghadapi distribusi kelas tidak seimbang karena jumlah functional requirements (FR) lebih besar daripada setiap kategori non-functional requirements (NFR). Penelitian ini mengevaluasi BERT-base-uncased dengan Inverse-Frequency Weighted Focal Loss untuk klasifikasi satu kelas FR dan tujuh kategori NFR. Dataset terdiri atas 10.006 user story berbahasa Inggris yang dibagi secara berstrata menjadi 8.004 data training, 1.001 data validation, dan 1.001 data test menggunakan seed 42. Bobot kelas dihitung dari frekuensi pada training set dan dinormalisasi sehingga jumlah bobot delapan kelas sama dengan delapan. Focal Loss menggunakan gamma 2. Hyperparameter optimization berbasis grid search menguji learning rate 2e-5, 3e-5, dan 5e-5 serta batch size 16 dan 32. Konfigurasi dan checkpoint dipilih berdasarkan Macro F1 pada validation set, kemudian konfigurasi terpilih dilatih ulang dari BERT dasar dan dievaluasi pada test set independen. Learning rate 2e-5 dan batch size 32 memperoleh validation Macro F1 tertinggi sebesar 0,8913. Evaluasi test menghasilkan Accuracy 0,9351, Weighted F1 0,9358, Macro F1 0,9027, dan Matthews Correlation Coefficient 0,8875. F1 per kelas berada pada rentang 0,8323–0,9639; FR memperoleh F1 tertinggi dan Usability terendah. Dari 65 kesalahan, 32 data FR diprediksi sebagai NFR, 14 data NFR diprediksi sebagai FR, dan 19 data NFR diprediksi sebagai kategori NFR lain. Kesalahan dua arah terbesar terjadi pada pasangan FR–Usability dan FR–Security. Hasil menunjukkan performa empiris pipeline pada dataset dan konfigurasi yang digunakan.
date: 2026-08-28
date_type: published
pages: 88
institution: UIN SUNAN KALIJAGA YOGYAKARTA
department: FAKULTAS SAINS DAN TEKNOLOGI
thesis_type: masters
thesis_name: other
citation:   Anisatul Mukaromah, NIM.: 24206051016  (2026) EVALUASI BERT DENGAN INVERSE-FREQUENCY WEIGHTED FOCAL LOSS UNTUK KLASIFIKASI KEBUTUHANPERANGKAT LUNAK PADA AGILE USER STORY.  Masters thesis, UIN SUNAN KALIJAGA YOGYAKARTA.   
document_url: https://digilib.uin-suka.ac.id/id/eprint/79633/1/24206051016_BAB-I_IV-atau-V_DAFTAR-PUSTAKA.pdf
document_url: https://digilib.uin-suka.ac.id/id/eprint/79633/2/24206051016_BAB-II_sampai_SEBELUM-BAB-TERAKHIR.pdf