STUDI PERBANDINGAN CODET5 DENGAN PLBART UNTUK BUG FIXING SCRIPT BAHASA PEMROGRAMAN JAVA

Rahmatun Nazila, NIM.: 23206051027 (2025) STUDI PERBANDINGAN CODET5 DENGAN PLBART UNTUK BUG FIXING SCRIPT BAHASA PEMROGRAMAN JAVA. Masters thesis, UIN SUNAN KALIJAGA YOGYAKARTA.

Preview	Text (STUDI PERBANDINGAN CODET5 DENGAN PLBART UNTUK BUG FIXING SCRIPT BAHASA PEMROGRAMAN JAVA) 23206051027_BAB-I_IV-atau-V_DAFTAR-PUSTAKA.pdf - Published Version Download (6MB) | Preview
	Text (STUDI PERBANDINGAN CODET5 DENGAN PLBART UNTUK BUG FIXING SCRIPT BAHASA PEMROGRAMAN JAVA) 23206051027_BAB-II_sampai_SEBELUM-BAB-TERAKHIR.pdf - Published Version Restricted to Registered users only Download (6MB) | Request a copy

Abstract

Penelitian ini bertujuan untuk mengevaluasi dan membandingkan kinerja dua model bahasa besar (LLM), CodeT5 dan PLBART, dalam tugas perbaikan bug otomatis pada kode pemrograman Java. Proses perbaikan bug otomatis menjadi penting karena dapat meningkatkan efisiensi dan mengurangi ketergantungan pada perbaikan manual. Penelitian ini menggunakan dataset HumanEval dan melibatkan proses fine-tuning untuk meningkatkan performa model. Hasil penelitian menunjukkan bahwa PLBART memiliki kinerja lebih baik daripada CodeT5, khususnya pada metrik fungsional pass@10, dengan peningkatan dari 0 menjadi 3 setelah fine-tuning, sedangkan CodeT5 meningkat dari 0 menjadi 1. Kedua model masih menghadapi kesulitan dalam menghasilkan patch yang valid, dengan mayoritas hasil tergolong non-sensical dan in-plausible. Penelitian ini menyimpulkan bahwa fine-tuning berperan penting dalam meningkatkan kinerja model LLM, namun keterbatasan jumlah data latih memengaruhi capaian hasil. Selain perbandingan, penelitian ini juga memberikan rekomendasi praktis: CodeT5 lebih sesuai digunakan untuk eksperimen awal dengan kode sederhana, sementara PLBART direkomendasikan untuk kasus bug yang lebih kompleks.

Share this knowledge with your friends :

Actions (login required)

View Item