<> "The repository administrator has not yet configured an RDF license."^^ . <> . . . "EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA\r\nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE\r\nPYTHON SECARA OTOMATIS"^^ . "Large Language Models (LLMs) dengan parameter kecil seperti\r\nCodeGemma-2B, Qwen2.5-1.5B-Instruct, dan LLaMA-3.2-1B telah\r\nmenunjukkan potensi dalam tugas code generation. Namun, belum ada\r\nstudi yang secara khusus membandingkan kinerja model-model\r\ntersebut berdasarkan metrik berbasis sintaktik maupun fungsional.\r\nOleh karena itu, penelitian ini bertujuan untuk mengevaluasi dan\r\nmembandingkan kinerja base model sebelum dan setelah fine-tuning\r\nmenggunakan metrik fungsional pass@k serta metrik berbasis sintaktik\r\nseperti BLEU, ROUGE, ChrF, Exact Match, dan Levenshtein Distance.\r\nMetodologi penelitian ini bersifat deskriptif komparatif dengan\r\npendekatan kuantitatif empiris. Pengumpulan data dilakukan secara\r\neksperimental dengan menggunakan dataset Evol-Instruct untuk finetuning\r\ndan HumanEval untuk evaluasi. Hasil penelitian menunjukkan\r\nbahwa fine-tuning secara signifikan meningkatkan performa\r\nfungsional model berdasarkan metrik pass@k. Berdasarkan metode\r\nChen, pass@1 CodeGemma-2B meningkat dari 0,057 (base model -\r\nFM) menjadi 0,186 (fine-tuned - FT), Qwen2.5 meningkat dari 0,456\r\n(FM) menjadi 0,567 (FT), dan LLaMA-3.2 meningkat dari 0,815 (FM)\r\nmenjadi 0,844 (FT). Peningkatan serupa terjadi pada pass@5, pass@10,\r\ndan pass@100, dengan kenaikan yang lebih signifikan terutama pada\r\nCodeGemma-2B. Sementara itu, hasil evaluasi menggunakan metode\r\nKulal menunjukkan peningkatan yang lebih tinggi, terutama pada\r\nCodeGemma-2B, yang mengalami kenaikan dari 0,463 (FM) menjadi\r\n0,878 (FT) pada pass@1. Qwen2.5 mencapai skor pass@1 sebesar 1.0\r\nsetelah fine-tuning, sementara LLaMA-3.2 telah mencapai performa\r\noptimal dengan skor 1.0 sejak awal. Namun, analisis metrik sintaktik\r\nmenunjukkan hasil yang beragam. BLEU dan ROUGE mengalami\r\nsedikit penurunan pada ketiga model setelah fine-tuning, sementara\r\nChrF menunjukkan peningkatan kecil pada CodeGemma-2B (dari 21,0\r\nmenjadi 22,2) dan Qwen2.5 (dari 23,11 menjadi 23,17). Exact Match\r\ntetap 0,0 untuk semua model, sedangkan Levenshtein Distance\r\nmeningkat pada CodeGemma-2B (dari 102 menjadi 126) serta\r\nQwen2.5 (dari 135 menjadi 131), mengindikasikan bahwa fine-tuning\r\ntidak secara konsisten meningkatkan kesamaan sintaktik. Selain itu,\r\nhasil uji Wilcoxon Signed-Rank Test dan analisis median-percentile\r\nmenunjukkan bahwa fine-tuning tidak secara signifikan meningkatkan\r\nefisiensi waktu eksekusi model. Meskipun CodeGemma-2B dan\r\nLLaMA-3.2 menunjukkan sedikit peningkatan, Qwen2.5 justru\r\nVII\r\nmengalami penurunan pada nilai median dan percentile 75%. Temuan\r\nini mengindikasikan bahwa fine-tuning efektif dalam meningkatkan\r\nakurasi fungsional, tetapi belum tentu meningkatkan kesamaan\r\nsintaktik atau efisiensi waktu eksekusi. Penelitian ini memberikan\r\nkontribusi penting dalam memahami dampak fine-tuning terhadap\r\nmodel LLM dengan parameter kecil, khususnya dalam konteks code\r\ngeneration."^^ . "2025-03-27" . . . . "UIN SUNAN KALIJAGA YOGYAKARTA"^^ . . . "FAKULTAS SAINS DAN TEKNOLOGI, UIN SUNAN KALIJAGA YOGYAKARTA"^^ . . . . . . . . . "NIM.: 23206051031"^^ . "Muh Nur Aslam"^^ . "NIM.: 23206051031 Muh Nur Aslam"^^ . . . . . . "EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA\r\nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE\r\nPYTHON SECARA OTOMATIS (Text)"^^ . . . . . "23206051031_BAB-I_IV-atau-V_DAFTAR-PUSTAKA.pdf"^^ . . . "EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA\r\nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE\r\nPYTHON SECARA OTOMATIS (Text)"^^ . . . . . "EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA\r\nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE\r\nPYTHON SECARA OTOMATIS (Other)"^^ . . . . . . "lightbox.jpg"^^ . . . "EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA\r\nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE\r\nPYTHON SECARA OTOMATIS (Other)"^^ . . . . . . "preview.jpg"^^ . . . "EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA\r\nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE\r\nPYTHON SECARA OTOMATIS (Other)"^^ . . . . . . "medium.jpg"^^ . . . "EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA\r\nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE\r\nPYTHON SECARA OTOMATIS (Other)"^^ . . . . . . "small.jpg"^^ . . . "EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA\r\nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE\r\nPYTHON SECARA OTOMATIS (Other)"^^ . . . . . . "EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA\r\nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE\r\nPYTHON SECARA OTOMATIS (Other)"^^ . . . . . . "EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA\r\nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE\r\nPYTHON SECARA OTOMATIS (Other)"^^ . . . . . . "EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA\r\nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE\r\nPYTHON SECARA OTOMATIS (Other)"^^ . . . . . "HTML Summary of #73934 \n\nEVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA \nBESAR BERPARAMETER KECIL DALAM MEMBUAT KODE \nPYTHON SECARA OTOMATIS\n\n" . "text/html" . . . "Tehnik Informatika"@en . .