…
comment: The repository administrator has not yet configured an RDF license.
primary topic: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS

EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS
type: Thesis
type: Article
abstract: Large Language Models (LLMs) dengan parameter kecil seperti CodeGemma-2B, Qwen2.5-1.5B-Instruct, dan LLaMA-3.2-1B telah menunjukkan potensi dalam tugas code generation. Namun, belum ada studi yang secara khusus membandingkan kinerja model-model tersebut berdasarkan metrik berbasis sintaktik maupun fungsional. Oleh karena itu, penelitian ini bertujuan untuk mengevaluasi dan membandingkan kinerja base model sebelum dan setelah fine-tuning menggunakan metrik fungsional pass@k serta metrik berbasis sintaktik seperti BLEU, ROUGE, ChrF, Exact Match, dan Levenshtein Distance. Metodologi penelitian ini bersifat deskriptif komparatif dengan pendekatan kuantitatif empiris. Pengumpulan data dilakukan secara eksperimental dengan menggunakan dataset Evol-Instruct untuk finetuning dan HumanEval untuk evaluasi. Hasil penelitian menunjukkan bahwa fine-tuning secara signifikan meningkatkan performa fungsional model berdasarkan metrik pass@k. Berdasarkan metode Chen, pass@1 CodeGemma-2B meningkat dari 0,057 (base model - FM) menjadi 0,186 (fine-tuned - FT), Qwen2.5 meningkat dari 0,456 (FM) menjadi 0,567 (FT), dan LLaMA-3.2 meningkat dari 0,815 (FM) menjadi 0,844 (FT). Peningkatan serupa terjadi pada pass@5, pass@10, dan pass@100, dengan kenaikan yang lebih signifikan terutama pada CodeGemma-2B. Sementara itu, hasil evaluasi menggunakan metode Kulal menunjukkan peningkatan yang lebih tinggi, terutama pada CodeGemma-2B, yang mengalami kenaikan dari 0,463 (FM) menjadi 0,878 (FT) pada pass@1. Qwen2.5 mencapai skor pass@1 sebesar 1.0 setelah fine-tuning, sementara LLaMA-3.2 telah mencapai performa optimal dengan skor 1.0 sejak awal. Namun, analisis metrik sintaktik menunjukkan hasil yang beragam. BLEU dan ROUGE mengalami sedikit penurunan pada ketiga model setelah fine-tuning, sementara ChrF menunjukkan peningkatan kecil pada CodeGemma-2B (dari 21,0 menjadi 22,2) dan Qwen2.5 (dari 23,11 menjadi 23,17). Exact Match tetap 0,0 untuk semua model, sedangkan Levenshtein Distance meningkat pada…
date: 2025-03-27
status: published
author list: authors
type: EPrint
type: ThesisEPrint
is part of: repository
has document: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
has version: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
has published: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
has document: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Other)
subject: Tehnik Informatika

EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
type: Document
has file: 23206051031_BAB-I_IV-atau-V_DAFTAR-PUSTAKA.pdf
has part: 23206051031_BAB-I_IV-atau-V_DAFTAR-PUSTAKA.pdf

EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
type: Document

UIN SUNAN KALIJAGA YOGYAKARTA
type: Organization

FAKULTAS SAINS DAN TEKNOLOGI, UIN SUNAN KALIJAGA YOGYAKARTA
type: Organization

NIM.: 23206051031 Muh Nur Aslam
type: Person
given name: NIM.: 23206051031
family name: Muh Nur Aslam

EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Other)
type: Document
is version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
is volatile version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
islightbox thumbnail version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
has file: lightbox.jpg
has part: lightbox.jpg

EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Other)
type: Document
is version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
is volatile version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
ispreview thumbnail version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
has file: preview.jpg
has part: preview.jpg

EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Other)
type: Document
is version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
is volatile version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
ismedium thumbnail version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
has file: medium.jpg
has part: medium.jpg

EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Other)
type: Document
is version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
is volatile version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
issmall thumbnail version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
has file: small.jpg
has part: small.jpg

EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Other)
type: Document
is version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
is volatile version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
islightbox thumbnail version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)

EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Other)
type: Document
is version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
is volatile version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
ispreview thumbnail version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)

EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Other)
type: Document
is version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
is volatile version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
ismedium thumbnail version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)

EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Other)
type: Document
is version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
is volatile version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)
issmall thumbnail version of: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS (Text)

HTML Summary of #73934 EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS
format: text/html
primary topic: EVALUASI DAN PERBANDINGAN KINERJA MODEL BAHASA BESAR BERPARAMETER KECIL DALAM MEMBUAT KODE PYTHON SECARA OTOMATIS

Tehnik Informatika
type: Concept