Menggali Ulang Hukum Skala dalam Pengembangan Kecerdasan Buatan (AI)
Seiring dengan para pengembang dan peneliti mendorong batas-batas kinerja LLM, pertanyaan tentang efisiensi semakin mengemuka. Hingga belum lama ini, fokus utama adalah pada peningkatan ukuran model dan volume data pelatihan, dengan sedikit perhatian yang diberikan pada presisi numerik—jumlah bit yang digunakan untuk mewakili angka selama komputasi.
Sebuah studi terbaru dari para peneliti di Harvard, Stanford, dan lembaga lain telah mengubah perspektif tradisional ini. Temuan mereka menyarankan bahwa presisi memainkan peran yang jauh lebih signifikan dalam mengoptimalkan kinerja model daripada yang sebelumnya diakui. Penemuan ini memiliki implikasi yang dalam bagi masa depan kecerdasan buatan, memperkenalkan dimensi baru dalam hukum skala yang mengarahkan pengembangan model.
Presisi dalam Sorotan
Presisi numerik dalam AI mengacu pada tingkat detail yang digunakan untuk mewakili angka selama komputasi, biasanya diukur dalam bit. Sebagai contoh, presisi 16-bit mewakili angka dengan lebih detail daripada presisi 8-bit namun membutuhkan daya komputasi yang lebih besar. Meskipun ini mungkin terdengar seperti nuansa teknis, presisi secara langsung memengaruhi efisiensi dan kinerja model AI.
Studi yang berjudul "Hukum Skala untuk Presisi" menggali hubungan yang sering diabaikan antara presisi dan kinerja model. Dengan melakukan serangkaian lebih dari 465 pelatihan, para peneliti menguji model dengan presisi yang bervariasi, mulai dari 3 bit hingga 16 bit. Model-model ini, yang berisi hingga 1,7 miliar parameter, dilatih pada sebanyak 26 miliar token.
Hasilnya mengungkapkan tren yang jelas: presisi bukan hanya variabel latar belakang; itu secara mendasar membentuk seberapa efektif model-model tersebut bekerja. Terutama, model-model yang terlalu dilatih—yaitu yang dilatih pada data jauh lebih banyak dari rasio optimal untuk ukuran mereka—sangat sensitif terhadap degradasi kinerja ketika dikenakan kuantisasi, sebuah proses yang mengurangi presisi setelah pelatihan. Sensitivitas ini menyoroti keseimbangan kritis yang diperlukan saat merancang model-model untuk aplikasi dunia nyata.
Hukum Skala yang Muncul
Salah satu kontribusi kunci dari studi ini adalah pengenalan hukum skala baru yang mencakup presisi bersama-sama dengan variabel tradisional seperti jumlah parameter dan data pelatihan. Hukum-hukum ini memberikan panduan untuk menentukan cara yang paling efisien dalam mengalokasikan sumber daya komputasi selama pelatihan model.
Para peneliti mengidentifikasi bahwa rentang presisi 7–8 bit umumnya optimal untuk model-model berskala besar. Ini menemukan keseimbangan antara efisiensi komputasi dan kinerja, menantang praktik umum untuk beralih ke presisi 16-bit, yang sering membuang-buang sumber daya. Sebaliknya, menggunakan terlalu sedikit bit—seperti presisi 4-bit—memerlukan peningkatan proporsional dalam ukuran model untuk mempertahankan kinerja yang dapat dibandingkan.
Studi ini juga menekankan strategi konteks-dependen. Sementara 7–8 bit cocok untuk model-model besar dan fleksibel, model-model berukuran tetap, seperti LLaMA 3.1, mendapatkan manfaat dari tingkat presisi yang lebih tinggi, terutama ketika kapasitas mereka diperluas untuk menampung dataset yang luas. Temuan ini merupakan langkah maju yang signifikan, menawarkan pemahaman yang lebih nuansa tentang trade-off yang terlibat dalam presisi skala.
Tantangan dan Implikasi Praktis
Meskipun studi ini menunjukkan bukti yang meyakinkan akan pentingnya presisi dalam skala AI, aplikasinya menghadapi hambatan praktis. Satu batasan kritis adalah kompatibilitas perangkat keras. Manfaat potensial dari pelatihan presisi rendah hanya sebaik perangkat keras mampu mendukungnya. GPU dan TPU modern dioptimalkan untuk presisi 16-bit, dengan dukungan terbatas untuk rentang 7–8 bit yang lebih efisien secara komputasi. Sampai perangkat keras mengejar, manfaat dari temuan ini mungkin tetap di luar jangkauan bagi banyak pengembang.
Tantangan lain terletak pada risiko yang terkait dengan over-training dan kuantisasi. Seperti yang ditunjukkan oleh studi ini, model-model yang terlalu dilatih rentan terhadap degradasi kinerja saat dikuantisasi. Ini memperkenalkan dilema bagi para peneliti: sementara data pelatihan yang luas pada umumnya merupakan keuntungan, itu dapat tidak sengaja memperparah kesalahan dalam model-model presisi rendah. Mencapai keseimbangan yang tepat akan memerlukan kalibrasi yang hati-hati dari volume data, ukuran parameter, dan presisi.
Meskipun tantangan-tantangan ini, temuan tersebut menawarkan peluang yang jelas untuk menyempurnakan praktik pengembangan AI. Dengan memasukkan presisi sebagai pertimbangan inti, para peneliti dapat mengoptimalkan anggaran komputasi dan menghindari penggunaan sumber daya yang boros, membuka jalan bagi sistem AI yang lebih berkelanjutan dan efisien.
Masa Depan Skala AI
Temuan studi ini juga menandakan pergeseran lebih luas dalam lintasan penelitian AI. Selama bertahun-tahun, bidang ini telah didominasi oleh pola pikir "semakin besar adalah lebih baik", berfokus pada model-model dan dataset yang semakin besar. Tetapi seiring dengan keuntungan efisiensi dari metode pelatihan 8-bit mendekati batasnya, era skalabilitas tanpa batas mungkin sedang berakhir.
Tim Dettmers, seorang peneliti AI dari Universitas Carnegie Mellon, melihat studi ini sebagai titik balik. "Hasilnya dengan jelas menunjukkan bahwa kita telah mencapai batas praktis dari kuantisasi," jelasnya. Dettmers memprediksi pergeseran dari skalabilitas umum ke pendekatan yang lebih terarah, seperti model-model khusus yang dirancang untuk tugas-tugas tertentu dan aplikasi-aplikasi yang berpusat pada manusia yang memprioritaskan kegunaan dan aksesibilitas daripada kekuatan komputasi kasar.
Pivot ini sejalan dengan tren lebih luas dalam AI, di mana pertimbangan etis dan batasan sumber daya semakin memengaruhi prioritas pengembangan. Seiring dengan pematangan bidang tersebut, fokus mungkin akan beralih ke arah menciptakan model-model yang tidak hanya berkinerja baik tetapi juga terintegrasi dengan lancar ke dalam alur kerja manusia dan secara efektif mengatasi kebutuhan dunia nyata.
Kesimpulan
Integrasi presisi ke dalam hukum skala menandai babak baru dalam penelitian AI. Dengan menyoroti peran presisi numerik, studi ini menantang asumsi yang telah lama berdiri dan membuka pintu bagi praktik pengembangan yang lebih efisien dan berwawasan sumber daya.
Meskipun kendala praktis seperti batasan perangkat keras masih ada, temuan tersebut menawarkan wawasan berharga untuk mengoptimalkan pelatihan model. Ketika batas-batas kuantisasi presisi rendah menjadi jelas, bidang ini siap untuk mengalami perubahan paradigma—dari pengejaran tanpa henti terhadap skala ke pendekatan yang lebih seimbang yang menekankan aplikasi yang khusus, berpusat pada manusia.
Studi ini berfungsi sebagai panduan dan tantangan bagi komunitas: untuk berinovasi tidak hanya untuk kinerja tetapi juga untuk efisiensi, praktis, dan dampak.