Meta telah meluncurkan model bahasa besar Llama 3.2 1B dan 3B versi ringan atau “quantized”. Model ini merupakan versi terkecil dari model-model LLM buatan Meta, dirancang untuk berjalan dengan lancar di perangkat berdaya rendah seperti smartphone. Dengan teknik kuantisasi, ukuran model AI dapat dikurangi tanpa mengorbankan akurasi. Llama 3.2 1B dan 3B terkuantitasi ini menggunakan memori yang lebih efisien dan memberikan hasil inferensi yang lebih cepat.
Meta telah melakukan pengujian internal dan menemukan bahwa model-model Llama 3.2 1B dan 3B terkuantitasi ini lebih ringan sekitar 56% dan memiliki kinerja inferensi 2-4 kali lipat lebih cepat dibandingkan dengan model aslinya. Bahkan ketika diuji pada smartphone Android OnePlus 12, penggunaan sumber daya memori berkurang hingga 41% tanpa mengorbankan kinerja. Meta juga bekerja sama dengan Qualcomm dan MediaTek untuk mengoptimalkan model AI versi ringan ini agar dapat berjalan dengan baik di perangkat mobile.
Llama 3.2 merupakan pesaing GPT-4o Mini milik OpenAI dan telah menunjukkan pertumbuhan yang signifikan sejak tahun 2023. Model AI ini mampu bersaing dengan model-model open-source dari Google dan Microsoft dalam berbagai bidang seperti mengikuti instruksi, meringkas teks, dan pemahaman visual. Dengan parameter yang mencapai 90 miliar, Llama 3.2 dapat menangani tugas-tugas yang kompleks dan memberikan hasil yang akurat.
