Open AI Generatif Meta Llama: Ini Semua Hal yang Perlu Anda Ketahui

IDNStart.com - Seperti setiap perusahaan teknologi besar saat ini, Meta memiliki model AI generatif andalannya sendiri, yang disebut Llama.

Llama agak unik di antara model-model besar lainnya karena sifatnya yang “terbuka”, yang berarti para pengembang dapat mengunduh dan menggunakannya sesuka hati (dengan batasan tertentu).

Hal ini berbeda dengan model seperti Claude milik Anthropic, GPT-4o milik OpenAI (yang mendukung ChatGPT) dan Gemini milik Google, yang hanya dapat diakses melalui API.

Namun, untuk memberikan pilihan kepada para pengembang, Meta juga bermitra dengan vendor-vendor seperti AWS, Google Cloud, dan Microsoft Azure untuk menyediakan versi Llama yang di-host di cloud.

Selain itu, perusahaan ini telah merilis alat yang dirancang untuk mempermudah menyempurnakan dan menyesuaikan model.

Berikut ini semua yang perlu anda ketahui tentang Llama, mulai dari kemampuan dan edisinya hingga di mana anda bisa menggunakannya, seperti dilansir dari laman Techcrunch.

Apa itu Llama?

Llama adalah sebuah keluarga model. Bukan hanya satu model, tapi ada tiga, yakni Llama 8B, Llama 70B, dan Llama 405B.

Versi terbaru adalah Llama 3.1 8B, Llama 3.1 70B dan Llama 3.1 405B, yang dirilis pada bulan Juli 2024.

Mereka dilatih pada halaman web dalam berbagai bahasa, kode publik dan file di web, serta data sintetis (yaitu data yang dihasilkan oleh model AI lainnya).

Llama 3.1 8B dan Llama 3.1 70B adalah model yang kecil dan ringkas yang dimaksudkan untuk dijalankan di berbagai perangkat, mulai dari laptop hingga server.

Llama 3.1 405B, di sisi lain, adalah model berskala besar yang membutuhkan (jika tidak ada modifikasi) perangkat keras pusat data.

Llama 3.1 8B dan Llama 3.1 70B kurang mumpuni dibandingkan Llama 3.1 405B, tetapi lebih cepat. Mereka adalah versi “suling” dari 405B, pada kenyataannya, dioptimalkan untuk overhead penyimpanan dan latensi yang rendah.

Semua model Llama memiliki 128.000 jendela konteks token. Dalam ilmu data, token adalah bit-bit data mentah yang terbagi-bagi, seperti suku kata “fan,” “tas” dan “tic” pada kata “fantastic.”

Konteks model, atau jendela konteks, mengacu pada data input (misalnya teks) yang dipertimbangkan model sebelum menghasilkan output (misalnya teks tambahan).

Konteks yang panjang dapat mencegah model dari “melupakan” konten dokumen dan data terbaru, dan dari membelokkan topik dan melakukan ekstrapolasi yang salah.

128.000 token tersebut diterjemahkan menjadi sekitar 100.000 kata atau 300 halaman, yang sebagai referensi, kira-kira sama dengan panjangnya dengan “Wuthering Heights”, “Gulliver's Travels”, dan “Harry Potter and the Prisoner of Azkaban.”

Apa yang Bisa Dilakukan Llama?

Seperti model AI generatif lainnya, Llama dapat melakukan berbagai tugas bantuan yang berbeda, seperti pengkodean dan menjawab pertanyaan matematika dasar, serta meringkas dokumen dalam delapan bahasa (Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thailand).

Sebagian besar beban kerja berbasis teks, misalnya menganalisis file seperti PDF dan spreadsheet, berada dalam cakupannya.

Namun, tidak ada model Llama yang dapat memproses atau menghasilkan gambar, meskipun hal tersebut dapat berubah dalam waktu dekat.

Semua model Llama terbaru dapat dikonfigurasikan untuk memanfaatkan aplikasi, alat, dan API pihak ketiga untuk menyelesaikan tugas.

Mereka dilatih untuk menggunakan Brave Search untuk menjawab pertanyaan tentang peristiwa terkini, Wolfram Alpha API untuk pertanyaan terkait matematika dan sains, serta penerjemah Python untuk memvalidasi kode.

Selain itu, Meta mengatakan bahwa model Llama 3.1 dapat menggunakan alat tertentu yang belum pernah mereka lihat sebelumnya (tetapi apakah mereka dapat menggunakan alat tersebut dengan andal adalah masalah lain).

Di Mana Saya Bisa Menggunakan Llama?

Jika anda ingin sekadar mengobrol dengan Llama, Llama mendukung pengalaman chatbot Meta AI di Facebook Messenger, WhatsApp, Instagram, Oculus, dan Meta.ai.

Pengembang yang membangun dengan Llama dapat mengunduh, menggunakan, atau menyempurnakan modelnya di sebagian besar platform cloud populer.

Meta mengklaim bahwa mereka memiliki lebih dari 25 mitra yang menghosting Llama, termasuk Nvidia, Databricks, Groq, Dell, dan Snowflake.

Beberapa mitra ini telah membangun alat dan layanan tambahan di atas Llama, termasuk alat yang memungkinkan model mereferensikan data eksklusif dan memungkinkannya berjalan pada latensi yang lebih rendah.

Meta menyarankan untuk menggunakan model yang lebih kecil, Llama 8B dan Llama 70B, untuk aplikasi tujuan umum seperti menyalakan chatbot dan menghasilkan kode.

Llama 405B, menurut perusahaan, lebih baik digunakan untuk penyulingan model , yakni proses mentransfer pengetahuan dari model besar ke model yang lebih kecil dan lebih efisien.

Selain itu, model ini juga bisa digunakan untuk menghasilkan data sintetis untuk melatih (atau menyempurnakan) model alternatif.

Yang penting, lisensi Llama membatasi bagaimana pengembang dapat menggunakan model ini. Pengembang aplikasi dengan lebih dari 700 juta pengguna bulanan harus meminta lisensi khusus dari Meta yang akan diberikan oleh perusahaan berdasarkan kebijaksanaannya.

Tools Apa Saja yang Ditawarkan Meta untuk Llama?

Selain Llama, Meta menyediakan alat yang dimaksudkan untuk membuat model ini “lebih aman” untuk digunakan. Berikut ketiganya:

• Llama Guard, sebuah kerangka kerja moderasi
• Prompt Guard, sebuah alat untuk melindungi dari serangan injeksi yang cepat
• CyberSecEval, rangkaian penilaian risiko keamanan siber

Llama Guard mencoba mendeteksi konten yang berpotensi bermasalah, baik yang dimasukkan ke dalam atau dibuat oleh model Llama, termasuk konten yang berkaitan dengan aktivitas kriminal, eksploitasi anak, pelanggaran hak cipta, kebencian, melukai diri sendiri, dan pelecehan seksual.

Pengembang dapat menyesuaikan kategori konten yang diblokir, dan menerapkan pemblokiran ke semua bahasa yang didukung Llama secara langsung.

Seperti Llama Guard, Prompt Guard dapat memblokir teks yang ditujukan untuk Llama, tetapi hanya teks yang dimaksudkan untuk “menyerang” model dan membuatnya berperilaku dengan cara yang tidak diinginkan.

Meta mengklaim bahwa Llama Guard dapat bertahan dari prompt yang secara eksplisit berbahaya, misalnya jailbreak yang mencoba untuk menyiasati filter keamanan bawaan Llama, di samping prompt yang berisi “input yang disuntikkan.”

Sedangkan untuk CyberSecEval, lebih merupakan alat daripada kumpulan tolak ukur untuk mengukur keamanan model.

CyberSecEval dapat menilai risiko yang ditimbulkan oleh model Llama terhadap pengembang aplikasi dan pengguna akhir di bidang-bidang seperti “rekayasa sosial otomatis” dan “meningkatkan operasi siber ofensif.”