Dunia LLM sumber terbuka sangat menarik dan terus berkembang. Pelajaran ini bertujuan untuk memberikan pandangan mendalam tentang model sumber terbuka. Jika Anda mencari informasi tentang bagaimana model proprietary dibandingkan dengan model sumber terbuka, kunjungi pelajaran "Menjelajahi dan Membandingkan Berbagai LLM" (Exploring and Comparing Different LLMs). Pelajaran ini juga akan membahas topik fine-tuning, tetapi penjelasan yang lebih rinci dapat ditemukan di pelajaran "Fine-Tuning LLMs".
- Memahami Model sumber terbuka
- Memahami manfaat bekerja dengan Model sumber terbuka
- Menjelajahi model terbuka yang tersedia di Hugging Face dan Azure AI Studio
Perangkat lunak sumber terbuka telah memainkan peran penting dalam pertumbuhan teknologi di berbagai bidang. Open Source Initiative (OSI) telah mendefinisikan 10 kriteria untuk perangkat lunak agar diklasifikasikan sebagai sumber terbuka. Kode sumber harus dibagikan secara terbuka di bawah lisensi yang disetujui oleh OSI.
Meskipun pengembangan LLM memiliki elemen yang mirip dengan pengembangan perangkat lunak, prosesnya tidak persis sama. Hal ini menimbulkan banyak diskusi di komunitas tentang definisi sumber terbuka dalam konteks LLM. Agar sebuah model sesuai dengan definisi tradisional sumber terbuka, informasi berikut harus tersedia untuk umum:
- Dataset yang digunakan untuk melatih model.
- Bobot model lengkap sebagai bagian dari pelatihan.
- Kode evaluasi.
- Kode fine-tuning.
- Bobot model lengkap dan metrik pelatihan.
Saat ini hanya ada beberapa model yang memenuhi kriteria ini. Model OLMo yang dibuat oleh Allen Institute for Artificial Intelligence (AllenAI) adalah salah satu yang masuk kategori ini.
Untuk pelajaran ini, kami akan menyebut model-model tersebut sebagai "model terbuka" karena mungkin tidak memenuhi kriteria di atas pada saat penulisan.
Sangat Dapat Disesuaikan - Karena model terbuka dirilis dengan informasi pelatihan yang rinci, peneliti dan pengembang dapat memodifikasi bagian dalam model. Ini memungkinkan pembuatan model yang sangat khusus yang di-fine-tune untuk tugas atau bidang studi tertentu. Beberapa contohnya adalah pembuatan kode, operasi matematika, dan biologi.
Biaya - Biaya per token untuk menggunakan dan menerapkan model ini lebih rendah dibandingkan model proprietary. Saat membangun aplikasi Generative AI, penting untuk mempertimbangkan kinerja versus harga saat bekerja dengan model ini pada kasus penggunaan Anda.
Sumber: Artificial Analysis
Fleksibilitas - Bekerja dengan model terbuka memungkinkan Anda fleksibel dalam menggunakan model yang berbeda atau menggabungkannya. Contohnya adalah HuggingChat Assistants di mana pengguna dapat memilih model yang digunakan langsung di antarmuka pengguna:
LLama2, yang dikembangkan oleh Meta, adalah model terbuka yang dioptimalkan untuk aplikasi berbasis chat. Ini karena metode fine-tuning-nya, yang mencakup sejumlah besar dialog dan umpan balik manusia. Dengan metode ini, model menghasilkan hasil yang lebih sesuai dengan harapan manusia sehingga memberikan pengalaman pengguna yang lebih baik.
Beberapa contoh versi Llama yang di-fine-tune termasuk Japanese Llama, yang mengkhususkan diri dalam bahasa Jepang dan Llama Pro, yang merupakan versi peningkatan dari model dasar.
Mistral adalah model terbuka dengan fokus kuat pada kinerja tinggi dan efisiensi. Model ini menggunakan pendekatan Mixture-of-Experts yang menggabungkan sekelompok model ahli khusus menjadi satu sistem di mana tergantung pada input, model tertentu dipilih untuk digunakan. Ini membuat komputasi lebih efektif karena model hanya menangani input yang mereka kuasai.
Beberapa contoh versi Mistral yang di-fine-tune termasuk BioMistral, yang fokus pada domain medis dan OpenMath Mistral, yang melakukan perhitungan matematika.
Falcon adalah LLM yang dibuat oleh Technology Innovation Institute (TII). Falcon-40B dilatih dengan 40 miliar parameter yang telah terbukti berkinerja lebih baik daripada GPT-3 dengan anggaran komputasi yang lebih rendah. Ini karena penggunaan algoritma FlashAttention dan multiquery attention yang memungkinkan pengurangan kebutuhan memori saat inferensi. Dengan waktu inferensi yang lebih singkat ini, Falcon-40B cocok untuk aplikasi chat.
Beberapa contoh versi Falcon yang di-fine-tune adalah OpenAssistant, asisten yang dibangun di atas model terbuka dan GPT4ALL, yang memberikan kinerja lebih tinggi daripada model dasar.
Tidak ada jawaban tunggal untuk memilih model terbuka. Tempat yang baik untuk memulai adalah dengan menggunakan fitur filter berdasarkan tugas di Azure AI Studio. Ini akan membantu Anda memahami jenis tugas yang telah dilatih oleh model. Hugging Face juga memelihara LLM Leaderboard yang menunjukkan model dengan kinerja terbaik berdasarkan metrik tertentu.
Saat ingin membandingkan LLM di berbagai tipe, Artificial Analysis adalah sumber daya hebat lainnya:
Sumber: Artificial Analysis
Jika mengerjakan kasus penggunaan spesifik, mencari versi yang di-fine-tune yang fokus pada area yang sama bisa efektif. Mencoba beberapa model terbuka untuk melihat bagaimana kinerjanya sesuai dengan harapan Anda dan pengguna Anda adalah praktik yang baik.
Bagian terbaik dari model terbuka adalah Anda dapat mulai bekerja dengan mereka dengan cukup cepat. Lihat Azure AI Foundry Model Catalog, yang menampilkan koleksi khusus Hugging Face dengan model-model yang kita bahas di sini.
Setelah menyelesaikan pelajaran ini, lihat koleksi Generative AI Learning kami untuk terus meningkatkan pengetahuan Generative AI Anda!
Penafian:
Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI Co-op Translator. Meskipun kami berupaya untuk mencapai akurasi, harap diingat bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang sahih. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau salah tafsir yang timbul dari penggunaan terjemahan ini.