Pelajaran ini dibuat dengan menggunakan sejumlah sumber utama dari OpenAI dan Azure OpenAI sebagai referensi untuk terminologi dan tutorial. Berikut adalah daftar yang tidak lengkap, untuk perjalanan pembelajaran mandiri Anda sendiri.
| Judul/Tautan | Deskripsi |
|---|---|
| Fine-tuning dengan Model OpenAI | Fine-tuning meningkatkan pembelajaran few-shot dengan melatih pada lebih banyak contoh daripada yang bisa dimasukkan ke dalam prompt, menghemat biaya, meningkatkan kualitas respons, dan memungkinkan permintaan dengan latensi lebih rendah. Dapatkan gambaran umum tentang fine-tuning dari OpenAI. |
| Apa itu Fine-Tuning dengan Azure OpenAI? | Pahami apa itu fine-tuning (konsep), mengapa Anda harus mempertimbangkannya (masalah yang memotivasi), data apa yang digunakan (pelatihan), dan cara mengukur kualitasnya |
| Sesuaikan model dengan fine-tuning | Azure OpenAI Service memungkinkan Anda menyesuaikan model kami dengan dataset pribadi menggunakan fine-tuning. Pelajari cara melakukan fine-tuning (proses) memilih model menggunakan Azure AI Studio, Python SDK, atau REST API. |
| Rekomendasi untuk fine-tuning LLM | LLM mungkin tidak bekerja dengan baik pada domain, tugas, atau dataset tertentu, atau bisa menghasilkan output yang tidak akurat atau menyesatkan. Kapan Anda harus mempertimbangkan fine-tuning sebagai solusi yang mungkin? |
| Fine-Tuning Berkelanjutan | Fine-tuning berkelanjutan adalah proses iteratif memilih model yang sudah di-fine-tune sebagai model dasar dan melakukan fine-tuning lebih lanjut pada set contoh pelatihan baru. |
| Fine-tuning dan pemanggilan fungsi | Melakukan fine-tuning model Anda dengan contoh pemanggilan fungsi dapat meningkatkan keluaran model dengan menghasilkan respons yang lebih akurat dan konsisten - dengan format respons yang serupa & penghematan biaya |
| Fine-tuning Models: Panduan Azure OpenAI | Lihat tabel ini untuk memahami model apa saja yang bisa di-fine-tune di Azure OpenAI, dan di wilayah mana saja tersedia. Periksa batas token dan tanggal kedaluwarsa data pelatihan jika diperlukan. |
| To Fine Tune or Not To Fine Tune? That is the Question | Episode AI Show berdurasi 30 menit Oktober 2023 ini membahas manfaat, kekurangan, dan wawasan praktis yang membantu Anda membuat keputusan ini. |
| Memulai Fine-Tuning LLM | Sumber daya AI Playbook ini membimbing Anda melalui kebutuhan data, format, fine-tuning hyperparameter, serta tantangan dan keterbatasan yang perlu Anda ketahui. |
| Tutorial: Fine-Tuning Azure OpenAI GPT3.5 Turbo | Pelajari cara membuat dataset contoh untuk fine-tuning, mempersiapkan fine-tuning, membuat pekerjaan fine-tuning, dan menerapkan model yang sudah di-fine-tune di Azure. |
| Tutorial: Fine-tune model Llama 2 di Azure AI Studio | Azure AI Studio memungkinkan Anda menyesuaikan model bahasa besar dengan dataset pribadi menggunakan alur kerja berbasis UI yang cocok untuk pengembang low-code. Lihat contoh ini. |
| Tutorial: Fine-tune model Hugging Face untuk satu GPU di Azure | Artikel ini menjelaskan cara melakukan fine-tuning model Hugging Face dengan library transformers Hugging Face pada satu GPU menggunakan Azure DataBricks + library Hugging Face Trainer |
| Pelatihan: Fine-tune foundation model dengan Azure Machine Learning | Katalog model di Azure Machine Learning menawarkan banyak model open source yang bisa Anda fine-tune untuk tugas spesifik Anda. Coba modul ini yang merupakan bagian dari AzureML Generative AI Learning Path |
| Tutorial: Fine-Tuning Azure OpenAI | Fine-tuning model GPT-3.5 atau GPT-4 di Microsoft Azure menggunakan W&B memungkinkan pelacakan dan analisis performa model secara mendetail. Panduan ini memperluas konsep dari panduan Fine-Tuning OpenAI dengan langkah dan fitur khusus untuk Azure OpenAI. |
Bagian ini berisi sumber tambahan yang layak untuk dijelajahi, namun belum sempat kami bahas dalam pelajaran ini. Mungkin akan dibahas di pelajaran mendatang, atau sebagai opsi tugas tambahan di waktu berikutnya. Untuk saat ini, gunakan sumber ini untuk membangun keahlian dan pengetahuan Anda sendiri tentang topik ini.
| Judul/Tautan | Deskripsi |
|---|---|
| OpenAI Cookbook: Persiapan dan analisis data untuk fine-tuning model chat | Notebook ini berfungsi sebagai alat untuk memproses dan menganalisis dataset chat yang digunakan untuk fine-tuning model chat. Memeriksa kesalahan format, memberikan statistik dasar, dan memperkirakan jumlah token untuk biaya fine-tuning. Lihat: Metode fine-tuning untuk gpt-3.5-turbo. |
| OpenAI Cookbook: Fine-Tuning untuk Retrieval Augmented Generation (RAG) dengan Qdrant | Notebook ini bertujuan memberikan contoh lengkap cara melakukan fine-tuning model OpenAI untuk Retrieval Augmented Generation (RAG). Kami juga akan mengintegrasikan Qdrant dan Few-Shot Learning untuk meningkatkan performa model dan mengurangi kesalahan informasi. |
| OpenAI Cookbook: Fine-tuning GPT dengan Weights & Biases | Weights & Biases (W&B) adalah platform pengembang AI dengan alat untuk melatih model, fine-tuning model, dan memanfaatkan foundation model. Baca panduan mereka tentang OpenAI Fine-Tuning terlebih dahulu, lalu coba latihan Cookbook ini. |
| Tutorial Komunitas Phinetuning 2.0 - fine-tuning untuk Small Language Models | Kenali Phi-2, model kecil baru dari Microsoft yang sangat kuat namun ringkas. Tutorial ini akan memandu Anda melakukan fine-tuning Phi-2, menunjukkan cara membangun dataset unik dan melakukan fine-tuning model menggunakan QLoRA. |
| Tutorial Hugging Face Cara Fine-Tune LLM di 2024 dengan Hugging Face | Posting blog ini membimbing Anda cara melakukan fine-tuning LLM terbuka menggunakan Hugging Face TRL, Transformers & datasets di tahun 2024. Anda mendefinisikan kasus penggunaan, menyiapkan lingkungan pengembangan, mempersiapkan dataset, melakukan fine-tuning model, menguji dan mengevaluasi, lalu menerapkannya ke produksi. |
| Hugging Face: AutoTrain Advanced | Mempercepat dan mempermudah pelatihan serta penerapan model machine learning terkini. Repo ini memiliki tutorial ramah Colab dengan panduan video YouTube untuk fine-tuning. Mencerminkan pembaruan terbaru local-first. Baca dokumentasi AutoTrain |
Penafian:
Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI Co-op Translator. Meskipun kami berupaya untuk mencapai akurasi, harap diperhatikan bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang sahih. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang keliru yang timbul dari penggunaan terjemahan ini.