Η χρήση μεγάλων γλωσσικών μοντέλων για την κατασκευή γενετικών εφαρμογών AI συνοδεύεται από νέες προκλήσεις. Ένα βασικό ζήτημα είναι η εξασφάλιση της ποιότητας της απόκρισης (ακρίβεια και συνάφεια) στο περιεχόμενο που παράγεται από το μοντέλο για ένα δεδομένο αίτημα χρήστη. Σε προηγούμενα μαθήματα, συζητήσαμε τεχνικές όπως η μηχανική προτροπής και η αύξηση παραγόμενου περιεχομένου μέσω ανάκτησης που προσπαθούν να λύσουν το πρόβλημα με το τροποποίηση της εισόδου της προτροπής στο υπάρχον μοντέλο.
Στο σημερινό μάθημα, συζητάμε μια τρίτη τεχνική, τη βελτιστοποίηση, που προσπαθεί να αντιμετωπίσει την πρόκληση με το επανεκπαίδευση του ίδιου του μοντέλου με επιπλέον δεδομένα. Ας εμβαθύνουμε στις λεπτομέρειες.
Αυτό το μάθημα εισάγει την έννοια της βελτιστοποίησης για προεκπαιδευμένα γλωσσικά μοντέλα, εξερευνά τα οφέλη και τις προκλήσεις αυτής της προσέγγισης, και παρέχει οδηγίες για το πότε και πώς να χρησιμοποιήσετε τη βελτιστοποίηση για να βελτιώσετε την απόδοση των γενετικών μοντέλων AI σας.
Στο τέλος αυτού του μαθήματος θα πρέπει να μπορείτε να απαντήσετε στα ακόλουθα ερωτήματα:
- Τι είναι η βελτιστοποίηση για γλωσσικά μοντέλα;
- Πότε και γιατί είναι χρήσιμη η βελτιστοποίηση;
- Πώς μπορώ να βελτιστοποιήσω ένα προεκπαιδευμένο μοντέλο;
- Ποιοι είναι οι περιορισμοί της βελτιστοποίησης;
Έτοιμοι; Ας ξεκινήσουμε.
Θέλετε να πάρετε μια συνολική εικόνα αυτού που θα καλύψουμε πριν εμβαθύνουμε; Δείτε αυτόν τον εικονογραφημένο οδηγό που περιγράφει την μαθησιακή διαδρομή για αυτό το μάθημα - από την εκμάθηση των βασικών εννοιών και το κίνητρο για βελτιστοποίηση, μέχρι την κατανόηση της διαδικασίας και των βέλτιστων πρακτικών για την εκτέλεση της εργασίας βελτιστοποίησης. Αυτό είναι ένα συναρπαστικό θέμα για εξερεύνηση, οπότε μην ξεχάσετε να ελέγξετε τη σελίδα Πόροι για πρόσθετους συνδέσμους που υποστηρίζουν την αυτοκαθοδηγούμενη μαθησιακή σας διαδρομή!
Κατά τον ορισμό, τα μεγάλα γλωσσικά μοντέλα είναι προεκπαιδευμένα σε μεγάλες ποσότητες κειμένου που προέρχονται από διάφορες πηγές συμπεριλαμβανομένου του διαδικτύου. Όπως μάθαμε σε προηγούμενα μαθήματα, χρειαζόμαστε τεχνικές όπως η μηχανική προτροπής και η αύξηση παραγόμενου περιεχομένου μέσω ανάκτησης για να βελτιώσουμε την ποιότητα των απαντήσεων του μοντέλου στις ερωτήσεις του χρήστη ("προτροπές").
Μια δημοφιλής τεχνική μηχανικής προτροπής περιλαμβάνει το να δίνουμε στο μοντέλο περισσότερη καθοδήγηση για το τι αναμένεται στην απόκριση είτε παρέχοντας οδηγίες (ρητή καθοδήγηση) είτε δίνοντάς του μερικά παραδείγματα (άτυπη καθοδήγηση). Αυτό αναφέρεται ως μάθηση με λίγα παραδείγματα αλλά έχει δύο περιορισμούς:
- Τα όρια των token του μοντέλου μπορούν να περιορίσουν τον αριθμό των παραδειγμάτων που μπορείτε να δώσετε και να μειώσουν την αποτελεσματικότητα.
- Το κόστος token μπορεί να κάνει ακριβή την προσθήκη παραδειγμάτων σε κάθε προτροπή και να περιορίσει την ευελιξία.
Η βελτιστοποίηση είναι μια κοινή πρακτική στα συστήματα μηχανικής μάθησης όπου παίρνουμε ένα προεκπαιδευμένο μοντέλο και το επανεκπαιδεύουμε με νέα δεδομένα για να βελτιώσουμε την απόδοσή του σε ένα συγκεκριμένο έργο. Στο πλαίσιο των γλωσσικών μοντέλων, μπορούμε να βελτιστοποιήσουμε το προεκπαιδευμένο μοντέλο με ένα επιμελημένο σύνολο παραδειγμάτων για ένα συγκεκριμένο έργο ή τομέα εφαρμογής για να δημιουργήσουμε ένα προσαρμοσμένο μοντέλο που μπορεί να είναι πιο ακριβές και σχετικό για εκείνο το συγκεκριμένο έργο ή τομέα. Ένα προαιρετικό όφελος της βελτιστοποίησης είναι ότι μπορεί επίσης να μειώσει τον αριθμό των παραδειγμάτων που απαιτούνται για την μάθηση με λίγα παραδείγματα - μειώνοντας τη χρήση token και τα σχετιζόμενα κόστη.
Σε αυτό το πλαίσιο, όταν μιλάμε για βελτιστοποίηση, αναφερόμαστε σε εποπτευόμενη βελτιστοποίηση όπου η επανεκπαίδευση γίνεται μέσω προσθήκης νέων δεδομένων που δεν ήταν μέρος του αρχικού συνόλου εκπαίδευσης. Αυτό διαφέρει από την μη εποπτευόμενη βελτιστοποίηση όπου το μοντέλο επανεκπαιδεύεται στα αρχικά δεδομένα, αλλά με διαφορετικές υπερπαραμέτρους.
Το βασικό πράγμα που πρέπει να θυμάστε είναι ότι η βελτιστοποίηση είναι μια προηγμένη τεχνική που απαιτεί ένα ορισμένο επίπεδο εξειδίκευσης για να επιτύχετε τα επιθυμητά αποτελέσματα. Αν γίνει λανθασμένα, μπορεί να μη δώσει τις αναμενόμενες βελτιώσεις και ίσως ακόμα να υποβαθμίσει την απόδοση του μοντέλου για τον στοχευόμενο τομέα σας.
Έτσι, προτού μάθετε το "πώς" να βελτιστοποιείτε γλωσσικά μοντέλα, πρέπει να ξέρετε το "γιατί" πρέπει να ακολουθήσετε αυτήν την πορεία και το "πότε" να ξεκινήσετε τη διαδικασία βελτιστοποίησης. Ξεκινήστε ρωτώντας τον εαυτό σας αυτές τις ερωτήσεις:
- Περίπτωση Χρήσης: Ποια είναι η περίπτωσή σας για τη βελτιστοποίηση; Ποια πλευρά του τρέχοντος προεκπαιδευμένου μοντέλου θέλετε να βελτιώσετε;
- Εναλλακτικές: Έχετε δοκιμάσει άλλες τεχνικές για να πετύχετε τα επιθυμητά αποτελέσματα; Χρησιμοποιήστε τις για να δημιουργήσετε μια βάση σύγκρισης.
- Μηχανική προτροπής: Δοκιμάστε μεθόδους όπως προτροπή με λίγα παραδείγματα σχετικές με τις απαντήσεις της προτροπής. Αξιολογείστε την ποιότητα των απαντήσεων.
- Αύξηση Παραγόμενου Περιεχομένου μέσω Ανάκτησης: Δοκιμάστε να εμπλουτίσετε τις προτροπές με αποτελέσματα αναζήτησης που αντλήθηκαν από τα δεδομένα σας. Αξιολογείστε την ποιότητα των απαντήσεων.
- Κόστη: Έχετε εντοπίσει τα κόστη για τη βελτιστοποίηση;
- Δυνατότητα βελτιστοποίησης - είναι το προεκπαιδευμένο μοντέλο διαθέσιμο για βελτιστοποίηση;
- Προσπάθεια - για την προετοιμασία δεδομένων εκπαίδευσης, την αξιολόγηση και τη βελτίωση του μοντέλου.
- Υπολογιστική ισχύς - για τη διεξαγωγή εργασιών βελτιστοποίησης και την ανάπτυξη του βελτιστοποιημένου μοντέλου
- Δεδομένα - πρόσβαση σε επαρκή ποιοτικά παραδείγματα για την αποτελεσματικότητα της βελτιστοποίησης
- Οφέλη: Έχετε επιβεβαιώσει τα οφέλη της βελτιστοποίησης;
- Ποιότητα - το βελτιστοποιημένο μοντέλο ξεπέρασε τη βασική γραμμή;
- Κόστος - μειώνει τη χρήση token απλουστεύοντας τις προτροπές;
- Επεκτασιμότητα - μπορείτε να επαναχρησιμοποιήσετε το βασικό μοντέλο για νέους τομείς;
Απαντώντας σε αυτές τις ερωτήσεις, θα πρέπει να μπορείτε να αποφασίσετε αν η βελτιστοποίηση είναι η κατάλληλη προσέγγιση για την περίπτωσή σας. Ιδανικά, η προσέγγιση ισχύει μόνο αν τα οφέλη υπερτερούν των κόστους. Μόλις αποφασίσετε να προχωρήσετε, είναι ώρα να σκεφτείτε το πώς μπορείτε να βελτιστοποιήσετε το προεκπαιδευμένο μοντέλο.
Θέλετε να πάρετε περισσότερες πληροφορίες για τη διαδικασία λήψης αποφάσεων; Παρακολουθήστε το To fine-tune or not to fine-tune
Για να βελτιστοποιήσετε ένα προεκπαιδευμένο μοντέλο, πρέπει να έχετε:
- ένα προεκπαιδευμένο μοντέλο για βελτιστοποίηση
- ένα σύνολο δεδομένων για να χρησιμοποιήσετε στη βελτιστοποίηση
- ένα περιβάλλον εκπαίδευσης για να τρέξετε την εργασία βελτιστοποίησης
- ένα περιβάλλον φιλοξενίας για να αναπτύξετε το βελτιστοποιημένο μοντέλο
Οι παρακάτω πόροι παρέχουν αναλυτικά σεμινάρια για να σας καθοδηγήσουν σε ένα πραγματικό παράδειγμα χρησιμοποιώντας επιλεγμένο μοντέλο με επιμελημένο σύνολο δεδομένων. Για να δουλέψετε αυτά τα σεμινάρια, χρειάζεστε λογαριασμό στον συγκεκριμένο πάροχο, μαζί με πρόσβαση στο σχετικό μοντέλο και σύνολα δεδομένων.
| Πάροχος | Σεμινάριο | Περιγραφή |
|---|---|---|
| OpenAI | Πώς να βελτιστοποιήσετε μοντέλα chat | Μάθετε να βελτιστοποιείτε ένα gpt-35-turbo για έναν συγκεκριμένο τομέα ("βοηθός συνταγών") προετοιμάζοντας τα δεδομένα εκπαίδευσης, τρέχοντας την εργασία βελτιστοποίησης, και χρησιμοποιώντας το βελτιστοποιημένο μοντέλο για συμπερασματολογία. |
| Azure OpenAI | Σεμινάριο βελτιστοποίησης GPT 3.5 Turbo | Μάθετε να βελτιστοποιείτε ένα μοντέλο gpt-35-turbo-0613 στο Azure λαμβάνοντας βήματα για τη δημιουργία & ανέβασμα δεδομένων εκπαίδευσης, εκτέλεση της εργασίας βελτιστοποίησης, ανάπτυξη & χρήση του νέου μοντέλου. |
| Hugging Face | Βελτιστοποίηση LLMs με Hugging Face | Αυτό το άρθρο ιστολογίου σας καθοδηγεί στη βελτιστοποίηση ενός ανοικτού LLM (π.χ. CodeLlama 7B) χρησιμοποιώντας τη βιβλιοθήκη transformers & το Transformer Reinforcement Learning (TRL) με ανοικτά συνόλα δεδομένων στο Hugging Face. |
| 🤗 AutoTrain | Βελτιστοποίηση LLMs με AutoTrain | Το AutoTrain (ή AutoTrain Advanced) είναι μια βιβλιοθήκη python που αναπτύχθηκε από το Hugging Face και επιτρέπει τη βελτιστοποίηση για πολλές διαφορετικές εργασίες, συμπεριλαμβανομένης της βελτιστοποίησης LLM. Το AutoTrain είναι μια λύση χωρίς κώδικα και η βελτιστοποίηση μπορεί να γίνει στο δικό σας cloud, στα Hugging Face Spaces ή τοπικά. Υποστηρίζει τόσο GUI βασισμένο σε web, CLI όσο και εκπαίδευση μέσω αρχείων ρυθμίσεων yaml. |
| 🦥 Unsloth | Βελτιστοποίηση LLMs με Unsloth | Το Unsloth είναι ένα ανοικτό πλαίσιο που υποστηρίζει τη βελτιστοποίηση LLM και την ενισχυτική μάθηση (RL). Το Unsloth απλοποιεί την τοπική εκπαίδευση, αξιολόγηση και ανάπτυξη με έτοιμα προς χρήση notebooks. Υποστηρίζει επίσης text-to-speech (TTS), BERT και πολυτροπικά μοντέλα. Για να ξεκινήσετε, διαβάστε τον βήμα προς βήμα Οδηγό Βελτιστοποίησης LLMs. |
Επιλέξτε ένα από τα παραπάνω σεμινάρια και ακολουθήστε τα. Μπορεί να αναπαράγουμε μια έκδοση αυτών των σεμιναρίων σε Jupyter Notebooks σε αυτό το αποθετήριο μόνο για αναφορά. Παρακαλούμε χρησιμοποιήστε τις πρωτότυπες πηγές απευθείας για να αποκτήσετε τις πιο ενημερωμένες εκδόσεις.
Μετά την ολοκλήρωση αυτού του μαθήματος, ελέγξτε τη συλλογή μας Generative AI Learning collection για να συνεχίσετε να ανεβάζετε το επίπεδο των γνώσεων σας στην Γενετική Τεχνητή Νοημοσύνη!
Συγχαρητήρια!! Έχετε ολοκληρώσει το τελικό μάθημα από τη σειρά v2 για αυτό το μάθημα! Μην σταματήσετε να μαθαίνετε και να δημιουργείτε. **Δείτε τη σελίδα Πόροι για μια λίστα επιπλέον προτάσεων μόνο για αυτό το θέμα.
Η σειρά μαθημάτων v1 έχει επίσης ενημερωθεί με περισσότερες εργασίες και έννοιες. Πάρτε ένα λεπτό για να ανανεώσετε τις γνώσεις σας - και παρακαλούμε μοιραστείτε τις ερωτήσεις και τα σχόλιά σας για να μας βοηθήσετε να βελτιώσουμε αυτά τα μαθήματα για την κοινότητα.
Αποποίηση ευθυνών:
Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης AI Co-op Translator. Παρόλο που καταβάλλουμε προσπάθειες για ακρίβεια, παρακαλούμε να λάβετε υπόψη ότι οι αυτόματες μεταφράσεις μπορεί να περιέχουν σφάλματα ή ανακρίβειες. Το πρωτότυπο έγγραφο στη γλώσσα του αποτελεί την επίσημη πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική μετάφραση από ανθρώπους. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.