Ο κόσμος των ανοιχτών μοντέλων LLM είναι συναρπαστικός και εξελίσσεται συνεχώς. Αυτό το μάθημα στοχεύει να προσφέρει μια εις βάθος ματιά στα ανοιχτά μοντέλα. Εάν αναζητάτε πληροφορίες για το πώς τα ιδιόκτητα μοντέλα συγκρίνονται με τα ανοιχτά μοντέλα, μεταβείτε στο "Μάθημα Εξερεύνησης και Σύγκρισης Διαφορετικών LLMs". Αυτό το μάθημα θα καλύψει επίσης το θέμα της λεπτομερούς προσαρμογής (fine-tuning), αλλά μια πιο αναλυτική εξήγηση μπορεί να βρεθεί στο "Μάθημα Λεπτομερούς Προσαρμογής LLMs".
- Κατανόηση των ανοιχτών μοντέλων
- Κατανόηση των πλεονεκτημάτων της εργασίας με ανοιχτά μοντέλα
- Εξερεύνηση των ανοιχτών μοντέλων που είναι διαθέσιμα στο Hugging Face και το Azure AI Studio
Το ανοιχτό λογισμικό έχει διαδραματίσει καθοριστικό ρόλο στην ανάπτυξη της τεχνολογίας σε διάφορους τομείς. Η Πρωτοβουλία Ανοιχτού Κώδικα (Open Source Initiative - OSI) έχει ορίσει 10 κριτήρια για το λογισμικό ώστε να ταξινομηθεί ως ανοιχτού κώδικα. Ο πηγαίος κώδικας πρέπει να κοινοποιείται ανοιχτά υπό άδεια εγκεκριμένη από την OSI.
Ενώ η ανάπτυξη των LLM έχει παρόμοια στοιχεία με την ανάπτυξη λογισμικού, η διαδικασία δεν είναι ακριβώς η ίδια. Αυτό έχει προκαλέσει πολλές συζητήσεις στην κοινότητα σχετικά με τον ορισμό του ανοιχτού κώδικα στο πλαίσιο των LLM. Για να ευθυγραμμιστεί ένα μοντέλο με τον παραδοσιακό ορισμό του ανοιχτού κώδικα, οι ακόλουθες πληροφορίες θα πρέπει να είναι δημόσια διαθέσιμες:
- Σύνολα δεδομένων που χρησιμοποιήθηκαν για την εκπαίδευση του μοντέλου.
- Πλήρη βάρη μοντέλου ως μέρος της εκπαίδευσης.
- Ο κώδικας αξιολόγησης.
- Ο κώδικας λεπτομερούς προσαρμογής (fine-tuning).
- Πλήρη βάρη μοντέλου και μετρικές εκπαίδευσης.
Προς το παρόν υπάρχουν μόνο λίγα μοντέλα που πληρούν αυτά τα κριτήρια. Το μοντέλο OLMo που δημιουργήθηκε από το Allen Institute for Artificial Intelligence (AllenAI) είναι ένα που ανήκει σε αυτή την κατηγορία.
Για αυτό το μάθημα, θα αναφερόμαστε στα μοντέλα ως "ανοιχτά μοντέλα" στο εξής, καθώς μπορεί να μην πληρούν τα παραπάνω κριτήρια τη στιγμή της συγγραφής.
Υψηλή Προσαρμοστικότητα - Επειδή τα ανοιχτά μοντέλα κυκλοφορούν με λεπτομερείς πληροφορίες εκπαίδευσης, οι ερευνητές και οι προγραμματιστές μπορούν να τροποποιήσουν τα εσωτερικά του μοντέλου. Αυτό επιτρέπει τη δημιουργία εξειδικευμένων μοντέλων που έχουν προσαρμοστεί για συγκεκριμένη εργασία ή τομέα μελέτης. Παραδείγματα αυτού είναι η δημιουργία κώδικα, οι μαθηματικές λειτουργίες και η βιολογία.
Κόστος - Το κόστος ανά token για τη χρήση και την ανάπτυξη αυτών των μοντέλων είναι χαμηλότερο από αυτό των ιδιόκτητων μοντέλων. Κατά την κατασκευή εφαρμογών Γεννητικής Τεχνητής Νοημοσύνης, πρέπει να εξετάζεται η απόδοση σε σχέση με την τιμή όταν εργάζεστε με αυτά τα μοντέλα για την περίπτωσή σας.
Πηγή: Artificial Analysis
Ευελιξία - Η εργασία με ανοιχτά μοντέλα σας επιτρέπει να είστε ευέλικτοι όσον αφορά τη χρήση διαφορετικών μοντέλων ή τον συνδυασμό τους. Ένα παράδειγμα είναι οι HuggingChat Assistants, όπου ο χρήστης μπορεί να επιλέξει το μοντέλο που χρησιμοποιείται απευθείας στη διεπαφή χρήστη:
Το LLama2, που αναπτύχθηκε από τη Meta, είναι ένα ανοιχτό μοντέλο βελτιστοποιημένο για εφαρμογές βασισμένες σε συνομιλία. Αυτό οφείλεται στη μέθοδο λεπτομερούς προσαρμογής του, η οποία περιελάμβανε μεγάλο όγκο διαλόγου και ανθρώπινης ανατροφοδότησης. Με αυτή τη μέθοδο, το μοντέλο παράγει αποτελέσματα που ευθυγραμμίζονται περισσότερο με τις ανθρώπινες προσδοκίες, προσφέροντας καλύτερη εμπειρία χρήστη.
Μερικά παραδείγματα λεπτομερώς προσαρμοσμένων εκδόσεων του Llama περιλαμβάνουν το Japanese Llama, που ειδικεύεται στα Ιαπωνικά, και το Llama Pro, που είναι μια βελτιωμένη έκδοση του βασικού μοντέλου.
Το Mistral είναι ένα ανοιχτό μοντέλο με ισχυρή εστίαση στην υψηλή απόδοση και αποδοτικότητα. Χρησιμοποιεί την προσέγγιση Mixture-of-Experts, η οποία συνδυάζει μια ομάδα εξειδικευμένων μοντέλων ειδικών σε ένα σύστημα όπου, ανάλογα με την είσοδο, επιλέγονται ορισμένα μοντέλα για χρήση. Αυτό καθιστά τον υπολογισμό πιο αποτελεσματικό, καθώς τα μοντέλα ασχολούνται μόνο με τις εισόδους στις οποίες είναι εξειδικευμένα.
Μερικά παραδείγματα λεπτομερώς προσαρμοσμένων εκδόσεων του Mistral περιλαμβάνουν το BioMistral, που εστιάζει στον ιατρικό τομέα, και το OpenMath Mistral, που εκτελεί μαθηματικούς υπολογισμούς.
Το Falcon είναι ένα LLM που δημιουργήθηκε από το Technology Innovation Institute (TII). Το Falcon-40B εκπαιδεύτηκε σε 40 δισεκατομμύρια παραμέτρους και έχει αποδειχθεί ότι αποδίδει καλύτερα από το GPT-3 με μικρότερο προϋπολογισμό υπολογισμού. Αυτό οφείλεται στη χρήση του αλγορίθμου FlashAttention και της multiquery προσοχής, που του επιτρέπει να μειώνει τις απαιτήσεις μνήμης κατά τον χρόνο εκτέλεσης. Με αυτόν τον μειωμένο χρόνο εκτέλεσης, το Falcon-40B είναι κατάλληλο για εφαρμογές συνομιλίας.
Μερικά παραδείγματα λεπτομερώς προσαρμοσμένων εκδόσεων του Falcon είναι ο OpenAssistant, ένας βοηθός βασισμένος σε ανοιχτά μοντέλα, και το GPT4ALL, που προσφέρει υψηλότερη απόδοση από το βασικό μοντέλο.
Δεν υπάρχει μία απάντηση για την επιλογή ενός ανοιχτού μοντέλου. Ένα καλό σημείο εκκίνησης είναι η χρήση της λειτουργίας φιλτραρίσματος ανά εργασία στο Azure AI Studio. Αυτό θα σας βοηθήσει να κατανοήσετε για ποιους τύπους εργασιών έχει εκπαιδευτεί το μοντέλο. Το Hugging Face διατηρεί επίσης έναν Πίνακα Κατάταξης LLM που σας δείχνει τα καλύτερα μοντέλα βάσει ορισμένων μετρικών.
Όταν θέλετε να συγκρίνετε LLMs μεταξύ διαφορετικών τύπων, το Artificial Analysis είναι μια ακόμη εξαιρετική πηγή:
Πηγή: Artificial Analysis
Εάν εργάζεστε σε μια συγκεκριμένη περίπτωση χρήσης, η αναζήτηση λεπτομερώς προσαρμοσμένων εκδόσεων που εστιάζουν στον ίδιο τομέα μπορεί να είναι αποτελεσματική. Η πειραματική χρήση πολλαπλών ανοιχτών μοντέλων για να δείτε πώς αποδίδουν σύμφωνα με τις δικές σας και των χρηστών σας προσδοκίες είναι μια ακόμη καλή πρακτική.
Το καλύτερο με τα ανοιχτά μοντέλα είναι ότι μπορείτε να ξεκινήσετε να εργάζεστε μαζί τους αρκετά γρήγορα. Δείτε τον Κατάλογο Μοντέλων Azure AI Foundry, που περιλαμβάνει μια συγκεκριμένη συλλογή Hugging Face με αυτά τα μοντέλα που συζητήσαμε εδώ.
Μετά την ολοκλήρωση αυτού του μαθήματος, δείτε τη Συλλογή Μάθησης Γεννητικής Τεχνητής Νοημοσύνης για να συνεχίσετε να αναβαθμίζετε τις γνώσεις σας στην Γεννητική Τεχνητή Νοημοσύνη!
Αποποίηση ευθυνών:
Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης AI Co-op Translator. Παρόλο που επιδιώκουμε την ακρίβεια, παρακαλούμε να λάβετε υπόψη ότι οι αυτόματες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη γλώσσα του θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.