Ο κόσμος των ανοιχτών LLMs είναι συναρπαστικός και συνεχώς εξελίσσεται. Αυτό το μάθημα έχει ως στόχο να παρέχει μια εις βάθος ματιά στα ανοιχτά μοντέλα. Αν ψάχνετε πληροφορίες για το πώς συγκρίνονται τα ιδιόκτητα μοντέλα με τα ανοιχτά μοντέλα, επισκεφθείτε το μάθημα "Εξερεύνηση και Σύγκριση Διαφορετικών LLMs". Αυτό το μάθημα θα καλύψει επίσης το θέμα της προσαρμογής, αλλά μια πιο λεπτομερής εξήγηση μπορεί να βρεθεί στο μάθημα "Προσαρμογή LLMs".
- Κατανόηση των ανοιχτών μοντέλων
- Κατανόηση των πλεονεκτημάτων της εργασίας με ανοιχτά μοντέλα
- Εξερεύνηση των ανοιχτών μοντέλων που είναι διαθέσιμα στο Hugging Face και το Azure AI Studio
Το λογισμικό ανοιχτού κώδικα έχει παίξει καθοριστικό ρόλο στην ανάπτυξη της τεχνολογίας σε διάφορους τομείς. Η Open Source Initiative (OSI) έχει ορίσει 10 κριτήρια για το λογισμικό ώστε να ταξινομηθεί ως ανοιχτού κώδικα. Ο πηγαίος κώδικας πρέπει να μοιράζεται ανοιχτά υπό άδεια εγκεκριμένη από την OSI.
Ενώ η ανάπτυξη των LLMs έχει παρόμοια στοιχεία με την ανάπτυξη λογισμικού, η διαδικασία δεν είναι ακριβώς η ίδια. Αυτό έχει προκαλέσει πολλές συζητήσεις στην κοινότητα σχετικά με τον ορισμό του ανοιχτού κώδικα στο πλαίσιο των LLMs. Για να ευθυγραμμιστεί ένα μοντέλο με τον παραδοσιακό ορισμό του ανοιχτού κώδικα, οι παρακάτω πληροφορίες πρέπει να είναι δημόσια διαθέσιμες:
- Τα σύνολα δεδομένων που χρησιμοποιήθηκαν για την εκπαίδευση του μοντέλου.
- Πλήρη βάρη του μοντέλου ως μέρος της εκπαίδευσης.
- Ο κώδικας αξιολόγησης.
- Ο κώδικας προσαρμογής.
- Πλήρη βάρη του μοντέλου και μετρικές εκπαίδευσης.
Αυτή τη στιγμή υπάρχουν μόνο λίγα μοντέλα που πληρούν αυτά τα κριτήρια. Το μοντέλο OLMo που δημιουργήθηκε από το Allen Institute for Artificial Intelligence (AllenAI) είναι ένα από αυτά που ταιριάζει σε αυτή την κατηγορία.
Για αυτό το μάθημα, θα αναφερόμαστε στα μοντέλα ως "ανοιχτά μοντέλα" από εδώ και στο εξής, καθώς μπορεί να μην πληρούν τα παραπάνω κριτήρια τη στιγμή της συγγραφής.
Υψηλή Προσαρμοστικότητα - Επειδή τα ανοιχτά μοντέλα κυκλοφορούν με λεπτομερείς πληροφορίες εκπαίδευσης, οι ερευνητές και οι προγραμματιστές μπορούν να τροποποιήσουν τα εσωτερικά του μοντέλου. Αυτό επιτρέπει τη δημιουργία εξειδικευμένων μοντέλων που είναι προσαρμοσμένα για συγκεκριμένες εργασίες ή τομείς μελέτης. Μερικά παραδείγματα είναι η δημιουργία κώδικα, οι μαθηματικές λειτουργίες και η βιολογία.
Κόστος - Το κόστος ανά token για τη χρήση και την ανάπτυξη αυτών των μοντέλων είναι χαμηλότερο από αυτό των ιδιόκτητων μοντέλων. Κατά την κατασκευή εφαρμογών Generative AI, θα πρέπει να εξετάζεται η απόδοση σε σχέση με την τιμή όταν εργάζεστε με αυτά τα μοντέλα για την περίπτωσή σας.
Πηγή: Artificial Analysis
Ευελιξία - Η εργασία με ανοιχτά μοντέλα σας επιτρέπει να είστε ευέλικτοι όσον αφορά τη χρήση διαφορετικών μοντέλων ή τον συνδυασμό τους. Ένα παράδειγμα αυτού είναι οι Βοηθοί HuggingChat, όπου ο χρήστης μπορεί να επιλέξει το μοντέλο που χρησιμοποιείται απευθείας στη διεπαφή χρήστη:
LLama2, που αναπτύχθηκε από τη Meta, είναι ένα ανοιχτό μοντέλο που είναι βελτιστοποιημένο για εφαρμογές βασισμένες σε συνομιλία. Αυτό οφείλεται στη μέθοδο προσαρμογής του, η οποία περιλάμβανε μεγάλο όγκο διαλόγου και ανθρώπινης ανατροφοδότησης. Με αυτή τη μέθοδο, το μοντέλο παράγει περισσότερα αποτελέσματα που ευθυγραμμίζονται με τις ανθρώπινες προσδοκίες, παρέχοντας καλύτερη εμπειρία χρήστη.
Μερικά παραδείγματα προσαρμοσμένων εκδόσεων του Llama περιλαμβάνουν το Japanese Llama, που ειδικεύεται στα Ιαπωνικά, και το Llama Pro, που είναι μια βελτιωμένη έκδοση του βασικού μοντέλου.
Mistral είναι ένα ανοιχτό μοντέλο με έντονη εστίαση στην υψηλή απόδοση και αποτελεσματικότητα. Χρησιμοποιεί την προσέγγιση Mixture-of-Experts, η οποία συνδυάζει μια ομάδα εξειδικευμένων μοντέλων σε ένα σύστημα όπου, ανάλογα με την είσοδο, επιλέγονται συγκεκριμένα μοντέλα για χρήση. Αυτό καθιστά τον υπολογισμό πιο αποτελεσματικό, καθώς τα μοντέλα ασχολούνται μόνο με τις εισόδους στις οποίες είναι εξειδικευμένα.
Μερικά παραδείγματα προσαρμοσμένων εκδόσεων του Mistral περιλαμβάνουν το BioMistral, που επικεντρώνεται στον ιατρικό τομέα, και το OpenMath Mistral, που εκτελεί μαθηματικούς υπολογισμούς.
Falcon είναι ένα LLM που δημιουργήθηκε από το Technology Innovation Institute (TII). Το Falcon-40B εκπαιδεύτηκε σε 40 δισεκατομμύρια παραμέτρους, κάτι που έχει δείξει ότι αποδίδει καλύτερα από το GPT-3 με μικρότερο προϋπολογισμό υπολογισμού. Αυτό οφείλεται στη χρήση του αλγορίθμου FlashAttention και της multiquery attention, που του επιτρέπει να μειώσει τις απαιτήσεις μνήμης κατά τον χρόνο πρόβλεψης. Με αυτόν τον μειωμένο χρόνο πρόβλεψης, το Falcon-40B είναι κατάλληλο για εφαρμογές συνομιλίας.
Μερικά παραδείγματα προσαρμοσμένων εκδόσεων του Falcon είναι το OpenAssistant, ένας βοηθός βασισμένος σε ανοιχτά μοντέλα, και το GPT4ALL, που προσφέρει υψηλότερη απόδοση από το βασικό μοντέλο.
Δεν υπάρχει μία απάντηση για την επιλογή ενός ανοιχτού μοντέλου. Ένα καλό σημείο εκκίνησης είναι η χρήση της δυνατότητας φιλτραρίσματος ανά εργασία του Azure AI Studio. Αυτό θα σας βοηθήσει να κατανοήσετε τι είδους εργασίες έχει εκπαιδευτεί το μοντέλο να εκτελεί. Το Hugging Face διατηρεί επίσης έναν Πίνακα Κατάταξης LLM που σας δείχνει τα καλύτερα μοντέλα με βάση συγκεκριμένες μετρικές.
Όταν θέλετε να συγκρίνετε LLMs μεταξύ διαφορετικών τύπων, το Artificial Analysis είναι μια άλλη εξαιρετική πηγή:
Πηγή: Artificial Analysis
Αν εργάζεστε σε μια συγκεκριμένη περίπτωση χρήσης, η αναζήτηση προσαρμοσμένων εκδόσεων που επικεντρώνονται στον ίδιο τομέα μπορεί να είναι αποτελεσματική. Η δοκιμή πολλών ανοιχτών μοντέλων για να δείτε πώς αποδίδουν σύμφωνα με τις προσδοκίες σας και των χρηστών σας είναι μια άλλη καλή πρακτική.
Το καλύτερο με τα ανοιχτά μοντέλα είναι ότι μπορείτε να ξεκινήσετε να εργάζεστε με αυτά αρκετά γρήγορα. Δείτε τον Κατάλογο Μοντέλων του Azure AI Foundry, που περιλαμβάνει μια συγκεκριμένη συλλογή Hugging Face με αυτά τα μοντέλα που συζητήσαμε εδώ.
Αφού ολοκληρώσετε αυτό το μάθημα, δείτε τη Συλλογή Μάθησης Generative AI για να συνεχίσετε να αναβαθμίζετε τις γνώσεις σας για το Generative AI!
Αποποίηση ευθύνης:
Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία μετάφρασης AI Co-op Translator. Παρόλο που καταβάλλουμε προσπάθειες για ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτοματοποιημένες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα θα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή εσφαλμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.