Skip to content

03-providers.md

Latest commit

 

History

History
131 lines (92 loc) · 14.5 KB

03-providers.md

File metadata and controls

131 lines (92 loc) · 14.5 KB

Επιλογή & Διαμόρφωση Παρόχου LLM 🔑

Οι εργασίες μπορεί επίσης να ρυθμιστούν να λειτουργούν με μία ή περισσότερες αναπτύξεις Μεγάλων Γλωσσικών Μοντέλων (LLM) μέσω ενός υποστηριζόμενου παρόχου υπηρεσιών όπως το OpenAI, το Azure ή το Hugging Face. Αυτοί παρέχουν ένα φιλοξενούμενο endpoint (API) στο οποίο μπορούμε να έχουμε προγραμματισμένη πρόσβαση με τα κατάλληλα διαπιστευτήρια (κλειδί API ή token). Σε αυτό το μάθημα, συζητάμε αυτούς τους παρόχους:

  • OpenAI με διάφορα μοντέλα συμπεριλαμβανομένης της βασικής σειράς GPT.
  • Azure OpenAI για μοντέλα OpenAI με έμφαση στην επιχειρηματική ετοιμότητα
  • Hugging Face για ανοιχτού κώδικα μοντέλα και διακομιστή συμπερασμάτων

Θα χρειαστεί να χρησιμοποιήσετε τους δικούς σας λογαριασμούς για αυτές τις ασκήσεις. Οι εργασίες είναι προαιρετικές, οπότε μπορείτε να επιλέξετε να ρυθμίσετε έναν, όλους ή κανέναν από τους παρόχους ανάλογα με τα ενδιαφέροντά σας. Μερικές οδηγίες για εγγραφή:

Εγγραφή Κόστος Κλειδί API Playground Σχόλια
OpenAI Τιμολόγηση Βασισμένο σε έργο Χωρίς κώδικα, Web Διαθέσιμα Πολλαπλά Μοντέλα
Azure Τιμολόγηση Γρήγορη εκκίνηση SDK Γρήγορη εκκίνηση Studio Απαιτείται Αίτηση Πρόσβασης
Hugging Face Τιμολόγηση Access Tokens Hugging Chat Το Hugging Chat έχει περιορισμένα μοντέλα

Ακολουθήστε τις παρακάτω οδηγίες για να διαμορφώσετε αυτό το αποθετήριο για χρήση με διαφορετικούς παρόχους. Οι εργασίες που απαιτούν συγκεκριμένο πάροχο θα περιέχουν μία από αυτές τις ετικέτες στο όνομα αρχείου τους:

  • aoai - απαιτεί endpoint και κλειδί Azure OpenAI
  • oai - απαιτεί endpoint και κλειδί OpenAI
  • hf - απαιτεί token Hugging Face

Μπορείτε να διαμορφώσετε έναν, κανέναν ή όλους τους παρόχους. Οι σχετικές εργασίες απλώς θα εμφανίσουν σφάλμα αν λείπουν τα διαπιστευτήρια.

Δημιουργία αρχείου .env

Υποθέτουμε ότι έχετε ήδη διαβάσει τις παραπάνω οδηγίες και έχετε εγγραφεί στον αντίστοιχο πάροχο, και έχετε λάβει τα απαιτούμενα διαπιστευτήρια αυθεντικοποίησης (API_KEY ή token). Στην περίπτωση του Azure OpenAI, υποθέτουμε επίσης ότι έχετε μια έγκυρη ανάπτυξη μιας υπηρεσίας Azure OpenAI (endpoint) με τουλάχιστον ένα μοντέλο GPT αναπτυγμένο για ολοκλήρωση συνομιλίας.

Το επόμενο βήμα είναι να διαμορφώσετε τις τοπικές μεταβλητές περιβάλλοντος ως εξής:

  1. Κοιτάξτε στον ριζικό φάκελο για ένα αρχείο .env.copy που θα πρέπει να έχει περιεχόμενο όπως το παρακάτω:

    # Πάροχος OpenAI
OPENAI_API_KEY='<add your OpenAI API key here>'

## Azure OpenAI
AZURE_OPENAI_API_VERSION='2024-02-01' # Η προεπιλογή έχει οριστεί!
AZURE_OPENAI_API_KEY='<add your AOAI key here>'
AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>'
AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' 
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>'

## Hugging Face
HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'

  2. Αντιγράψτε αυτό το αρχείο σε .env χρησιμοποιώντας την παρακάτω εντολή. Αυτό το αρχείο είναι gitignore-μένο, κρατώντας τα μυστικά ασφαλή.

    cp .env.copy .env

  3. Συμπληρώστε τις τιμές (αντικαταστήστε τα placeholders στη δεξιά πλευρά του =) όπως περιγράφεται στην επόμενη ενότητα.

  4. (Προαιρετικό) Αν χρησιμοποιείτε GitHub Codespaces, έχετε την επιλογή να αποθηκεύσετε τις μεταβλητές περιβάλλοντος ως μυστικά Codespaces συνδεδεμένα με αυτό το αποθετήριο. Σε αυτή την περίπτωση, δεν θα χρειαστεί να ρυθμίσετε το τοπικό αρχείο .env. Ωστόσο, σημειώστε ότι αυτή η επιλογή λειτουργεί μόνο αν χρησιμοποιείτε GitHub Codespaces. Θα χρειαστείτε ακόμα να ρυθμίσετε το αρχείο .env αν χρησιμοποιείτε Docker Desktop.

Συμπλήρωση αρχείου .env

Ας ρίξουμε μια γρήγορη ματιά στα ονόματα των μεταβλητών για να κατανοήσουμε τι αντιπροσωπεύουν:

Μεταβλητή Περιγραφή
HUGGING_FACE_API_KEY Αυτό είναι το token πρόσβασης χρήστη που ρυθμίσατε στο προφίλ σας
OPENAI_API_KEY Αυτό είναι το κλειδί εξουσιοδότησης για χρήση της υπηρεσίας για μη-Azure OpenAI endpoints
AZURE_OPENAI_API_KEY Αυτό είναι το κλειδί εξουσιοδότησης για χρήση αυτής της υπηρεσίας
AZURE_OPENAI_ENDPOINT Αυτό είναι το αναπτυγμένο endpoint για έναν πόρο Azure OpenAI
AZURE_OPENAI_DEPLOYMENT Αυτό είναι το endpoint ανάπτυξης μοντέλου γεννήτριας κειμένου
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT Αυτό είναι το endpoint ανάπτυξης μοντέλου ενσωμάτωσης κειμένου

Σημείωση: Οι δύο τελευταίες μεταβλητές Azure OpenAI αντιπροσωπεύουν ένα προεπιλεγμένο μοντέλο για ολοκλήρωση συνομιλίας (γεννήτρια κειμένου) και αναζήτηση διανυσμάτων (ενσωματώσεις) αντίστοιχα. Οι οδηγίες για τη ρύθμισή τους θα οριστούν στις σχετικές εργασίες.

Διαμόρφωση Azure: Από το Portal

Οι τιμές του endpoint και του κλειδιού Azure OpenAI θα βρεθούν στο Azure Portal, οπότε ας ξεκινήσουμε από εκεί.

  1. Μεταβείτε στο Azure Portal
  2. Κάντε κλικ στην επιλογή Keys and Endpoint στο πλαϊνό μενού (μενού αριστερά).
  3. Κάντε κλικ στο Show Keys - θα δείτε τα εξής: KEY 1, KEY 2 και Endpoint.
  4. Χρησιμοποιήστε την τιμή του KEY 1 για το AZURE_OPENAI_API_KEY
  5. Χρησιμοποιήστε την τιμή του Endpoint για το AZURE_OPENAI_ENDPOINT

Στη συνέχεια, χρειαζόμαστε τα endpoints για τα συγκεκριμένα μοντέλα που έχουμε αναπτύξει.

  1. Κάντε κλικ στην επιλογή Model deployments στο πλαϊνό μενού (αριστερό μενού) για τον πόρο Azure OpenAI.
  2. Στη σελίδα προορισμού, κάντε κλικ στο Manage Deployments

Αυτό θα σας μεταφέρει στην ιστοσελίδα Azure OpenAI Studio, όπου θα βρούμε τις υπόλοιπες τιμές όπως περιγράφεται παρακάτω.

Διαμόρφωση Azure: Από το Studio

  1. Μεταβείτε στο Azure OpenAI Studio από τον πόρο σας όπως περιγράφτηκε παραπάνω.
  2. Κάντε κλικ στην καρτέλα Deployments (πλαϊνό μενού, αριστερά) για να δείτε τα μοντέλα που είναι αυτή τη στιγμή αναπτυγμένα.
  3. Αν το επιθυμητό μοντέλο δεν είναι αναπτυγμένο, χρησιμοποιήστε το Create new deployment για να το αναπτύξετε.
  4. Θα χρειαστείτε ένα μοντέλο γεννήτριας κειμένου - προτείνουμε: gpt-35-turbo
  5. Θα χρειαστείτε ένα μοντέλο ενσωμάτωσης κειμένου - προτείνουμε text-embedding-ada-002

Τώρα ενημερώστε τις μεταβλητές περιβάλλοντος ώστε να αντικατοπτρίζουν το Όνομα Ανάπτυξης που χρησιμοποιήθηκε. Αυτό συνήθως θα είναι το ίδιο με το όνομα του μοντέλου εκτός αν το αλλάξατε ρητά. Έτσι, για παράδειγμα, μπορεί να έχετε:

AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'

Μην ξεχάσετε να αποθηκεύσετε το αρχείο .env όταν τελειώσετε. Μπορείτε τώρα να κλείσετε το αρχείο και να επιστρέψετε στις οδηγίες για την εκτέλεση του σημειωματάριου.

Διαμόρφωση OpenAI: Από το Προφίλ

Το κλειδί API του OpenAI μπορείτε να το βρείτε στον λογαριασμό σας OpenAI. Αν δεν έχετε, μπορείτε να εγγραφείτε και να δημιουργήσετε ένα κλειδί API. Μόλις έχετε το κλειδί, μπορείτε να το χρησιμοποιήσετε για να συμπληρώσετε τη μεταβλητή OPENAI_API_KEY στο αρχείο .env.

Διαμόρφωση Hugging Face: Από το Προφίλ

Το token Hugging Face μπορείτε να το βρείτε στο προφίλ σας στην ενότητα Access Tokens. Μην το δημοσιεύετε ή μοιράζεστε δημόσια. Αντίθετα, δημιουργήστε ένα νέο token για τη χρήση αυτού του έργου και αντιγράψτε το στο αρχείο .env κάτω από τη μεταβλητή HUGGING_FACE_API_KEY. Σημείωση: Τεχνικά αυτό δεν είναι κλειδί API αλλά χρησιμοποιείται για αυθεντικοποίηση, οπότε διατηρούμε αυτή την ονομασία για συνέπεια.

Αποποίηση ευθυνών:
Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης AI Co-op Translator. Παρόλο που επιδιώκουμε την ακρίβεια, παρακαλούμε να λάβετε υπόψη ότι οι αυτόματες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.