Skip to content

03-providers.md

Latest commit

 

History

History
131 lines (92 loc) · 7.87 KB

03-providers.md

File metadata and controls

131 lines (92 loc) · 7.87 KB

选择和配置 LLM 提供商 🔑

作业可能也会设置为通过支持的服务提供商（如 OpenAI、Azure 或 Hugging Face）对一个或多个大型语言模型（LLM）部署进行操作。这些提供了一个我们可以通过正确凭据（API 密钥或令牌）以编程方式访问的_托管端点_（API）。在本课程中，我们讨论以下提供商：

  • OpenAI，提供包括核心 GPT 系列在内的多样化模型。
  • Azure OpenAI，专注于企业级准备的 OpenAI 模型。
  • Hugging Face，提供开源模型和推理服务器。

您需要使用自己的账户完成这些练习。作业是可选的，因此您可以根据兴趣选择设置一个、全部或不设置任何提供商。以下是一些注册指导：

注册 费用 API 密钥 Playground 备注
OpenAI 价格 基于项目 无代码，网页 多种模型可用
Azure 价格 SDK 快速入门 Studio 快速入门 必须提前申请访问
Hugging Face 价格 访问令牌 Hugging Chat Hugging Chat 模型有限

请按照以下说明为不同提供商_配置_此仓库。需要特定提供商的作业文件名中会包含以下标签之一：

  • aoai - 需要 Azure OpenAI 端点和密钥
  • oai - 需要 OpenAI 端点和密钥
  • hf - 需要 Hugging Face 令牌

您可以配置一个、多个或全部提供商。相关作业在缺少凭据时会报错。

创建 .env 文件

我们假设您已经阅读了上述指导，注册了相关提供商，并获得了所需的认证凭据（API_KEY 或令牌）。对于 Azure OpenAI，我们假设您还拥有一个有效的 Azure OpenAI 服务部署（端点），并且至少部署了一个用于聊天完成的 GPT 模型。

下一步是按如下方式配置您的本地环境变量：

  1. 在根目录查找 .env.copy 文件，内容应类似如下：

    # OpenAI 提供者
OPENAI_API_KEY='<add your OpenAI API key here>'

## Azure OpenAI
AZURE_OPENAI_API_VERSION='2024-02-01' # 默认已设置！
AZURE_OPENAI_API_KEY='<add your AOAI key here>'
AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>'
AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' 
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>'

## Hugging Face
HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'

  2. 使用以下命令将该文件复制为 .env。此文件已被 gitignore，可确保秘密安全。

    cp .env.copy .env

  3. 按下一节描述填写值（替换 = 右侧的占位符）。

  4. （可选）如果您使用 GitHub Codespaces，可以选择将环境变量保存为与此仓库关联的 Codespaces secrets。这样就不需要设置本地 .env 文件。但请注意，此选项仅适用于 GitHub Codespaces。 如果使用 Docker Desktop，仍需设置 .env 文件。

填充 .env 文件

快速了解变量名及其含义：

变量名 描述
HUGGING_FACE_API_KEY 您在个人资料中设置的用户访问令牌
OPENAI_API_KEY 用于非 Azure OpenAI 端点的服务授权密钥
AZURE_OPENAI_API_KEY 用于 Azure OpenAI 服务的授权密钥
AZURE_OPENAI_ENDPOINT Azure OpenAI 资源的部署端点
AZURE_OPENAI_DEPLOYMENT 文本生成 模型部署端点
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT 文本嵌入 模型部署端点

注意：最后两个 Azure OpenAI 变量分别对应聊天完成（文本生成）和向量搜索（嵌入）的默认模型。相关作业中会定义设置说明。

配置 Azure：从门户

Azure OpenAI 端点和密钥值可在 Azure 门户 中找到，我们从这里开始。

  1. 访问 Azure 门户
  2. 点击侧边栏（左侧菜单）中的 密钥和端点 选项。
  3. 点击 显示密钥 - 您应看到 KEY 1、KEY 2 和端点。
  4. 使用 KEY 1 的值作为 AZURE_OPENAI_API_KEY
  5. 使用端点值作为 AZURE_OPENAI_ENDPOINT

接下来，我们需要获取已部署的具体模型端点。

  1. 点击 Azure OpenAI 资源侧边栏（左菜单）中的 模型部署 选项。
  2. 在目标页面点击 管理部署

这将带您进入 Azure OpenAI Studio 网站，我们将在那里找到其他值，如下所述。

配置 Azure：从 Studio

  1. 按上述说明从您的资源访问 Azure OpenAI Studio。
  2. 点击左侧边栏的 部署 标签，查看当前已部署的模型。
  3. 如果所需模型未部署，使用 创建新部署 进行部署。
  4. 您需要一个 文本生成 模型 - 推荐：gpt-35-turbo
  5. 您需要一个 文本嵌入 模型 - 推荐：text-embedding-ada-002

现在更新环境变量以反映所用的_部署名称_。通常这与模型名称相同，除非您显式更改。例如，您可能有：

AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'

完成后别忘了保存 .env 文件。然后可以退出文件，继续执行笔记本的说明。

配置 OpenAI：从个人资料

您的 OpenAI API 密钥可在您的 OpenAI 账户 中找到。如果没有，可以注册账户并创建 API 密钥。获得密钥后，将其填入 .env 文件中的 OPENAI_API_KEY 变量。

配置 Hugging Face：从个人资料

您的 Hugging Face 令牌可在个人资料的 访问令牌 中找到。请勿公开发布或分享。建议为本项目创建新的令牌，并将其复制到 .env 文件中的 HUGGING_FACE_API_KEY 变量。注意： 这技术上不是 API 密钥，但用于认证，因此我们保持此命名惯例以保持一致。

免责声明：
本文件由人工智能翻译服务 Co-op Translator 翻译。虽然我们力求准确，但请注意自动翻译可能存在错误或不准确之处。原始文件的母语版本应被视为权威来源。对于重要信息，建议使用专业人工翻译。因使用本翻译而产生的任何误解或误释，我们概不负责。