本目录包含代码示例,演示如何 将第 4 章和第 5 章的 GPT 实现转换为 Meta AI 的 Llama 体系结构。推荐按照以下顺序阅读:
-
converting-gpt-to-llama2.ipynb:
逐步将 GPT 转换为 Llama 2 7B,并加载 Meta AI 预训练权重。 -
converting-llama2-to-llama3.ipynb:
讲解如何将 Llama 2 迁移至 Llama 3,并支持 Llama 3.1 和 Llama 3.2 版本。 -
standalone-llama32.ipynb:
Llama 3.2 的独立实现,提供完整的代码示例。