Caution
Start-MLLM 是一个面向中文学习者的多模态大模型教程项目，定位为“能读懂、能跑通、能继续扩展”的开源学习仓库。
这个项目想做的事情很简单：和大家一起学习，把多模态大模型里那些看起来很吓人的概念、架构和工程问题，一步一步拆成能理解、能上手、能继续延伸的内容。
这份教程不想只停留在“知道一些名词”，而是希望带大家走完一条更完整的学习链路：
- 先理解什么是多模态大模型，以及它与传统 CV、NLP、LLM 的关系。
- 再理解视觉编码器、跨模态对齐、投影层和生成式架构是怎么工作的。
- 接着学习数据、训练、评测、部署与应用设计。
- 最后亲手跑通一个视觉语言模型，并做一个简单的图像问答 Demo。
如果你有 Python 基础，希望系统入门 MLLM，这个项目就是为你准备的。
- 系统理解多模态大模型的核心概念、能力边界与主流技术路线
- 理解视觉编码器、CLIP、Projector、Connector、Instruction Tuning 的工程角色
- 学会阅读常见 VLM/MLLM 架构图，并知道它们为什么这样设计
- 了解数据构建、SFT、LoRA、评测基准、部署选型等关键工程问题
- 能够基于
Transformers或 OpenAI 兼容接口跑通图文问答 - 能够进一步把单模态 Agent 扩展成多模态 Agent
- 能够从教程内容过渡到自己的评测脚本、Demo 和小型开源项目
- 想系统学习多模态大模型的中文学习者
- 已经了解一点 LLM，想进一步理解 VLM / MLLM 的开发者
- 想把图像、文档、截图能力接入自己项目或 Agent 的工程实践者
你可以从这个项目中获得：
- 一条相对完整的 MLLM 入门路径
- 一组可直接上手的代码脚手架
- 一套从理论到实战的章节导航
基础要求：
- 具备 Python 基础语法
- 能使用命令行安装依赖、运行脚本
- 对 Transformer / LLM 有初步认识会更顺手，但不是硬性要求
📖 在线地址：https://datawhalechina.github.io/start-mllm/
建议首次阅读直接从 前言 开始。
需要更系统的前置补课？推荐 Datawhale 社区课程：thorough-pytorch · base-llm · self-llm
| 章节名 | 简介 | 状态 |
|---|---|---|
| 前言 | 全书导读、能力边界、章节依赖与学习建议 | ✅ |
| Chapter 0 环境准备 | 环境安装、GPU 自检、API 路线与命令行最小准备 | ✅ |
| LLM 基础速通 | 用 30 分钟补齐 Transformer、Token、生成与训练基础 | ✅ |
| 术语表 | 全书高频术语速查 | ✅ |
| 章节名 | 简介 | 状态 |
|---|---|---|
| 第一章 多模态大模型概览 | 建立任务地图，理解多模态能力边界与常见误区 | ✅ |
| 第二章 视觉编码器与跨模态对齐 | 理解视觉 token、CLIP、对齐训练与输入表示 | ✅ |
| 第三章 多模态生成架构 | 四大架构路线（双塔/Connector/Cross-Attention/原生统一）、手搓 Projector 与训练范式 | ✅ |
| 第四章 数据、训练与微调 | 了解数据格式、训练流程、LoRA/QLoRA 与最小微调闭环 | ✅ |
| 章节名 | 简介 | 状态 |
|---|---|---|
| 第五章 评测体系与工程选型 | 建立多模态评测意识，跑通最小评测脚本 | ✅ |
| 第六章 推理部署与 Serving | 理解部署链路、资源规划、性能观测与服务化思路 | ✅ |
| 第七章 动手跑通你的第一个 VLM | 使用 Transformers 或 OpenAI 兼容接口跑通图文问答 |
✅ |
| 第八章 构建一个图像问答 Demo | 基于 Gradio 构建最小可交互 Demo |
✅ |
| 第九章 从单模态 Agent 到多模态 Agent | 把图像感知、工具调用与工作流连接起来 | ✅ |
| 第十章 学习路线与开源项目实战建议 | 收束全书路线，帮助你继续扩展项目 | ✅ |
| 章节名 | 简介 | 状态 |
|---|---|---|
| Extra01 OCR 与文档理解专题 | 面向票据、合同、截图、版面理解等场景 | ✅ |
| Extra02 多图输入与比较专题 | 面向商品多图、版本比较、跨图归纳等任务 | ✅ |
| Extra03 长图处理与切块策略专题 | 面向长截图、长网页、长文档输入策略 | ✅ |
| 姓名 | 职责 | 简介 |
|---|---|---|
| ZXJC-niusile | 项目负责人 / 当前唯一贡献者 | 和大家一起学习多模态大模型，把复杂知识拆成能读懂、能跑通的教程 |
我们欢迎任何形式的参与，每一条 Issue 和 PR 都会让这份教程变得更好：
- 报告 Bug：发现内容错误、表达不清、代码跑不通？直接提 Issue，我们会尽快处理。
- 提出建议：对章节结构、学习路径、内容深度有想法？欢迎在 Discussion 或 Issue 中交流。
- 完善内容：修正示例、补充解释、优化脚手架？欢迎提 Pull Request。
- 贡献实战经验：把你日常使用 MLLM 的踩坑记录、场景适配经验、评测心得整理成文档，贡献到
Extra-Chapter。像社区博客一样，让后来者少走弯路。
扫描下方二维码关注公众号：Datawhale
当前仓库中的教程文档与配套示例代码暂统一采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
