按首字母排序，遇到不认识的词先查这里。如果你是第一次接触 LLM 领域，建议先读 LLM 基础速通 建立基本概念框架，再来查术语表。
- AnyRes：任意分辨率处理策略，允许模型接收非固定尺寸的图像输入，常见于 InternVL 系列。
- Ablation（消融实验）：去掉系统中的一个组件，观察性能变化，用来证明该组件的必要性。
- Baseline（基线）：实验中用来对比的基准方法，通常是最简单的已有方案。
- BLIP-2：早期的 Connector + 冻结 LLM 范式，用轻量 Q-Former 连接视觉与语言模型。
- Benchmark：标准化评测集，用于横向对比不同模型的能力。
- Chat Template：模型对话时要求的消息格式模板，训练和推理必须使用同一套，否则输出风格会乱。
- Chameleon：Meta 提出的原生多模态模型，将图像和文本统一为离散 token 序列处理。
- CLIP：OpenAI 提出的图文对比学习模型，核心贡献是证明“大规模图文对 + 对比学习”可以学到强大的跨模态表示。
- Connector / Projector：连接视觉编码器和 LLM 的桥接层，把视觉特征映射到语言模型可消费的表示空间。
- Cross-Attention：一种注意力机制，让一类 token（如文本）去“看”另一类 token（如图像特征），常用于 Connector 设计。
- DPO（Direct Preference Optimization）：直接用偏好数据优化模型，无需训练单独的奖励模型，2023 年末起广泛用于 VLM 幻觉抑制。
- Dynamic Resolution：动态分辨率，模型根据输入图像尺寸自适应调整处理策略，而非固定 resize。
- FlashAttention：一种优化的注意力计算实现，通过 IO 感知的分块计算大幅减少显存占用和计算延迟。
- Fuyu：Adept 提出的原生多模态模型，直接将图像 patch 作为 token 输入，无需独立视觉编码器。
- Gradio：一个 Python 库，可以快速搭建可交互的 Web Demo，本教程第八章使用。
- Grounding：让模型的回答与图像中的具体区域建立对应关系，例如“左上角的红色按钮”。
- Hallucination（幻觉）：模型生成与图像内容不符的描述，多模态领域特指“没看图却瞎编”。
- HallusionBench：专门评测 VLM 幻觉问题（抗幻觉能力）的 benchmark，测试模型对图文矛盾的识别能力。
- Instruction Tuning / SFT：指令微调，用“指令-回答”格式的数据训练模型，让它从“会预测”变成“会听话”。
- KTO：一种偏好优化方法，只需要知道“这条回答好/不好”的二元信号，比 DPO 数据要求更低。
- KV Cache：推理时缓存已计算好的 Key/Value 向量，避免重复计算，是长序列生成的核心优化。详见 LLM 基础速通 3.1 节。
- LLaVA：视觉指令微调的标志性工作，证明用简单的 MLP Connector + 图文指令数据即可激发 LLM 的多模态能力。
- LLaVA-NeXT / OneVision：LLaVA 的后续版本，支持更高分辨率、多图输入和更强的推理能力。
- LMDeploy：国产推理引擎，对 Qwen、InternLM 等中文模型适配较好，支持多模态推理。
- LoRA：低秩适配，冻结原模型大部分参数，只训练少量低秩矩阵，大幅降低微调显存。
- QLoRA：LoRA 的量化版本，把基座模型量化为 4-bit，可在消费级显卡上微调 7B 模型。
- M-RoPE（Multi-modal Rotary Position Embedding）：Qwen2.5-VL 提出的多模态位置编码，统一处理文本、图像、视频的位置信息。
- MiniCPM-V：面壁智能的小参数高性能 VLM，以 2B 参数达到接近 7B 模型的效果。
- MMMU / MMMU-Pro：多学科多模态推理 benchmark，题目难度接近大学水平。
- MM-Vet：用 GPT-4V 作为裁判的开放式 VLM 评测，侧重综合任务能力。
- MLLM（Multimodal Large Language Model）：多模态大语言模型，能同时处理文本、图像、视频等多种模态输入。
- MoE（Mixture of Experts）：混合专家架构，用多个小专家网络替代单一大网络，推理时只激活部分专家，降低计算成本。DeepSeek-VL2 采用此架构。
- Naive Dynamic Resolution：Qwen2.5-VL 采用的简单动态分辨率策略，根据图像宽高比自适应调整 patch 数量。
- OCR（Optical Character Recognition）：光学字符识别，把图片中的文字提取为机器可读文本。
- OCRBench：专门评测 VLM OCR 和文档理解能力的 benchmark。
- OpenAI Compatible API：遵循 OpenAI API 格式的接口标准，大部分国产平台和开源服务都支持。
- Patch：图像被切分成的小块，是 ViT 和多数视觉编码器的基本处理单元。
- Patch Token：每个图像 patch 经过编码后得到的向量表示，成为 LLM 可以处理的“视觉 token”。
- Pixel-shuffle：一种上采样技术，InternVL 系列用于高效处理高分辨率图像。
- POPE：幻觉评测 benchmark，通过针对特定对象提问 yes/no 来测试模型是否编造信息。
- Projector：见 Connector。
- Prompt：给模型的输入指令文本，多模态场景下通常包含 text + image 的组合。
- Qwen2.5-VL：阿里通义千问的视觉语言模型系列，支持图文理解、文档 OCR、视频分析等。
- Qwen2.5-Omni：端到端多模态模型，支持文本、图像、音频、视频的统一理解与生成。
- Rank（LoRA rank）：LoRA 低秩矩阵的秩，控制微调引入的新参数量，常见取值 8、16、32、64。
- Resolution：图像分辨率，直接决定视觉 token 数量和细节保留程度。
- RLHF-V / RLAIF-V：基于人类/AI 反馈的强化学习微调，专门用于减少 VLM 幻觉。
- RLAIF：RLHF 的自动化版本，用 AI（而非人类）来提供偏好反馈。
- SFT（Supervised Fine-Tuning）：有监督微调，用标注好的输入-输出对训练模型，是多模态训练的核心阶段之一。
- SGLang：开源推理引擎，RadixAttention 技术可大幅提升多轮对话吞吐。
- System Prompt：系统级提示，定义模型的全局行为风格，如“你是一个乐于助人的助手”。
- Target Modules（LoRA）：LoRA 要注入的原始模块名，如
q_proj、v_proj，决定哪些注意力头参与微调。 - Tile：针对高分辨率图像的宏观切块策略，先把大图切成若干子图（Tile），再对每个 Tile 分别进行 Patch 切块编码，以保留局部高清细节。
- Token：模型处理的最小单元。文本 token 对应子词，视觉 token 对应图像 patch。
- Transformer：基于自注意力机制的神经网络架构，是当前 LLM 和视觉编码器的基础。
- ViT（Vision Transformer）：把 Transformer 直接应用于图像，通过 patchify 将图像转为 token 序列处理。
- VLFeedback：用于 VLM 偏好对齐的数据集和方法，收集人类对多模态输出的偏好判断。
- VLM（Vision Language Model）：视觉语言模型，特指处理图文的多模态模型。
- VQA（Visual Question Answering）：视觉问答，给定图像和问题，模型输出答案。
- vLLM：开源推理引擎，PagedAttention 技术实现高吞吐 LLM/VLM 服务，0.6+ 版本开始支持多模态。
| 缩写 | 全称 | 说明 |
|---|---|---|
| API | Application Programming Interface | 应用程序接口，这里指模型服务商提供的调用接口 |
| Base64 | — | 一种二进制到文本的编码方式，常用于把图片嵌入 JSON 请求 |
| CUDA | Compute Unified Device Architecture | NVIDIA GPU 并行计算平台 |
| JSONL | JSON Lines | 每行一个 JSON 对象的文本格式，本教程训练/评测数据的默认格式 |
| MLP | Multi-Layer Perceptron | 多层感知机，一种前馈神经网络 |