1、在InternVL 3.5的研发中，团队为什么会选择采用“级联”式的强化学习策略（Cascade Reinforcement Learning），而不是传统的单阶段方法？
2、关于InternVL 3中提出的Variable Visual Position Encoding (V2PE)，它为了处理长上下文做了哪些算法层面的改进？
3、InternVL 2.5的“渐进式缩放策略”被证明能大幅降低训练成本，详细解释这个策略是如何具体执行的？其中最关键的技术洞察是什么？
4、InternVL 2支持多模态输入和多任务输出，如何让一个单一模型同时支持像边界框坐标和分割掩码这样差异巨大的输出形式的？这里面的统一表示机制是什么？
5、InternVL 1.5的动态高分辨率处理支持4K输入。但在实际应用中，将图像分割成大量图块会带来序列长度爆炸的问题。团队采用了哪些具体的优化技术来缓解这个问题？
6、从架构演变看，InternVL系列的视觉编码器（ViT）规模在1.5的6B后趋于稳定，而更多精力放在了与LLM的协同上？
7、在InternVL 2.5的研发中，是怎样通过数据清洗来解决一个具体的模型行为问题（比如重复生成）的？
8、InternVL 3的“原生多模态预训练”，与像BLIP-2那种两阶段方法（先对齐再指令微调）有什么根本不同？
9、InternVL 3.5的ViR和DvD是两项重要的效率优化，说明这两项技术是如何协同工作？
选择Cascade RL，根源在于团队识别出传统单阶段强化学习在训练复杂多模态模型时的一个核心痛点：在稳定性与泛化性之间难以取得平衡。 单阶段RL要么容易因探索不足而收敛到次优解，要么因探索过于随机而导致训练不稳定，尤其是在处理需要深度推理的任务时。
InternVL团队的Cascade RL设计了一种“先稳后准”的两阶段策略。第一阶段，采用离线RL，具体是Mixed Preference Optimization (MPO)。 这个阶段的核心目标是“稳”。团队利用已经收集好的高质量正负样本，让模型在一个受控的环境里学习。这类似于让学生在题库和标准答案的基础上，先掌握基本的解题规范和常见错误，建立一个坚实的推理基础，确保训练过程能够稳定收敛。
第二阶段，切换到在线RL，使用GSPO。 这个阶段的目标是“准”。团队会筛选出那些模型表现尚不稳定、有提升空间的样本，让模型在真实的、更具挑战性的问题上进行“实战演练”。这类似于让学生离开题库，去参加真正的学术讨论，从而打磨出更精细、更强大的推理能力。
V2PE的算法核心在于引入了“灵活性”和“粒度控制”，以应对长视觉序列带来的挑战。传统的位置编码为序列中的每个token分配一个固定的、线性的位置增量，这在视觉token数量因高分辨率而急剧增加时，会导致位置索引过大，引发编码的周期性混叠效应。
V2PE的改进在于不再使用全局固定的位置增量，而是为视觉token分配更小、更灵活的位置增量。 可以将其类比为：传统编码是给整本书的每一页一个固定的大页码，而V2PE是给书中的每个段落一个更精细的本地编号。当图像被分割成多个图块时，V2PE确保每个图块内部的视觉token都有自己独立的、密集的位置编码空间，这极大地减少了长序列带来的位置信息模糊和冲突。
这种改进对高分辨率图像和视频之所以关键，是因为它们本质上是超长视觉token序列。 V2PE通过提供更精细的位置信号，使模型能够更准确地建立远距离的视觉依赖和时序关系。这被认为是该模型在涉及长上下文理解任务上表现优异的一个重要技术基础。
以扩展到超大模型为例，渐进式策略的执行过程像是一场“接力赛”，分为两个关键阶段：
- 第一棒：专家训练。 团队并不直接动用超大规模的LLM。而是先选择一个参数规模较小、训练成本更低的LLM，与强大的视觉编码器（InternViT-6B）进行深度、充分的多模态预训练和对齐。这个阶段的目标，是将视觉编码器“教育”成一个能够输出高质量、通用的、对LLM友好的视觉特征的“专家”。
- 第二棒：能力迁移。 一旦这个“专家视觉编码器”（ViT+MLP）训练成熟，就将其作为一个冻结的、即插即用的模块，直接连接到目标超大LLM上。此时，只需要用一个相对小得多的高质量数据集对LLM进行微调，让其学会理解这个已经优化过的视觉接口传来的信号。
最关键的技术洞察是：一个在多模态上下文中被充分“教育”过的视觉表征，其通用性极强，可以相对无损地迁移到不同规模的LLM上。 这就像是为各种型号的“大脑”预先制作了一个通用的“视觉信号接收器”，从而将大规模多模态模型的训练成本，从直接端到端对齐的不可承受之重，降低为可管理的数据和计算开销。
VisionLLMv2架构的巧妙之处在于它借鉴了语言模型的本质——将所有输出都“语言化”，其核心是一个共享的、基于词汇表的“输出语言”。
其统一表示机制的具体做法是：
- 将非文本输出“词汇化”： 团队定义了一套特殊的“词汇”，用来表示各种结构化输出。例如，一个边界框可以用一个类似
<bbox> <x> 100 <y> 200 <w> 50 <h> 50 </bbox>的“句子”来表示。分割任务则可以通过描述轮廓点坐标的序列来表达。 - 模型作为“多语言翻译器”： 模型的主体架构是一个标准的Decoder-only语言模型。它的任务被扩展为预测下一个“通用token”——这个token可能是单词，也可能是特殊符号或数字。
- 任务引导： 通过不同的指令提示，引导这个通用的语言模型切换到不同的“输出语言模式”。
本质上，该架构通过一种统一的、序列到序列的范式，将多种任务规约为了同一个“多模态输入到通用序列输出”的翻译问题。这种设计避免了为不同任务创建不同的输出头，极大地增强了模型的通用性和灵活性。
团队主要依赖像素洗牌（Pixel Unshuffle） 这项核心技术来从源头控制序列长度。对于一个输入图块，不是直接将其扁平化为一个很长的序列，而是先通过像素洗牌操作，将相邻的像素块重组到通道维度上。例如，将(H, W, C)的图像下采样为(H/2, W/2, C*4)的特征图。这个操作在不丢失信息的前提下，将视觉token的数量直接减少了四分之三，这是模型能够经济地处理高分辨率输入的技术基石。
此外，动态分辨率策略本身也是一种优化。系统会根据输入图像的原始分辨率动态决定需要划分的图块数量，只有真正的超高分辨率图像才会触发最大图块数。这种按需分配的机制，保证了在平均情况下，计算负载是可控的。因此，这是一个通过算法压缩和策略调度相结合来解决问题的典型案例。
这反映了团队策略的转变：从单纯的参数规模缩放，转向了“架构效率”和“表征质量”的深度优化。 这并不意味着6B的视觉编码器已经“足够”，而是团队的关注点发生了变化。
团队的工作重点转向于：
- 提升现有参数的效率： 例如，InternVL 3.5的ViR（Visual Resolution Router）让现有的ViT更智能地工作，通过动态调整处理粒度来提升效率，这是一种架构层面的优化。
- 改善视觉表征的“质量”而非“大小”： 通过改进的训练策略（如渐进式对齐）来提升ViT输出特征的通用性和纯净度，让下游的LLM能更好地利用这些特征。
- 明确的投资回报导向： 在现阶段，将资源投入到规模更大、能力更强的LLM上，对于提升整体模型的认知和推理能力，其收益确实更加明确和显著。
未来的收益被认为将来自于视觉编码器（侧重智能化、高效化）与LLM（侧重规模缩放）的协同进化，这是一种更精细、更具成本效益的协同缩放策略。
一个典型案例是解决模型在Chain-of-Thought（CoT）任务上出现的无意义重复生成问题。该问题的根源是训练数据中混入了低质量的CoT样本，其推理链条中存在大量无实际语义的重复短语。
团队的清洗流程是一个系统化的管道：
- 基于LLM的质量评分： 使用一个高质量的LLM作为“裁判”，对训练集中的CoT样本进行评分，标准包括逻辑连贯性、信息密度等。存在重复套话的样本会获得低分。
- 基于规则的过滤： 同时设置规则过滤器，例如检测n-gram的异常重复频率，自动标记可疑样本。
- 闭环优化： 对自动标记的样本进行抽样人工审核，确认问题模式后，反哺到自动化规则中，形成闭环。
通过这套组合拳系统地移除“脏数据”后，重新训练的模型在需要长链条推理的基准上，不仅重复生成的现象基本消失，其推理的准确性和逻辑性也得到了显著提升。这证明了数据的“纯净度”对于塑造模型的高级认知能力至关重要。
这是一种范式上的根本不同。BLIP-2等两阶段方法是“桥接”思路，先训练一个小的适配器来连接预训练好的、但模态独立的ViT和LLM。
而“原生多模态预训练”追求的是“融合”，其本质性改变在于让模型从训练伊始就建立跨模态的底层联系。 具体体现在：
- 参数级的深度融合： ViT、投影器和LLM的所有参数从一开始就共同参与优化。这使得LLM的注意力机制在最初就学习如何关注视觉特征，ViT也被训练成生成对特定LLM“友好”的特征。
- 统一的表示空间： 这种方法倾向于直接形成一个深度融合的多模态表示空间，而不是两个靠桥梁连接的独立空间。这使模型在处理需要深度模态交互的任务时，内部信息流动更直接高效，减少了信息损耗。
- 潜力更强的推理能力： 因为底层表示是共生的，模型更容易发展出真正的、基于多模态信息的联合推理能力。这被认为是这种范式在复杂推理基准上潜力更大的深层原因。
一个典型场景是实时在线教育平台的“智能批改”功能，需要处理高清作业图片并低延迟响应。
-
没有优化时的挑战： 全图高分辨率处理导致序列长、单次推理慢。高并发时请求积压，延迟飙升。
-
ViR和DvD的协同解决方案：
- ViR进行智能调度： ViR会快速分析图像，只对真正需要高分辨率细看的“关键区域”（如手写公式）分配高分辨率分析，对简单区域进行高压缩率处理。这将需要处理的视觉token总量可能降低30%-50%。
- DvD进行解耦部署： DvD允许将视觉处理流水线（ViT+MLP+ViR）和LLM部署在不同的服务器上。ViR处理后的视觉序列可异步发送给LLM。这样，视觉和语言服务器可以并行工作，互不阻塞。
效果： 系统吞吐量极大提升，请求延迟显著降低且稳定。这使得在成本可控的前提下，为海量学生提供实时、高质量的作业批改服务从理想变为可行，是技术走向落地应用的关键。