训练好的语言模型拥有了对文本的深层理解和生成能力,但如何从模型输出的概率分布中选取词元来构建完整的文本,是一个独立且重要的技术问题。不同的解码策略直接影响生成文本的质量、多样性和一致性。
本章将从自回归解码的基本机制出发,逐步讨论贪心搜索、束搜索和各种采样策略的设计逻辑与适用场景,并探讨推理时计算扩展这一新兴范式——如何通过在推理阶段投入更多计算来提升模型的深度推理能力。本章最后跳出自回归的框架,介绍扩散语言模型这条不同的生成路线,用它照出「生成必须串行」这个一直被默认成立的前提。
沿着这条线索,本章依次回答五个问题: