1. 遇到问题的章节 / Affected Chapter
Chapter3.3.1(2)
2. 具体问题描述 / Problem Description
[3.3.1 GPT](2)预训练任务——CLM
Decoder-Only 的模型结构往往更适合于文本生成任务,因此,Decoder-Only 模型往往选择了最传统也最直接的预训练任务——因果语言模型,Casual Language Model,下简称 CLM。
Casual是休闲的,Causal是因果的。
3. 问题重现材料 / Reproduction Materials
Decoder-Only 的模型结构往往更适合于文本生成任务,因此,Decoder-Only 模型往往选择了最传统也最直接的预训练任务——因果语言模型,Causal Language Model,下简称 CLM。
确认事项 / Verification