官方提供预训练模型参数是4个模型并行的文件，这限定模型并行必须是4？

[Tron1994]

finetinue的并行训练中模型并行必须设置为4吗，设置为8时会加载失败

[t1101675]

是的，或者可以使用 https://github.com/TsinghuaAI/CPM-1-Generate/blob/main/change_mp.py 来改变并行度