Skip to content

cogview4模型训练的过程中好像没有空prompt #46

@1343744768

Description

@1343744768

hi,我最近在学习训练的源码,想请教下在全参数训练cogview4时,我没有在训练的时候看到以一定概率将提示词置空以适配推理时的cfg,那么这种情况下训练完毕后,推理时为什么还需要cfg呢,我看到在do-validation里面传入了negative_prompt_embeds这个参数。并且在测试阶段,确实使用cfg(guidance=5)效果好于不用cfg(cfg<=1)。所以我很疑惑,为什么sft训练的时候没有以一定概率去置空提示词,但是推理的时候还需要用cfg呢。期待您的回复!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions