I2V motion不足

[melongdd]

您好，我在训练stage_1_post阶段时，random_drop_i2v_ratio设置为0.4，random_drop_t2v_ratio设置为0。目前已训练至8500step，可是在I2V推理阶段还是会出现，生成的视频参考帧中的目标完全不动，或者整体视频motion都不足的情况。想请问一下有什么改进的方法吗

[qqingzheng]

训练和推理时可以给Ref Image加多点噪声? cc @gn008

[melongdd]

非常感谢您的回复，我这还有两个问题想跟大佬讨论一下：
1、训练时候加噪声这个我是理解的，但是推理的时候是不是直接用ref的latent会更合理一些呢
2、多加噪声我这里在推理阶段尝试了一下，感觉有点类似于CFG的作用，生成的视频motion正常了很多，可是跟我给的参考图像就不像了，这样就与I2V的初衷不一样了

[qqingzheng]

1. “推理的时候直接用ref的latent”会稍微有点训推不一致，因为训练的时候只见过加噪的
2. 是的，得找个trade off。现在repo里面的加噪强度是随便设的，未必是最优参数

[gn008]

确实训练的时候多加些噪声能够帮助动作小的问题，加噪强度需要调个参