关于提示词中的“Close-up on big objects, emphasize scale and detail”

[gWeiXP]

在生成的时候，发现一个问题，不管提示词怎么修改，比如一张无人机在天空中的图片，“无人机向远处飞去”、“无人机逐渐远离镜头”、“镜头固定”，模型的推理结果没有考虑这些提示词，全部是无人机逐渐靠近镜头、慢慢变大、镜头在移动的问题。

我注意到推理代码中，提示词后面会加一句默认的“Close-up on big objects, emphasize scale and detail”，会对目标进行特写。我在推理的时候是删除了这句话的，但还是会出现上述不听提示的问题。而在对图像内容的理解、其它受控生成、在其它风格图像的泛化等能力上，InfinityStar基本上是无法实现的，而Wan在泛化性能上都不错。

InfinityStar的训练数据是不是规模不大，以及在训练的时候都是使用“Close-up on big objects, emphasize scale and detail”来对目标进行特写，导致模型只会生成目标变大的特写视频。

[happylicio]

@gWeiXP 请问你这边使用的720p那个模型，480p是一个用做中间检查的checkpoints，没有做大量的sft训练。 你这边可以试下720p模型，或者你这边可以分享下你要调的prompt吗，我这边看看为啥推理不符合你说的提示词

[gWeiXP]

@gWeiXP 请问你这边使用的720p那个模型，480p是一个用做中间检查的checkpoints，没有做大量的sft训练。 你这边可以试下720p模型，或者你这边可以分享下你要调的prompt吗，我这边看看为啥推理不符合你说的提示词

A drone flying in the sky, getting farther and farther away.

A drone is flying away from the lens toward the sky, gradually becoming smaller.

[gWeiXP]

@gWeiXP 请问你这边使用的720p那个模型，480p是一个用做中间检查的checkpoints，没有做大量的sft训练。 你这边可以试下720p模型，或者你这边可以分享下你要调的prompt吗，我这边看看为啥推理不符合你说的提示词

是infer_video_720p.py，

demo04.mp4

[happylicio]

@gWeiXP 我通过我们官方discord跑了下你们的结果，目前的结果是带开了prompt rewriter以后的，你可以试试打开下这个跑，相比wan，我们论文limitation里面确实提及训练数据规模和计算量比不上wan，你这边可以配合prompt rewriter再测试下
A drone flying in the sky, getting farther and farther away.

tmpehbnykh7.1.mp4

A drone is flying away from the lens toward the sky, gradually becoming smaller.

tmpzksghthd.mp4