CosyVoice3的flow模型，有人自己实现吗？ #1652
Description
求帮助，我们按照CosyVoice3论文所述的 flow模型，使用了DiT架构代替UNet，去掉了token encoder。模型训练出来可以用，但是模型量化转 tensorRT fp16 后，推理总是失败的，模型推理过程会出现 数值溢出。哪位大神有什么指导思路吗？ 用polygraphy去跟的时候，量化模型的推理误差是逐渐递增的，并不存在一个误差突变节点。
{{ message }}
求帮助，我们按照CosyVoice3论文所述的 flow模型，使用了DiT架构代替UNet，去掉了token encoder。模型训练出来可以用，但是模型量化转 tensorRT fp16 后，推理总是失败的，模型推理过程会出现 数值溢出。哪位大神有什么指导思路吗？ 用polygraphy去跟的时候，量化模型的推理误差是逐渐递增的，并不存在一个误差突变节点。