CosyVoice2模型无法复现CosyVoice3论文中的结果

[zhangyike]

在zero shot和cross lingual zero shot测试集上，
原始论文（https://arxiv.org/pdf/2505.17589， Table5, Table6, Table8）WER结果

zh | 4.08
en | 6.32
hard_zh | 12.58
hard_en | 11.96
en2zh | 13.5
zh2en | 6.47

使用CV2开源模型在CV3-EVAL上的WER测试结果
zh | 4.51
en | 9.36
hard_zh | 10.99
hard_en | 11.81
en2zh | 11.71
zh2en | 10.64

其中en和zh2en集合结果明显变差，hard_zh和en2zh集合结果明显变好。

请问是论文中的测试方法和EV3 EVAL的测试方法有差异吗？使用CV2模型合成音频的时候是否对prompt audio做了其他处理？

[zhangyike]

在zero shot和cross lingual zero shot测试集上， 原始论文（https://arxiv.org/pdf/2505.17589， Table5, Table6, Table8）WER结果

zh | 4.08 en | 6.32 hard_zh | 12.58 hard_en | 11.96 en2zh | 13.5 zh2en | 6.47

使用CV2开源模型在CV3-EVAL上的WER测试结果 zh | 4.51 en | 9.36 hard_zh | 10.99 hard_en | 11.81 en2zh | 11.71 zh2en | 10.64

其中en和zh2en集合结果明显变差，hard_zh和en2zh集合结果明显变好。

请问是论文中的测试方法和EV3 EVAL的测试方法有差异吗？使用CV2模型合成音频的时候是否对prompt audio做了其他处理？

在计算WER时，直接对所有句子的WER百分数做了平均，标准意义上的平均WER应该是在整个测试集上统计插入、删除、替代错误的总数，然后除以参考文本中所有字符数。这里的wer计算是否有问题？

for line in open(infile, "r").readlines():
    wav_path, wer, text_ref, text_res, inse, dele, subs = line.strip().split("\t")
    if float(wer) > 0.5:
        n_higher_than_50 += 1
    else:
        wers_below50.append(float(wer))
        
    wers.append(float(wer))
    wers_clip.append(min(float(wer), 1.0))
    inses.append(float(inse))
    deles.append(float(dele))
    subses.append(float(subs))
    fout.write(line)

wer = round(np.mean(wers)*100,3)

[gaochangfeng]

开源代码与技术报告的测试方式是一致的，wer的计算是为了与seed-tts-eval的脚本保持一致，方便用户使用该环境来测试其他数据。

关于cosyvoice2的复现问题，在CV-EVAL3的测试上，csoyvoice2是不需要进行prompt设计的。内部测试时发现torch版本对模型效果影响较大，具体原因尚未查清，请使用torch1.12 + cuda11 的环境进行推理。

此外，cosyvoice 模型在开源时进行了一定的工业化封装，导致结果有一定的差异。

[RongNanZi]

开源代码与技术报告的测试方式是一致的，wer的计算是为了与seed-tts-eval的脚本保持一致，方便用户使用该环境来测试其他数据。

关于cosyvoice2的复现问题，在CV-EVAL3的测试上，csoyvoice2是不需要进行prompt设计的。内部测试时发现torch版本对模型效果影响较大，具体原因尚未查清，请使用torch1.12 + cuda11 的环境进行推理。

此外，cosyvoice 模型在开源时进行了一定的工业化封装，导致结果有一定的差异。

你好，但是cosyvoice github上指定的torch版本为2.3.1 https://github.com/FunAudioLLM/CosyVoice/blob/main/requirements.txt，尝试直接修改torch1.12后其他包又会报错：

Disabling PyTorch because PyTorch >= 2.1 is required but found 1.12.1+cu113
ImportError: cannot import name 'weight_norm' from 'torch.nn.utils.parametrizations'