Releases: openvpi/SingingVoice-MFA-Training
MFA-pretrained-acoustic-model-version-4.0.0
在新的词典和音素系统以及推理逻辑出来前,本次模型致力于采用Opencpop原生词典,结合MFA的自动对齐和Praat脚本,完成跟Opencpop格式一致的自动标注。在有音频文件和对应抄本的情况下,建议使用本次的声学模型和词典文件进行标注。
本人期待的歌曲标注工作流如下所示:带lyrics歌词的歌曲→lyrics转为带时间戳的srt文件→歌曲经过UVR处理→根据srt时间戳批量截取音频和对应歌词→储存为同名wav和txt→pypinyin将歌词txt转为不带声调的汉语音节→额外添加SP, AP, 转音标记→MFA自动对齐→对齐后的textgrid自动生成midi层时长层转音层标注→自动按顺序打开wav和textgrid以进行人工修正→更新midi层和时长层的数值。
目前这个工作流已经基本可以实现,但是需要三到四个轮子的配合,一个是srt-to-wav-split (现成轮子),一个是拼音pyinyin歌词转为pinyin (这个应该很容易实现),一个是MFA批量标注(在我的这个release中会给出声学模型和词典),一个是自动生成midi标注和时长标注并按照人工修改更新 (这几天我已经写好了这个板块,存在了歌曲自动标注文件夹里)。最近可能得暂停更新段时间,我得去准备下论文,后续会考虑在B站更新完整个歌曲干声自动标注流程,当然我也很期待有整合式的全流程标注软件出现。
MFA-pretrained-acoustic-model-version-3.0.0
MFA pretrained acoustic model based on IPA dictionary (self-made)
MFA-pretrained-acoustic-model-version-2.0.0
MFA pretrained acoustic model based on MFA pinyin dictionary
MFA-pretrained-acoustic-model-version-1.0.0
The first version of pretrained MFA acoustic model for singing voice aligning.
It needs further improvements on phoneme mapping, dictionary and a larger dataset.