feat: 修改max_homophones默认值以提升多整句输出时的top3正确率#1165
Closed
gaboolic wants to merge 1 commit intorime:masterfrom
Closed
Conversation
Author
|
另外测试了下耗时，应该说差距微乎其微 |
Author
|
关闭了： |
Merged
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
在 #1164 这个pr中，我提到：
现在我已找到差异。是max_homophones默认值问题。
max_homophones默认 1 时，每个起止位置只拿第 1 个词条进 WordGraph。（这样会导致潜在的正确句子过早被丢弃）
改成 8 后，每个起止位置最多拿前 8 个词条进 WordGraph。它不直接影响普通候选列表的枚举。
影响是：
对有整码精确词的短词，基本无影响。
对长句整句生成，更多候选路径会进入 beam search，正确句子更不容易在造句前就被丢掉。
对比报告：
评测范围：
mingyuepinyin(luna_pinyin_simp)data/corpus/*.txt下全部语料其它→其他、他/她/它→他、的/地/得→的总体结果：
rime-24986039806.dllrime-default8.dll提升：
结论：
默认同音候选宽度为 1 时，整句词图召回过窄，正确路径可能在 beam search 排序之前就被移除。将默认值提高到 8 后，在不修改整句排序算法本身的情况下，
mingyuepinyin全量语料 Top 3 句子正确率从 55.28% 提升到 64.63%。附：
默认值8正确、默认值1不正确的句子
mingyuepinyin(luna_pinyin_simp)rime-24986039806.dll（默认值1）rime-default8.dll（默认值8）1.
news#24fazhanxinxingengzurime-24986039806.dllTop3：发展信心梗阻 | 发展 | 罚站rime-default8.dllTop3：发展信心梗阻 | 发展信心更足 | 发展信心更卒2.
news#33fazhanyuqichixuxianghaorime-24986039806.dllTop3：发展预期持续想好 | 发展 | 罚站rime-default8.dllTop3：发展预期持续想好 | 发展与其持续想好 | 发展预期持续向好3.
news#42xiaofeihuolichixushifangrime-24986039806.dllTop3：消费获利持续释放 | 消费火里赤叙事放 | 消费火里赤需释放rime-default8.dllTop3：消费获利持续释放 | 消费活力持续释放 | 消费火力持续释放4.
news#50jinbachengshangpinleibielingshoueshixianzengzhangrime-24986039806.dllTop3：进八成商品类别零售额实现增长 | 紧巴成商品类别零售额实现增长 | 紧巴乘上品类别零售额实现增长rime-default8.dllTop3：进八成商品类别零售额实现增长 | 金八成商品类别零售额实现增长 | 近八成商品类别零售额实现增长5.
news#53xiaofeixinyetaixinmoshiyezaibuduanzhuozhuangchengzhangrime-24986039806.dllTop3：消费新也太新模式也在不断茁壮成长 | 消费心也太新模式也在不断茁壮成长 | 消费心也台新模式也在不断茁壮成长rime-default8.dllTop3：消费新也太新模式也在不断茁壮成长 | 消费新液态新模式也在不断茁壮成长 | 消费新业态新模式也在不断茁壮成长6.
news#54xianshangxianxiaronghefazhanshitouxianghaorime-24986039806.dllTop3：线上线下融合发展势头想好 | 线上线下融合发展石头想好 | 线上rime-default8.dllTop3：线上线下融合发展势头想好 | 线上线下融合发展势头向好 | 线上线下融合发展势头相好7.
news#58shixiangongxugaoxiaoduijierime-24986039806.dllTop3：实现供需高校对接 | 实现 | 视线rime-default8.dllTop3：实现供需高校对接 | 实现工序高校对接 | 实现供需高效对接8.
novel#6purenbabaixuegongzhudaizoulerime-24986039806.dllTop3：仆人吧白雪公主带走了 | 普人吧白雪公主带走了 | 仆人rime-default8.dllTop3：仆人吧白雪公主带走了 | 仆人把白雪公主带走了 | 仆人八白雪公主带走了9.
novel#27danquemeiyouyigequshanghaitarime-24986039806.dllTop3：但却没有一个去上海他 | 但却没有一个去上海獭 | 但却rime-default8.dllTop3：但却没有一个去上海他 | 但却没有一个去上海她 | 但却没有一个去伤害他10.
novel#36yizhangzhuozishangpuzhebaiburime-24986039806.dllTop3：一张桌子上铺着摆布 | 一张 | 一章rime-default8.dllTop3：一张桌子上铺着摆布 | 一张桌子上铺着白布 | 一张桌子上铺着百步11.
novel#49yushilaidaonaxiechuangqianrime-24986039806.dllTop3：于是来到那些窗前 | 于是 | 浴室rime-default8.dllTop3：于是来到那些窗前 | 于是来到那些床前 | 于是12.
novel#52jiushinayizhangtaiduanrime-24986039806.dllTop3：就是那一章太短 | 就是 | 救市rime-default8.dllTop3：就是那一章太短 | 就是哪一张太短 | 就是那一张太短13.
novel#96xialeyidatiaorime-24986039806.dllTop3：下了一大跳 | 下了 | 吓了rime-default8.dllTop3：下了一大跳 | 吓了一大跳 | 瞎了一大跳14.
novel#101wojiaobaixuegongzhurime-24986039806.dllTop3：我校白雪公主 | 我校 | 我叫rime-default8.dllTop3：我校白雪公主 | 我叫白雪公主 | 我觉白雪公主15.
novel#110baixuegongzhuhenleyidishuorime-24986039806.dllTop3：白雪公主很了一地说 | 白雪公主恨了一地说 | 白雪公主恨了异地说rime-default8.dllTop3：白雪公主很了一地说 | 白雪公主很乐意地说 | 白雪公主恨了一地说16.
novel#114qigexiaoairenmeitiandaoshanlixunzhaojinziheyinzirime-24986039806.dllTop3：七个小矮人每天到山里寻找金子和因子 | 七个小矮人每天刀山里寻找金子和因子 | 七个小矮人没天道山里寻找金子和因子rime-default8.dllTop3：七个小矮人每天到山里寻找金子和因子 | 七个小矮人每天到山梨寻找金子和因子 | 七个小矮人每天到山里寻找金子和银子17.
novel#116tamengaojietashuorime-24986039806.dllTop3：他们高阶他说 | 他们搞 | 他们rime-default8.dllTop3：他们高阶他说 | 他们告诫他说 | 他们高阶她说18.
novel#118niqianwanbuyaorangrenherenjinwulairime-24986039806.dllTop3：你千万不要让任何人劲舞来 | 你千万不要让人和人劲舞来 | 你千万不要让任何人进无赖rime-default8.dllTop3：你千万不要让任何人劲舞来 | 你千万不要让任何人进屋来 | 你千万不要让任何人金屋来19.
novel#119nagepurenhuilaifuminghourime-24986039806.dllTop3：那个仆人回来复明后 | 那个仆人回来副明后 | 那个仆人会来福明后rime-default8.dllTop3：那个仆人回来复明后 | 那个仆人回来复命后 | 那个仆人回来浮名后20.
novel#120wanghouyiweibaixuegongzhuyijingsilerime-24986039806.dllTop3：往后以为白雪公主已经死了 | 往后 | 王后rime-default8.dllTop3：往后以为白雪公主已经死了 | 往后一位白雪公主已经死了 | 王后以为白雪公主已经死了21.
novel#134zainalvsedeshuyinxiarime-24986039806.dllTop3：在哪绿色的树荫下 | 在哪 | 在那rime-default8.dllTop3：在哪绿色的树荫下 | 在那绿色的树荫下 | 再拿绿色的树荫下22.
novel#136baixuegongzhujiuduocangzainalirime-24986039806.dllTop3：白雪公主就躲藏在哪里 | 白雪公主就多藏在哪里 | 白雪公主就多仓在哪里rime-default8.dllTop3：白雪公主就躲藏在哪里 | 白雪公主就躲藏在那里 | 白雪公主就多藏在哪里23.
novel#140wanghoutingledachiyijingrime-24986039806.dllTop3：往后听了大吃一惊 | 往后 | 王后rime-default8.dllTop3：往后听了大吃一惊 | 王后听了大吃一惊 | 往后停了大吃一惊24.
novel#164laotaipojinlaihoushuodaorime-24986039806.dllTop3：老太婆进来后说到 | 老太泼进来后说到 | 老太婆rime-default8.dllTop3：老太婆进来后说到 | 老太婆进来后说道 | 老太婆近来后说到25.
novel#185tamendexinmashangsuojinlerime-24986039806.dllTop3：他们的心马上缩进了 | 他们的心马上所进了 | 他们的新马上锁进了rime-default8.dllTop3：他们的心马上缩进了 | 他们的心马上锁紧了 | 他们的心马上缩紧了26.
novel#193nagelaotaipojiushiwanghourime-24986039806.dllTop3：那个老太婆就是往后 | 那个 | 哪个rime-default8.dllTop3：那个老太婆就是往后 | 哪个老太婆就是往后 | 那个老太婆就是王后27.
prose#10jibuqingdoushizaitadenaxiejiaoluolilerime-24986039806.dllTop3：记不清都是在他的那些角落里了 | 记不清都是在他的那些角落离了 | 记不清rime-default8.dllTop3：记不清都是在他的那些角落里了 | 记不清都是在他的哪些角落里了 | 记不清都是在她的那些角落里了28.
prose#27yinweidutedediyuyoushirime-24986039806.dllTop3：因为独特的低于优势 | 因为 | 淫威rime-default8.dllTop3：因为独特的低于优势 | 因为独特的低于又是 | 因为独特的地域优势29.
prose#42bingdengchenglerenmenshenghuozhongbukequeshaodebangshourime-24986039806.dllTop3：冰灯成了人们生活中不可缺少的榜首 | 冰灯成了人们生活中不可缺少德邦收 | 并等成了人们生活中不可缺少的榜首rime-default8.dllTop3：冰灯成了人们生活中不可缺少的榜首 | 冰灯成了人们生活中不可缺少的帮手 | 丙等成了人们生活中不可缺少的榜首30.
tech#17qukuailianzuichuyinqizuoweibitebibeihoujishudeeryinqirenmendeguanzhurime-24986039806.dllTop3：区块链最初引起作为比特币背后技术的而引起人们的关注 | 区块链最初引起作为比特币背后技术德尔引起人们的关注 | 区块链最初引起作为比特币背后及书的而引起人们的关注rime-default8.dllTop3：区块链最初引起作为比特币背后技术的而引起人们的关注 | 区块链最初因其作为比特币背后技术的而引起人们的关注 | 区块链最初阴气作为比特币背后技术的而引起人们的关注