问题位置
https://github.com/PaddlePaddle/awesome-DeepLearning/tree/master/transformer_courses/Transformer_Machine_Translation
问题现象
在按照README进行bpe分词处理时,sh subword.sh命令执行错误,找不到zh-en/train.tags.zh-en.zh.cut.txt文件。
复现方式
安装完依赖并且获取数据集后,执行bpe分词处理
python data_process.py
sh subword.sh #出错命令
python bpe_process2.py
解决方法
浏览例程代码后,发现zh-en/train.tags.zh-en.zh.cut.txt文件是通过bpe_process.py脚本生成。将其添加到sh subword.sh命令前执行即可。
python data_process.py
python bpe_process.py
sh subword.sh
python bpe_process2.py