Skip to content

transformer_courses/Transformer_Machine_Translation 找不到zh-en/train.tags.zh-en.zh.cut.txt文件 #913

@NewComer00

Description

@NewComer00

问题位置

https://github.com/PaddlePaddle/awesome-DeepLearning/tree/master/transformer_courses/Transformer_Machine_Translation

问题现象

在按照README进行bpe分词处理时,sh subword.sh命令执行错误,找不到zh-en/train.tags.zh-en.zh.cut.txt文件。

复现方式

安装完依赖并且获取数据集后,执行bpe分词处理

python data_process.py
sh subword.sh #出错命令
python bpe_process2.py

解决方法

浏览例程代码后,发现zh-en/train.tags.zh-en.zh.cut.txt文件是通过bpe_process.py脚本生成。将其添加到sh subword.sh命令前执行即可。

python data_process.py
python bpe_process.py
sh subword.sh
python bpe_process2.py

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions