[Bug] BGE-M3-微调-李秀奇-缺少sanitized-mbpp.json文件的生成说明

[9527feng]

出bug的具体模型

BGE-M3

出bug的具体模型教程

代码检索场景微调实战 微调BGE-M3 embedding模型

教程负责人

李秀奇

Bug描述

教程中只说明了sanitized-mbpp.json是清洗后的文件，缺少说明sanitized-mbpp.json是如何清洗？基于什么文件进行如何处理，希望能补充一下更详细的描述，非常感谢~

复现步骤

见Bug描述

期望行为

希望能补充一下更详细的描述，非常感谢~

环境信息

无

其他信息

无

确认事项 / Verification

• 此问题未在过往Issue中被报告过 / This issue hasn't been reported before

[9527feng]

是不是直接在文件mbpp_sanitized.jsonl内容的前后增加中括号，并将文件改名为sanitized-mbpp.json？

[li-xiu-qi]

感谢反馈~
数据集的清洗并不是我们需要进行的工作，这个清洗后的数据是原本的数据集中提供的，并不是我们教程进行的清洗。

他的清洗主要是去掉和不必要的内容，只保留纯函数的部分内容。

如果你感兴趣可以对比下两者，可以发现这个特点。