关于数据预处理

[Respectzz]

为什么数据预处理的过程没有在代码里体现出来，麻烦提供一下代码，谢谢。原公开数据集如何生成dataset里面的examples的过程。

[NJULY]

数据预处理的代码和使用的KGE模型相关. 需要修改KGE模型的原代码, 在推理时额外保存一部分数据才可以完成DIFT所需数据的构建. 我上传了数据预处理的代码, 仅供参考.

[mobius10]

数据预处理的代码和使用的KGE模型相关. 需要修改KGE模型的原代码, 在推理时额外保存一部分数据才可以完成DIFT所需数据的构建. 我上传了数据预处理的代码, 仅供参考.

您上传在哪了？

[NJULY]

data_construct.py中的代码是基于KGE模型推理时保存的内容构建微调数据集。KGE模型在推理时需要保存每个实体的embedding，每个query的embedding、top-50预测实体、对应答案实体的rank和score。

[mobius10]

data_construct.py中的代码是基于KGE模型推理时保存的内容构建微调数据集。KGE模型在推理时需要保存每个实体的embedding，每个query的embedding、top-50预测实体、对应答案实体的rank和score。
请问您上传的数据预处理的代码在哪看？
另外，请问您按该项目的指令跑起来了吗？我使用bash scripts/train_fb.sh TransE命令时，报错为RuntimeError: mat1 and mat2 shapes cannot be multiplied (16x250 and 100x1024)

[NJULY]

数据预处理的代码在data_construct.py这个文件中。
上传的代码、数据集还有checkpoint我都有测试过，是可以正常运行的。