作者你好,关于LLM收到的候选实体队列我有一个疑问还望解答:
候选实体是否来自于完整的KGE模型原始结果,即没有过滤掉全局可知的答案?由于您的项目直接使用了结果文件,所以我无法推知一些数据细节。
我的考量是这样的:在您的代码中,直接使用了kge模型的rank顺序,当前的评测往往遵循filter配置,该值应该是符合这个约束的。但是,topk_ents是否也被错误进行了过滤呢?如果经过了过滤,那么在LLM进行推理时,自然剔除了许多正确但对当前解答无用的选择,缩减了候选队列中无用的项,减轻了答案间的竞争关系,从而造成了一定程度的数据泄露?不应该在评测前就知道答案;如果未过滤,这才是符合评测预期的操作。
我阅读了一部分test.json中项,对rank和topk_ent进行了比照,仍然未能解决我的上述困惑。
作者你好,关于LLM收到的候选实体队列我有一个疑问还望解答:
候选实体是否来自于完整的KGE模型原始结果,即没有过滤掉全局可知的答案?由于您的项目直接使用了结果文件,所以我无法推知一些数据细节。
我的考量是这样的:在您的代码中,直接使用了kge模型的rank顺序,当前的评测往往遵循filter配置,该值应该是符合这个约束的。但是,topk_ents是否也被错误进行了过滤呢?如果经过了过滤,那么在LLM进行推理时,自然剔除了许多正确但对当前解答无用的选择,缩减了候选队列中无用的项,减轻了答案间的竞争关系,从而造成了一定程度的数据泄露?不应该在评测前就知道答案;如果未过滤,这才是符合评测预期的操作。
我阅读了一部分test.json中项,对rank和topk_ent进行了比照,仍然未能解决我的上述困惑。