Skip to content

关于候选实体 #8

Description

@yuto3o

作者你好,关于LLM收到的候选实体队列我有一个疑问还望解答:

候选实体是否来自于完整的KGE模型原始结果,即没有过滤掉全局可知的答案?由于您的项目直接使用了结果文件,所以我无法推知一些数据细节。

我的考量是这样的:在您的代码中,直接使用了kge模型的rank顺序,当前的评测往往遵循filter配置,该值应该是符合这个约束的。但是,topk_ents是否也被错误进行了过滤呢?如果经过了过滤,那么在LLM进行推理时,自然剔除了许多正确但对当前解答无用的选择,缩减了候选队列中无用的项,减轻了答案间的竞争关系,从而造成了一定程度的数据泄露?不应该在评测前就知道答案;如果未过滤,这才是符合评测预期的操作。

我阅读了一部分test.json中项,对rank和topk_ent进行了比照,仍然未能解决我的上述困惑。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Fields

    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions