评估中[QUERY]的emb

[sun8982]

你好，有个问题想请教。
我理解在训练阶段将QUERY这个token替换为其他模型的嵌入表示向量，是为了让LLM更好地理解结构表征。
在评估阶段仍旧替换了这个token。
然而在真实场景，预测实体是未知的，QUERY匹配不到answer实体进行emb的替换。
这应该怎么处理？

[NJULY]

替换QUERY用的不是answer实体的表示而是当前query的表示. 比如使用TransE进行尾实体预测(h, r, ?)时, 替换QUERY用的是\vec{h}+\vec{r}