如何提高知识库检索的正确性？

[ryancurry-mz]

场景：QA问答

当前正确率：目前知识库200个问题，正确率70%左右

做了什么：
1、试过用 .json和.txt格式，文本切分后，检索效果不好。
2、利用 .csv格式存储QA，目前看下来这种格式匹配度更高。
3、基于官方给的流程图，看了知识库文件上传-解析成文本-解析成文档-存储的过程。目的是希望通过优化其中一些步骤，提高知识库准确率。一路看下来，发现.csv文件解析比较特殊，是通过row进行切分，把问题和答案存进page_context中，存到向量库。向量成矩阵的过程我没看到。有点不知道如何下手。。

我看到有一个方案，是将问题和答案分别上传，检索正确率会提高。如果是这样做，用户输入的query问题确实可以很好的匹配上问题知识库，但是如何对应上该问题的答案呢？

最后，如果大佬有好的优化意见，请指教。十分感谢！！

QA示例：

[jrd77]

同求

[zzflybird]

个人想法：将问题和答案保存到数据库中的一张表上，共享唯一id。将问题和答案分别上传，用户输入的query问题匹配到问题知识库，得到问题唯一id，通过查表获得答案。

[LiKe-rm]

这是QA形式的数据，如果是纯文档类型的，需要向量数据库根据问题召回相关文档块，再让模型总结给出答案，效果就更不稳定了。

[ryancurry-mz]

个人想法：将问题和答案保存到数据库中的一张表上，共享唯一id。将问题和答案分别上传，用户输入的query问题匹配到问题知识库，得到问题唯一id，通过查表获得答案。

感谢解答。通过id将问题和答案关联确实是比较合理的方案，我看看如何实现。

[ryancurry-mz]

这是QA形式的数据，如果是纯文档类型的，需要向量数据库根据问题召回相关文档块，再让模型总结给出答案，效果就更不稳定了。

是的，QA形式感觉是最简单的场景了。个人觉得纯文档更依靠大模型的理解和总结能力

[zzflybird]

这是QA形式的数据，如果是纯文档类型的，需要向量数据库根据问题召回相关文档块，再让模型总结给出答案，效果就更不稳定了。

是的，QA形式感觉是最简单的场景了。个人觉得纯文档更依靠大模型的理解和总结能力

是的，如果数据量比较少，QA形式的效果比纯文本不处理的效果要好。

[WilliamChen-luckbob]

如果你能很好的拿到Q，那么你可以修改你的代码，将A放在metadata中，此方式能够确保搜索到Q的情况下一定能够获得A的原文，但是如此一来你就需要想办法修改源码将metadata中的数据替换成你的doc去让LLM在此基础上适当润色以获得略微不同的答案。
此外，如果基于从原文索引，个人认为splitter拆分的逻辑导致的效果对结果的影响远远大于LLM对结果的影响

[ryancurry-mz]

如果你能很好的拿到Q，那么你可以修改你的代码，将A放在metadata中，此方式能够确保搜索到Q的情况下一定能够获得A的原文，但是如此一来你就需要想办法修改源码将metadata中的数据替换成你的doc去让LLM在此基础上适当润色以获得略微不同的答案。 此外，如果基于从原文索引，个人认为splitter拆分的逻辑导致的效果对结果的影响远远大于LLM对结果的影响

是的，我看了下csv没有进行splitter，这样我能很好的取到QA。此方案需要修改loader的源码，我试了下是OK的，目前不知道有没有其他影响。

另外，我跟了下源码，我有点纳闷，向量库的doc_id和知识库sqlite的doc_id是如何映射的，我利用可视化工具看了info.db的内容，我发现doc_id不一样，不知道是如何匹配上的。

[ryancurry-mz]

如果你能很好的拿到Q，那么你可以修改你的代码，将A放在metadata中，此方式能够确保搜索到Q的情况下一定能够获得A的原文，但是如此一来你就需要想办法修改源码将metadata中的数据替换成你的doc去让LLM在此基础上适当润色以获得略微不同的答案。 此外，如果基于从原文索引，个人认为splitter拆分的逻辑导致的效果对结果的影响远远大于LLM对结果的影响

是的，我看了下csv没有进行splitter，这样我能很好的取到QA。此方案需要修改loader的源码，我试了下是OK的，目前不知道有没有其他影响。

另外，我跟了下源码，我有点纳闷，向量库的doc_id和知识库sqlite的doc_id是如何映射的，我利用可视化工具看了info.db的内容，我发现doc_id不一样，不知道是如何匹配上的。如果您有读到这部分源码的话，可以指点一下，非常感谢。

[cwyalpha]

能否可以实现对csv文档，指定某几列入向量库，在返回的时候是返回对应csv该行的整行内容？