-
-
Notifications
You must be signed in to change notification settings - Fork 6.8k
feat: 嵌入模型支持本地API配置 + 会话ID隔离 + 清理示例提示词 #516
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
base: main
Are you sure you want to change the base?
Conversation
本地嵌入模型现在没有使用到吧,不过你对于ForumEngine 会话ID隔离以及提示词通用化的实现非常棒,我最近也在改进这方面,可能会选择合并你的pr,也欢迎进一步交流! |
|
目前我这边部署这个项目,所用的模型基本都是本地部署,所以加了这个部分
关于提示词部分,我实测下来,有的时候会重复的分析武大**的相关内容,所以改成了更通用的提示词
会话隔离部分我采用更完善的方式进行了修改
…------------------ 原始邮件 ------------------
发件人: BaiFu ***@***.***>
发送时间: 2026年1月3日 02:31
收件人: 666ghj/BettaFish ***@***.***>
抄送: 小南 ***@***.***>, Assign ***@***.***>
主题: Re: [666ghj/BettaFish] feat: 嵌入模型支持本地API配置 + 会话ID隔离 + 清理示例提示词 (PR #516)
666ghj left a comment (666ghj/BettaFish#516)
主要改动
1. 支持配置本地嵌入模型
新增三个配置项,允许使用本地部署的嵌入服务: 这样用户可以使用 LM Studio 等本地服务,或者更换其他嵌入模型(如 Qwen3-Embedding-0.6B)。 修改文件: config.py, app.py, templates/index.html, InsightEngine/agent.py
2. ForumEngine 会话ID隔离
解决多次搜索时 HOST 发言互相干扰的问题。 每次搜索生成独立的会话ID,记录到日志中。读取 HOST 发言时只匹配当前会话的内容。 修改文件: ForumEngine/monitor.py, utils/forum_reader.py
3. 提示词通用化
清除了所有引擎提示词中的具体示例(如"武大樱花"等),改用通用占位符,提高系统适配性。 同时优化了搜索逻辑,确保搜索时不会偏离原始主题。 修改文件:
InsightEngine/prompts/prompts.py, agent.py, nodes/report_structure_node.py
MediaEngine/prompts/prompts.py, agent.py, nodes/report_structure_node.py
QueryEngine/prompts/prompts.py, agent.py, nodes/report_structure_node.py
本地嵌入模型现在没有使用到吧,不过你对于ForumEngine 会话ID隔离以及提示词通用化的实现非常棒,我最近也在改进这方面,可能会选择合并你的pr,也欢迎进一步交流!
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you were assigned.Message ID: ***@***.***>
|
|
改进内容:
解决的问题:
|
是的,您说的这个“有的时候会重复的分析武大**的相关内容”确实会因为我们给的提示词里面的样例llm产生误导 |
主要改动
1. 支持配置本地嵌入模型
新增三个配置项,允许使用本地部署的嵌入服务:
这样用户可以使用 LM Studio 等本地服务,或者更换其他嵌入模型(如 Qwen3-Embedding-0.6B)。
修改文件:
config.py,app.py,templates/index.html,InsightEngine/agent.py2. ForumEngine 会话ID隔离
解决多次搜索时 HOST 发言互相干扰的问题。
每次搜索生成独立的会话ID,记录到日志中。读取 HOST 发言时只匹配当前会话的内容。
修改文件:
ForumEngine/monitor.py,utils/forum_reader.py3. 提示词通用化
清除了所有引擎提示词中的具体示例(如"武大樱花"等),改用通用占位符,提高系统适配性。
同时优化了搜索逻辑,确保搜索时不会偏离原始主题。
修改文件:
InsightEngine/prompts/prompts.py,agent.py,nodes/report_structure_node.pyMediaEngine/prompts/prompts.py,agent.py,nodes/report_structure_node.pyQueryEngine/prompts/prompts.py,agent.py,nodes/report_structure_node.py