LLM模型问题

[jingGoodDay]

看介绍说Deepseek模型可以适用，应该在oneapi中选哪个模型？deepseek-v3还是deepseek-r1？

[1517005260]

v3

[jingGoodDay]

好的，谢谢

[jingGoodDay]

v3

oneapi中修改为text-embedding-3-large' 、'deepseek-v3' 后，oneapi界面测试可以通过了。.env文件中也改为了
OPENAI_EMBEDDINGS_MODEL='text-embedding-3-large'
OPENAI_LLM_MODEL='deepseek-v3'

但是项目问答时后台报错如下：
API异常 - chat: 500: ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None)) (1.2630s)
INFO: 127.0.0.1:62040 - "POST /chat HTTP/1.1" 500 Internal Server Error

[1517005260]

有这么几个测试都可以测下看下哪个环节有问题：

1. one-api连通性测试，证明你的厂商api是可联通的
2. 在models/get_models.py也有测试，测试代码调用模型“你是谁”的问答和test_embedding
3. 在test/文件夹下调用核心agent问答功能，排开前后端干扰进行测试
4. 最后启动前后端，看下是否是前后端代码的问题

[jingGoodDay]

有这么几个测试都可以测下看下哪个环节有问题：

1. one-api连通性测试，证明你的厂商api是可联通的
2. 在models/get_models.py也有测试，测试代码调用模型“你是谁”的问答和test_embedding
3. 在test/文件夹下调用核心agent问答功能，排开前后端干扰进行测试
4. 最后启动前后端，看下是否是前后端代码的问题

发现是因为我把cache中tiktoken文件夹删除了，恢复后就能使用了，这个缓存在重新启动后端的时候不会重新下载吗？

[1517005260]

这个是你网络的原因，需要有梯子，删除之后的第一次问答就会自动下载

[ccyccxcl]

不知道是不是我理解错误，我这样操作的测试一直通不过，我是通过硅基流动去连的，硅基流动的key放在one-api的渠道里，测试通过了。但运行测试代码，一直报错 raise self._make_status_error_from_response(err.response) from None
openai.AuthenticationError: Error code: 401 - {'error': {'message': '无效的令牌 (request id: 2025121217253548785615368242066)', 'type': 'one_api_error'}}

[1517005260]

不知道是不是我理解错误，我这样操作的测试一直通不过，我是通过硅基流动去连的，硅基流动的key放在one-api的渠道里，测试通过了。但运行测试代码，一直报错 raise self._make_status_error_from_response(err.response) from None openai.AuthenticationError: Error code: 401 - {'error': {'message': '无效的令牌 (request id: 2025121217253548785615368242066)', 'type': 'one_api_error'}}

#7 看过了吗？本地测试python model/get_models.py通过后再进行知识图谱构建等操作

[ccyccxcl]

不知道是不是我理解错误，我这样操作的测试一直通不过，我是通过硅基流动去连的，硅基流动的key放在one-api的渠道里，测试通过了。但运行测试代码，一直报错 raise self._make_status_error_from_response(err.response) from None openai.AuthenticationError: Error code: 401 - {'error': {'message': '无效的令牌 (request id: 2025121217253548785615368242066)', 'type': 'one_api_error'}}

#7 看过了吗？本地测试python model/get_models.py通过后再进行知识图谱构建等操作

也报错，

[1517005260]

把 langsmith 那几行注释掉

[1517005260]

把 langsmith 那几行注释掉

[ccyccxcl]

把 langsmith 那几行注释掉

依旧是报错，无效的令牌，应该还是api-key那一块我没搞对。我再研究研究。十分感谢。

[ccyccxcl]

把 langsmith 那几行注释掉

把 langsmith 那几行注释掉

依旧是报错，无效的令牌，应该还是api-key那一块我没搞对。我再研究研究。十分感谢。

有这么几个测试都可以测下看下哪个环节有问题：

1. one-api连通性测试，证明你的厂商api是可联通的
2. 在models/get_models.py也有测试，测试代码调用模型“你是谁”的问答和test_embedding
3. 在test/文件夹下调用核心agent问答功能，排开前后端干扰进行测试
4. 最后启动前后端，看下是否是前后端代码的问题

这个能说明one-api的联通性是好的吧，但是第二步models/get_models.py测试始终通不过，试了几次报错信息一直都是：“令牌无效” File "F:\anaconda3\envs\RAG\Lib\site-packages\openai_base_client.py", line 1242, in post
return cast(ResponseT, self.request(cast_to, opts, stream=stream, stream_cls=stream_cls))
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "F:\anaconda3\envs\RAG\Lib\site-packages\openai_base_client.py", line 1037, in request
raise self._make_status_error_from_response(err.response) from None
openai.AuthenticationError: Error code: 401 - {'error': {'message': '无效的令牌 (request id: 2025121514130224005772583298213)', 'type': 'one_api_error'}}