You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
reacted with thumbs up emoji reacted with thumbs down emoji reacted with laugh emoji reacted with hooray emoji reacted with confused emoji reacted with heart emoji reacted with rocket emoji reacted with eyes emoji
Uh oh!
There was an error while loading. Please reload this page.
-
我正在使用配置文件进行评估任务,配置文件中的
models/judge_models变量除了使用已经配置好的对象,我想使用本地部署的 LLM-API ,我改如何配置eval_subjective.py样例中提供了一个openai的 api 请求示例,#1575 (reply in thread) 这个讨论中有个Qwen的 api 请求示例。在 #1590 (comment) 这个 issue 中讨论到对于
Qwen的 api 我可以参考上述讨论中的示例,但是仍然有不解。不解
abbrtypepath的含义和如何自定义,其中type应该是这个配置实例化的类名,abbr/path该如何定义1、比如我的本地接口是
http://10.10.10.10:8000/v1/chat/completions,模型是Qwen2.5-72B-Instruct-GPTQ-Int4,那我应该在path变量上设置url,abbr上设置 模型名嘛,2、那对于非
Qwen系列的模型,只需要相应的改动type嘛3、配置中还存在
key属性,本地 api 没有相关的设置,可以不填?4、对于1、中
path的内容更多的是模型文件路径,是否可以是url,是url的话具体的调用代码可否指点一下位置另外,关于
vllm加速时,我的卡貌似不支持默认配置,提示让我配置--dtype=half,这个参数该如何配置Beta Was this translation helpful? Give feedback.
All reactions