描述问题
点击发布的时候,xinference中部署的Qwen3-VL-Instruct会报错ValueError: temperature (=0.0) has to be a strictly positive float, otherwise your next token scores will be invalid. If you're looking for greedy decoding strategies, set do_sample=False. 最后通过抓包发现raglite服务传递的温度参数一直是0。
复现步骤
请描述如何复现这个问题:
- 前往管理后台页面
- 上传带有图片的docx文档
- 点击发布
- 可以观察到视觉模型报错,前端页面展示无异常,报错信息应该是被catch了
期望行为
视觉模型无报错
截图
环境信息
- 操作系统:Ubuntu
- 浏览器:Chrome
- 版本:3.8.1
其他信息
请在此处添加有关此问题的任何其他背景信息。
描述问题
点击发布的时候,xinference中部署的Qwen3-VL-Instruct会报错ValueError:
temperature(=0.0) has to be a strictly positive float, otherwise your next token scores will be invalid. If you're looking for greedy decoding strategies, setdo_sample=False. 最后通过抓包发现raglite服务传递的温度参数一直是0。复现步骤
请描述如何复现这个问题:
期望行为
视觉模型无报错
截图
环境信息
其他信息
请在此处添加有关此问题的任何其他背景信息。