使用evalscope评测deepseek-r1-1.5b模型，设置n=64，无法达到原文效果

[haodongze]

自查清单

在提交 issue 之前，请确保您已完成以下步骤:

• 我已仔细阅读了相关使用说明文档
• 我已查看了常见问题解答
• 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

问题描述

请简要描述您遇到的问题。

EvalScope 版本（必填）

v0.xx.x

使用的工具

• Native / 原生框架
• Opencompass backend
• VLMEvalKit backend
• RAGEval backend
• Perf / 模型推理压测工具
• Arena / 竞技场模式

执行的代码或指令

请提供您执行的主要代码或指令。

错误日志

请粘贴完整的错误日志或控制台输出。

运行环境

• 操作系统：
• Python版本：

其他信息

如果有其他相关信息，请在此处提供。

[Yunnglin]

请给出具体运行的命令和benchmark上的差距对比

[haodongze]

from evalscope import TaskConfig, run_task
from evalscope.constants import EvalType

task_cfg = TaskConfig(
model='DeepSeek-R1-Distill-Qwen-1.5B', # 模型名称 (需要与部署时的模型名称一致)
api_url='http://127.0.0.1:8001/v1/chat/completions', # 推理服务地址
api_key='EMPTY',
eval_type=EvalType.SERVICE, # 评测类型，SERVICE表示评测推理服务
datasets=['aime24'],
eval_batch_size=32, # 发送请求的并发数
generation_config={ # 模型推理配置
'max_tokens': 20000, # 最大生成token数，建议设置为较大值避免输出截断
'temperature': 0.6, # 采样温度 (deepseek 报告推荐值)
'top_p': 0.95, # top-p采样 (deepseek 报告推荐值)
'n': 5 # 每个请求产生的回复数量 (注意 lmdeploy 目前只支持 n=1)
},
)

run_task(task_cfg=task_cfg)

采用vllm最新版本部署，性能只有18%

[haodongze]

论文结果是28%，重复64次测试还是不到20%

[VoiceBeer]

想请问下这些注释是有官方例子吗？我看issue里的好多人给的示例代码里对应的注释都差不太多，但我看官方的文档里好像没有这些实操的例子