为什么--max-partition-size从opencompass/cli/main.py的参数中被移除了？Why max-partition-size is removed in #1098?

[airaria]

没有办法从命令行控制max-partition-size吗？

[Leymore]

目前 OpenCompass 进行任务切分的默认逻辑有更新：

• 传参 --max-num-workers 的值是 n，假设待测试的有 M 个模型和 D 个数据集
• 所有的 (模型、数据集) 对均会被拆分成 n 份，每一份都只有 1 / n 份的数据。然后每个模型对应的切分任务会被均匀地分成 n 个 task，共计 n * M 个 task，然后用 n 个 worker 去并发地跑。
• 一般来说一个 worker 对应一块 GPU，该对应关系可以用 --max-workers-per-gpu 控制。
• 如果 GPU 数目小于 --max-num-workers，那么就会有排队。

[airaria]

感谢解答

[disperaller]

目前 OpenCompass 进行任务切分的默认逻辑有更新：

• 传参 --max-num-workers 的值是 n，假设待测试的有 M 个模型和 D 个数据集
• 所有的 (模型、数据集) 对均会被拆分成 n 份，每一份都只有 1 / n 份的数据。然后每个模型对应的切分任务会被均匀地分成 n 个 task，共计 n * M 个 task，然后用 n 个 worker 去并发地跑。
• 一般来说一个 worker 对应一块 GPU，该对应关系可以用 --max-workers-per-gpu 控制。
• 如果 GPU 数目小于 --max-num-workers，那么就会有排队。

假设8卡环境，那么--max-num-workers是不是应该设置成8比较好？假设需要测试4个模型，4个数据集，那么一共有16个模型+数据组合对，如果拆分成8份的话，每一份应该是2个（模型，数据）对 是么？然后又说每个模型对应的切分任务均匀分成n个task，这句话就没懂了，是啥意思，按照前面的计算，每个模型应该对应的是D个数据集是吧？