如何将opencompass输出的评测结果与leaderboard上的比较？

[CSammyfd]

目前使用opencompass评测时，发现每个数据集的评测结果都仅有各个子数据集的acc

想请问一下
1）opencompass是否可以统计出每个数据集的总结果？而不是仅给出子数据集结果
2）opencompass的leaderboard上（ https://rank.opencompass.org.cn/leaderboard-llm/?m=24-05 ），仅有“language”，“reasoning”等比数据集粒度更高级别粒度的结果。那么在使用opencompass评测自己模型时可以直接得出这个粒度的结果，以便直接和leaderboard上的结果比较吗？

我的评测命令是：python run.py configs/xxx.py -w outputs_xxx/ --debug
(不加debug会卡住)

[Leymore]

1. 可以，可以尝试使用 summarizer 配置，例如 from .summarizers.example import summarizer （ https://github.com/open-compass/opencompass/blob/main/configs/summarizers/example.py ）
2. 链接所示的 leaderboard 上面的结果对应的是 OpenCompass 团队内部的闭源数据集，与开源的均不可比。如需进行结果比较，可以看一下该 PR
3. 不加 debug 的话会进入并发模式，只显示总进度条，耗时较长，不一定意味着卡住