每个文件夹下有msccl-tool生成xml的源码,另外T1 T4 T5 还需要使用额外的脚本来修改tb顺序
| 通信算子 | 消息量 (B) | 集合通信算法 | NCCL Protocol | MSCCL 调优 | 时延 (us) | 算法带宽(GBps) |
|---|---|---|---|---|---|---|
| AllGather | 4M | 2D-Fullmesh | LL128 | 多 Channel | 129.14 | 30.97 |
| AllGather | 512M | 2D-Ring + Fullmesh | Simple | 多 Chunk+多 Channel | 2950.5 | 173.53 |
| AllGather | 8G | 2D-Ring + Fullmesh | Simple | 多 Chunk+多 Channel | 43747.56 | 182.86 |
| AlltoAll | 1G | Random+Spreadout | Simple | 多 Chunk+多 Channel | 49887.65 | 20.05 |
| AlltoAllv | 1G | Greedy+Spreadout | Simple | 多 Chunk+多 Channel | 50905.65 | 19.64 |
PS:xml是提交的最终版本,建议直接参考xml的通信流