4.3 分布式训练工程 本组聚焦通信原语和 ZeRO / Offload 工程实现。 导航： 上一组 4.2 系统级性能优化 | Chapter 4 导学 | 下一组 4.4 架构视野 包含内容 19. Distributed Communication Primitives 20. DeepSpeed ZeRO & Offload