Skip to content

Commit 59a2ecd

Browse files
Update MoE expert load balancing section with reference
Added a link to the paper for MoE expert load balancing.
1 parent c88b3b2 commit 59a2ecd

1 file changed

Lines changed: 1 addition & 1 deletion

File tree

README_zh.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -86,7 +86,7 @@
8686
* **🔀 Encoder-Decoder 解耦训练** —— 将 ViT 与 LLM 拆分为独立任务,消除 Encoder 带来的流水线气泡。
8787
* **⚖️ DP 负载均衡** —— 基于负载感知的数据重分发,缓解序列打包(sequence packing)不均衡问题,显著提升多节点扩展效率。 [[blog](https://baidu-baige.github.io/LoongForge/blog/2026-05-loongforge-dp-load-balancing.html)]
8888
* **🚀 MoE 原生优化** —— All2All / 激活卸载 / 计算全链路重叠,在 DeepSeek-V3、Qwen3-MoE 等模型上相对上游 Megatron-LM 实现**进一步显存降低**
89-
* **🚦 MoE 专家负载均衡** —— 基于拓扑感知算法实现热点专家动态复制,均衡 MoE 专家并行训练中的计算负载,提升训练效率。
89+
* **🚦 MoE 专家负载均衡** —— 基于拓扑感知算法实现热点专家动态复制,均衡 MoE 专家并行训练中的计算负载,提升训练效率。 [[Paper](https://arxiv.org/pdf/2608.03676)]
9090
* **🔬 自适应 FP8 训练** —— 面向 LLM 和 VLM 的端到端 FP8,支持标准 **blockwise FP8**;可选 **自适应** 模式根据 GEMM 形状与效率逐算子选择最佳精度。
9191
* **🔧 自定义融合算子** —— 为 DSA 类模型设计的 **FusedDSA** 等融合 Kernel —— TileLang 版本已开源,高性能 CUDA 版本在百度百舸平台提供。
9292
* **🔁 灵活的 Checkpoint 机制** —— 支持离线 **Megatron ↔ HuggingFace** 双向转换,以及在线原生 HF 加载/保存,全流程无格式壁垒。

0 commit comments

Comments
 (0)