File tree Expand file tree Collapse file tree
Expand file tree Collapse file tree Original file line number Diff line number Diff line change 8686* ** 🔀 Encoder-Decoder 解耦训练** —— 将 ViT 与 LLM 拆分为独立任务,消除 Encoder 带来的流水线气泡。
8787* ** ⚖️ DP 负载均衡** —— 基于负载感知的数据重分发,缓解序列打包(sequence packing)不均衡问题,显著提升多节点扩展效率。 [[ blog] ( https://baidu-baige.github.io/LoongForge/blog/2026-05-loongforge-dp-load-balancing.html )]
8888* ** 🚀 MoE 原生优化** —— All2All / 激活卸载 / 计算全链路重叠,在 DeepSeek-V3、Qwen3-MoE 等模型上相对上游 Megatron-LM 实现** 进一步显存降低** 。
89- * ** 🚦 MoE 专家负载均衡** —— 基于拓扑感知算法实现热点专家动态复制,均衡 MoE 专家并行训练中的计算负载,提升训练效率。
89+ * ** 🚦 MoE 专家负载均衡** —— 基于拓扑感知算法实现热点专家动态复制,均衡 MoE 专家并行训练中的计算负载,提升训练效率。 [[ Paper ] ( https://arxiv.org/pdf/2608.03676 )]
9090* ** 🔬 自适应 FP8 训练** —— 面向 LLM 和 VLM 的端到端 FP8,支持标准 ** blockwise FP8** ;可选 ** 自适应** 模式根据 GEMM 形状与效率逐算子选择最佳精度。
9191* ** 🔧 自定义融合算子** —— 为 DSA 类模型设计的 ** FusedDSA** 等融合 Kernel —— TileLang 版本已开源,高性能 CUDA 版本在百度百舸平台提供。
9292* ** 🔁 灵活的 Checkpoint 机制** —— 支持离线 ** Megatron ↔ HuggingFace** 双向转换,以及在线原生 HF 加载/保存,全流程无格式壁垒。
You can’t perform that action at this time.
0 commit comments