Skip to content

Latest commit

 

History

History
7 lines (6 loc) · 258 Bytes

File metadata and controls

7 lines (6 loc) · 258 Bytes

todo

  1. 支持单机多卡 ddp 训练
  2. 模型支持导出 huggingface 格式,支持 huggingface transformers 加载和推理
  3. 支持 qwen, deepseek 等dense,moe 模型架构
  4. 支持 sft dpo 等训练模式
  5. 引入 deepspeed fsdp 分布式训练