Skip to content

Commit 5831547

Browse files
committed
Merge branch 'ArcaLunar/weekly-report' of github.com:ArcaLunar/Camp into ArcaLunar/weekly-report
2 parents c6785e1 + 87e9436 commit 5831547

File tree

1 file changed

+30
-0
lines changed

1 file changed

+30
-0
lines changed
Lines changed: 30 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,30 @@
1+
### 姓名
2+
3+
徐启越
4+
5+
### 实习项目
6+
7+
FlashAttention 低精度训练算法研究与 Kernel 开发
8+
9+
### 本周工作
10+
11+
1. 搭建 CUDA Kernel + PyTorch Baseline 的统一测试框架 (ArcaLunar/kernel-bench)
12+
- 基于 PyTorch C++/CUDA Extension 设计 kernel adapter,便于后续 SageAttention / FA+FlashMask/ Sage+FlashMask 算子的统一接入和测试
13+
- 设计 metric registry,便于后续对所有算子在不同指标上进行统一测试,且易于拓展
14+
- 设计 reporter,便于导出为 csv,json 供进一步分析
15+
2. 研读 SageAttention 算法细节与实现
16+
3. 研读 FlashMask 算法细节与实现
17+
4. 基于已有 Sage Attention 和 FlashMask 实现,开发 Sage+FlashMask(尚未进行测试,ArcaLunar/sage-flashmask)
18+
19+
### 下周计划
20+
21+
1. 进一步添加 metric 支持(如速度,FLOPs 等等)
22+
2. Sage+FlashMask 算子开发
23+
3. 将 Sage+FlashMask, Sage, FA+FlashMask 接入框架进行测试
24+
4. 根据测试结果和性能分析,对算子进行优化
25+
26+
### 导师点评
27+
28+
29+
30+

0 commit comments

Comments
 (0)