1B.md

1B: 单卡硬件与访存优化

本组解决“单张 GPU 怎么算得快”的问题，核心是理解 GPU 架构、内存层次和 Attention 访存优化。 导语： 这一组先看 03 / 04 作为主线，11 / 12 / 14 作为紧跟着的认知扩展；不需要把整组一次性全读完。

导航： 上一组 1A 数值基础与算力估算 | Part 1 导学 | 下一组 1C 多卡通信与显存共享

包含内容

• 03 GPU Architecture and Memory
• 04 Attention Memory Optimization

桥接 / 扩展

• 11 KV Cache and Memory Growth
• 12 TensorCore and Mixed Precision
• 13 Profiling and Bottleneck Analysis
• 14 FlashAttention Memory Model
• 23 TensorCore Deep Dive
• 24 SRAM Optimization Techniques
• 25 Sparse Computation and Sparse Attention

学习顺序

建议按 03 -> 04 -> 11 -> 12 -> 13 -> 14 -> 23 -> 24 -> 25 顺序学习。

面向后续部分的桥接

这一组主要帮你建立 GPU 架构、内存层次和访存优化直觉，它是进入 Part 2 后段和 Part 3 Triton 主线的共同前置。

• 如果你准备进入 Part 2，先把 11 / 12 / 14 这条线看完，再回到算法实现页。
• 如果你准备进入 Part 3，先把 03 / 04 / 11 / 12 / 14 / 23 看完，再进入 Triton 的 block、mask 和 fusion 页面。
• 如果你想理解为什么后面会强调 swizzle、tensor core、shared memory 和 memory model，这一组就是最直接的铺垫。