cs336-tutorial

[Misaki-Wang]

你是否已经阅读并同意《Datawhale开源项目指南》？

• 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

• 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

斯坦福CS336串联了当前LLM发展前沿的内容，从零开始实现一个完整的 Transformer 语言模型，涵盖从预训练数据清洗、模型搭建、训练优化到部署评估的完整流程。

立项理由

期望通过这个项目，使得更多的小伙伴能够了解到这门课程，以及能够更好的学习这门课程。基于好的知识应该得到更为广泛的传播，所以我们参与的小伙伴对于课程的整体愿景有如下几点：

1）让更多的人了解到CS336

2）更提供更低的门槛让更多的人学习这门课程

3）能在课程笔记的注解中提供更多的思考，通过笔记进行共创

项目受众

本课程面向具有扎实编程和数学基础的高年级本科生、研究生或具备工程经验的AI从业者，特别适合希望深入理解并从零实现Transformer语言模型的学习者。参与者应熟练掌握Python和PyTorch，具备线性代数、微积分、概率统计等数学基础，并已修过至少一门机器学习或深度学习课程。

项目亮点

串联了当前LLM发展前沿的内容，从零开始实现一个完整的 Transformer 语言模型，涵盖从预训练数据清洗、模型搭建、训练优化到部署评估的完整流程。

项目规划

至少包括以下内容：
1.目录（如有多级至少精确到二级）

• Overview, tokenization
• PyTorch, resource accounting
• Architectures, hyperparameters
• Mixture of experts
• GPUs
• Kernels, Triton
• Paralleism 1
• Paralleism 2
• Inference
• Scaling laws
• Evaluation
• Data 1
• Data 2
• Alignment - SFT/RLHF
• Alignment - RL 1
• Alignment - RL 2

5个Assignments

2.各章节负责人
待定，通过共创完成第一轮整合

3.各章节预估完成日期
待定

4.可预见的困难
课程难度较高

已完成内容

https://github.com/Misaki-Wang/cs336-tutorial

❗❗❗注意事项❗❗❗：为了便于我们跟你取得联系，请务必加我们的微信：at-Sm1les（备注你来自于项目立项即可），发起立项申请后DOPMC成员将会在7天内给出审核意见并评论在该Issue，若7天内无反对意见则默认立项通过，如有任何疑问或者需要帮助均可随时联系微信：at-Sm1les

• 我已知悉上述注意事项并添加了微信：at-Sm1les