llm-preview

[KMnO4-zx]

你是否已经阅读并同意《Datawhale开源项目指南》？

• 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

• 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

理工科-大模型入门实训课程

📚 课程背景

  AI时代，大模型原理很重要，但动手实践同样重要。

立项理由

  在人工智能（AI）迅猛发展的浪潮中，大型语言模型（LLMs）已成为驱动技术创新的核心引擎，深刻改变着科研、产业和社会生活的方方面面。理解其原理是把握技术本质的基础，而动手实践能力则是将知识转化为价值的关键。当前，LLMs的应用已从简单的文本生成渗透到代码编写、数据分析、科研辅助、创意设计等众多领域，具备相关技能已成为未来人才的核心竞争力。

  理论学习与实践操作之间往往存在鸿沟。许多学习者掌握了基础概念，却在面对真实场景（如有效提示、API调用、本地部署、模型微调）时感到无从下手。本课程旨在弥合这一鸿沟，秉持"知行合一"的理念，在系统讲解核心原理的同时，强力聚焦于可落地的实践技能。通过精心设计的实验和项目，学员将不仅理解"为什么"，更能熟练掌握"怎么做"，为未来在AI领域的深造或就业打下坚实的实战基础。

项目受众

🎯 目标人群

  本课程主要面向广大理工科大学生/研究生，特别适合以下背景或目标的学习者：

专业背景

  计算机科学、软件工程、人工智能、数据科学、电子信息工程、自动化、数学、统计学以及其他对AI技术有浓厚兴趣的理工科专业学生。

知识基础

• 具备基本的编程能力（尤其是Python），能够理解并运行示例代码
• 对机器学习（ML）和深度学习（DL）有初步概念性了解（例如，知道什么是神经网络、训练、推理等）
• 对自然语言处理（NLP）有兴趣，有基础了解更佳

项目亮点

学习目标

• 希望超越理论，亲手操作前沿的大模型技术
• 渴望掌握实用技能：如何高效使用提示词（Prompt Engineering）、如何通过API集成大模型能力到应用中、如何在本地或云端部署运行模型、如何根据特定任务微调（Fine-tune）模型
• 寻求理解大模型工作原理的核心要点，知其然更知其所以然
• 有志于未来从事AI相关研究、开发、应用或希望将AI能力赋能本专业领域的学生
• 希望提升自身在AI时代的核心竞争力和实践能力

项目规划

📖 课程大纲

Chapter 1 大模型介绍与环境配置

• 什么是大模型？
• 大模型与传统NLP模型（Bert）有什么不同？
• 服务器环境配置
• 模型下载

Chapter 2 大模型使用

• API调用云端大模型
• Transformers调用本地大模型
• Vllm高效部署大模型并通过Python调用

Chapter 3 Prompt Engineering

• 基本概念科普
• 提示词技巧
• 提示词书写实例

Chapter 4 微调大模型

• 深度学习基础普及
• 什么是微调
• 高效微调的原理和意义
• 实践4B LLM Lora微调

💻 算力需求

算力配置

• 显卡：RTX 4090 24G显存/人
• 内存：16G以上

其他需求

• 操作系统：Linux服务器
• CPU：不要太低，否则处理速度太慢
• 硬盘：单个机器硬盘50G以上
• 环境：最好是有某LLM镜像的，至少需要有Pytorch 2.5.1、CUDA 12.4以上

📁 项目结构

LLM-preview/
├── notebook/
│   ├── chapter1-大模型介绍与环境配置.ipynb
│   ├── chapter2-大模型使用.ipynb
│   ├── chapter3-Prompt Engineering.ipynb
│   ├── chapter4-大模型微调.ipynb
│   └── images
├── .gitignore
├── requirements.txt
├── LICENSE
└── README.md

已完成内容

https://github.com/datawhalechina/llm-preview

❗❗❗注意事项❗❗❗：为了便于我们跟你取得联系，请务必加我们的微信：at-Sm1les（备注你来自于项目立项即可），发起立项申请后DOPMC成员将会在7天内给出审核意见并评论在该Issue，若7天内无反对意见则默认立项通过，如有任何疑问或者需要帮助均可随时联系微信：at-Sm1les

• 我已知悉上述注意事项并添加了微信：at-Sm1les