|
| 1 | +#### **8）2具身智能零基础入门** |
| 2 | + |
| 3 | +- 开源内容：https://github.com/datawhalechina/every-embodied |
| 4 | +- 学习指南知识库：[学习指南](https://datawhale-eai.feishu.cn/wiki/QvxQwV2Qyij1NakV9IdcjTl1nJd) |
| 5 | +- 提问部分：[问题记录和汇总](https://datawhale-eai.feishu.cn/wiki/DBSpwQysHiO9MbkA24qc4Xrxndd) |
| 6 | +- 助教请申请这个文档的编辑权限，打卡信息，优秀作业等所有内容请汇总到：[202603期1群](https://datawhale-eai.feishu.cn/wiki/UHAjw8VEjivkbRkBrI7cGZCJnFE)和[202603期2群](https://datawhale-eai.feishu.cn/wiki/DgZDwGlgyifTwLkcfSpcbZJlndb) |
| 7 | +- 课程说明： |
| 8 | + |
| 9 | +具身智能（Embodied AI）风很大，从 Mobile ALOHA 到 Pi0、OpenVLA，SOTA 模型几乎按周更新。但很多人想入局却卡在第一步： |
| 10 | + |
| 11 | +🤯 资料太碎，不知道从哪学起？ |
| 12 | + |
| 13 | +🤯 门槛太高，数学推导和物理引擎让人头秃？ |
| 14 | + |
| 15 | +🤯 跑不起来，环境配置配到怀疑人生？ |
| 16 | + |
| 17 | +别慌！这份由 Datawhale 发起、开源社区共同打磨的保姆级教程 Every-Embodied : Zero to Hero 正式开源啦！🌟 我们主打一个：基础友好、工程可复现、前沿可拓展。带你从一行 Python 代码开始，一步步给机器人装上“大脑”！🧠 |
| 18 | + |
| 19 | +本版路径在 V3 的“先通识、后分支”基础上，进一步增加**优先复现建议**和**进阶复现建议**。默认规则是：每个 Task 优先完成 1 个最稳、最经典、最容易形成打卡结果的复现；其它平台、模型和环境作为进阶选做。这样可以避免初学者同时面对 ManiSkill、GenieSim、Isaac Sim、Habitat、OpenVLA、SmolVLA、GR00T、SIM1 等多个环境时不知道从哪里开始。 |
| 20 | + |
| 21 | +后半程分为三类：**操作模型与世界模型**、**导航模型与无人机导航**、**应用实践与系统部署**。喜欢机械臂操作、抓取、VLA、ACT、Pi0、SmolVLA、OpenVLA 和世界模型的同学，可以进入操作模型与世界模型分支；喜欢导航、VLN、场景理解、无人机导航和空间任务规划的同学，可以进入导航模型与无人机导航分支；希望做开发板、遥操作、仿真工具、数据合成和多模态 demo 的同学，可以进入应用实践与系统部署分支。 |
| 22 | + |
| 23 | +- 面向人群：对具身智能感兴趣的学生、工程师、研究人员；具备 Python 基础和基础数学知识。Python 初学者 / AI 开发者：想系统转型具身智能方向；高校学生：需要做课程项目、毕设，或者想快速建立论文复现能力；硬件 / 机器人发烧友：想打通从物理机控制到 Sim2Real 部署的完整闭环。 |
| 24 | +- 课程编号：929 |
| 25 | +- 学习群个数：2个 |
| 26 | +- 学习人数：180人/群 |
| 27 | + |
| 28 | +| 角色 | 姓名 | |
| 29 | +| --- | --- | |
| 30 | +| 航路开辟者（课程设计者） | 陈可为 | |
| 31 | +| 领航员（运营助教） | | |
| 32 | +| 航海士（专业助教） | | |
| 33 | + |
| 34 | +**任务安排：** |
| 35 | + |
| 36 | +| **任务信息（每个 task 任选一个链接打卡即可）** | **天数** | **截止时间** | **评审** | **优秀作业** | |
| 37 | +| ------------------------------------------------------------ | -------- | ---------------------- | -------- | ------------ | |
| 38 | +| 04月13日正式开始 | 共20天 | | | | |
| 39 | +| Task01：具身智能基础与机器人控制，具身智能概述与发展，PID控制算法实现，机器人运动学基础，**具身导航初步（视频教程）**<br/> 对应：<br/>热门内容：春晚机器人复刻/every-embodied/blob/main/07-机器人操作、运动控制/Locomotion/01春晚舞蹈机器人复刻.md<br/>视频教程：http://xhslink.com/o/1lB9dX0Vt2t <br/>课程01-具身智能概述：<br/>该章节涵盖了具身智能概述与发展”。 [/datawhalechina/every-embodied/blob/main/01-具身智能概述/01具身智能概述.md](https://github.com/datawhalechina/ai-hardware-robotics/tree/main/01-具身智能概述)<br/>课程02-机器人基础和控制、手眼协调：<br/>该章节涵盖了“机器人基础”（运动学）和“控制”（PID算法）。<br/>/datawhalechina/every-embodied/blob/main/02-机器人基础和控制、手眼协调/01机器人空间描述与坐标变换.md <br/>/datawhalechina/every-embodied/blob/main/02-机器人基础和控制、手眼协调/补充代码教程_Cartpole三种控制算法实战/cartpole建模与控制.md<br/>**具身导航基础**（**优先完成作业**）：[Habitat Sim环境搭建及数据集介绍](https://github.com/datawhalechina/every-embodied/blob/main/08-具身导航及VLN/02仿真环境基础/habitat导航环境/habitat_sim环境搭建及数据集介绍.md)[Habitat Lab环境搭建及配置](https://github.com/datawhalechina/every-embodied/blob/main/08-具身导航及VLN/02仿真环境基础/habitat导航环境/habitat_lab环境搭建及配置.md)<br/>**视频教程：**http://xhslink.com/o/4FGHWn2YICu | 4 天 | 截止时间 04月17日03:00 | | | |
| 40 | +| **Task02：通识基础收束：视觉感知、仿真环境与训练范式入门**<br><br>Task01 已经完成具身智能概述、机器人基础控制和导航初步。本阶段继续补齐共通能力，重点理解视觉感知、深度/3D 信息、强化学习、仿真平台和具身任务训练范式，为后续分支学习做准备。<br><br>**优先复现建议：**初学者只需要在本阶段优先完成一个轻量示例，不要求同时安装多个仿真环境。建议优先完成视觉感知或基础仿真二选一。<br><br>**课程04-具身场景的计算机视觉、3D重建：**该章节涵盖机器人视觉、深度估计、SAM 和抓取注意力等基础内容。<br>[SAM和深度估计](https://github.com/datawhalechina/every-embodied/blob/main/04-具身场景的计算机视觉、3D重建/01-sam和深度估计.md)<br>[抓取注意力热图](https://github.com/datawhalechina/every-embodied/blob/main/04-具身场景的计算机视觉、3D重建/02-抓取注意力热图.md)<br><br>**课程05-具身场景的深度和强化学习：**该章节涵盖强化学习与具身决策入门。<br>[多机器人搬运家具强化学习](https://github.com/datawhalechina/every-embodied/blob/main/05-具身场景的深度和强化学习/01多机器人搬运家具强化学习.md)<br><br>**仿真工具二选一：**优先选择自己更容易安装的一项即可。<br>[ManiSkill环境仿真配置](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/02Maniskill环境仿真配置.md)<br>[GenieSim配置](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/07GenieSim配置.md)<br>**GenieSim视频教程：**http://xhslink.com/o/2tybo79bOsk<br><br>**建议打卡：**说明感知、训练、仿真三者在具身任务中的关系；或跑通一个视觉/仿真/强化学习示例。 | 4 天 | 截止时间 04月21日03:00 | | | |
| 41 | +| **Task03：分支入门：选择 1 条主分支，优先跑通 1 个经典复现**<br><br>完成 Task01 和 Task02 后，开始按兴趣分流。Task03 的重点是“先跑通一个经典任务”，不建议同时尝试多个环境。每位同学只需要选择 1 条主分支，并在该分支中优先完成 1 个推荐复现。<br><br>**分支A：操作模型与世界模型**<br>适合喜欢机械臂操作、抓取、模仿学习、VLA、ACT、Pi0、SmolVLA、OpenVLA 和世界模型的同学。<br>**优先复现建议：二选一即可。**<br>1. [OpenVLA复现（优先复现）](https://github.com/datawhalechina/every-embodied/blob/main/06-策略抓取或抓取VLA/大模型控制、VLA、VLM/02OpenVLA复现/02openvla复现.md)：经典 VLA 入门，适合想理解“视觉语言如何输出动作”的同学。<br>2. [MuJoCo复现ACT、Pi0、SmolVLA（优先复现）](https://github.com/datawhalechina/every-embodied/blob/main/06-策略抓取或抓取VLA/大模型控制、VLA、VLM/04mujoco复现ACT、Pi0、SmolVLA/README.md)：经典操作仿真入门，适合想做抓取、ACT、Pi0、SmolVLA 实操的同学。<br>**MuJoCo抓取实验视频教程：**https://www.bilibili.com/video/BV1WhxeznE61/<br>**ACT、Pi0数据采集和算法实操视频教程：**http://xhslink.com/o/8lsptSLOlex<br><br>**进阶阅读建议：**完成优先复现后再看，不作为 Task03 默认打卡要求。<br>[SmolVLA-LIBERO](https://github.com/datawhalechina/every-embodied/blob/main/06-策略抓取或抓取VLA/大模型控制、VLA、VLM/01SmolVLA-LIBERO/01SmolVLA-libero.md)<br>[LIBERO benchmark](https://github.com/datawhalechina/every-embodied/blob/main/09-具身智能数据及评估基准benchmark/01-libero.md)<br>[LeWorldModel分析解读与实验复现](https://github.com/datawhalechina/every-embodied/blob/main/17-具身世界模型/Leworldmodel分析解读与实验复现/Leworldmodel分析解读与实验复现.md)<br><br>**分支B：导航模型与无人机导航**<br>适合喜欢导航、VLN、场景理解、空间定位、路径规划、无人机导航和空中视角多模态任务的同学。<br>**优先复现建议：**优先完成 Habitat 基础链路，不要一开始就同时做 VLN 前沿和无人机。环境没有配置好的同学，先看环境搭建；已经配置好的同学，直接做基础实践。<br>[Habitat Sim环境搭建及数据集介绍](https://github.com/datawhalechina/every-embodied/blob/main/08-具身导航及VLN/02仿真环境基础/habitat导航环境/habitat_sim环境搭建及数据集介绍.md)<br>[Habitat Lab环境搭建及配置](https://github.com/datawhalechina/every-embodied/blob/main/08-具身导航及VLN/02仿真环境基础/habitat导航环境/habitat_lab环境搭建及配置.md)<br>[Habitat Sim基础实践（优先复现）](https://github.com/datawhalechina/every-embodied/blob/main/08-具身导航及VLN/02仿真环境基础/habitat导航环境/habitat_sim基础实践.md)<br>[Habitat Lab基础实践（优先复现）](https://github.com/datawhalechina/every-embodied/blob/main/08-具身导航及VLN/02仿真环境基础/habitat导航环境/habitat_lab基础实践.md)<br>**Habitat导航视频教程：**http://xhslink.com/o/4FGHWn2YICu<br><br>**进阶阅读建议：**完成 Habitat 基础后再选做。<br>[具身导航算法基本介绍](https://github.com/datawhalechina/every-embodied/blob/main/08-具身导航及VLN/01快速入门导航算法详解及实战/具身导航算法基本介绍.md)<br>[无人机多模态大模型实践](https://github.com/datawhalechina/every-embodied/blob/main/13-其他前沿项目复现/无人机大模型%2BGroundingdino实践/无人机多模态大模型.md)<br>[无人机控制教程](https://github.com/datawhalechina/every-embodied/blob/main/18-无人机专题/无人机控制教程.md)<br>[无人机规划教程](https://github.com/datawhalechina/every-embodied/blob/main/18-无人机专题/无人机规划教程.md)<br>对应仿真器下载链接(windows)：https://huggingface.co/datasets/Datawhale/house_win<br><br>**分支C：应用实践与系统部署**<br>适合希望做开发板、真实机械臂、遥操作、仿真工具、数据合成和系统集成的同学。<br>**优先复现建议：**没有硬件的同学优先选 ManiSkill 或 GenieSim；有 RDK-X5 / LeRobot 设备的同学优先做硬件链路；想做数据合成和场景工具的同学可以选 InternDataEngine。<br>[ManiSkill环境仿真配置](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/02Maniskill环境仿真配置.md)<br>[GenieSim配置](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/07GenieSim配置.md)<br>[RDK-X5超新手入门教程](https://github.com/datawhalechina/every-embodied/blob/main/03-机器人硬件、lerobot及地瓜RDK-X5开发板控制教程/01RDKX5超新手入门教程.md)<br>[RDK-X5连接LeRobot机械臂进行遥操作](https://github.com/datawhalechina/every-embodied/blob/main/03-机器人硬件、lerobot及地瓜RDK-X5开发板控制教程/03RDK-X5连接lerobot机械臂进行遥操作.md)<br>[InternDataEngine小空间功能体验教程](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/10Internverse教程/InternDataEngine_小空间功能体验教程.md)<br><br>**进阶阅读建议：**完成一个基础环境或硬件链路后再选做。<br>[Isaac Sim配置说明](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/03issac-sim配置.md)<br>[SIM1柔体仿真与数据生成](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/09SIM1柔体仿真与数据生成/01SIM1环境配置与运行.md)<br><br>**建议打卡：**选择一个主分支，说明选择原因，只提交一个优先复现任务的结果；如果已经完成优先任务，可以再补充一个进阶阅读或复现计划。 | 4 天 | 截止时间 04月25日03:00 | | | |
| 42 | +| **Task04：分支深入：沿 Task03 方向完成一次进阶复现或对比分析**<br><br>Task04 不要求换方向，也不重复 Task03 的入门任务。学习者继续沿 Task03 已选择的主分支推进，把产出从“跑通一个 demo”升级为“可复现成果”。建议从以下进阶内容中选择 1 个即可。<br><br>**分支A：操作模型与世界模型进阶**<br>适合 Task03 已经完成 OpenVLA 或 MuJoCo 操作复现的同学。Task04 不再重复 OpenVLA / MuJoCo 入门，而是转向论文、benchmark、世界模型或更完整的数据/训练理解。<br>**优先进阶建议：二选一即可。**<br>1. [RT系列论文解读与代码分析（优先复现）](https://github.com/datawhalechina/every-embodied/blob/main/06-策略抓取或抓取VLA/大模型控制、VLA、VLM/03RT系列论文解读与代码分析/01RT系列论文解读与代码分析.md)：适合把 VLA 操作模型的结构、数据格式和推理链路讲清楚。<br>2. [LeWorldModel分析解读与实验复现（优先复现）](https://github.com/datawhalechina/every-embodied/blob/main/17-具身世界模型/Leworldmodel分析解读与实验复现/Leworldmodel分析解读与实验复现.md)：适合进入世界模型方向，理解环境预测、规划和机器人操作之间的关系。<br><br>**补充进阶建议：**对 benchmark、SmolVLA、GR00T、柔体仿真或世界模型竞赛感兴趣的同学再选择。<br>[LIBERO benchmark](https://github.com/datawhalechina/every-embodied/blob/main/09-具身智能数据及评估基准benchmark/01-libero.md)<br>[SmolVLA-LIBERO](https://github.com/datawhalechina/every-embodied/blob/main/06-策略抓取或抓取VLA/大模型控制、VLA、VLM/01SmolVLA-LIBERO/01SmolVLA-libero.md)<br>[Isaac GR00T入门与微调](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/Isaac-GR00T/README.md)<br>[SIM1柔体仿真与数据生成](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/09SIM1柔体仿真与数据生成/01SIM1环境配置与运行.md)<br>[1X世界模型挑战](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/challenge竞赛/1X%20世界模型挑战.md)<br><br>**分支B：导航模型与无人机导航进阶**<br>适合 Task03 已经完成 Habitat 基础链路的同学。Task04 不再重复 Habitat 环境配置和基础实践，而是转向综合导航、VLN 前沿或无人机专题。<br>**优先进阶建议：**优先选择具身导航综合入门实践，输出任务配置、轨迹结果、失败案例和改进建议。<br>[具身导航综合入门实践（优先复现）](https://github.com/datawhalechina/every-embodied/blob/main/13-其他前沿项目复现/具身导航综合入门实践/具身导航综合入门实践.md)<br><br>**补充进阶建议：**对 VLN 前沿或空中机器人更感兴趣的同学再选择。<br>[ETPNav代码复现](https://github.com/datawhalechina/every-embodied/blob/main/08-具身导航及VLN/03前沿VLN复现/01VLNCE/02ETPNav代码复现.md)<br>**ETPNav前沿VLN导航算法复现视频教程：**http://xhslink.com/o/8t08X6dROt5<br>[无人机多模态大模型实践](https://github.com/datawhalechina/every-embodied/blob/main/13-其他前沿项目复现/无人机大模型%2BGroundingdino实践/无人机多模态大模型.md)<br>对应仿真器下载链接(windows)：https://huggingface.co/datasets/Datawhale/house_win<br>[无人机控制教程](https://github.com/datawhalechina/every-embodied/blob/main/18-无人机专题/无人机控制教程.md)<br>[无人机规划教程](https://github.com/datawhalechina/every-embodied/blob/main/18-无人机专题/无人机规划教程.md)<br><br>**分支C：应用实践与系统部署进阶**<br>适合 Task03 已经完成一个仿真环境、开发板、遥操作或数据合成链路的同学。Task04 的重点不是再换一个环境重装，而是把系统链路讲清楚。<br>**优先进阶建议：二选一即可。**<br>1. [SIM1柔体仿真与数据生成](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/09SIM1柔体仿真与数据生成/01SIM1环境配置与运行.md)：适合做数据生成、柔体仿真和复杂操作场景。<br>2. [Isaac GR00T入门与微调](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/Isaac-GR00T/README.md)：适合做模型微调、机器人基础模型和 Isaac 生态实践。<br><br>**补充进阶建议：**需要云端部署、Isaac Sim 或数据工具链的同学再选择。<br>[Isaac Sim配置说明](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/03issac-sim配置.md)<br>[阿里云部署 Isaac Lab + GR00T 完整教程](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/阿里云部署%20Isaac%20Lab%20%2B%20GR00T%20完整教程.md)<br>[InternDataEngine小空间功能体验教程](https://github.com/datawhalechina/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/10Internverse教程/InternDataEngine_小空间功能体验教程.md)<br><br>**建议打卡：**提交“同一分支深入成果”。内容包括 Task03 的延续关系、选择的进阶复现、复现/训练/部署/数据生成步骤、关键结果截图或指标、遇到的问题与解决方法，以及后续可以继续深入的方向。 | 4 天 | 截止时间 04月29日03:00 | | | |
| 43 | +| **Task05：成果整理与交叉分享**<br><br>最后阶段不建议再开新环境，而是把前面完成的通识学习和分支实践整理成可复用成果。可提交复现报告、演示视频、动图、环境搭建记录、方向综述、论文/代码解读、踩坑总结等。<br><br>**优先成果形式：**推荐提交“一个优先复现 + 一个进阶理解”的组合，而不是罗列很多没有跑通的链接。<br><br>**操作模型与世界模型方向：**可整理 OpenVLA、MuJoCo ACT/Pi0/SmolVLA、RT 系列、GR00T、LIBERO、SIM1 或 LeWorldModel 学习报告。<br><br>**导航模型与无人机导航方向：**可整理 Habitat、VLN、ETPNav、无人机导航、无人机控制/规划或无人机多模态实践复现报告。<br><br>**应用实践与系统部署方向：**可整理 ManiSkill、GenieSim、Isaac Sim、InternDataEngine、RDK-X5、LeRobot 遥操作、真实系统部署或多模态 demo 的环境配置和踩坑总结。<br><br>**建议打卡：**提交一份最终成果，说明你选择的分支、优先复现任务、进阶复现任务、遇到的问题、解决方法和后续可以继续深入的方向。 | 4 天 | 截止时间 05月03日03:00 | | | |
0 commit comments