Skip to content

06组队学习路径v6.md

Latest commit

 

History

History
180 lines (123 loc) · 18.3 KB

06组队学习路径v6.md

File metadata and controls

180 lines (123 loc) · 18.3 KB
Raw

9）具身智能零基础入门 v6

本版路径面向新一期 20 天组队学习。v5 之后仓库新增了很多内容，如果继续按“VLA / 视觉 / CAD / 仿真 / 硬件 / 世界模型”散开列，初学者很容易不知道第一步该做什么。v6 重新按具身智能系统的四个核心能力组织：

方向 解决的问题 适合人群
操作控制 机器人怎么动、怎么抓、怎么执行动作策略 想做机械臂、ACT、Pi0、SmolVLA、OpenVLA、LeRobot、真实控制的同学
感知建图 机器人怎么看、怎么定位目标、怎么理解 3D 场景和资产 想做 SAM、Locate Anything、LingBot-Map、3D/CAD、场景重建的同学
导航规划 机器人怎么在环境中移动、规划路线、完成 VLN 或无人机任务 想做 Habitat、ETPNav、VLN、无人机控制和路径规划的同学
世界模型 机器人如何预测未来、合成数据、在想象中评估策略 想做 LeWM、RISE、RAW-Dream、WoG、WALL-WM、RoboDream 的同学

这四个方向不是互斥的。一个完整机器人系统最终会同时用到操作、感知、规划和世界模型。但组队学习阶段建议先选一个主方向，跑通一条清楚的链路。

课程信息

  • 面向人群：对具身智能感兴趣的学生、工程师、研究人员；建议具备 Python 基础和基本命令行经验。
  • 学习周期：20 天，分 5 个 Task，每个 Task 4 天。
  • 时间安排：Task01 截止时间为 07月17日03:00，后续 Task 按 4 天节奏顺延。
  • 最低完成目标：完成 Task01，并在 Task02 到 Task04 中沿一个方向完成至少一个优先任务。
  • 推荐完成目标：完成一个优先复现、一个进阶复盘，并在 Task05 输出一份可复用报告。
角色 姓名
航路开辟者（课程设计者） 陈可为、李昀迪、张天一
领航员（运营助教） 以当期公告为准
航海士（专业助教） 以当期公告为准

怎么选方向

如果还没有明确方向，可以按下面的判断直接选：

你更想做什么 建议方向 第一份作业
让机械臂抓杯子、移动物体、跑 ACT / VLA 操作控制 MuJoCo ACT/Pi0/SmolVLA 或 OpenVLA
让机器人看懂目标、估计深度、重建场景、生成 3D 模型 感知建图 SAM/深度估计、Locate Anything 或 Build123d
让机器人/无人机在房间、地图、路径中移动 导航规划 Habitat Sim/Lab 或 ETPNav
想读最近很热的机器人世界模型论文 世界模型 VAE/DDPM 基础、LeWM 或 RoboDream/RAW-Dream 导读

没有硬件和高性能 GPU 的同学，优先选 感知建图 或 导航规划；有机械臂、RDK-X5、LeRobot 或 MuJoCo 经验的同学，优先选 操作控制；想做论文阅读和方法拆解的同学，优先选 世界模型。

总体打卡规则

每个 Task 只需要提交一个方向的一份作业。不要把所有链接都跑一遍。

  1. 优先复现：提交截图、日志、视频、结果图或简短复现报告。
  2. 阅读导读：提交方法拆解，说明任务定义、输入输出、核心模块和边界。
  3. 环境诊断：如果没有跑通，提交系统版本、GPU/CPU、Python/Conda 环境、报错位置和下一步排查方案。
  4. 最终报告：不要堆链接，重点讲清楚你选的链路、完成证据、失败点和下一步。

任务安排

任务 天数 截止时间 目标 推荐作业
Task01：共同基础与方向选择 4 天 07月17日03:00 建立具身智能整体框架，确定后续主方向 跑通 项目快速入门，或阅读 具身智能概述、机器人空间描述与坐标变换，提交“我选择哪个方向，为什么”
Task02：方向入门 4 天 07月21日03:00 在所选方向完成最小可验证任务 操作控制、感知建图、导航规划、世界模型四选一，见下方 Task02 说明
Task03：方向实践 4 天 07月25日03:00 跑通或精读一个主线任务，形成可展示结果 沿 Task02 的方向继续做，不建议临时换方向
Task04：进阶复盘 4 天 07月29日03:00 做一次更深入的复现、论文拆解或对比分析 重点回答“这个方法证明了什么，没有证明什么”
Task05：成果整理与交叉分享 4 天 08月02日03:00 输出最终报告、演示视频、复现笔记或方向综述 提交一份完整成果，方便下一期同学复用

Task02：方向入门

Task02 的目标不是做大项目，而是让每位同学在一个方向上完成第一份可交付结果。

方向 优先任务 交付建议
操作控制 MuJoCo 复现 ACT、Pi0、SmolVLA 或 OpenVLA 复现 提交环境启动截图、一次推理/训练 smoke test，或说明 VLA 输入输出链路
感知建图 SAM 和深度估计、Locate Anything 视觉语言定位 或 Build123d 代码建模入门 提交分割/定位结果图、深度结果，或一个导出的 3D 模型
导航规划 Habitat Sim 基础实践 或 Habitat Lab 基础实践 提交导航环境启动截图、观测图、轨迹或配置说明
世界模型 VAE 详解、DDPM 详解 或 LeWorldModel 分析解读 提交一页方法笔记，说明世界模型在预测什么、输入输出是什么

Task03：方向实践

Task03 开始进入更完整的复现或方法阅读。仍然只选一个方向。

操作控制

优先选择：

交付重点是把“观测 -> 模型/策略 -> 动作 -> 执行或评估”的链路讲清楚。真实硬件任务可以提交遥操作照片、视频或数据采集记录；仿真任务可以提交训练/推理截图和失败案例。

感知建图

优先选择：

交付重点是说明输入是什么、模型或工具做了什么、输出如何服务机器人。CAD 方向要写清楚真实链路：自然语言或参考图并不会直接变成 CAD，通常是先生成参数化源码，再由 CAD runtime 导出 PNG/GIF/STEP/STL/3MF。

导航规划

优先选择：

交付重点是说清楚地图、观测、目标、路径和动作之间的关系。导航任务不只看是否到达终点，也要记录失败原因，例如定位漂移、观察不足、路径绕行或语言目标不明确。

世界模型

优先选择：

交付重点是判断它属于哪种世界模型：预测 latent、预测视频、做 imagined RL、增强 VLA，还是合成示教数据。世界模型方向不强制复现实验，方法边界讲清楚就是有效作业。

Task04：进阶复盘

Task04 用来做一次对比或深入拆解。下面给出每个方向的推荐题目。

方向 推荐进阶题 交付建议
操作控制 DiT4DiT-LIBERO、EventVLA、WALL-OSS、WALL-X 对比经典 VLA 与新 VLA：动作表示、记忆、工程框架、开源边界
感知建图 Locate Anything vs YOLO、LingBot-Map 流式建图、ForgeCAD 3D 打印机/键盘/灵巧手案例 提交一组输入输出图，解释每个中间结果的意义
导航规划 Habitat 基础任务 vs ETPNav，或 无人机控制 / 无人机规划 链路 提交轨迹、配置、成功/失败案例和规划模块拆解
世界模型 RAW-Dream、WoG、WALL-WM、RoboDream 对比“可 rollout 世界模型”“条件空间世界模型”“事件级世界动作模型”“数据合成世界模型”

如果有算力或硬件条件，可以选择这些进阶实践：

Task05：成果整理与交叉分享

最后阶段不建议再开新环境。把前面完成的内容整理成可复用成果即可。

推荐报告结构：

  1. 我选择的方向：操作控制 / 感知建图 / 导航规划 / 世界模型。
  2. 我完成的优先任务：运行了什么，读了什么，结果是什么。
  3. 关键证据：截图、日志、视频、生成图、轨迹、3D 模型或表格。
  4. 方法理解：输入、输出、核心模块、评价指标和失败边界。
  5. 踩坑记录：环境、依赖、显存、数据、路径、硬件或论文理解上的问题。
  6. 给下一期同学的建议：先做什么，后做什么，哪些内容可以选做。

四条路线示例

路线 A：操作控制

Task01 跑通项目最小 demo；Task02 选择 MuJoCo 或 OpenVLA；Task03 完成 ACT/Pi0/SmolVLA 或 OpenVLA 复现；Task04 阅读 DiT4DiT、EventVLA 或 WALL-OSS；Task05 输出一份“VLA/操作策略复盘”。

路线 B：感知建图

Task01 理解具身系统结构；Task02 做 SAM/深度估计或 Locate Anything；Task03 做 LingBot-Map 或 ForgeCAD；Task04 做 Locate Anything vs YOLO、Text-to-CAD 或 3D 模型案例；Task05 输出一份“机器人如何看懂场景并形成 3D 资产”的报告。

路线 C：导航规划

Task01 理解机器人系统和坐标变换；Task02 跑 Habitat Sim/Lab；Task03 做 ETPNav 或无人机多模态导航；Task04 分析 Habitat/ETPNav、无人机控制 或 无人机规划 中的路径规划、语言目标和失败轨迹；Task05 输出一份“导航系统从观测到动作”的复盘。

路线 D：世界模型

Task01 理解世界模型和 VLA 的区别；Task02 学 VAE/DDPM 或 LeWM；Task03 读 RISE 或 RoboDream；Task04 对比 RAW-Dream、WoG、WALL-WM；Task05 输出一份“世界模型到底在预测什么、怎么服务机器人”的报告。

内容索引

方向 推荐入口
操作控制 MuJoCo ACT/Pi0/SmolVLA、OpenVLA、DiT4DiT-LIBERO、EventVLA、WALL-OSS、WALL-X
感知建图 SAM 和深度估计、Locate Anything、LingBot-Map、Build123d、Text-to-CAD、ForgeCAD
导航规划 Habitat Sim、Habitat Lab、ETPNav、无人机多模态大模型、无人机控制、无人机规划
世界模型 VAE、DDPM、LeWM、RISE、RAW-Dream、WoG、WALL-WM、RoboDream