|
| 1 | +# **Task 03:** 仿真平台实操详细介绍 |
| 2 | + |
| 3 | +从这一部分开始，你将亲手完成一次仿真环境下的数据采集与模型微调。 |
| 4 | + |
| 5 | +请按照步骤顺序操作，每一步都配有示意图。如有疑问，你可以查看相关教程👉🏻[仿真环境教程](https://developer.damo-academy.com/course/online/detail/303?key=1) |
| 6 | + |
| 7 | +仿真实操主要包含以下环节：**创建任务 → 采集数据 → 确认数据集 → 创建微调任务 → 查看训练状态 → 导出模型 → 部署服务 → 技能调试。**下面逐一说明。 |
| 8 | + |
| 9 | + |
| 10 | + |
| 11 | +## **1.** 仿真数据采集 |
| 12 | + |
| 13 | +**1.1 创建任务** |
| 14 | + |
| 15 | +首先，进入**数据采集 → 仿真数采**页面，点击“新增任务集”。在配置界面中依次填写任务集名称、描述、任务描述和任务指令，然后点击下一步。选择一个带有“空闲”标志的仿真机器人设备（可按构型筛选），创建完成后点击详情进入采集任务详情页。 |
| 16 | + |
| 17 | + |
| 18 | + |
| 19 | + |
| 20 | + |
| 21 | + |
| 22 | + |
| 23 | + |
| 24 | + |
| 25 | + |
| 26 | + |
| 27 | + |
| 28 | + |
| 29 | +**1.2 开始采集** |
| 30 | + |
| 31 | +接下来开始采集数据。在任务详情页点击“采集”按钮，等待连接仿真机器人成功。随后配置任务回合数、单回合时长和任务标签，点击确认。系统会自动打开数据采集页面，显示仿真摄像头视角、回合数、采集状态、计时器和键盘操作说明。点击右下角的“开始本回合”，计时开始，你可以使用键盘操作机械臂进行运动，关节数据会自动记录。完成任务动作后点击“结束本回合”，并在弹出的确认窗口中点击确认，即完成一个回合的录制。 |
| 32 | + |
| 33 | +如果需要重置场景道具的位置，可以点击“复位”按钮。重复上述步骤，直到所有预设的回合录制完成。录制完成后，在任务详情中会生成新的采集记录，其中包含多个回合的数据集。点击每条记录的详情，可以查看录制视频、关节角数据和对应的指令内容。 |
| 34 | + |
| 35 | + |
| 36 | + |
| 37 | + |
| 38 | + |
| 39 | + |
| 40 | + |
| 41 | + |
| 42 | + |
| 43 | + |
| 44 | + |
| 45 | + |
| 46 | + |
| 47 | + |
| 48 | + |
| 49 | +## **2. 数据集查看** |
| 50 | + |
| 51 | +完成数据采集后，需要确认数据集是否正确导入。进入**数据管理**页面，查看“我的数据集”。每一行代表一个数据集，点击“查看”可展开详情，看到每一条数据的帧率、帧数、指令等信息。再点击“详情”会打开一个小窗口，里面并排展示了采集的视频、关节角曲线图和关节角数值表格，可以在线播放查看。如果遇到浏览器视频乱码，请关闭浏览器的硬件加速功能并重启浏览器。 |
| 52 | + |
| 53 | + |
| 54 | + |
| 55 | + |
| 56 | + |
| 57 | + |
| 58 | + |
| 59 | + |
| 60 | + |
| 61 | +## 3. 模型微调 |
| 62 | + |
| 63 | +**3.1 创建模型微调任务** |
| 64 | + |
| 65 | +接下来进入模型微调环节。进入**模型调优**页面，点击“创建训练任务”（注意当前同一体验用户仅有一个训练任务可同时运行）。首先填写基本信息，目前支持 LeRobot | SO-101 机器人构型及其对应的数据集。然后在模型配置中，可以选择官方预置的模型，也可以选择你自己微调后导出的自定义模型（自动导出会在训练成功后执行，若训练失败需手动导出）。超参配置已经设置为推荐值，你也可以根据个人需求调整。选择好训练配置后，点击“开始训练”。此时可以在模型调优任务列表中看到新创建的任务，并跟踪其状态。 |
| 66 | + |
| 67 | + |
| 68 | + |
| 69 | + |
| 70 | + |
| 71 | + |
| 72 | + |
| 73 | + |
| 74 | + |
| 75 | + |
| 76 | + |
| 77 | +**3.2 查看训练状态** |
| 78 | + |
| 79 | +在任务详情页面，你可以多维度查看训练进展。详情信息页显示训练配置；资源监控页显示 CPU、GPU 和内存占用；训练指标页展示各类指标的变化趋势；时间线页呈现整体训练进度；日志页可以查看详细的输出日志；产出模型页则会在训练完成后列出最终得到的模型文件。 |
| 80 | + |
| 81 | + |
| 82 | + |
| 83 | + |
| 84 | + |
| 85 | +**3.3 导出模型结果** |
| 86 | + |
| 87 | +训练成功后，需要导出模型。在调优任务详情的“产出模型”页面，可以批量选择或单条导出模型。导出后的模型会出现在“我的模型”页面，你可以在此查看所有已导出的模型；如果误删了，可以回到产出模型页面重新导出。 |
| 88 | + |
| 89 | + |
| 90 | + |
| 91 | + |
| 92 | + |
| 93 | +## 4. 模型部署 |
| 94 | + |
| 95 | +得到模型后，下一步是部署服务。 |
| 96 | + |
| 97 | +部署任务的创建入口有两个：我的模型页面和模型部署页面。创建时填写基本信息，选择模型技能（技能名称默认与 prompt 一致，推荐使用中文以便识别），然后选择部署配置。你可以设置服务的在线时长，超时后服务会自动下线。点击“开始部署”后，在部署任务列表中可查看部署状态。 |
| 98 | + |
| 99 | +服务上线有三种方式：部署完成后自动上线；已下线的服务可点击按钮重新上线；在模型广场-我的模型中也可以手动上线。服务下线则有自动（在线时长到期）和手动（点击下线按钮或卡片右上角）两种方式。已部署且正在运行的服务可以在“模型广场 → 我的模型”下查看。 |
| 100 | + |
| 101 | + |
| 102 | + |
| 103 | + |
| 104 | + |
| 105 | + |
| 106 | + |
| 107 | + |
| 108 | + |
| 109 | + |
| 110 | + |
| 111 | +## 5. 模型调试 |
| 112 | + |
| 113 | +最后，在仿真环境中调试你的模型。进入**模型广场**，通过调试环境筛选出“仿真”可用的模型。 |
| 114 | + |
| 115 | +点击“模型调试”进入模型详情页，选择仿真环境下对应构型的设备，然后点击“调试”按钮进入仿真调试页面。点击“开始调试”，后台会加载仿真资源。等待加载完成后，你可以观察机器人执行任务的过程，可以等待任务自动完成，也可以手动结束调试。所有的执行记录都可以在页面中查看。 |
| 116 | + |
| 117 | + |
| 118 | + |
| 119 | + |
| 120 | + |
| 121 | + |
| 122 | + |
| 123 | +**6.这一节你应该真正看懂什么？** |
| 124 | + |
| 125 | +今天，你学会了如何**从零到一完成一次具身智能的开发闭环**。请记住：机器人技能并不是“模型突然就会了”，而是经过**数据采集 → 模型微调 → 部署 → 调试**这一整条链路逐步形成的。使用真实硬件本体的开发链路与仿真是完全同理的。 |
| 126 | + |
| 127 | +当你将训练好的模型部署后，可能会发现机械臂的执行效果并不理想。这往往与前期数据输入的质量有关——最终模型的训练效果高度依赖输入数据。如果把这个场景放到真机环境中，影响因素就更加复杂，例如：数据采集的数量不足、采集时光照和阴影的变化、训练参数的设置不合理等等。你需要学会反思过程中哪里出现了问题，并有针对性地重新调整数据或参数。 |
| 128 | + |
| 129 | + |
| 130 | + |
| 131 | + |
| 132 | + |
| 133 | +**7.今日任务（打卡提交）** |
| 134 | + |
| 135 | +请完成以下小任务，作为今天实操学习的成果证明： |
| 136 | + |
| 137 | +**任务**：在乐云仿真平台上完成一次 **“数据采集 → 模型微调 → 仿真调试”** 的闭环体验。 |
| 138 | +你可以选择以下两种路径之一（难度不同）： |
| 139 | + |
| 140 | +- **路径A（推荐初学者）**：使用仿真平台，完成一条数据采集即可，在仿真环境，尝试使用键盘控制机械臂完成一条数据采集。 |
| 141 | +- **路径B（挑战性）**：使用仿真平台完成一个完整的数据集采集（例如“将香蕉放到碗里”），然后使用平台预置的预训练模型进行微调，完成一次微调任务并导出模型，最后在仿真环境中调试该模型，验证其是否能够实现预期功能。 |
| 142 | + |
| 143 | +提交内容： |
| 144 | + |
| 145 | +- 一张截图：可以是一次数据采集成功的界面、训练任务成功完成的界面、导出模型的界面，或者仿真调试成功的执行画面。 |
| 146 | +- 一段 150-200 字的文字说明：用你自己的话描述今天走通的链路，至少包含以下三个要点： |
| 147 | + - 你做了哪几个关键步骤（例如：采集数据 → 微调 → 部署 → 调试） |
| 148 | + - 遇到的一个小问题（如果有）以及如何解决 |
| 149 | + - 你认为仿真平台在具身智能开发中最重要的作用是什么 |
| 150 | + |
| 151 | +提交方式：请将截图和文字说明放在一个文档中（或直接在社区打卡），标题格式为“Task04 打卡 - 你的姓名/昵称”。 |
0 commit comments