Vision Capability Requests / 视觉能力需求征集

[TATP-233]

UniLab 正在收集社区对视觉能力的需求，包括 RGB、Depth、RGB-D、多相机、点云、segmentation、第三人称渲染、视觉 domain randomization、视觉 benchmark 复现等。

这里先以低门槛方式收集：不用写完整设计文档，也不用一次写对接口。只要把真实需求说清楚即可。能贴接口最好，能贴论文 / benchmark / 项目链接更好。

怎么提交

请在 Discussions 里新开一个帖子，标题建议使用：

[Vision Request] RGB-D locomotion policy input
[Vision Request] Multi-camera manipulation observation
[Vision Request] Point cloud observation for dexterous manipulation

如果你还不确定怎么写接口，也可以先用自然语言描述。维护者会在回复里一起把需求收敛成更清晰的接口。

最小模板

复制下面几项到新 Discussion 即可。前三项最重要，其他可以写“不确定”。

1. 我想做什么？（必填）

例如：我希望在四足机器人 locomotion 任务里加入前视 depth camera，让 policy 能根据地形视觉信息行动。

2. 希望 UniLab 怎么提供这个能力？（必填，粗略即可）

可以写自然语言，也可以贴 Python / YAML / obs dict。

Python 示例：

obs = {
    "proprio": proprio,
    "camera_depth": depth,  # shape: [num_envs, H, W, 1]
}

YAML 示例：

observations:
  groups:
    policy:
      - proprio
      - camera_depth

cameras:
  front_depth:
    type: depth
    width: 64
    height: 64
    attach_to: base

3. 需要哪种视觉数据？（必填）

RGB / Depth / RGB-D / Segmentation / Point Cloud / 多相机 / 第三人称渲染 / 录像 / domain randomization / 其他

4. 想复现的论文、benchmark 或项目？（可选，但很有帮助）

论文 / 项目名称：

链接：

最想复现的能力：

5. 训练还是评估需要？（可选）

训练时需要视觉输入：是 / 否 / 不确定

评估或录视频需要视觉：是 / 否 / 不确定

期望分辨率：例如 64x64、128x128、不确定

期望并行环境数：例如 1、256、4096、不确定

6. Backend 需求（可选）

MuJoCo / Motrix / 两者都要 / 暂不确定

7. 优先级（可选）

P0：现在项目被阻塞

P1：近期实验需要

P2：希望支持但不紧急

P3：长期规划

我们会怎么整理

维护者会优先看这些信息：

• 视觉数据是否要进入 policy observation。
• 大概需要什么数据类型和 shape。
• 是训练时需要，还是只在评估 / 录视频 / debug 时需要。
• 需要 MuJoCo、Motrix，还是暂时只需要其中一个。
• 是否有明确论文、benchmark 或开源项目作为目标。

用户不需要一开始就理解 UniLab 内部架构；后续实现时我们会保证需求落到 UniLab 的 env、backend、Hydra config 等 contract 上。

一个简单例子

1. 我想做什么？

我想复现视觉地形感知 locomotion，让四足机器人用机身前方 depth camera 作为 policy 输入。

2. 希望 UniLab 怎么提供这个能力？

希望 obs 里有 camera_depth：

obs["camera_depth"].shape == (num_envs, 64, 64, 1)

希望可以通过 YAML 配相机：

cameras:
  front_depth:
    type: depth
    width: 64
    height: 64
    attach_to: base

3. 需要哪种视觉数据？

Depth，最好后续支持 RGB-D。

4. 论文 / benchmark

链接：...

最想复现：视觉地形感知 + locomotion policy。

5. 训练还是评估需要？

训练需要，但可以低频更新，例如每 4 个 sim step 更新一次。

6. Backend

MuJoCo 优先，Motrix 希望后续支持。

7. 优先级

P1。

欢迎大家先把需求贴出来，不需要一开始就写成完整技术方案。