Skip to content

README.md

Latest commit

 

History

History
254 lines (176 loc) · 8.61 KB

README.md

File metadata and controls

254 lines (176 loc) · 8.61 KB
Raw

🤖 NVIDIA Isaac GR00T

📋 目录

📖 简介

NVIDIA Isaac GR00T（Generalist Robot 00 Technology）是NVIDIA推出的专为人形机器人设计的通用基础模型和开发平台。作为一个研究计划和开发平台，GR00T旨在加速人形机器人的研究和开发，使机器人能够理解自然语言指令并通过观察人类动作来模仿动作，从而快速学习协调性、灵巧性和其他技能。

GR00T是迈向通用人工智能机器人（Artificial General Robotics）的重要一步，它结合了多模态感知、推理和控制能力，使机器人能够在真实世界中导航、适应和交互。

🔧 技术架构

Isaac GR00T的核心技术架构包括以下几个关键组件：

1. 双系统认知架构

GR00T采用了受人类认知原理启发的双系统架构：

  • 系统1（快思考）：类似于人类反射或直觉的快速思考动作模型，负责将计划转化为精确、连续的机器人动作。
  • 系统2（慢思考）：用于深思熟虑、有条不紊的决策制定，可以推理环境和接收到的指令，从而规划行动。

2. 多模态输入处理

GR00T能够处理多种模态的输入，包括：

  • 自然语言指令
  • 视觉信息（图像和视频）
  • 传感器数据

3. 仿真与数据生成框架

  • NVIDIA Omniverse平台：用于生成合成数据
  • Isaac GR00T Blueprint：用于合成数据生成的蓝图
  • Newton物理引擎：与Google DeepMind和Disney Research合作开发的用于机器人开发的开源物理引擎

4. 硬件支持

  • Jetson AGX Thor：专为人形机器人设计的新型计算平台，基于NVIDIA Thor系统芯片(SoC)
  • 具有基于NVIDIA Blackwell架构的下一代GPU，集成了变换器引擎，可提供800 teraflops的8位浮点AI性能

💡 GR00T N1模型

Isaac GR00T N1是世界上第一个开放的、完全可定制的人形机器人基础模型，用于通用人形机器人推理和技能。N1模型具有以下特点：

主要特性

  • 跨实体适应：可以适应不同类型的机器人实体
  • 多模态输入：包括语言和图像
  • 通用操作能力：能够在多样化环境中执行操作任务
  • 可定制性：开发者和研究人员可以使用真实或合成数据对GR00T N1进行后期训练，以适应特定的人形机器人或任务

训练数据

GR00T N1在大量人形数据集上进行训练，该数据集包括：

  • 真实捕获数据
  • 使用NVIDIA Isaac GR00T Blueprint组件生成的合成数据
  • 互联网规模的视频数据

技能与能力

GR00T N1可以轻松地泛化处理常见任务，如：

  • 抓取物体
  • 用一只或两只手臂移动物体
  • 将物品从一只手臂转移到另一只手臂
  • 执行需要长上下文和通用技能组合的多步骤任务

这些能力可以应用于多种场景，如物料处理、包装和检查等。

🌟 应用场景

Isaac GR00T可应用于多种行业和场景，包括：

工业应用

  • 物料处理：仓库、工厂和物流中心的物料搬运和分拣
  • 包装：自动化产品包装流程
  • 质量检测：产品缺陷检测和质量控制

服务应用

  • 家务助手：家庭环境中的整理、清洁等任务
  • 零售服务：商店中的货架整理和客户服务
  • 医疗辅助：简单医疗任务和患者护理辅助

研究与开发

  • 机器人学习研究：为研究人员提供先进的人形机器人平台
  • 人机交互研究：研究更自然、直观的人机交互方式
  • 多模态AI研究：探索视觉、语言和动作的协同处理

📥 安装与配置

要开始使用Isaac GR00T，请按照以下步骤操作：

系统要求

  • 硬件：
    • NVIDIA GPU：推荐RTX 3090及以上
    • 内存：至少32GB RAM
    • 存储：50GB+可用空间（SSD推荐）
  • 软件：
    • Ubuntu 20.04/22.04 LTS或Windows 10/11
    • CUDA 12.0+
    • Python 3.8+

获取GR00T N1模型

  1. 访问Hugging Face下载GR00T N1 2B模型

    git lfs install
git clone https://huggingface.co/nvidia/isaac-gr00t-n1-2b

  2. 或者使用Hugging Face API：

    from huggingface_hub import snapshot_download

snapshot_download(repo_id="nvidia/isaac-gr00t-n1-2b", local_dir="./isaac-gr00t-n1-2b")

安装依赖

  1. 创建一个虚拟环境：

    conda create -n isaac-groot python=3.9
conda activate isaac-groot

  2. 安装必要的依赖：

    pip install torch torchvision torchaudio
pip install omniverse-isaac-sim
pip install transformers accelerate safetensors

🚀 使用教程

基本使用流程

  1. 导入模型：

    from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "./isaac-gr00t-n1-2b"
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_path)

  2. 使用模型进行推理：

    # 示例：接收一个包含图像和文本的输入
inputs = tokenizer("Pick up the red cube and place it in the blue bin", return_tensors="pt").to(model.device)

# 生成操作序列
outputs = model.generate(
    inputs.input_ids,
    max_length=200,
    temperature=0.7,
    top_p=0.9,
)

# 解码输出
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

  3. 与Isaac Sim集成：

    # 假设已经在Isaac Sim中设置了场景和机器人
from omni.isaac.core import World

# 创建模拟世界
world = World()

# 加载模型生成的动作序列
# ...

# 应用到机器人
# ...

# 运行模拟
world.play()

针对特定任务微调

  1. 准备训练数据：收集或生成适合特定任务的训练数据

  2. 设置微调过程：

    from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./results",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=5e-5,
    num_train_epochs=3,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=your_dataset,
)

trainer.train()

  3. 保存微调后的模型：

    model.save_pretrained("./my_tuned_gr00t_model")
tokenizer.save_pretrained("./my_tuned_gr00t_model")

❓ 常见问题

1. GR00T与其他机器人模型有什么不同？

GR00T是一个通用的机器人基础模型，而不是针对特定任务优化的专用模型。它采用了双系统架构，结合了快速系统（直觉）和慢速系统（推理），类似于人类的认知过程。此外，GR00T设计为可以跨不同的机器人平台工作，而不仅限于特定的硬件。

2. 我需要什么样的硬件来运行GR00T？

运行完整版GR00T需要强大的GPU支持。对于完整的推理和训练，推荐使用NVIDIA RTX 3090或更高级的GPU。对于轻量级应用，可以使用云服务或NVIDIA Jetson平台。专为人形机器人设计的Jetson AGX Thor是运行GR00T的理想硬件。

3. 如何获取训练GR00T的数据？

NVIDIA已经发布了GR00T N1数据集作为更大的开源物理AI数据集的一部分，可以从Hugging Face和GitHub下载。此外，NVIDIA Isaac GR00T Blueprint提供了一个用于合成操作动作生成的框架，可帮助生成自己的训练数据。

4. GR00T可以与哪些机器人一起使用？

GR00T设计用于与各种人形机器人配合使用，包括来自1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Figure AI等公司的机器人。由于其通用性，GR00T可以适应不同的机器人形态，通过适当的后期训练。

📚 资源与参考

本指南提供了NVIDIA Isaac GR00T的基本介绍和使用方法。随着技术的不断更新和改进，建议定期查看NVIDIA官方文档以获取最新信息。