---
title: RoboGene_tasks
canonical_url: "https://www.modelscope.cn/datasets/X-Humanoid/RoboGene_tasks"
md_url: "https://www.modelscope.cn/datasets/X-Humanoid/RoboGene_tasks.md"
repository: X-Humanoid/RoboGene_tasks
last_updated: 2026-06-27
license: "Apache License 2.0"
storage_size: "443 GB"
downloads: 59212
stars: 0
---

# RoboGene_tasks

> RoboGene_tasks - X-Humanoid 在 ModelScope 开源的数据集。本项目开源了由 RoboGene 框架自动生成的机器人大规模指令数据集。RoboGene 是一种多样性驱动的智能体化框架，旨在解决 VLA（Vision-Language-Action）模型预训练中高质量数据稀缺的问题。该合集涵盖了极其丰富的场景与任务组合，开发者可利用其场景丰富、物品多样与涵盖复杂技能的数据特性，提升 VLA 模型在真实世界中的泛化能力与预训练效果。

X-Humanoid/RoboGene_tasks 是 ModelScope 魔搭社区上的数据集，存储大小 443 GB，采用 Apache License 2.0 许可。

- **Repository**: X-Humanoid/RoboGene_tasks
- **License**: Apache License 2.0
- **Storage size**: 443 GB
- **Downloads**: 59212
- **Stars**: 0
- **Last updated**: 2026-06-27

Source: https://www.modelscope.cn/datasets/X-Humanoid/RoboGene_tasks

---

![RoboGene](asset/teaser.png)

# RoboGene：通过多样性驱动的智能体框架提升VLA预训练

[中文](README.zh.md) | [English](README.md)

**RoboGene** 是一个智能体框架，旨在自动生成多样化、物理上可行的机械臂操作任务，用于视觉-语言-行动（VLA）模型的预训练。

## 论文

[RoboGene: Boosting VLA Pre-training via Diversity-Driven Agentic Framework for Real-World Task Generation](https://arxiv.org/abs/2602.16444)

**作者：** Yixue Zhang, Kun Wu, Zhi Gao, Zhen Zhao, Pei Ren, Zhiyuan Xu, Fei Liao, Xinhua Wang, Shichao Fan, Di Wu, Qiuxuan Feng, Meng Li, Zhengping Che, Chang Liu, Jian Tang

## 摘要

通用机器人操作的发展受到多样化、真实世界交互数据稀缺的阻碍。与视觉或语言领域的网络数据收集不同，机器人数据收集是一个需要高昂物理成本的主动过程。因此，自动化任务策划以最大化数据价值仍然是一个关键但未被充分探索的挑战。

现有的手动方法不可扩展，且偏向于常见任务，而现成的基础模型经常产生物理上不可行的指令。为了解决这些问题，我们推出了 **RoboGene**，这是一个旨在自动生成多样化、物理上可行的机械臂操作任务的智能体框架，涵盖单臂、双臂和移动机器人。

RoboGene 集成了三个核心组件：
- **多样性驱动的采样**：LFU策略实现全面的任务空间探索
- **自我反思验证**：基于仿真的物理约束执行
- **人在回路**：通过人类反馈持续改进

## 数据集概览

RoboGene数据集包含用于机器人学习研究的机械臂操作演示，分为两个主要类别：

| 类别 | 机器人类型 | 任务数 | 轨迹数 | 帧数 | 时长 |
|----------|-----------|-------|----------|--------|----------|
| **双臂** | 2x Franka Emika Panda | 150 | 2,128 | 1,087,931 | 10.07 小时 |
| **单臂** | Franka FR3 | 150 | 2,008 | 520,223 | 4.82 小时 |
| **总计** | - | **300** | **4,136** | **1,608,154** | **14.89 小时** |

## 核心特性

### 📊 18K+ 轨迹
大规模真实世界机器人演示，涵盖多样化操作任务

### 🤖 多机器人平台
- **单臂**：franka3_singleArm-gripper-6cameras_2
- **双臂**：franka3_dualArm-gripper-6cameras_2


### 🎯 300+ 操作任务
多样化任务覆盖，包括：
- 浇水植物
- 整理桌面
- 组装坩埚
- 补充货架
- 分类按钮
- 倒水
- 传递胶带
- 打开医疗盒
- 清洗生菜
- 更多任务...

### 📈 比基线高2倍性能
显著优于最先进的基础模型（如GPT-4o、Gemini 2.5 Pro）

## 数据集结构

每个任务目录遵循LeRobot格式：

```
task_name/
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet
│       ├── episode_000001.parquet
│       └── ...
├── meta/
│   ├── info.json           # 数据集元数据和模式
│   ├── tasks.jsonl         # 任务描述
│   ├── episodes.jsonl      # 轨迹元数据
│   └── episodes_stats.jsonl
└── videos/
    └── chunk-000/
        ├── observation.rgb_images.camera_front/
        ├── observation.rgb_images.camera_left/
        ├── observation.rgb_images.camera_right/
        ├── observation.rgb_images.camera_top/
        ├── observation.rgb_images.camera_wrist_left/
        └── observation.rgb_images.camera_wrist_right/
```

## 数据格式

### 相机配置（6个RGB相机）
- `camera_front`：前视图
- `camera_left`：左侧视图
- `camera_right`：右侧视图
- `camera_top`：俯视图
- `camera_wrist_left`：左腕部相机
- `camera_wrist_right`：右腕部相机（仅双臂）

### 机器人配置

**双臂：**
- 机器人：2x Franka Emika Panda
- 自由度：16（每臂8个）+ 2个夹爪自由度
- 末端执行器：14D姿态（每臂7D：位置 + 四元数）

**单臂：**
- 机器人：Franka FR3
- 自由度：8 + 夹爪
- 末端执行器：7D姿态（位置 + 四元数）

## 使用示例

```python
import pyarrow.parquet as pq

# 加载轨迹
episode_path = "data/chunk-000/episode_000000.parquet"
table = pq.read_table(episode_path)
df = table.to_pandas()

# 访问动作和观测
action = {
    'arm_joint_position': df['action.arm_joint_position'].iloc[0],
    'hand_joint_position': df['action.hand_joint_position'].iloc[0],
    'end_effector': df['action.end_effector'].iloc[0],
}

observation = {
    'state': {
        'arm_joint_position': df['observation.state.arm_joint_position'].iloc[0],
        'hand_joint_position': df['observation.state.hand_joint_position'].iloc[0],
        'end_effector': df['observation.state.end_effector'].iloc[0],
    },
    'depth_images': {
        'camera_front': df['observation.depth_images.camera_front'].iloc[0],
        # ... 其他相机
    }
}
```

## 实验结果

### 预训练效果
使用RoboGene预训练的VLA模型实现：
- 真实任务更高的成功率
- 对新场景的更好泛化
- 对环境变化更强的鲁棒性

### 零样本泛化
RoboGene在以下方面表现出改进：
- 新物体
- 光照变化
- 静态干扰物
- 背景变化
- 指令变化
- 分布内任务

## 项目链接

- **项目官网**：[https://robogene-boost-vla.github.io](https://robogene-boost-vla.github.io)
- **arXiv论文**：[https://arxiv.org/abs/2602.16444](https://arxiv.org/abs/2602.16444)

## 引用

如果您觉得这个项目有帮助，请引用：

```bibtex
@misc{zhang2026robogeneboostingvlapretraining,
      title={RoboGene: Boosting VLA Pre-training via Diversity-Driven Agentic Framework for Real-World Task Generation}, 
      author={Yixue Zhang and Kun Wu and Zhi Gao and Zhen Zhao and Pei Ren and Zhiyuan Xu and Fei Liao and Xinhua Wang and Shichao Fan and Di Wu and Qiuxuan Feng and Meng Li and Zhengping Che and Chang Liu and Jian Tang},
      year={2026},
      eprint={2602.16444},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2602.16444}, 
}
```

## 许可证

Apache License 2.0