---
title: RoboMM-Syn
canonical_url: "https://www.modelscope.cn/datasets/XDUEaiLAB/RoboMM-Syn"
md_url: "https://www.modelscope.cn/datasets/XDUEaiLAB/RoboMM-Syn.md"
repository: XDUEaiLAB/RoboMM-Syn
chinese_name: "机器人多模态感知仿真数据集"
last_updated: 2025-11-24
license: "Apache License 2.0"
storage_size: "73 GB"
downloads: 39
stars: 0
---

# RoboMM-Syn

> RoboMM-Syn - XDUEaiLAB 在 ModelScope 开源的数据集。基于桃源2.0的机器人多模态感知数据集，包含RGB-D、点云数据，以及语义分割Label。

XDUEaiLAB/RoboMM-Syn 是 ModelScope 魔搭社区上的数据集，存储大小 73 GB，采用 Apache License 2.0 许可。

- **Repository**: XDUEaiLAB/RoboMM-Syn
- **License**: Apache License 2.0
- **Storage size**: 73 GB
- **Downloads**: 39
- **Stars**: 0
- **Last updated**: 2025-11-24

Source: https://www.modelscope.cn/datasets/XDUEaiLAB/RoboMM-Syn

---

## 1. 数据集简介 Overview

本数据集由西安电子科技大学具身智能实验室在 GRUtopia 2.0 仿真环境基础上构建，结合 Isaac Sim 提供的高保真物理仿真与多传感器建模能力，完成了机器人在多场景下的 **多模态感知数据采集与标注**。

数据特点：

- ✅ **多模态对齐**：每个样本包含对齐好的 RGB、深度图、点云与 2D 分割标注；
- ✅ **多场景**：覆盖 11 个具有代表性的室内场景（家庭、办公、教育、医疗等）；
- ✅ **高质量仿真**：基于 GRUtopia 2.0 与 Isaac Sim 的真实感渲染与物理仿真；
- ✅ **多任务适配**：适用于目标检测、语义/实例分割、3D 检测、多模态融合等任务。

---

## 2. 场景与机器人

### 2.1 场景类型 Scenes

当前版本覆盖 **11 个具有代表性的室内场景**，包括但不限于：

- 场景 A：客厅（Living Room）
- 场景 B：卧室（Bedroom）
- 场景 C：医院/病房（Hospital Room）
- 场景 D：公司/办公室（Office）
- 其它典型室内场景：
  - 阅览室 / 自习室
  - 幼儿园/教室
  - 居家生活场景（如餐厅、走廊等）
  - ……（更多场景详见数据集中 `scenes/` 目录说明）

各场景中包含丰富的家具、日常用品及交互式物体，总计约 **20,000+ 个实例级对象**。

### 2.2 支持的机器人平台 Robots

数据采集过程中主要使用的机器人平台：

- 🤖 **宇树 G1 人形机器人（Unitree G1）**

---

## 3. 传感器配置与模态说明

本数据集聚焦于视觉与激光雷达的多模态融合，主要包含以下传感器与数据模态：

| 传感器           | 模态                | 用途                         |
| ---------------- | ------------------- | ---------------------------- |
| Camera Sensor    | RGB 图像            | 颜色视觉信息、目标外观       |
| Camera Sensor    | 深度图（Depth）     | 场景几何结构、距离估计       |
| Ouster OS0 LiDAR | 点云（Point Cloud） | 稠密 3D 几何、结构化空间感知 |

### 3.1 RGB 图像

- 分辨率：**1280 × 720** 像素；
- 格式：`PNG` / `JPG`（以实际发布为准）；
- 色彩空间：标准 RGB，8-bit 通道。

### 3.2 深度图（Depth）

- 与 RGB 图像 **逐像素对齐**；
- 分辨率：**1280 × 720**；
- 单通道深度图（典型为 16-bit PNG 或浮点格式）

### 3.3 点云（LiDAR Point Cloud）

- 传感器：**Ouster OS0 系列128线激光雷达**；
- 每帧点云平均包含约 **300,000 个三维点**；

---

## 4. 数据集规模统计

目前数据集统计信息如下：

- 🔢 **样本数量**：共 **2000+ 组多模态样本对**（RGB-D + 点云 + 2D 分割）。
- 🏙️ **场景数量**：**11 个** 具有代表性的室内场景。
- 🧩 **实例级对象**：约 **20,000 个实例级对象**。
- 🖼️ **图像分辨率**：RGB 与深度图均为 **1280 × 720**。
- 🌐 **点云密度**：每帧点云平均约 **300,000 个点**。

---

## 5. 数据组织结构与文件格式

```text
Dataset/
├── README.md
├── data/
│   ├── rgb_images/
│   │   ├── 0.png
│   │   ├── 1.png
│   │   └──...
│   ├── depth_images/
│   │   ├── 0.png
│   │   ├── 1.png
│   │   └──...
│   ├── cloudpoints/
│   │   ├── 0.ply
│   │   ├── 1.ply
│   │   └──...
│   └── rgb_cloudpoints/
│       ├── 0.ply
│       ├── 1.ply
│       └──...
└── labels/
    └── ... 
```
## 6. 待办事项（TODO）

目前数据集在持续完善和更新，以下事项将陆续在本数据集仓库中完善和更新：

- [ ] **完善数据集的架构，按场景分类优化**  

- [ ] **完善数据格式说明文档** 

- [ ] **持续扩充数据集**