--- title: WorldEngine canonical_url: "https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine" md_url: "https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine.md" repository: OpenDriveLab/WorldEngine last_updated: 2026-09-16 license: CC-BY-NC-SA-4.0 storage_size: "4.4 TB" downloads: 8239 stars: 3 --- # WorldEngine > WorldEngine - OpenDriveLab 在 ModelScope 开源的数据集。迈向物理AI的后训练时代 WorldEngine 是面向物理AI的后训练框架。本数据集包含算法训练、闭环仿真所需的预处理数据和模型检查点。 OpenDriveLab/WorldEngine 是 ModelScope 魔搭社区上的数据集，存储大小 4.4 TB，采用 CC-BY-NC-SA-4.0 许可。 - **Repository**: OpenDriveLab/WorldEngine - **License**: CC-BY-NC-SA-4.0 - **Storage size**: 4.4 TB - **Downloads**: 8239 - **Stars**: 3 - **Last updated**: 2026-09-16 Source: https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine ---
# **迈向物理AI的后训练时代** > **WorldEngine** 是面向物理AI的后训练框架。本数据集包含算法训练、闭环仿真所需的预处理数据和模型检查点。 [![License](https://img.shields.io/badge/License-CC--BY--NC--SA--4.0-blue.svg?style=for-the-badge)](https://creativecommons.org/licenses/by-nc-sa/4.0/) [![ModelScope](https://img.shields.io/badge/ModelScope-Dataset-orange.svg?style=for-the-badge)](https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine) [![GitHub](https://img.shields.io/badge/GitHub-Repository-black.svg?style=for-the-badge&logo=github)](https://github.com/OpenDriveLab/WorldEngine) [![Hugging Face](https://img.shields.io/badge/Hugging_Face-Dataset-ffc107.svg?style=for-the-badge&logo=huggingface)](https://huggingface.co/datasets/OpenDriveLab/WorldEngine)

> 联合项目：香港大学 OpenDriveLab、华为车BU、上海创智学院 (SII) ## 项目亮点 - **面向物理AI的后训练框架**：系统性地解决自动驾驶领域长尾安全关键数据稀缺问题。 - **数据驱动的长尾发现**：由预训练智能体自动从真实驾驶日志中识别易失败场景——无需人工设计，无需合成扰动。 - **照片级真实感交互仿真**：通过3D高斯 (3DGS) 技术，将场景重建为完全可控、实时渲染的仿真环境。 - **行为驱动的场景生成**：利用行为世界模型 (BWM) 从长尾场景中泛化合成多样化交通变体，将稀疏安全关键事件扩展为密集可学习分布。 - **基于强化学习的后训练**：在安全关键回放数据上后训练，效果相当于预训练数据增加约10倍。 - **生产规模验证**：已部署在基于80,000+小时驾驶日志训练的量产ADAS平台上，碰撞率降低高达**45.5%**，200公里路测零接管。 ## 最新动态 - **[2026/04/09]** 官方数据发布。 --- ## 📑 目录 - [项目亮点](#项目亮点) - [最新动态](#最新动态) - [数据集概览](#-数据集概览) - [下载方法](#-下载方法) - [目录结构详解](#-目录结构详解) - [基准测试](#-基准测试) - [环境变量设置](#️-环境变量设置) - [使用说明](#-使用说明) - [引用](#-引用) - [许可证](#-许可证) - [相关链接](#-相关链接) - [联系方式](#-联系方式) ## 📦 数据集概览 本数据集采用**模块化数据结构**，每个子系统（AlgEngine、SimEngine）都有其特定的数据要求，同时共享通用格式。 | 模块 | 功能 | 数据类型 | |------|------|---------| | **原始数据** | nuPlan & OpenScene 基础数据集 | 传感器数据、地图、标注 | | **AlgEngine** | 端到端模型训练与评估 | 预处理标注、ckpts、缓存 | | **SimEngine** | 闭环仿真环境 | 场景资产、配置文件 | ```bash WorldEngine/ └── data/ # 主数据目录 ├── raw/ # 原始数据集 (nuPlan, OpenScene) ├── alg_engine/ # AlgEngine 专用数据 └── sim_engine/ # SimEngine 专用数据 ``` ## 🚀 下载方法 ### 方法一：使用 ModelScope SDK 推荐使用 ModelScope SDK 进行快速下载： ``` from modelscope import MsDataset # 加载数据集 ds = MsDataset.load('OpenDriveLab/WorldEngine') ``` ### 方法二：使用 Git Clone 适用于需要完整版本控制的场景： ``` # 安装Git LFS（大文件存储） git lfs install git clone https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine.git ``` ### 方法三：使用 ModelScope CLI ``` pip install modelscope modelscope download --dataset OpenDriveLab/WorldEngine ``` --- ## 📂 目录结构详解 ### 1️⃣ 原始数据 (`data/raw/`)
点击展开完整目录结构 请下载 **nuPlan** 和 **OpenScene** 原始数据集后，通过软链接 `ln -s` 等方式，设置成如下形式： ```bash data/raw/ ├── nuplan/ # nuPlan 原始数据集 │ ├── maps/ # 高精地图（所有模块必需） │ │ ├── us-nv-las-vegas-strip/ │ │ ├── us-ma-boston/ │ │ ├── us-pa-pittsburgh-hazelwood/ │ │ └── sg-one-north/ │ ├── sensor_blobs/ # 相机图像和激光雷达 │ └── splits/ # 训练/验证/测试划分 │ └── openscene-v1.1/ # OpenScene 数据集（基于 nuPlan） ├── sensor_blobs/ │ ├── trainval/ # 训练传感器数据 │ └── test/ # 测试传感器数据 └── meta_datas/ ├── trainval/ # 训练元数据 └── test/ # 测试元数据 ```
### 2️⃣ AlgEngine 数据 (`data/alg_engine/`)
点击展开完整目录结构 用于**端到端模型训练和评估**的数据： ```bash data/alg_engine/ ├── openscene-synthetic/ # SimEngine 生成的合成数据，需自行生成 │ ├── sensor_blobs/ │ ├── meta_datas/ │ └── pdms_pkl/ │ ├── ckpts/ # 预训练模型检查点 │ ├── bevformerv2-r50-t1-base_epoch_48.pth │ ├── e2e_vadv2_50pct_ep8.pth │ ├── track_map_nuplan_r50_navtrain_100pct_bs1x8.pth │ └── track_map_nuplan_r50_navtrain_50pct_bs1x8.pth │ ├── pdms_cache/ # 预计算的 PDM 指标缓存 │ ├── pdm_8192_gt_cache_navtest.pkl │ └── pdm_8192_gt_cache_navtrain.pkl │ ├── merged_infos_navformer/ # 预处理标注 │ ├── nuplan_openscene_navtest.pkl │ └── nuplan_openscene_navtrain.pkl │ └── test_8192_kmeans.npy # K-means 聚类（用于 PDM） ```
### 3️⃣ SimEngine 数据 (`data/sim_engine/`)
点击展开完整目录结构 用于**闭环仿真**的数据： ```bash data/sim_engine/ ├── assets/ # 仿真场景资产（需解压） │ ├── navtest/ # navtest集 场景资产 │ ├── navtrain/ # navtrain集 场景资产 │ └── navtest_failures/ # navtest rare logs 场景资产 │ └── scenarios/ # SimEngine 场景配置 ├── original/ # 原始日志场景 │ ├── navtest_failures/ │ ├── navtrain_50pct_collision/ │ ├── navtrain_ep_per1/ │ ├── navtrain_failures_per1/ │ └── navtrain_hydramdp_failures/ └── augmented/ # 增强场景（来自 BWM） ├── navtrain_50pct_collision/ ├── navtrain_50pct_ep_1pct/ └── navtrain_50pct_offroad/ ``` **⚠️ 重要：场景资产解压** `assets/` 目录下的场景资产以分片压缩包形式存储，使用前需要先解压。详见`extract_datasets.sh`。 💡 **提示**： - `--strip-components=1` 参数确保解压到当前目录，避免出现 `navtest/navtest/` 的嵌套结构 - 解压后的场景资产包含 3D 高斯散点 (3DGS) 渲染所需的全部文件，每个场景大小约几百 MB
--- ## ⚙️ 环境变量设置 为了正确访问数据，请配置以下环境变量： ### 快速配置 ```bash # 添加到 ~/.bashrc 或 ~/.zshrc export WORLDENGINE_ROOT="/path/to/WorldEngine" export NUPLAN_MAPS_ROOT="${WORLDENGINE_ROOT}/data/raw/nuplan/maps" export PYTHONPATH=$WORLDENGINE_ROOT:$PYTHONPATH ``` ### 应用更改 ```bash source ~/.bashrc # 或 source ~/.zshrc ``` 💡 **提示**：将上述配置添加到 shell 配置文件后，每次打开新终端都会自动加载这些环境变量。 --- ## 📖 使用说明 ### 快速上手流程 按照以下步骤快速配置数据集： | 步骤 | 操作 | 说明 | |:----:|------|------| | **1** | 下载数据集 | 使用 ModelScope SDK 或 Git Clone | | **2** | 解压场景资产 | 解压 `data/sim_engine/assets/` 下的分片压缩包（[详见说明](#3️⃣-simengine-数据-datasim_engine)） | | **3** | 设置环境变量 | 配置 `WORLDENGINE_ROOT` 和相关路径 | | **4** | 创建符号链接 | 链接原始数据集（如需要） | | **5** | 验证安装 | 运行快速测试脚本 | ### 详细配置步骤
2. 解压场景资产（必需） SimEngine 的场景资产以分片压缩包形式存储，必须解压后才能使用： ```bash cd data/sim_engine/assets # 解压所有场景资产 for dir in navtest navtrain navtest_failures; do echo "正在处理 ${dir}..." cd ${dir} cat ${dir}.tar.gz.part* > ${dir}.tar.gz tar -xzf ${dir}.tar.gz --strip-components=1 # 避免嵌套目录 rm ${dir}.tar.gz # 可选：删除合并后的压缩包 cd .. done cd ../../.. ``` 或者手动逐个解压（[参见 SimEngine 数据部分的详细说明](#3️⃣-simengine-数据-datasim_engine)）。
4. 创建符号链接（可选） 如果您已经下载了 nuPlan 和 OpenScene 数据，可以通过符号链接的方式避免数据重复： ```bash cd WorldEngine/data/raw ln -s /path/to/nuplan nuplan ln -s /path/to/openscene-v1.1 openscene-v1.1 cd openscene-v1.1 ln -s ../nuplan/maps maps ```
### 后续步骤 完成数据集配置后，请参考主项目文档继续： - 📘 [安装指南](https://github.com/OpenDriveLab/WorldEngine/blob/main/docs/installation.md) - 🚀 [快速开始](https://github.com/OpenDriveLab/WorldEngine/blob/main/docs/quick_start.md) - 🎮 [SimEngine 使用指南](https://github.com/OpenDriveLab/WorldEngine/blob/main/docs/simengine_usage.md) - 🧠 [AlgEngine 使用指南](https://github.com/OpenDriveLab/WorldEngine/blob/main/docs/algengine_usage.md) --- ## 📝 引用 如果本项目对您的研究有所帮助，请考虑引用： ```bibtex ``` 如使用渲染资产（MTGS），请同时引用： ```bibtex @article{li2025mtgs, title={MTGS: Multi-Traversal Gaussian Splatting}, author={Li, Tianyu and Qiu, Yihang and Wu, Zhenhua and Lindstr{\"o}m, Carl and Su, Peng and Nie{\ss}ner, Matthias and Li, Hongyang}, journal={arXiv preprint arXiv:2503.12552}, year={2025} } ``` 如使用行为世界模型 (BWM)生成的场景数据，请一并引用： ```bibtex @inproceedings{zhou2025nexus, title={Decoupled Diffusion Sparks Adaptive Scene Generation}, author={Zhou, Yunsong and Ye, Naisheng and Ljungbergh, William and Li, Tianyu and Yang, Jiazhi and Yang, Zetong and Zhu, Hongzi and Petersson, Christoffer and Li, Hongyang}, booktitle={ICCV}, year={2025} } ``` ```bibtex @article{li2025optimization, title={Optimization-Guided Diffusion for Interactive Scene Generation}, author={Li, Shihao and Ye, Naisheng and Li, Tianyu and Chitta, Kashyap and An, Tuo and Su, Peng and Wang, Boyang and Liu, Haiou and Lv, Chen and Li, Hongyang}, journal={arXiv preprint arXiv:2512.07661}, year={2025} } ``` 如使用 AlgEnegine，请一并引用： ```bibtex @ARTICLE{11353028, author={Liu, Haochen and Li, Tianyu and Yang, Haohan and Chen, Li and Wang, Caojun and Guo, Ke and Tian, Haochen and Li, Hongchen and Li, Hongyang and Lv, Chen}, journal={IEEE Transactions on Pattern Analysis and Machine Intelligence}, title={Reinforced Refinement With Self-Aware Expansion for End-to-End Autonomous Driving}, year={2026}, volume={48}, number={5}, pages={5774-5792}, keywords={Adaptation models;Self-aware;Autonomous vehicles;Pipelines;Planning;Training;Reinforcement learning;Uncertainty;Data models;Safety;End-to-end autonomous driving;reinforced finetuning;imitation learning;motion planning}, doi={10.1109/TPAMI.2026.3653866}} ``` --- ## 📄 许可证 本数据集采用 **[CC-BY-NC-SA-4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/)** 许可证发布。 ### 使用须知 - ✅ **允许**：修改、分发、私人使用 - 📝 **要求**：署名、相同方式共享 - ⚠️ **限制**：禁止商业使用，需保留版权声明和许可证声明 --- ## 🔗 相关链接 | 资源 | 链接 | |:----:|:-----| | 🏠 **项目主页** | [WorldEngine GitHub](https://github.com/OpenDriveLab/WorldEngine) | | 📦 **ModelScope** | [数据集主页](https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine) | | 💬 **问题反馈** | [ModelScope Issues](https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine/feedback) | | 📖 **完整文档** | [Documentation](https://github.com/OpenDriveLab/WorldEngine/tree/main/docs) | | 🎨 **场景重建** | [MTGS Repository](https://github.com/OpenDriveLab/MTGS) | --- ## 📧 联系方式 如有任何问题或建议，欢迎通过以下方式联系我们： - 🐛 **报告问题**：[GitHub Issues](https://github.com/OpenDriveLab/WorldEngine/issues) - 📮 **数据集反馈**：[ModelScope Feedback](https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine/feedback) ---
**⭐ 如果 WorldEngine 对您有帮助，请考虑给我们一个 Star！⭐** **感谢您对 WorldEngine 项目的支持！**