---
title: ICE-VLA
canonical_url: "https://www.modelscope.cn/models/PhoenixW/ICE-VLA"
md_url: "https://www.modelscope.cn/models/PhoenixW/ICE-VLA.md"
repository: PhoenixW/ICE-VLA
chinese_name: ICE-VLA
last_updated: 2026-09-22
pipeline_tag: robotics
tasks:
  - robotics
parameters: 6.2B
tensor_type:
  - BF16
library_name:
  - safetensors
downloads: 4
stars: 2
---

# ICE-VLA

> ICE-VLA - PhoenixW 在 ModelScope 开源的模型。ICE-VLA 是面向双臂桌面操作的视觉—语言—动作后训练模型，基于 DM0.5 构建。模型融合头部与左右腕三路视觉、自然语言任务指令和双臂机器人状态，输出连续的关节与夹爪目标序列，为抓取、搬运、放置和接触操作提供动作策略。当前版本适配 Piper-X 双臂平台，支持三路 RGB 与 14 维本体状态输入，每次生成 50 步、每步 14…

- **Repository**: PhoenixW/ICE-VLA
- **Tasks**: robotics
- **Parameters**: 6.2B
- **Downloads**: 4
- **Stars**: 2
- **Last updated**: 2026-09-22

Source: https://www.modelscope.cn/models/PhoenixW/ICE-VLA

---

# ICE-VLA

<div align="center">

**面向 Piper-X 双臂桌面操作的多视角视觉-语言-动作模型**

[![ModelScope](https://img.shields.io/badge/ModelScope-ICE--VLA-624AFF)](https://modelscope.cn/models/PhoenixW/ICE-VLA)
[![Base Model](https://img.shields.io/badge/Base-DM0.5-0F766E)](https://modelscope.cn/models/Dexmal/DM05)
[![Training](https://img.shields.io/badge/Training-LoRA%20SFT-2563EB)](https://github.com/dexmal/opendm/blob/main/docs/en/dm05_so101_lora_training.md)
[![Robot](https://img.shields.io/badge/Robot-Piper--X-E11D48)](https://github.com/agilexrobotics/piper_sdk)
[![Status](https://img.shields.io/badge/Status-Research%20Preview-F59E0B)](#版本与制品状态)

</div>

ICE-VLA 基于 DM0.5 进行参数高效监督后训练，将自然语言指令、头部相机、左右腕相机和双臂本体状态映射为连续动作序列。当前版本面向 Piper-X 双臂平台，输入 3 路 RGB 与 14 维机器人状态，每次生成 50 步、每步 14 维的绝对关节与夹爪目标。

本仓库发布的是 **DM0.5 基座文件与 ICE-VLA LoRA adapter**，不是一个包含机器人驱动、相机采集和安全控制的一键式应用。真实机器人部署前，请完整阅读[部署](#部署)与[安全边界](#安全边界)。

## 导航

- [30 秒了解模型](#30-秒了解模型)
- [版本与制品状态](#版本与制品状态)
- [模型接口](#模型接口)
- [数据与后训练](#数据与后训练)
- [部署](#部署)
- [评测建议](#评测建议)
- [教程与参考资料](#教程与参考资料)
- [限制与安全](#限制与安全)

## 30 秒了解模型

| 项目 | ICE-VLA 当前实现 |
|---|---|
| 基础模型 | DM0.5；工程标识为 `DM05` |
| 后训练方式 | LoRA SFT，沿用 DM0.5 的 Flow Matching 动作训练路径 |
| 目标平台 | Piper-X 双臂；每臂 6 个关节 + 1 个夹爪通道 |
| 视觉输入 | 头部、左腕、右腕 3 路 RGB；processor 配置为 `448 x 448` |
| 状态输入 | 14 维，顺序见[动作与状态协议](#动作与状态协议) |
| 动作输出 | `[50, 14]` 绝对目标动作块 |
| 数据规模 | 600 条示范、666,002 帧；训练时间网格声明为 25 Hz |
| 数据策略 | 对右臂活跃阶段进行确定性局部起点重加权 |
| 训练状态 | 15,000 步训练已完成 |
| 当前公开 adapter | `checkpoints/lora15k-10000`，对应 10,000 步制品 |
| 当前训练范式 | 无 rollout 的监督后训练；不是 RL 或 RECAP 成果 |
| 模型页参数量 | ModelScope 元数据显示 6.2B；本项目未独立复算 |

### 核心特点

1. **全局与局部视觉协同**：头部视角观察桌面布局，左右腕视角补充末端附近细节。
2. **双臂统一动作空间**：在同一个 14 维空间内预测左右臂关节和夹爪目标。
3. **面向不均衡示范的采样策略**：提高右臂活跃阶段作为训练起点的出现频率，同时保留原始动作顺序。
4. **模型与执行系统分层**：模型预测、RTC 连续性处理、动作发送节奏和夹爪规则可分别审计。

```text
自然语言指令 + 头部 RGB + 左腕 RGB + 右腕 RGB + 14 维状态
                              |
                              v
                    DM0.5 + ICE-VLA LoRA
                              |
                              v
                    50 x 14 绝对动作目标
                              |
                              v
              RTC / 队列调度 / 限速 / 机器人驱动
```

## 版本与制品状态

训练步数、曾部署版本和当前公开制品不是同一个概念：

| 状态 | 已核验信息 | 含义 |
|---|---|---|
| 训练运行 | `15000/15000` 已完成 | 说明训练任务到达目标步数 |
| 曾核验的服务 | 加载 `lora15k_checkpoint-11000` | 说明某次服务快照使用 11,000 步检查点 |
| 当前公开仓库 | `checkpoints/lora15k-10000` | 用户当前可下载的是 10,000 步 adapter |

因此，本文不把 10k、11k 或 15k 中的任一版本称为“最优检查点”。发布正式评测时，应同时记录检查点目录、权重 SHA-256、OpenDM 提交、归一化文件和部署配置。

### 仓库内容

```text
ICE-VLA/
├── README.md
├── configuration.json
└── checkpoints/
    ├── base/
    │   ├── config.json
    │   ├── model.safetensors        # Git LFS，约 11.66 GB
    │   ├── norm_stats.json
    │   ├── processor_config.json
    │   ├── tokenizer.json
    │   └── replay.mp4               # Git LFS，约 86.84 MB
    └── lora15k-10000/
        ├── adapter_config.json
        ├── adapter_model.safetensors # Git LFS，约 648.79 MB
        ├── norm_stats.json
        ├── processor_config.json
        └── tokenizer.json
```

请使用 Git LFS 或 ModelScope SDK 下载。普通 `git clone` 在未安装 Git LFS 时只会得到指针文件，而不是完整权重。

## 能力范围

训练数据覆盖六类桌面任务：

| 任务 ID | 任务内容 |
|---|---|
| `fill_pen_holder` | 操作笔筒并将笔放入其中 |
| 充电连接（调度 ID 待核验） | 将插头插入插线板，再连接充电线 |
| `put_objects_into_basket` | 将桌面物品放入篮子 |
| `stack_and_cover_blocks` | 堆叠积木并用杯子覆盖 |
| `stack_bowls` | 叠放碗 |
| `stand_up_bottles` | 将瓶子立起 |

这些任务覆盖接近、抓取、搬运、放置、容器操作与接触操作。训练覆盖只表示模型接受过相应监督，不等同于稳定成功率，也不代表模型可执行任意自然语言指令。

## 模型接口

### 观测输入

| 输入 | 约束 |
|---|---|
| 文本 | 与训练任务分布一致的自然语言指令 |
| 图像 1 | `Head`，桌面全局视角 |
| 图像 2 | `Left wrist`，左腕局部视角 |
| 图像 3 | `Right wrist`，右腕局部视角 |
| 状态 | 14 维当前机器人状态 |
| `robot_type` | `PiperX`；用于选择匹配的归一化配置 |

相机数量、顺序和语义必须与训练配置一致。当前 processor 文件声明图像缩放到 `448 x 448`，归一化均值和标准差均为 `[0.5, 0.5, 0.5]`。

### 动作与状态协议

状态与动作向量使用相同的通道顺序：

```text
[left_joint_0 ... left_joint_5, left_gripper,
 right_joint_0 ... right_joint_5, right_gripper]
```

- 输出形状：`[50, 14]`。
- 关节：弧度制绝对目标，不是关节增量。
- 夹爪：当前 Piper-X 适配器中的归一化开度，`0` 为关闭目标，`1` 为最大开口目标。
- 时间尺度：25 Hz 是训练数据时间网格；50 步约对应 2 秒名义时间，不代表网络推理频率或硬件下发频率。
- 归一化：必须使用 adapter 目录中的 `norm_stats.json`；其默认 profile 为 `PiperX`。

## 数据与后训练

### 数据流

```text
原始示范 HDF5
    -> LeRobot v3：统一相机、状态与动作结构
    -> OpenDM JSONL：逐帧引用图像并保存连续动作
    -> 右臂活跃阶段局部起点重加权
    -> DM0.5 LoRA SFT
    -> base + adapter + processor/tokenizer + norm_stats
```

训练加载器从当前起点读取连续 50 步动作，episode 尾部不足时重复终端动作。已核验的 7 个完整 episode 中，LeRobot 与训练 JSONL 的动作逐元素一致、帧数一致且图像索引连续。

### LoRA 配置

| 参数 | 配置 |
|---|---:|
| LoRA rank | 32 |
| LoRA alpha | 16 |
| LoRA dropout | 0.0 |
| 基础学习率 | `1e-4` |
| Warmup | 1,000 步 |
| 目标训练步数 | 15,000 |
| 每卡 batch size | 8 |
| 梯度累积 | 1 |
| GPU 数 | 8 |
| 名义全局 batch size | 64 |
| 检查点间隔 | 1,000 步 |
| 动作块长度 | 50 |

adapter 不只包含语言层 LoRA。依据当前 `adapter_config.json`，动作投影、时间 MLP 和时间调制模块也作为可训练/保存模块参与制品输出。

### 右臂活跃阶段重加权

使用 25 帧窗口和关节位移 L2 阈值 `0.1 rad` 识别右臂活跃阶段，并按确定性规则添加训练起点：

| 数据分组 | 额外起点预算 |
|---|---:|
| 笔筒 | 5% |
| 叠碗 | 15% |
| 立瓶子 | 20% |

这些比例不是新增 episode 比例，也不表示动作被加速。每个选中起点至多增加一个副本；原始连续动作顺序和 600 条示范的归一化统计保持不变。该策略的实际收益仍需通过未重加权基线的同条件对照实验验证。

## 部署

> **安全提示**：以下命令先启动动作推理服务，不会自动完成碰撞检测、限位、急停或机器人侧执行。第一次接入真机时应断开动力或使用仿真/回放完成接口验证，再进行低速、有人监督的单步测试。

### 1. 环境要求

- Ubuntu 20.04 / 22.04
- NVIDIA GPU、驱动与 CUDA 兼容环境
- Python 3.10 或 OpenDM Docker 镜像
- Git LFS
- 与本模型适配版本一致的 OpenDM 代码
- Piper-X 数据注册、机器人类型与客户端控制代码

OpenDM 官方建议 1 张 GPU 用于推理。显存需求受后端、精度、图像数量和并发影响；本项目暂未发布固定硬件下的峰值显存与延迟数据。

### 2. 下载模型

```bash
git lfs install
git clone https://www.modelscope.cn/models/PhoenixW/ICE-VLA.git

export ICE_VLA_MODEL_DIR="$(pwd)/ICE-VLA"
export ICE_VLA_BASE_DIR="$ICE_VLA_MODEL_DIR/checkpoints/base"
export ICE_VLA_ADAPTER_DIR="$ICE_VLA_MODEL_DIR/checkpoints/lora15k-10000"

# 指针文件通常只有百余字节；完整权重应明显大于此值。
test "$(wc -c < "$ICE_VLA_BASE_DIR/model.safetensors")" -gt 10000000000
test "$(wc -c < "$ICE_VLA_ADAPTER_DIR/adapter_model.safetensors")" -gt 600000000
```

### 3. 安装 OpenDM

```bash
git clone https://github.com/dexmal/opendm.git
cd opendm

conda create -n opendm python=3.10 -y
conda activate opendm

pip install torch torchvision \
  --index-url https://download.pytorch.org/whl/cu128
pip install ninja packaging
MAX_JOBS=2 pip install flash-attn --no-build-isolation
pip install -e .
```

也可以按 OpenDM 官方 README 使用 `dexmal/opendm:latest` Docker 镜像，以降低 CUDA、PyTorch 与 FlashAttention 的版本冲突概率。

### 4. 修正基座路径

当前公开 adapter 的 `base_model_name_or_path` 保留了训练机器上的绝对路径 `/root/gpufree-data/checkpoints/dm05/base`。在该字段被仓库正式修复前，下载后需要改为本机基座目录：

```bash
ADAPTER_CONFIG="$ICE_VLA_ADAPTER_DIR/adapter_config.json"
cp "$ADAPTER_CONFIG" "$ADAPTER_CONFIG.bak"

python - "$ADAPTER_CONFIG" "$ICE_VLA_BASE_DIR" <<'PY'
import json
import pathlib
import sys

config_path = pathlib.Path(sys.argv[1])
base_path = str(pathlib.Path(sys.argv[2]).resolve())
config = json.loads(config_path.read_text())
config["base_model_name_or_path"] = base_path
config_path.write_text(json.dumps(config, ensure_ascii=False, indent=2) + "\n")
print(f"base_model_name_or_path -> {base_path}")
PY
```

### 5. 启动推理服务

下面使用 OpenDM 的 custom SFT 示例入口启动公开 adapter，接口规格固定为 3 路图像、14 维状态、14 维动作和 50 步动作块：

```bash
cd /path/to/opendm
conda activate opendm

script/dm05_launcher.sh \
  --exp playground/dm05_sft_demo.py \
  --task inference \
  --data-config.dataset-name demo \
  --model-config.model-name-or-path "$ICE_VLA_ADAPTER_DIR" \
  --model-config.chunk-size 50 \
  --inference-config.output-action-dim 14 \
  --inference-config.image-prompts "Head" "Left wrist" "Right wrist" \
  --inference-config.port 7891
```

这条命令适合验证公开制品能否被 OpenDM 加载并返回动作。生产部署应替换为训练时使用的 Piper-X experiment 入口和数据注册；公开模型仓库目前没有包含该文件，因此不能把示例入口视为完整的 Piper-X 驱动适配。

### 6. 请求自检

服务就绪后，可通过兼容性接口验证三路图像和 14 维状态是否能得到动作响应：

```bash
curl --fail-with-body -X POST http://127.0.0.1:7891/process_frame \
  -F 'text=put the object into the basket' \
  -F 'states=[0,0,0,0,0,0,1,0,0,0,0,0,0,1]' \
  -F 'robot_type=PiperX' \
  -F image=@/path/to/head.jpg \
  -F image=@/path/to/left_wrist.jpg \
  -F image=@/path/to/right_wrist.jpg
```

图像字段顺序必须是 `Head -> Left wrist -> Right wrist`。返回值应包含 50 组 14 维有限数值；在将结果交给机器人驱动前，还需要检查维度、NaN/Inf、关节限位、速度/加速度限制和动作时间戳。

OpenDM 新接口为 `POST /v1/infer`，使用 JSON 和 Base64 图像。新客户端应优先参考官方[推理指南](https://github.com/dexmal/opendm/blob/main/docs/en/dm05_inference.md)接入该接口；`/process_frame` 是便于本地文件自检的 legacy 兼容端点。

### 7. 真机接入顺序

```text
离线加载检查
  -> 固定图片与零状态请求
  -> 录制数据回放
  -> 断开动力的指令检查
  -> 单臂、低速、单步执行
  -> 双臂、低速、有人监督执行
  -> RTC 与连续动作队列
```

推荐的上线前检查：

- adapter、基座、processor/tokenizer 和 `norm_stats.json` 来自同一发布版本。
- `robot_type` 精确为 `PiperX`，没有回退到其他机器人的归一化 profile。
- 三个相机的语义、顺序、色彩空间和安装位姿与训练条件一致。
- 14 维状态与动作顺序完全一致；夹爪映射已经离线往返验证。
- 客户端拒绝 NaN/Inf、超限位置、超速和过期动作。
- 软件停止、物理急停、人工接管与工作空间隔离均已验证。

### 常见问题

| 现象 | 优先检查 |
|---|---|
| 权重加载时报文件损坏或格式错误 | 是否只下载了 Git LFS 指针；检查文件大小并重新执行 `git lfs pull` |
| 找不到基座模型 | `adapter_config.json` 中的 `base_model_name_or_path` 是否已改成本机绝对路径 |
| 找不到归一化 profile | 请求中的 `robot_type` 是否为 `PiperX`，adapter 目录是否包含对应 `norm_stats.json` |
| 返回维度不对 | `chunk-size=50`、`output-action-dim=14` 和 experiment 入口是否一致 |
| 动作方向或夹爪行为异常 | 状态/动作通道顺序、绝对/相对动作模式及夹爪 0/1 语义是否一致 |
| 图像相关表现异常 | 图像顺序、相机位姿、RGB/BGR、分辨率和预处理是否与训练一致 |
| 动作卡顿或包间跳变 | 区分模型输出、网络延迟、RTC 拼接、客户端队列和硬件发送节奏逐层排查 |

## 执行系统

```text
评测环境：图像与状态
    -> HTTP 推理请求
    -> DM0.5 + ICE-VLA adapter
    -> 服务端 RTC 引导 / 连续性处理
    -> 客户端动作队列与发送调度
    -> 可选任务夹爪规则
    -> Piper-X 驱动
```

已核验的执行快照采用 20 Hz 选帧网格、15 Hz 下发节奏与 20 模型步切包窗口。这些是部署系统参数，不属于权重固有属性。RTC 可以降低同步等待对动作流的影响，但不能替代碰撞检测、任务级规划或安全控制。

## 评测建议

当前没有一套公开、固定协议下的 ICE-VLA 任务成功率，因此不依据训练 loss 宣称模型已经达到稳定成功率或优于基座模型。

### 最低报告项

| 类别 | 建议报告 |
|---|---|
| 任务结果 | 每任务成功数/总次数、部分成功、超时、人工终止 |
| 操作质量 | 左右臂抓取率、放置率、滑落次数、碰撞次数 |
| 系统性能 | 推理延迟 P50/P95/P99、网络延迟、控制频率、动作丢包 |
| 版本信息 | checkpoint、SHA-256、OpenDM 提交、配置与归一化文件 |
| 执行条件 | 相机位姿、物体布局、速度限制、RTC 和夹爪规则是否开启 |

### 建议对照实验

1. 10k、11k、15k 检查点在同一任务协议下比较。
2. 有/无右臂活跃阶段重加权比较。
3. 原始模型输出与启用夹爪规则后的结果分开报告。
4. 同步执行与 RTC 异步执行分别报告成功率和延迟。
5. 标准场景与相机位姿、光照、物体材质扰动场景分开统计。

训练日志最后记录约 `train_loss=0.02257`、`fm_loss=0.01583`。这些是训练过程字段，不是验证集或实机成功率指标。

## 教程与参考资料

建议按以下顺序阅读：

| 资料 | 用途 |
|---|---|
| [OpenDM 仓库](https://github.com/dexmal/opendm) | 环境、代码结构、训练和推理入口 |
| [DM0.5 技术介绍](https://www.dexmal.com/blog/dm0.5/index_en.html) | 基座模型设计与能力背景 |
| [OpenDM 数据格式与注册](https://github.com/dexmal/opendm/blob/main/docs/en/data.md) | JSONL、图像字段、状态/动作与数据集注册 |
| [DM0.5 SFT 与验证](https://github.com/dexmal/opendm/blob/main/docs/en/dm05_finetuning.md) | 自定义机器人数据的完整 SFT 流程 |
| [SO101 LoRA 教程](https://github.com/dexmal/opendm/blob/main/docs/en/dm05_so101_lora_training.md) | LoRA 配置、训练制品与加载方式参考 |
| [DM0.5 推理指南](https://github.com/dexmal/opendm/blob/main/docs/en/dm05_inference.md) | 服务启动、`/v1/infer` API、Fast Backend 与排障 |
| [DM0.5 真机平台说明](https://github.com/dexmal/opendm/blob/main/docs/en/robot_platforms.md) | 官方支持平台的机体与相机配置参考 |
| [Piper SDK](https://github.com/agilexrobotics/piper_sdk) | Piper 机械臂控制接口；需自行完成与 ICE-VLA 动作协议的安全适配 |
| [XPolicyLab](https://github.com/XPolicyLab/XPolicyLab) | 多种操作策略的评测与集成框架参考 |

这些资料解释 DM0.5/OpenDM 与 Piper 控制栈，但不等于 ICE-VLA 已公开全部适配代码。复现实机结果仍需要训练时的 Piper-X experiment、相机采集、客户端 `deploy.py`、控制通信模块及安全配置。

## 已知数据问题

- 原始 600 条 HDF5 的真实采集时间戳未在本次审计中重新取得，不能只凭转换后的规则时间戳断言采集严格等间隔。
- 一个独立的 eval-runner HDF5 适配样本使用固定 FPS 替代真实时间间隔：`42f.hdf5` 有效跨度约 73.27 秒，转换后约 60.95 秒。该样本不属于当前 no-rollout 训练链。
- 后续加入新数据前，应先修复并验证时间对齐；不应直接复用会造成时间压缩的转换结果。

## 限制与安全

- 模型主要适用于当前 Piper-X 双臂平台和训练任务分布。未知环境、相机位姿、物体材质、尺度或光照变化都可能导致失败。
- 夹爪开度目标不构成触觉、接触检测或力反馈闭环。
- 模型可能生成碰撞、超限、回退、停顿或不连续动作；必须由独立安全层进行约束。
- RTC 连续性处理不是碰撞检测，也不是安全认证。
- 人工监控不能替代物理急停、限位和工作空间隔离。
- 当前版本没有 rollout 训练，不应描述为强化学习、RECAP 或自主失败恢复成果。
- 未经同协议对照实验，不宣称右臂重加权、夹爪规则或 RTC 一定提升成功率。

## 许可与归属

- DM0.5 基础模型及其许可归原作者；当前基座模型卡标注为 Gemma license。
- OpenDM 代码仓库标注为 Apache-2.0。
- Piper SDK、训练数据及其他依赖适用各自的许可证与使用条款。
- 当前 ICE-VLA 仓库未提供顶层 `LICENSE`，因此不要默认 adapter、数据或回放视频可被再分发或用于商业用途。发布者应补充明确的权重许可和数据来源说明。

## 引用

如在研究中使用 DM0.5，请引用其官方条目：

```bibtex
@misc{dm05,
  title  = {{DM0.5}: An Open-World Foundation Model for General-Purpose Embodied Intelligence},
  author = {{Dexmal Team}},
  month  = {July},
  year   = {2026},
  url    = {https://www.dexmal.com/blog/dm0.5/index_en.html}
}
```

使用 ICE-VLA 时，请同时引用本模型页：

```text
https://modelscope.cn/models/PhoenixW/ICE-VLA
```

---

**模型主页**：[PhoenixW/ICE-VLA](https://modelscope.cn/models/PhoenixW/ICE-VLA) · **基础模型**：[Dexmal/DM05](https://modelscope.cn/models/Dexmal/DM05) · **训练框架**：[OpenDM](https://github.com/dexmal/opendm)
