---
title: orcalab-smolvla-tabletop-cleanup
canonical_url: "https://www.modelscope.cn/models/jessy888/orcalab-smolvla-tabletop-cleanup"
md_url: "https://www.modelscope.cn/models/jessy888/orcalab-smolvla-tabletop-cleanup.md"
repository: jessy888/orcalab-smolvla-tabletop-cleanup
last_updated: 2026-11-04
pipeline_tag: robotics
tasks:
  - robotics
parameters: 450.1M
tensor_type:
  - F32
  - BF16
library_name:
  - safetensors
language:
  - en
  - zh
downloads: 11
stars: 0
tags:
  - robotics
  - smolvla
  - orcalab
  - imitation-learning
  - tabletop-manipulation
---

# orcalab-smolvla-tabletop-cleanup

> orcalab-smolvla-tabletop-cleanup - jessy888 在 ModelScope 开源的模型。OrcaLab SmolVLA Tabletop Cleanup

- **Repository**: jessy888/orcalab-smolvla-tabletop-cleanup
- **Tasks**: robotics
- **Parameters**: 450.1M
- **Tags**: robotics, smolvla, orcalab, imitation-learning, tabletop-manipulation
- **Downloads**: 11
- **Stars**: 0
- **Last updated**: 2026-11-04

Source: https://www.modelscope.cn/models/jessy888/orcalab-smolvla-tabletop-cleanup

---

# OrcaLab SmolVLA Tabletop Cleanup

**用于 OrcaLab 双臂桌面整理项目的 SmolVLA 策略模型。**

本模型接收三路相机图像、机器人状态和任务文本，预测活动机械臂的目标位姿及夹爪命令。配套代码负责中文指令解析、固定路线导航、坐标标定、臂选择和仿真控制，组成从指定桌位到物品入篮的完整工作流。

- 架构：**SmolVLA**；视觉语言主干为 **SmolVLM2-500M-Video-Instruct**。
- 策略快照：**050000**；序列化张量元素数约450M，包含 BF16 与 FP32 张量。
- 数据：配套的50集、52,542帧仿真示范。
- 输入：三路 RGB 相机、机器人状态、任务文本 `pick the medbox`；输出：8维动作。

## 配套资源

- 代码、配置与运行指南：[GitHub](https://github.com/Jessy-Huang/orcalab-service-robot) · [Gitee](https://gitee.com/jessy-huang/orcalab-service-robot)
- 数据集：[Hugging Face](https://huggingface.co/datasets/Jessy-Huang/orcalab-tabletop-cleanup) · [ModelScope](https://modelscope.cn/datasets/jessy888/orcalab-tabletop-cleanup)
- 本模型镜像：[Hugging Face](https://huggingface.co/Jessy-Huang/orcalab-smolvla-tabletop-cleanup) · [ModelScope](https://modelscope.cn/models/jessy888/orcalab-smolvla-tabletop-cleanup)
- 第三方主干：[HuggingFaceTB/SmolVLM2-500M-Video-Instruct](https://huggingface.co/HuggingFaceTB/SmolVLM2-500M-Video-Instruct)

![配套项目网页控制台](assets/web-console.png)

*配套项目的网页操作界面，展示导航、相机、任务日志和数据采集入口。*

## 文件说明

```text
model.safetensors                       策略权重
config.json                            SmolVLA 策略配置
train_config.json                      训练配置记录
policy_preprocessor.json               输入预处理流程
policy_postprocessor.json              动作后处理流程
policy_preprocessor_step_5_normalizer_processor.safetensors
policy_postprocessor_step_0_unnormalizer_processor.safetensors
tokenizer/                             任务文本分词器
CHECKSUMS.sha256                        9个原始模型文件的 SHA256
```

下载时请保留整个目录。单独取得 `model.safetensors`，缺少处理器、归一化参数或 tokenizer，不能完成相同的推理流程。此仓库发布策略本身，不重复分发约1.9 GiB的外部 VLM 主干。

## 下载

### Hugging Face

```python
from huggingface_hub import snapshot_download

model_dir = snapshot_download(
    repo_id="Jessy-Huang/orcalab-smolvla-tabletop-cleanup",
    local_dir="downloads/orcalab-smolvla-tabletop-cleanup",
)
```

### ModelScope

```python
from modelscope import snapshot_download

model_dir = snapshot_download(
    "jessy888/orcalab-smolvla-tabletop-cleanup",
    local_dir="downloads/orcalab-smolvla-tabletop-cleanup",
)
```

## 在配套项目中运行

1. 获取代码仓库，准备 Windows、Python 3.12、OrcaLab/OrcaGym 26.9.1 和场景资产。
2. 下载配套数据集。推理初始化需要训练数据 Parquet 做坐标标定；当前服务入口也需要数据集 `examples/` 中的单集回放样本。
3. 单独准备本地主干 `SmolVLM2-500M-Video-Instruct`，保留该目录名。
4. 在代码仓库根目录的 `orcalab.config.json` 配置以下路径：

```json
{
  "dataset": "D:/robot-data/orcalab-tabletop-cleanup",
  "checkpoint": "D:/robot-models/orcalab-smolvla-tabletop-cleanup",
  "models_root": "D:/robot-backbones"
}
```

上述内容是需合并进现有配置的路径示例。主干实际目录应为 `D:/robot-backbones/SmolVLM2-500M-Video-Instruct/`。回放样本和 `data_root` 的对应关系见数据集说明与代码 README。

模型配置保留训练时的本机路径，配套运行器会优先用 `models_root` 下的主干重定位。请通过项目的 `scripts/train/rollout_smolvla.py`、网页或命令行入口运行，不应将此快照视为已经支持平台通用在线推理接口的模型。

## 状态、动作与预处理

实际数据与运行器提供44维状态；动作由 xyz 3维、xyzw四元数4维、夹爪命令1维组成。相机映射为 left→camera1、right→camera2、head→camera3，修改顺序会改变模型输入含义。

当前配置与 processor 的 feature 元信息仍标记 state shape=[6]，而 normalizer 为44维；策略内部按 max_state_dim=64 padding。本版本保留原配置与归一化参数，不擅自裁剪数据或改写权重。详细字段见代码仓库的数据字典。

## 训练与评测信息

随模型配置记录的参数包括 steps=50000、batch_size=8、seed=1000、resume=true，并引用010000快照。当前仓库不含该初始/续训快照、optimizer、RNG状态或完整训练日志，因此不支持从发布文件精确恢复原训练进程。

训练集没有独立验证/测试划分。本次发布不声明独立复测的成功率、真实机器人表现或未知场景泛化性能。权重文件可读取且张量无 NaN/Inf，不等于完整任务效果已验收。

## 已知限制

- 预处理配置固定为 CUDA，纯 CPU 运行仍需处理设备覆盖问题；仅设置 `--device cpu` 不保证消除 CUDA 依赖。
- 数据集部分保存的标准差与全量重算不同；与本模型一起使用时应保持原预处理对应关系，修改统计量须重新验证。
- 模型依赖固定场景、坐标桥接与控制代码，不包含通用导航、中文语言模型理解或篮子跨桌搬送策略。
- 当前代码的配置覆盖、资产安装及依赖版本还有已知问题，见[配置与兼容性记录](https://github.com/Jessy-Huang/orcalab-service-robot/blob/main/docs/CONFIG_REVIEW_20261103.md)。

## 来源、支持与许可

项目开发获得[松应科技](https://www.orca3d.cn/)的经费支持，仿真工作流基于 OrcaLab，策略实现使用 LeRobot 与第三方 SmolVLM2 主干。

代码仓库原创代码与文档采用 MIT 许可；本策略权重尚未单独指定开放许可证，代码许可不自动覆盖模型权重。LeRobot 与 SmolVLM2 的既有许可证继续有效，场景资产按各自授权使用。