---
title: S1-Omni-Image
canonical_url: "https://www.modelscope.cn/models/ScienceOne-AI/S1-Omni-Image"
md_url: "https://www.modelscope.cn/models/ScienceOne-AI/S1-Omni-Image.md"
repository: ScienceOne-AI/S1-Omni-Image
chinese_name: S1-Omni-Image
last_updated: 2026-06-24
pipeline_tag: any-to-any
tasks:
  - any-to-any
model_type:
  - s1-omni-image-sharded
architectures:
  - S1OmniImageModel
base_model_relation: finetune
library_name:
  - safetensors
  - pytorch
frameworks:
  - Pytorch
downloads: 28
stars: 1
---

# S1-Omni-Image

> S1-Omni-Image - ScienceOne-AI 在 ModelScope 开源的模型。面向科学图像理解、生成与编辑的统一多模态模型

- **Repository**: ScienceOne-AI/S1-Omni-Image
- **Tasks**: any-to-any
- **Downloads**: 28
- **Stars**: 1
- **Last updated**: 2026-06-24

Source: https://www.modelscope.cn/models/ScienceOne-AI/S1-Omni-Image

---

<div align="center">

# S1-Omni-Image

**面向科学图像理解、生成与编辑的统一多模态模型**

[![License](https://img.shields.io/badge/License-Apache%202.0-blue.svg)](LICENSE)
[![GitHub](https://img.shields.io/badge/GitHub-Repository-blue.svg?logo=github)](https://github.com/ScienceOne-AI/S1-Omni-Image)
[![Hugging Face](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Model-yellow.svg)](https://huggingface.co/ScienceOne-AI/S1-Omni-Image)
[![ModelScope](https://img.shields.io/badge/ModelScope-Model-blue.svg)](https://modelscope.cn/models/ScienceOne-AI/S1-Omni-Image)
[![arXiv](https://img.shields.io/badge/arXiv-2606.24441-b31b1b.svg)](https://arxiv.org/abs/2606.24441)

[English](README_en.md) | 简体中文

</div>

## 📖 简介

**S1-Omni-Image** 是中国科学院 “磐石·科学基础大模型”（ScienceOne）团队研发的面向科学场景的统一多模态模型，支持 **科学图像理解、科学图像生成与科学图像编辑**。

模型基于科学多模态推理基座 [**S1-VL-32B**](https://modelscope.cn/models/ScienceOne-AI/S1-VL-32B)，采用统一的 **Think-Before-Generate** 范式：先根据用户指令和输入图像生成面向任务的推理过程、文本回答和任务专用 token，再利用推理过程的隐状态指导后续的图像生成与编辑。模型针对科研插图生成及文字渲染需求进行了系统优化，并将科学图像分割、医学图像翻译、医学图像超分辨率等任务统一到科学图像编辑任务范式。

S1-Omni-Image 在科研插图生成任务上显著优于主流开源模型，在多个科学图像编辑基准上达到领先水平，同时较好保持了 S1-VL-32B 的科学图像理解与推理能力。

<div align="center">

<img src="assets/fig-1-benchmark.png" width="100%">

</div>


## 📥 模型与数据集下载

模型权重和 SciGenEdit-10K 数据集已发布至 Hugging Face 和 ModelScope，欢迎下载和使用。

### 模型权重

| 平台 | 地址 |
| --- | --- |
| Hugging Face | [ScienceOne-AI/S1-Omni-Image](https://huggingface.co/ScienceOne-AI/S1-Omni-Image) |
| ModelScope | [ScienceOne-AI/S1-Omni-Image](https://modelscope.cn/models/ScienceOne-AI/S1-Omni-Image) |

### SciGenEdit-10K 数据集

| 平台 | 地址 |
| --- | --- |
| Hugging Face | [ScienceOne-AI/SciGenEdit-10K](https://huggingface.co/datasets/ScienceOne-AI/SciGenEdit-10K) |
| ModelScope | [ScienceOne-AI/SciGenEdit-10K](https://modelscope.cn/datasets/ScienceOne-AI/SciGenEdit-10K) |


## 🎨 案例展示

### 科学图像生成

下图展示了 S1-Omni-Image 在科学图像生成任务中的代表性能力，包括多学科、多类型、复杂文本的科研插图生成案例。

<div align="center">

<img src="assets/fig-2-intro-cases-gen.png" width="100%">

</div>

### 科学图像编辑

下图展示了 S1-Omni-Image 在科学图像编辑任务中的代表性能力，包括科学插图编辑、科学图像分割、医学图像翻译和医学图像超分辨率等任务案例。

<div align="center">

<img src="assets/fig-3-intro-cases-edit.png" width="100%">

</div>

## 🧠 模型架构

S1-Omni-Image 的整体架构如下图所示。模型使用 S1-VL-32B 作为科学多模态推理基座，负责理解用户指令、输入图像和科学上下文，并生成显式推理过程、文本回答和任务专属 token。图像生成与编辑模块采用 MMDiT，并基于 Qwen-Image-Edit 的 MMDiT 权重初始化。随后，模型通过 reasoning-to-diffusion 对齐层将 S1-VL-32B 的 hidden states（隐状态）映射到 MMDiT 图像生成与编辑模块的条件空间，用于驱动最终图像生成或编辑。

<div align="center">

<img src="assets/fig-4-model.png" width="100%">

</div>

对于文本回答和图像理解任务，模型直接通过 VLM 文本分支输出回答；对于图像生成和图像编辑任务，模型分别生成 `<image_gen>` 或 `<image_edit>` 任务 token，并将自回归生成内容的 hidden states 作为扩散模型条件。该设计避免了简单地把短提示词直接输入图像模型，而是利用科学推理过程为视觉生成提供更充分的语义和结构规划。


<div align="center">

<img src="assets/fig-6-training-stage.png" width="100%">

</div>

模型训练采用三阶段策略：
- 第一阶段：使用 SciGenEdit 全量数据对 S1-VL-32B 进行科学推理范式训练，使其学会生成面向科学图像任务的推理过程、文本回答和任务专属 token；
- 第二阶段：基于预训练数据训练 reasoning-to-diffusion 对齐层，将 S1-VL-32B 的 hidden states 映射到图像生成模块的条件空间；
- 第三阶段：使用 SciGenEdit 中的图像生成与编辑数据联合训练对齐层和图像生成模块，使科学推理隐状态能够稳定驱动最终图像生成与编辑。


## 🗂️ 训练数据

我们构建了 **SciGenEdit** 训练数据集，覆盖科学图像理解、科学图像生成与科学图像编辑三类任务，总规模约 **314K**。其中，图像生成数据面向科研插图、结构化示意图、复杂文字渲染和科学可视化等场景；图像编辑数据覆盖科学插图编辑、医学与地学图像分割、医学图像翻译和医学图像超分辨率等任务；图像理解数据主要用于保持模型的科学图像理解和 Thinking-with-Images 能力。

为支持社区研究，我们开源了 **SciGenEdit-10K** 子集。该子集从完整训练数据中筛选构建，覆盖主要任务类型和代表性科学场景，可用于模型能力分析、指令格式参考和后续科学图像生成编辑研究。

<div align="center">

<img src="assets/fig-5-data.png" width="100%">

</div>


## 🚀 快速开始

S1-Omni-Image 提供推理服务代码和兼容 OpenAI Chat Completion 格式的 API。完整环境配置、模型加载方式、API 参数和 Python 调用示例请参考 GitHub 仓库：

[ScienceOne-AI/S1-Omni-Image](https://github.com/ScienceOne-AI/S1-Omni-Image)

```bash
git clone https://github.com/ScienceOne-AI/S1-Omni-Image.git
cd S1-Omni-Image
pip install -e ".[server]"
```

下载模型权重后，可将完整的 `S1-Omni-Image/` 权重目录放置在本地任意路径，并启动服务：

```bash
s1-omni-image-serve \
  --model /path/to/S1-Omni-Image \
  --host 0.0.0.0 \
  --port 8000
```

服务启动后，可访问 `http://localhost:8000/` 使用 Web 页面，或通过 `/v1/chat/completions` 接口进行科学图像理解、生成与编辑任务的统一调用。

## ⚠️ 局限性

尽管 S1-Omni-Image 在科学图像生成与编辑任务上进行了针对性优化，当前版本仍存在以下局限：

- **复杂文字渲染**：在长文本、密集和复杂中文场景中，仍可能出现错别字或文字模糊。
- **精细局部编辑**：复杂指令、多目标编辑和强约束局部修改仍可能出现执行不充分或区域偏移。
- **通用图像美学**：模型重点优化科学图像任务，在开放域自然图像或创意设计任务上不一定优于通用旗舰模型。
- **专业可靠性**：医学、科研等高风险场景中，模型输出应由专业人员复核，不应直接作为诊断、实验或决策依据。

## 📄 许可协议

本项目基于 Apache License 2.0 发布。模型使用时请同时遵守所依赖基础模型、数据和第三方组件的相关协议。

## 📚 引用

如果您在研究或应用中使用了 S1-Omni-Image，欢迎引用我们的工作：

```bibtex
@article{li2026s1omniimage,
  title={S1-Omni-Image: A Unified Model for Scientific Image Understanding, Generation, and Editing},
  author={Li, Qingxiao and Wang, Zikai and Wang, Qingli and Xu, Nan},
  journal={arXiv preprint arXiv:2606.24441},
  year={2026}
}
```