---
title: DreamLite-OnnxMobile
canonical_url: "https://www.modelscope.cn/models/ZhangZes/DreamLite-OnnxMobile"
md_url: "https://www.modelscope.cn/models/ZhangZes/DreamLite-OnnxMobile.md"
repository: ZhangZes/DreamLite-OnnxMobile
chinese_name: "DreamLite 端侧生图模型 ONNX 版"
last_updated: 2026-07-26
license: apache-2.0
pipeline_tag: text-to-image-synthesis
tasks:
  - text-to-image-synthesis
library_name:
  - onnx
language:
  - en
  - zh
downloads: 4
stars: 2
tags:
  - image-generation
  - onnx
  - mobile
  - dreamlite
  - android
  - img2img
  - txt2img
---

# DreamLite-OnnxMobile

> DreamLite-OnnxMobile - ZhangZes 在 ModelScope 开源的模型。DreamLite-OnnxMobile

ZhangZes/DreamLite-OnnxMobile 是 ModelScope 魔搭社区上的text-to-image-synthesis模型，采用 apache-2.0 许可。

- **Repository**: ZhangZes/DreamLite-OnnxMobile
- **License**: apache-2.0
- **Tasks**: text-to-image-synthesis
- **Tags**: image-generation, onnx, mobile, dreamlite, android, img2img, txt2img
- **Downloads**: 4
- **Stars**: 2
- **Last updated**: 2026-07-26

Source: https://www.modelscope.cn/models/ZhangZes/DreamLite-OnnxMobile

---

# DreamLite-OnnxMobile

端侧移动端 ONNX 推理版本的 DreamLite 生图模型，针对 Android 设备优化，支持 **txt2img 文本生图** 与 **img2img 引用修改** 两种模式。

## 模型概览

| 项目 | 说明 |
| --- | --- |
| 模型名称 | DreamLite 2.0 (fp16 text_encoder + fp32 unet/vae) |
| 输出分辨率 | 1024 × 1024 |
| 去噪步数 | 4 步 |
| 推理后端 | ONNX Runtime（CPU） |
| 总大小 | 约 10.4 GB |
| 适配平台 | Android arm64-v8a（需 8GB+ RAM） |

## 文件清单

仓库采用**平铺结构**，与 App 端加载路径一致：

```
DreamLite-OnnxMobile/
├── dreamlite_config.json              # 模型配置 + required_files 声明
├── tokenizer/
│   ├── vocab.json                    # HuggingFace tokenizer 词表
│   ├── merges.txt                    # BPE merges
│   └── added_tokens.json             # 特殊 token（edit 模式必需）
├── text_encoder_generate.onnx        # txt2img 文本编码器（主图）
├── text_encoder_generate.onnx.data   # txt2img 文本编码器权重
├── text_encoder_edit.onnx            # img2img/edit 模式文本编码器
├── text_encoder_edit.onnx.data       # img2img/edit 文本编码器权重
├── vision_encoder.onnx               # edit 模式视觉塔
├── vision_encoder.onnx.data          # edit 模式视觉塔权重
├── unet.onnx                         # 核心去噪 UNet（fp16）
└── vae_decoder.onnx                  # latents → image 解码器
```

## 使用方法

### 在 CompanionChat App 中使用

该模型专为 [CompanionChat](https://github.com/zhangmask/C_AnimeCompanion) 项目设计，App 启动时会自动检测模型是否就绪，未就绪会引导到「设置 → 生图模型下载」页面。

**Android 部署路径**：
```
/data/data/com.companion.chat/files/models/image/dreamlite/
├── dreamlite_config.json
├── tokenizer/
│   └── ...
├── text_encoder_generate.onnx
├── text_encoder_generate.onnx.data
├── text_encoder_edit.onnx
├── text_encoder_edit.onnx.data
├── vision_encoder.onnx
├── vision_encoder.onnx.data
├── unet.onnx
└── vae_decoder.onnx
```

通过 `modelscope` CLI 下载：
```bash
modelscope download --model ZhangZes/DreamLite-OnnxMobile --local_dir ./dreamlite
```

下载后用 adb push 到设备：
```bash
adb push ./dreamlite/dreamlite_config.json /data/local/tmp/
adb shell "run-as com.companion.chat cp /data/local/tmp/dreamlite_config.json files/models/image/dreamlite/"
```

### txt2img 文本生图

输入文本提示词，模型生成 1024×1024 图像，4 步去噪。

### img2img 引用修改

选择已生成的图片作为参考，输入修改指令（如「变成全身照」、「穿现代服装」），模型会在保留参考图结构的基础上进行修改。

**关键实现细节**：
- 参考图 latents 存储为 `.latents.bin`（UNet 输出域，std≈0.85，未经 VAE decode 的 unscale 步骤）
- 喂给 UNet 的右侧 cond 时**不做缩放**，与 PC 参考实现 `test_mobile_models.py` 中 `src_lat = (vae_enc - 0.5) / 3.0` 同域
- UNet 输入为 `[noise | image_latents]` 的拼接，左侧噪声、右侧参考图 latents
- 4 步全流程去噪，sigmas = [1.0, 0.75, 0.5, 0.25, 0.0]

## 配置文件示例

`dreamlite_config.json`：

```json
{
  "model_name": "dreamlite-fp16",
  "runtime": "onnxruntime",
  "version": "2.0",
  "description": "DreamLite official ONNX export (fp16 text_encoder + fp32 unet/vae, 1024px)",
  "default_width": 1024,
  "default_height": 1024,
  "default_steps": 4,
  "required_files": [
    "tokenizer/vocab.json",
    "tokenizer/merges.txt",
    "text_encoder_generate.onnx",
    "text_encoder_generate.onnx.data",
    "unet.onnx",
    "vae_decoder.onnx"
  ]
}
```

> **注**：`required_files` 仅列出 txt2img 模式所需的最小集。要启用 img2img 引用修改，还需 `tokenizer/added_tokens.json`、`text_encoder_edit.onnx(.data)`、`vision_encoder.onnx(.data)`。

## 性能参考

在骁龙 8 Gen 2 设备（Android 14）上：

| 模式 | 耗时 | 内存峰值 |
| --- | --- | --- |
| txt2img | ~80 秒 | ~4 GB |
| img2img | ~95 秒 | ~4.5 GB |

## 引用

如使用本模型，请引用 DreamLite 原始工作。
