---
title: SceneVTG
canonical_url: "https://www.modelscope.cn/models/Kpillow/SceneVTG"
md_url: "https://www.modelscope.cn/models/Kpillow/SceneVTG.md"
repository: Kpillow/SceneVTG
chinese_name: "SceneVTG自然场景视觉文本图像生成模型"
last_updated: 2024-09-20
license: "Apache License 2.0"
pipeline_tag: text-to-image-synthesis
tasks:
  - text-to-image-synthesis
library_name:
  - pytorch
frameworks:
  - Pytorch
domain:
  - multi-modal
downloads: 210
stars: 2
tags:
  - "visual text generation"
  - "conditional diffusion models"
  - "multi-modal large language models"
---

# SceneVTG

> SceneVTG - Kpillow 在 ModelScope 开源的模型。[ECCV 2024] Visual Text Generation in the Wild.

Kpillow/SceneVTG 是 ModelScope 魔搭社区上的text-to-image-synthesis模型，采用 Apache License 2.0 许可。

- **Repository**: Kpillow/SceneVTG
- **License**: Apache License 2.0
- **Tasks**: text-to-image-synthesis
- **Tags**: visual text generation, conditional diffusion models, multi-modal large language models
- **Downloads**: 210
- **Stars**: 2
- **Last updated**: 2024-09-20

Source: https://www.modelscope.cn/models/Kpillow/SceneVTG

---

# SceneVTG自然场景视觉文本图像生成

在视觉文本相关领域，自然场景文本图像是最具挑战的研究目标之一。然而，获取足够真实的自然场景文本图像是十分困难的。其中，有三个重要的方面需要考虑，分别是保真性（fidelity）、合理性（Reasonability）和可用性（Utility）。现有的自然场景文本图像生成方法主要分为传统的基于渲染的方法（Rendering-based）和基于扩散模型的方法（Diffusion-based），它们在这三个方面上都存在或多或少的缺陷。因此，我们将高质量的自然场景文本图像生成拆解为两步，提出了一种两阶段的生成方法SceneVTG，在一阶段采用多模态大模型（MLLMs）获得文本的合理位置和内容，在第二阶段在局部应用条件扩散模型（CDMs）渲染高质量的文本。此外，我们还构建了数据集SceneVTG-Erase，包含155K的自然场景文本图像及擦除对，希望对此领域的相关研究带来更多的帮助。

代码链接：https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/AIGC/SceneVTG

论文链接：https://arxiv.org/abs/2407.14138

数据集链接：https://modelscope.cn/datasets/Kpillow/SceneVTG-Erase

![introduction](description/introduction.jpg)

## 模型介绍

SceneVTG分为两个阶段：文本区域和内容生成器（TRCG）和局部视觉文本渲染器（LVTR）。

### 文本区域和内容生成器（TRCG）

多模态大模型在视觉推理中展示出强大的能力，我们微调多模态大模型，使其注重于预测文本的合理位置和内容的任务。具体地，我们将此任务分为两步，第一步预测文本的合理中心点和内容，第二步再根据中心点和内容确定框的大小。两步的设计符合大语言模型CoT的思想并可以输出更加准确的框。此外，为了更好的模拟真实场景，TRCG可以基于贝塞尔曲线生成曲线文本框。

![trcg](description/trcg.jpg)

### 文本区域和内容生成器（TRCG）

当前的扩散模型专注于一次性生成整图，难以模拟真实场景中的复杂特性，尤其是较小的文本。LVTR将整图生成解耦成局部图像生成再融合的过程，可以有效地生成任意尺度的文本。此外，采用一阶段输出的框信息获得图像级条件，文本信息获得特征级条件，从而提升生成文本在位置上和内容上的准确性。最后还提出前景损失函数和背景损失函数，进一步提升文本内容在语义层面的准确性和融合过程在像素层面的一致性。

![trcg](description/lvtr.jpg)

## 局部视觉文本渲染器（LVTR）

本模型有两种推理方式：

1. 输入背景图（可带文字），模型将在一阶段输出可渲染文本的区域和内容，并通过二阶段进行渲染。（对应论文中End-to-end Inference）

2. 输入背景图（可带文字）和需要渲染文字的区域和内容，仅通过二阶段进行渲染。（对应论文中Local Image Generation）

### 使用方式

ModelScope中仅提供模型下载，请参考[AdvancedLiterateMachinery](https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/AIGC/SceneVTG)中进行训练和推理。注意将本处的模型复制到训练代码的相应位置中。

### 可视化

![visualization1](description/visualization1.jpg)

![visualization2](description/visualization2.jpg)

![visualization3](description/visualization3.jpg)

![visualization4](description/visualization4.jpg)

![visualization5](description/visualization5.jpg)

### 模型局限性以及可能得偏差

* 由于训练数据的原因，当前模型仅支持英文，文字颜色等属性暂不可控;
* 有一定概率二阶段会出现文本生成不准确的问题；
* 有一定概率会出现因为一阶段的框位置不合理而使二阶段生成失败的问题。

## 训练数据介绍

本模型的训练数据集为[SceneVTG-Erase](https://modelscope.cn/datasets/Kpillow/SceneVTG-Erase)，包含155K自然场景图片及其擦除图像，对应约1.92M文本行。来源为两部分，1). 开源的自然场景文本擦除数据集SCUT-EnsText；2). 自然场景开源数据集CTW-1500, ICDAR-2013, ICDAR-2015, TextOCR, TotalText, HierText和UberText，我们使用先进的自然场景擦除方法CTRNet对这些数据集进行擦除，并通过DiffBIR平滑擦除区域，最终获得质量较高的擦除图像。

![dataset_sta](description/dataset_sta.jpg)

![dataset_vis](description/dataset_vis.jpg)

## 模型评测指标

我们通过多种指标分别评价了模型的保真性（fidelity）、合理性（Reasonability）和可用性（Utility），详细的指标介绍和实验分析请参考我们的[论文](https://arxiv.org/abs/2407.14138)。

## 相关论文及引用信息

```BibTex
@misc{zhu2024visualtextgenerationwild,
      title={Visual Text Generation in the Wild}, 
      author={Yuanzhi Zhu and Jiawei Liu and Feiyu Gao and Wenyu Liu and Xinggang Wang and Peng Wang and Fei Huang and Cong Yao and Zhibo Yang},
      year={2024},
      eprint={2407.14138},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2407.14138}, 
}
```
