---
title: FantasyPortrait-Multi-Expr
canonical_url: "https://www.modelscope.cn/datasets/amap_cvlab/FantasyPortrait-Multi-Expr"
md_url: "https://www.modelscope.cn/datasets/amap_cvlab/FantasyPortrait-Multi-Expr.md"
repository: amap_cvlab/FantasyPortrait-Multi-Expr
last_updated: 2025-08-12
license: "Apache License 2.0"
storage_size: "25 GB"
downloads: 126
stars: 2
---

# FantasyPortrait-Multi-Expr

> FantasyPortrait-Multi-Expr - amap_cvlab 在 ModelScope 开源的数据集。FantasyPortrait 论文对应数据集

amap_cvlab/FantasyPortrait-Multi-Expr 是 ModelScope 魔搭社区上的数据集，存储大小 25 GB，采用 Apache License 2.0 许可。

- **Repository**: amap_cvlab/FantasyPortrait-Multi-Expr
- **License**: Apache License 2.0
- **Storage size**: 25 GB
- **Downloads**: 126
- **Stars**: 2
- **Last updated**: 2025-08-12

Source: https://www.modelscope.cn/datasets/amap_cvlab/FantasyPortrait-Multi-Expr

---

license: Apache License 2.0
video:
  video-generation: {}
tags:
  - 视频生成
# FantasyPortrait：基于表情增强扩散变换器的多角色肖像动画生成

[![Home Page](https://img.shields.io/badge/Project-FantasyPortrait-blue.svg)](https://fantasy-amap.github.io/fantasy-portrait/)
[![arXiv](https://img.shields.io/badge/Arxiv-2507.12956-b31b1b.svg?logo=arXiv)](https://arxiv.org/abs/2507.12956)
[![hf_dataset](https://img.shields.io/badge/🤗%20Dataset-FantasyPortrait-yellow.svg)](https://huggingface.co/datasets/acvlab/FantasyPortrait)
[![hf_paper](https://img.shields.io/badge/🤗-FantasyPortrait-red.svg)](https://huggingface.co/papers/2507.12956)

## 🔥 最新动态！！
* 2025年8月10日：我们已发布推理代码、模型权重和数据集。

## 演示
更多有趣的结果，请访问我们的[网站](https://fantasy-amap.github.io/fantasy-portrait/)。

## 快速开始
### 🛠️ 安装

克隆仓库：

```
git clone https://github.com/Fantasy-AMAP/fantasy-portrait.git
cd fantasy-portrait
```

安装依赖：
```
apt-get install ffmpeg
# 确保 torch >= 2.0.0
pip install -r requirements.txt
# 注意：必须安装 flash attention
pip install flash_attn
```

### 📦 Multi-Expr 数据集
我们公开了首个多人肖像面部表情视频数据集 **Multi-Expr Dataset**，请通过以下链接下载：


### 🧱 模型下载
| 模型        |                       下载链接                                           |    说明                      |
| --------------|-------------------------------------------------------------------------------|-------------------------------|
| Wan2.1-I2V-14B-720P  |      🤗 [Huggingface](https://huggingface.co/Wan-AI/Wan2.1-I2V-14B-720P)    🤖 [ModelScope](https://www.modelscope.cn/models/Wan-AI/Wan2.1-I2V-14B-720P)     | 基础模型
| FantasyPortrait      |      🤗 [Huggingface](https://huggingface.co/acvlab/FantasyPortrait/)     🤖 [ModelScope](https://www.modelscope.cn/models/amap_cvlab/FantasyPortrait/)         | 我们的表情条件权重

使用 huggingface-cli 下载模型：
``` sh
pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.1-I2V-14B-720P --local-dir ./models/Wan2.1-I2V-14B-720P
huggingface-cli download acvlab/FantasyPortrait --local-dir ./models
```

使用 modelscope-cli 下载模型：
``` sh
pip install modelscope
modelscope download Wan-AI/Wan2.1-I2V-14B-720P --local_dir ./models/Wan2.1-I2V-14B-720P
modelscope download amap_cvlab/FantasyPortrait  --local_dir ./models
```

### 🔑 单人肖像推理
``` sh
bash infer_single.sh
```

### 🔑 多人肖像推理
``` sh
bash infer_multi.sh
```


### 📦 速度与显存占用
我们在此提供详细表格。模型在单张A100上进行测试。

|`torch_dtype`|`num_persistent_param_in_dit`|速度|所需显存|
|-|-|-|-|
|torch.bfloat16|None (无限制)|15.5秒/迭代|40G|
|torch.bfloat16|7*10**9 (7B)|32.8秒/迭代|20G|
|torch.bfloat16|0|42.6秒/迭代|5G|



## 🧩 社区贡献
我们 ❤️ 来自开源社区的贡献！如果您的工作改进了 FantasyPortrait，请告知我们。
您也可以直接发送邮件至 [frank.jf@alibaba-inc.com](mailto://frank.jf@alibaba-inc.com)。我们很乐意引用您的项目，方便大家使用。

## 🔗 引用
如果本仓库对您有帮助，请考虑给我们一个 star ⭐ 并引用以下论文：
```
@article{wang2025fantasyportrait,
  title={FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers},
  author={Wang, Qiang and Wang, Mengchao and Jiang, Fan and Fan, Yaqi and Qi, Yonggang and Xu, Mu},
  journal={arXiv preprint arXiv:2507.12956},
  year={2025}
}
```

## 致谢
感谢 [Wan2.1](https://github.com/Wan-Video/Wan2.1)、[PD-FGC](https://github.com/Dorniwang/PD-FGC-inference) 和 [DiffSynth-Studio](https://github.com/modelscope/DiffSynth-Studio) 开源他们的模型和代码，为本项目提供了宝贵的参考和支持。我们非常感谢他们对开源社区的贡献。