---
title: Fun-CosyVoice3-0.5B-SFT-Titanfall2
canonical_url: "https://www.modelscope.cn/models/antixer/Fun-CosyVoice3-0.5B-SFT-Titanfall2"
md_url: "https://www.modelscope.cn/models/antixer/Fun-CosyVoice3-0.5B-SFT-Titanfall2.md"
repository: antixer/Fun-CosyVoice3-0.5B-SFT-Titanfall2
chinese_name: "泰坦陨落2 双角色中文免参考语音克隆模型"
last_updated: 2026-09-19
license: MIT
pipeline_tag: text-to-speech
tasks:
  - text-to-speech
base_model:
  - FunAudioLLM/Fun-CosyVoice3-0.5B
base_model_relation: adapter
parameters: 511.6M
tensor_type:
  - BF16
  - F32
library_name:
  - lora
  - safetensors
  - onnx
  - pytorch
frameworks:
  - Pytorch
language:
  - zh
downloads: 40
stars: 2
tags:
  - text-to-speech
  - voice-cloning
  - lora
  - cosyvoice3
  - sft
  - titanfall2
---

# Fun-CosyVoice3-0.5B-SFT-Titanfall2

> Fun-CosyVoice3-0.5B-SFT-Titanfall2 - antixer 在 ModelScope 开源的模型。基于 CosyVoice3-0.5B 有监督微调 · 支持 BT-7274 / 杰克·库珀

antixer/Fun-CosyVoice3-0.5B-SFT-Titanfall2 是 ModelScope 魔搭社区上的 511.6M 参数text-to-speech模型，采用 MIT 许可，基于 FunAudioLLM/Fun-CosyVoice3-0.5B 构建。

- **Repository**: antixer/Fun-CosyVoice3-0.5B-SFT-Titanfall2
- **License**: MIT
- **Tasks**: text-to-speech
- **Parameters**: 511.6M
- **Base model**: FunAudioLLM/Fun-CosyVoice3-0.5B
- **Tags**: text-to-speech, voice-cloning, lora, cosyvoice3, sft, titanfall2
- **Downloads**: 40
- **Stars**: 2
- **Last updated**: 2026-09-19

Source: https://www.modelscope.cn/models/antixer/Fun-CosyVoice3-0.5B-SFT-Titanfall2

---

# Fun-CosyVoice3-0.5B-SFT-Titanfall2

《泰坦陨落 2》两名中文配音角色 —— **BT-7274（铁驭）** 与 **杰克·库珀（Jack Cooper）** —— 的
**免参考（`inference_sft`）语音克隆发布包**。

与配套的 LoRA+zero-shot 发布包不同，本包可在**不提供参考音频**的情况下，凭已注册的说话人嵌入
（spk2info）直接合成任意文本。两说话人合成只需通过 `--spk` 切换。

> 免责声明：本作品为粉丝项目，基于游戏官方配音制作，仅用于语音克隆 / TTS 研究与学习，请勿用于商业发布或冒名用途。

## 快速开始（推荐：Docker 一键启动 Gradio 网页）

前提：宿主机有 **Docker Desktop + NVIDIA GPU**（RTX 3090 实测显存 ~4.3GB fp32、RTF≈1.0）。

```bash
cd Fun-CosyVoice3-0.5B-SFT-Titanfall2

bash docker/run_webui.sh          # 默认 7860 端口；首次构建镜像约 30-40 分钟（之后秒级复用）
bash docker/run_webui.sh 7861     # 宿主机 7860 被占用时换端口
```

浏览器访问 **http://localhost:7860**：选择说话人（BT7274 / JackCooper）、情感指令、语速，
输入文本（多行=多句），点「生成音频」。模型在容器启动时一次性加载（实测约 60s），
多次合成不重复加载。页面参数细节见「[Gradio 网页界面](#gradio-网页界面)」一节。

只想先验证环境/挂载就绪（不占端口、不起 UI）：

```bash
docker run --rm --gpus all -v "$PWD"://workspace/tts/Fun-CosyVoice3-0.5B-SFT-Titanfall2 \
  cosyvoice-webui-sft \
  bash -lc 'cd /workspace/tts/Fun-CosyVoice3-0.5B-SFT-Titanfall2 && python app.py --self-check'
```

> 注：Git Bash 下 `-v` 的容器路径需写双斜杠 `//workspace/...`（MSYS 路径转义坑），
> `run_webui.sh` 内部已处理；手动敲 `docker run` 时照上面写法即可。

## 免参考原理

- 本项目训练采用官方 SFT 配方（`use_spk_embedding: True`），每样本按说话人嵌入条件学习。
- `inference_sft(tts_text, spk_id)`（`frontend_sft`）直接取 `spk2info[spk_id]['embedding']` 作为条件，
  **无需参考音频**。音色由注册的 campplus 说话人嵌入（[1,192]）驱动。
- 本包已把两说话人的嵌入合并进 `spk2info_titanfall2.pt`，即开即用。

## 文件说明

```
Fun-CosyVoice3-0.5B-SFT-Titanfall2/          # 自包含发布包
├─ README.md                    # 本说明
├─ app.py                       # Gradio 网页界面（免参考合成，支持情感指令下拉框）
├─ infer_sft.py                 # 命令行免参考合成示例（--spk 切换说话人）
├─ test_emotion.py              # 方案A 情感对比实验脚本（一句 × 全情感 × 固定 seed）
├─ spk2info_titanfall2.pt       # 注册好的说话人嵌入（核心：免参考）
├─ adapters/
│  ├─ BT7274/                   # BT-7274 LoRA 适配器（adapter_config + safetensors）
│  └─ JackCooper/               # Jack Cooper LoRA 适配器
├─ llm.pt / flow.pt / hift.pt   # 基础模型主权重（CosyVoice3 推理所需）
├─ campplus.onnx                # 说话人嵌入提取（spk2info 生成）
├─ speech_tokenizer_v3.onnx     # 语音 tokenizer（推理所需）
├─ CosyVoice-BlankEN/           # Qwen2 骨干权重 + tokenizer
├─ cosyvoice3.yaml              # 模型结构配置
├─ configuration.json           # 模型类型标识
├─ .dockerignore                # 构建上下文瘦身（权重不进镜像）
└─ docker/                      # 自包含 Docker 构建
   ├─ Dockerfile                # 从 daocloud cuda 基础镜像从零构建（含 gradio）
   ├─ run_webui.sh              # 一键 build + run（GPU、挂载本包、7860）
   ├─ run_emotion_test.sh       # 情感试听批量生成（容器内跑 test_emotion.py）
   ├─ requirements.container.txt # 裁剪后的推理依赖清单
   └─ cosyvoice/                # CosyVoice 源码副本（含 get_embed_tokens patch，baked 进镜像）
```

合成产物落盘到 `output/`（运行期自动创建，包内不预置示例音频）。

## 前置：CosyVoice3 基础模型

本包**已自包含**：基础模型推理所需权重（`llm.pt` / `flow.pt` / `hift.pt` /
`campplus.onnx` / `speech_tokenizer_v3.onnx` / `CosyVoice-BlankEN`）已随包附带，
`infer_sft.py` / `app.py` 默认用包内权重，无需单独下载 `Fun-CosyVoice3-0.5B`。

- 需叠加基础模型的环境可用 `--base` 覆盖（默认回退到同层 `models/Fun-CosyVoice3-0.5B`）。
- 命令行本机运行时需官方 CosyVoice 仓库提供 `cosyvoice` 包（`--cosyvoice-repo` 指定）；
  **优先用包内 `docker/cosyvoice/` 副本**——它含 LoRA 挂载必需的 `get_embed_tokens` patch，
  而网络 clone 的官方仓库没有该 patch，挂 LoRA 会崩。Docker 方式则无需关心，patch 已 baked 进镜像。

> 训练/量化专用文件（`llm.rl.pt`、`speech_tokenizer_v3.batch.onnx`、`flow.decoder.estimator.fp32.onnx`）
> 未随包附带，仅在训练或 TensorRT 加速时需要，可从基础模型目录补取。

## 推理用法（命令行）

```bash
cd Fun-CosyVoice3-0.5B-SFT-Titanfall2

# 免参考合成（默认 BT-7274；repo 用包内含 patch 副本时可省略 --cosyvoice-repo）
python infer_sft.py --spk BT7274 --text "你好，铁驭。"
python infer_sft.py --spk JackCooper --text "我会完成任务。"

# 多句（每行一句）
python infer_sft.py --spk BT7274 --texts-file lines.txt --out out/

# 指定基础模型/仓库/设备
python infer_sft.py --spk JackCooper --text "..." \
    --base /path/to/Fun-CosyVoice3-0.5B \
    --cosyvoice-repo /path/to/CosyVoice --device cuda
```

参数：`--spk {BT7274,JackCooper}`、`--base`、`--cosyvoice-repo`、`--lora`（覆盖适配器）、
`--spk2info`（覆盖嵌入文件）、`--text` / `--texts-file`、`--out`、`--no-add-instruct`、`--device`、`--fp16`、
`--seed`、`--emotion` / `--instruct-text`（情感指令，见下）。

产物：`<out>/<spk>_sft_<nn>.wav`（24 kHz 单声道 pcm_s16le）。

### 情感指令（方案A：借用基座 instruct 能力）

CosyVoice3 基座训练时以 `<|endofprompt|>` 之前的文本段作风格条件。本包把官方
`cosyvoice/utils/common.py::instruct_list` 的情感模板拼在该标记**之前**、正文之后，
结构与训练分布一致，无需参考音频：

```bash
# 内置模板：neutral(默认)/happy/sad/angry/soft/loud/slow/fast
python infer_sft.py --spk BT7274 --emotion angry --text "我们会不惜一切代价完成任务。"

# 自定义指令（自动补 <|endofprompt|>）
python infer_sft.py --spk JackCooper --instruct-text "You are a helpful assistant. 用疲惫而坚定的语气说。" --text "……"

# 最小对比实验：同一句 × 全情感 × 固定 seed，一次加载跑完并出 manifest
python test_emotion.py --spk BT7274
# 产物 -> output/emotion_test/<spk>_sft_<emo>_NN.wav + <spk>_manifest.txt

# 或在 Docker 容器内批量生成两说话人全情感试听
IMAGE=cosyvoice-webui-sft bash docker/run_emotion_test.sh
```

Gradio 界面同样有「情感指令」下拉框。合成文本内还可插细粒度副语言标签
（`[breath]` `[laughter]` `[sigh]` `<strong>…</strong>` 等，基座 tokenizer 原生支持）。

> ⚠️ SFT 训练的 instruct 全部是固定 `"You are a helpful assistant."`，未混情感标签——
> 指令遵循度靠基座零样本泛化，效果需实测；若音色漂移或不跟随，回退 `--emotion neutral`
> 或改用 zero-shot 情绪参考音频。彻底稳定方案：带情感标注重训。

> `--fp16`：官方 AMP 半精度。RTX 3090 实测**不推荐**——RTF 0.91 vs fp32 0.72（更慢 ~20%），
> 显存 5.6G vs 4.7G（反而更高），因为 AMP 只在算子层 cast、权重仍是 fp32。默认关闭保持 fp32。

## Gradio 网页界面

`app.py` 提供完整网页界面（启动方式见顶部「快速开始」）。暴露参数：

| 控件 | 说明 |
|------|------|
| 说话人 | BT7274 / JackCooper 下拉切换 |
| 情感指令 | 方案A 模板下拉（neutral 默认不加） |
| 语速 | 0.5–2.0 |
| INSTRUCT 开关 | 拼接 `"You are a helpful assistant."` 前缀（对齐训练分布，默认开） |
| fp16 | **仅启动时生效**：模型按启动态加载，网页勾选会被忽略并提示；3090 建议保持 fp32 |
| 随机种子 | -1 = 不固定 |
| 批量文本文件 | .txt 每行一句，覆盖文本框 |
| 输出目录 | 留空不落盘；默认 `output/`（自动创建） |

多句合成后前端整体可播放/下载，状态栏逐句明细。

### Docker 实现要点

| 组件 | 说明 |
|------|------|
| `app.py` | Gradio 界面；与 `infer_sft.py` 同源加载逻辑（CosyVoice3 + 挂 LoRA + 载入 spk2info） |
| `docker/Dockerfile` | 自包含构建：`FROM docker.m.daocloud.io/nvidia/cuda` 从零装全部依赖 + gradio==5.4.0 |
| `docker/cosyvoice/` | CosyVoice 源码副本（已裁掉 examples/runtime/tools 等训练/部署文件，仅保留推理所需），**含 get_embed_tokens patch**，构建时 baked 进镜像 |
| `docker/run_webui.sh` | 构建 + 启动；运行时挂载本发布包（含 5.2GB 权重），7860 端口 |
| `.dockerignore` | 模型权重不进 build context（运行时挂载），加速构建 |

> **为什么 CosyVoice 要打包进镜像**：LoRA 挂载（`get_embed_tokens`）依赖对该文件的本地 patch，
> 该 patch 是工作区改动、未提交到 git，网络 clone 会丢失 → 构建时 COPY 本地源码副本（含 patch）。
> **模型权重不进镜像**：llm.pt/flow.pt/hift.pt/onnx/CosyVoice-BlankEN 共约 5.2GB，由
> `run_webui.sh` 运行时挂载本发布包，`app.py --base=.` 直接命中，无需单独下载。
> **Matcha-TTS**：构建时自动 git clone（gitclone 回退 GitHub），无需手动准备。

### 已知现象（均不影响使用）

- 启动时打 `no frontend is avaliable` 警告：wetext 资源联网拉取偶发失败所致，
  `inference_sft(text_frontend=True)` 有内置回退，合成正常。
- 宿主机 7860 可能被 Docker Desktop WSL 转发占用 → 换端口启动即可。
- onnxruntime `CUDAExecutionProvider not available` 警告：speaker/tokenizer 走 CPU，无影响。

## 与 LoRA+zero-shot 发布包的关系

| 发布包 | 合成方式 | 需要参考音频 |
|--------|---------|-------------|
| `Fun-CosyVoice3-0.5B-Lora-*`（每说话人一个） | `inference_zero_shot` | ✅ 必须 |
| **本包（SFT）** | `inference_sft`（`--spk` 切换） | ❌ **不需要** |

两者可共存：需要极致音色跟随参考时用 zero-shot；需要免参考、仅固定角色音色时用本包。

## 环境依赖

- **Docker 方式**：仅需 Docker Desktop + NVIDIA GPU + 能拉 daocloud 基础镜像，其余全部 baked。
- **本机直接运行**：torch(+cu121)、peft、transformers、HyperPyYAML、onnxruntime、wetext、
  gradio==5.4.0、Matcha-TTS 等（清单见 `docker/requirements.container.txt`），
  并把 `--cosyvoice-repo` 指向含 patch 的源码（本包 `docker/cosyvoice/` 即可）。
- 与训练一致的 Docker 环境（`cosyvoice-lora`）或官方 CosyVoice3 运行环境均可。
