---
title: Qwen3-1.7-TTS-SFT-Furina
canonical_url: "https://www.modelscope.cn/models/qsdong/Qwen3-1.7-TTS-SFT-Furina"
md_url: "https://www.modelscope.cn/models/qsdong/Qwen3-1.7-TTS-SFT-Furina.md"
repository: qsdong/Qwen3-1.7-TTS-SFT-Furina
chinese_name: Qwen3-1.7-TTS-SFT-Furina
last_updated: 2026-06-07
license: "Apache License 2.0"
pipeline_tag: text-to-speech
tasks:
  - text-to-speech
model_type:
  - qwen3-tts
parameters: 1.9B
tensor_type:
  - BF16
library_name:
  - pytorch
  - safetensors
  - transformers
frameworks:
  - PyTorch
  - Transformers
language:
  - zh
  - en
domain:
  - audio
  - multi-modal
downloads: 44
stars: 0
tags:
  - qwen3-tts
  - text-to-speech
  - voice-cloning
  - custom-voice
  - fine-tuned
  - furina
  - "芙宁娜"
  - "全量微调"
  - tts
  - speech-synthesis
---

# Qwen3-1.7-TTS-SFT-Furina

> Qwen3-1.7-TTS-SFT-Furina - qsdong 在 ModelScope 开源的模型。Qwen3-1.7-TTS-SFT-Furina

qsdong/Qwen3-1.7-TTS-SFT-Furina 是 ModelScope 魔搭社区上的 1.9B 参数text-to-speech模型，采用 Apache License 2.0 许可。

- **Repository**: qsdong/Qwen3-1.7-TTS-SFT-Furina
- **License**: Apache License 2.0
- **Tasks**: text-to-speech
- **Parameters**: 1.9B
- **Tags**: qwen3-tts, text-to-speech, voice-cloning, custom-voice, fine-tuned, furina, 芙宁娜, 全量微调, tts, speech-synthesis
- **Downloads**: 44
- **Stars**: 0
- **Last updated**: 2026-06-07

Source: https://www.modelscope.cn/models/qsdong/Qwen3-1.7-TTS-SFT-Furina

---

# Qwen3-1.7-TTS-SFT-Furina

## 模型简介（Model Introduction）

本模型是基于阿里巴巴 [Qwen3-TTS-12Hz-1.7B-Base](https://github.com/QwenLM/Qwen3-TTS) 声音克隆基座模型，使用**芙宁娜（Furina）** 角色语音数据进行**全量微调（Full Fine-Tuning）** 后得到的 CustomVoice 模型。微调后模型能够稳定输出芙宁娜音色，无需参考音频即可直接合成语音。

- **基座模型**：Qwen3-TTS-12Hz-1.7B-Base（1.7B 参数）
- **模型类型**：CustomVoice（预设说话人模型）
- **说话人名称**：`furina`
- **语音分词器**：需配套使用 [Qwen3-TTS-Tokenizer-12Hz](https://modelscope.cn/models/Qwen/Qwen3-TTS-Tokenizer-12Hz)
- **许可证**：Apache 2.0
- **论文**：[Qwen3-TTS Technical Report](https://arxiv.org/abs/2601.15621)

## 模型能力（Capabilities）

| 能力 | 说明 |
|------|------|
| 🎤 **音色合成** | 输入任意文本（中文/英文），以芙宁娜音色朗读 |
| 🎛️ **情感控制** | 支持通过自然语言指令控制语气、情感（如"用开心的语气说"） |
| 🌐 **多语言** | 支持中文、英文（继承基座模型的 10 语言能力） |
| ⚡ **流式生成** | 继承 12Hz 模型的低延迟流式合成能力 |

## 训练细节（Training Details）

### 数据集

| 项目 | 说明 |
|------|------|
| 说话人 | 芙宁娜（Furina）— 游戏《原神》角色 |
| 数据量 | 832 条语音-文本对 |
| 音频时长 | 3~15 秒 / 条，总时长约 2 小时 |
| 采样率 | 24,000 Hz 单声道 |
| 语言 | 中文为主，含少量英文 |
| 数据集主页 | [Furina Speech Dataset](https://www.modelscope.cn/datasets/qsdong/Furina-Speech-Dataset) |

### 微调配置

| 超参数 | 取值 |
|--------|------|
| 微调策略 | **全量微调（Full Fine-Tuning）** — 1.7B 参数全部更新 |
| 优化器 | AdamW（weight_decay=0.01） |
| 学习率 | **1e-6** |
| Batch Size | 2（梯度累积 4 步，等效 8） |
| 精度 | bfloat16 混合精度 |
| Epoch 数 | 10 |
| 最大梯度范数 | 1.0（梯度裁剪） |
| Speaker Embedding ID | 3000 |

> ⚠️ **关于学习率**：经实验验证，官方默认学习率 `2e-5` 在全量微调 + 小数据集场景下会导致模型遗忘预训练知识、生成纯噪声。降低至 `1e-6` 是本模型训练成功的关键。详见「已知问题」章节。

### 损失函数

训练使用联合损失函数：

$$L_{\text{total}} = L_{\text{main}} + 0.3 \times L_{\text{sub}}$$

- **L_main（权重 1.0）**：Codec-0 交叉熵损失 —— 预测语音第一层量化器，负责音色、韵律、内容等主要结构
- **L_sub（权重 0.3）**：Codec 1-15 平均交叉熵损失 —— 通过子说话人预测器（Sub-talker）并行预测剩余 15 层量化器，负责音质细节

## 评测结果（Evaluation）

在 20 条芙宁娜语音测试集上，SFT 模型与 Base 模型的量化对比：

| 指标 | Base (x-vector) | SFT (epoch-4) | 改善 |
|:---|---:|---:|:---:|
| Mel MSE ↓ | 2.043 | **1.861** | **-8.9%** |
| Mel Cosine ↑ | 0.906 | **0.921** | **+1.6%** |
| MFCC Cosine ↑ | 0.737 | **0.777** | **+5.4%** |
| STFT Cosine ↑ | 0.148 | **0.153** | **+3.1%** |

> **结论**：SFT 模型在所有 4 项指标上均优于 Base 模型。**MFCC 余弦相似度提升最显著（+5.4%）**，直接验证了微调成功捕捉了芙宁娜的音色特征。

## 使用方法（Usage）

### 环境准备

```bash
pip install qwen-tts
pip install flash-attn --no-build-isolation
```

### 通过 ModelScope SDK 下载模型

```bash
# 安装 ModelScope
pip install modelscope
```

```python
from modelscope import snapshot_download
model_dir = snapshot_download('qsdong/Qwen3-1.7-TTS-SFT-Furina')
```

### 通过 Git Clone 下载

```bash
git clone https://www.modelscope.cn/qsdong/Qwen3-1.7-TTS-SFT-Furina.git
```

### Python 推理代码

```python
import torch
import soundfile as sf
from qwen_tts import Qwen3TTSModel

# 加载模型（使用本地路径或 ModelScope model_id）
model = Qwen3TTSModel.from_pretrained(
    "qsdong/Qwen3-1.7-TTS-SFT-Furina",  # 或替换为本地路径
    device_map="cuda:0",
    dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
)

# 单条推理
wavs, sr = model.generate_custom_voice(
    text="好的，没问题。",
    language="Chinese",
    speaker="furina",
    # instruct="用开心的语气说",  # 可选：情感控制指令
)
sf.write("output.wav", wavs[0], sr)

# 批量推理
wavs, sr = model.generate_custom_voice(
    text=[
        "其实我真的有发现，我是一个特别善于观察别人情绪的人。",
        "She said she would be here by noon."
    ],
    language=["Chinese", "English"],
    speaker=["furina", "furina"],
)
for i, w in enumerate(wavs):
    sf.write(f"output_{i}.wav", w, sr)
```

### 启动 Web Demo

```bash
qwen-tts-demo qsdong/Qwen3-1.7-TTS-SFT-Furina \
  --device cuda:0 \
  --dtype bfloat16 \
  --ip 0.0.0.0 \
  --port 8000
```

浏览器打开 `http://localhost:8000`，选择说话人 **furina** 即可体验。

## 已知问题与建议（Known Issues）

| 问题 | 说明与建议 |
|------|-----------|
| ⚠️ **学习率敏感性** | 全量微调 1.7B 模型 + 小数据集场景下，官方默认 `2e-5` 会导致生成崩溃。本模型使用 `1e-6` 训练，如需二次微调建议从更小学习率起步 |
| 📊 **不要仅看 Loss** | 训练中 Loss 下降 ≠ 生成质量提升。建议每 epoch 生成测试样本进行主观听感验证 |
| 🎭 **情绪覆盖有限** | 训练数据以日常对话为主，极端情绪（愤怒、哭泣等）表达能力有限 |
| 🔧 **需配套 Tokenizer** | 必须使用 Qwen3-TTS-Tokenizer-12Hz，不可使用 25Hz 版本 |

## 模型文件说明（Model Files）

本模型已完成 **Base → CustomVoice 模型类型转换**，关键变化：

- `config.json` 中 `tts_model_type` 已设为 `"custom_voice"`，`spk_id` 已加入 `{"furina": 3000}`
- `model.safetensors` 中的 `codec_embedding.weight[3000]` 已固化为目标说话人 embedding
- 已移除 `speaker_encoder` 权重（推理时不再需要参考音频）
- 推理时只需指定 `speaker="furina"`，模型自动使用固化的 embedding

## 引用（Citation）

如果你使用了本模型，请引用：

```bibtex
@misc{qwen3-tts-sft-furina,
  title = {Qwen3-1.7-TTS-SFT-Furina: A Fine-Tuned CustomVoice Model for Furina},
  author = {Dong Qingsen},
  year = {2026},
  howpublished = {\url{https://www.modelscope.cn/models/qsdong/Qwen3-1.7-TTS-SFT-Furina}},
}
```

以及 Qwen3-TTS 原论文：

```bibtex
@article{Qwen3-TTS,
  title = {Qwen3-TTS Technical Report},
  author = {Hangrui Hu and Xinfa Zhu and Ting He and Dake Guo and Bin Zhang and Xiong Wang and Zhifang Guo and Ziyue Jiang and Hongkun Hao and Zishan Guo and Xinyu Zhang and Pei Zhang and Baosong Yang and Jin Xu and Jingren Zhou and Junyang Lin},
  journal = {arXiv preprint arXiv:2601.15621},
  year = {2026}
}
```

## 免责声明

本模型为学术研究用途的微调模型。芙宁娜角色形象及音频素材版权归原版权方（miHoYo / HoYoverse）所有。使用者需自行确保使用方式符合相关法律法规及版权要求。