---
title: Fun-CosyVoice3-0.5B-2512-GGUF
canonical_url: "https://www.modelscope.cn/models/Lourdle/Fun-CosyVoice3-0.5B-2512-GGUF"
md_url: "https://www.modelscope.cn/models/Lourdle/Fun-CosyVoice3-0.5B-2512-GGUF.md"
repository: Lourdle/Fun-CosyVoice3-0.5B-2512-GGUF
last_updated: 2026-06-07
license: "Apache License 2.0"
pipeline_tag: text-to-speech
tasks:
  - text-to-speech
base_model:
  - FunAudioLLM/Fun-CosyVoice3-0.5B-2512
base_model_relation: quantized
library_name:
  - onnx
  - gguf
  - other
frameworks:
  - other
downloads: 1847
stars: 11
---

# Fun-CosyVoice3-0.5B-2512-GGUF

> Fun-CosyVoice3-0.5B-2512-GGUF - Lourdle 在 ModelScope 开源的模型。Fun-CosyVoice3 的 GGUF 模型，用于 cosyvoice.cpp 推理。

Lourdle/Fun-CosyVoice3-0.5B-2512-GGUF 是 ModelScope 魔搭社区上的text-to-speech模型，采用 Apache License 2.0 许可，基于 FunAudioLLM/Fun-CosyVoice3-0.5B-2512 构建。

- **Repository**: Lourdle/Fun-CosyVoice3-0.5B-2512-GGUF
- **License**: Apache License 2.0
- **Tasks**: text-to-speech
- **Base model**: FunAudioLLM/Fun-CosyVoice3-0.5B-2512
- **Downloads**: 1847
- **Stars**: 11
- **Last updated**: 2026-06-07

Source: https://www.modelscope.cn/models/Lourdle/Fun-CosyVoice3-0.5B-2512-GGUF

---

# Fun-CosyVoice3-0.5B-2512-GGUF

这是一个面向 CosyVoice3-2512 的非官方社区 GGUF 发布包。

该模型包建议与 [cosyvoice.cpp](https://github.com/Lourdle/cosyvoice.cpp) 配套使用。

## 重要说明

- 这**不是** CosyVoice 官方发布。
- 本实现由独立社区开发者维护。
- C++ 运行时项目（`cosyvoice.cpp`）采用 MIT。
- **本模型包中的模型文件继续采用 Apache-2.0**。

## 可用文件

### 命名变更说明

原有量化版本做了以下调整：
- `Q6_K_S` → `Q6_K`
- `Q5_K_S` → `Q5_K_XXS`
- `Q4_K_S` → `Q4_K_XXS`
- `Q3_K_S` → `Q3_K_XXS`
- `Q2_K_S` → 已移除（质量基本为噪音，不可用）

### 当前量化版本

| 文件 | 量化类型 | 体积（约） | 说明 |
|---|---:|---:|---|
| `CosyVoice3-2512_F32.gguf` | F32 | 3.21 GiB | 精度最高，体积最大 |
| `CosyVoice3-2512_F16.gguf` | F16 | 1.61 GiB | 高质量基线版本 |
| `CosyVoice3-2512_Q8_0.gguf` | Q8_0 | 0.88 GiB | 接近 F16 质量，体积更小 |
| `CosyVoice3-2512_Q6_K.gguf` | Q6_K | 0.78 GiB | 原名 Q6_K_S；质量与体积较均衡 |
| `CosyVoice3-2512_Q5_1.gguf` | Q5_1 | 0.64 GiB | 质量通常优于 Q5_0 |
| `CosyVoice3-2512_Q5_K_M.gguf` | Q5_K_M | 0.64 GiB | 新增；保持不低的质量，效果不错 |
| `CosyVoice3-2512_Q5_K_S.gguf` | Q5_K_S | 0.61 GiB | 新增；保持不低的质量，效果不错 |
| `CosyVoice3-2512_Q5_K_XXS.gguf` | Q5_K_XXS | 0.61 GiB | 原名 Q5_K_S；进一步压缩版本 |
| `CosyVoice3-2512_Q5_0.gguf` | Q5_0 | 0.59 GiB | 中等体积与质量 |
| `CosyVoice3-2512_Q4_K_M.gguf` | Q4_K_M | 0.59 GiB | 新增；质量较 Q5 下降，偶尔发糊，基本可接受 |
| `CosyVoice3-2512_Q4_K_S.gguf` | Q4_K_S | 0.56 GiB | 新增；质量低于 Q4_K_M |
| `CosyVoice3-2512_Q4_1.gguf` | Q4_1 | 0.54 GiB | 体积更小，但发音伪影明显 |
| `CosyVoice3-2512_Q4_K_XXS.gguf` | Q4_K_XXS | 0.54 GiB | 原名 Q4_K_S |
| `CosyVoice3-2512_Q4_0.gguf` | Q4_0 | 0.49 GiB | 质量进一步下降，语音清晰度较差 |
| `CosyVoice3-2512_Q3_K_M.gguf` | Q3_K_M | 0.49 GiB | 新增；声音发糊，略低于但接近 Q4_K_XXS |
| `CosyVoice3-2512_Q3_K_S.gguf` | Q3_K_S | 0.46 GiB | 新增；质量低于 Q3_K_M |
| `CosyVoice3-2512_Q3_K_XXS.gguf` | Q3_K_XXS | 0.44 GiB | 原名 Q3_K_S |
| `CosyVoice3-2512_Q2_K_L.gguf` | Q2_K_L | 0.43 GiB | 新增；质量下滑明显，声音小发糊，有噪音 |
| `CosyVoice3-2512_Q2_K.gguf` | Q2_K | 0.42 GiB | 新增；伪音噪音严重，但基本能分辨说话内容 |

## 选择建议

同系列 K 量化质量关系（由高到低）：K_M > K_S > K_XXS

- 默认优先推荐：`Q8_0`（当前测试中听感几乎无明显损失，且体积明显小于 `F16`）
- 高质量备选：`F16`、`Q6_K`
- 可用的中档选择：`Q5_1`、`Q5_K_M`、`Q5_K_S`、`Q5_0`、`Q5_K_XXS`
- 质量有所下降但基本可接受：`Q4_K_M`、`Q4_K_S`
- 发音伪影较明显：`Q4_1`、`Q4_K_XXS`、`Q4_0`
- 质量进一步下降：`Q3_K_M`、`Q3_K_S`、`Q3_K_XXS`
- 仅限极端体积需求：`Q2_K_L`、`Q2_K`

当前主观听感补充：
- `Q8_0`：音质依然很稳，常见样本下几乎听不出明显损失。
- `Q6_K`：整体也不错，通常是实用选择。
- `Q5_K_M` / `Q5_K_S`（新增）：保持不低的质量，效果不错。
- `Q5_K_XXS`（原 `Q5_K_S`）：略高于但接近 `Q4_K_M`。
- `Q5` 系列（`Q5_1` / `Q5_K_M` / `Q5_K_S` / `Q5_0` / `Q5_K_XXS`）：整体可用，但有一定退化。
- `Q4_K_M` / `Q4_K_S`（新增）：质量对比 Q5 有所下降，偶尔听出部分声音发糊，但基本可接受。
- `Q4` 系列（含 `Q4_1` / `Q4_K_XXS` / `Q4_0`）：发音伪影更明显，听感会发糊。
- `Q3_K_M` / `Q3_K_S`（新增）：质量进一步下降，声音发糊，略低于但接近 `Q4_K_XXS`。
- `Q3_K_XXS`（原 `Q3_K_S`）：激进量化，质量有限。
- `Q2_K_L`（新增）：质量下滑明显，声音较小发糊，有噪音。
- `Q2_K`（新增）：伪音严重，噪音严重，但基本能分辨说话声音内容。
- ~~`Q2_K_S`~~（已移除）：基本接近噪音，通常不可用。

## 运行要求

- 面向 `cosyvoice.cpp` 的 GGUF 推理流程。
- 当前运行时内部部分数据处理需要 **AVX2** 支持。
- GPU 后端效果取决于 GGML 后端与驱动环境。

## 基本用法

```bash
cosyvoice-cli \
  --model CosyVoice3-2512_Q8_0.gguf \
  --prompt-speech prompt_speech.gguf \
  --text "Hello from CosyVoice" \
  --output out.wav
```

`--prompt-speech` 需要传入 GGUF 格式的提示音文件（例如 `prompt_speech.gguf`）。

运行方式与完整文档请查看 `cosyvoice.cpp` 仓库：
- <https://github.com/Lourdle/cosyvoice.cpp>

## 来源说明

- 本工作参考上游 CosyVoice 发布的架构与推理行为，并在 C++/GGML 侧独立重实现。

## 许可证

- 本模型仓库中的模型文件：**Apache-2.0**
- 运行时代码（`cosyvoice.cpp`）：**MIT**