---
title: Qwen3-ASR-0.6B-gguf
canonical_url: "https://www.modelscope.cn/models/nzyaltair/Qwen3-ASR-0.6B-gguf"
md_url: "https://www.modelscope.cn/models/nzyaltair/Qwen3-ASR-0.6B-gguf.md"
repository: nzyaltair/Qwen3-ASR-0.6B-gguf
last_updated: 2026-04-26
pipeline_tag: auto-speech-recognition
tasks:
  - auto-speech-recognition
library_name:
  - onnx
  - gguf
  - pytorch
frameworks:
  - Pytorch
downloads: 274
stars: 2
tags:
  - gguf
---

# Qwen3-ASR-0.6B-gguf

> Qwen3-ASR-0.6B-gguf - nzyaltair 在 ModelScope 开源的模型。Qwen3-ASR-0.6B GGUF (混合推理格式)

- **Repository**: nzyaltair/Qwen3-ASR-0.6B-gguf
- **Tasks**: auto-speech-recognition
- **Tags**: gguf
- **Downloads**: 274
- **Stars**: 2
- **Last updated**: 2026-04-26

Source: https://www.modelscope.cn/models/nzyaltair/Qwen3-ASR-0.6B-gguf

---

# Qwen3-ASR-0.6B GGUF (混合推理格式)

将 [Qwen3-ASR-0.6B](https://www.modelscope.cn/models/Qwen/Qwen3-ASR-0.6B) 与 [Qwen3-ForcedAligner-0.6B](https://www.modelscope.cn/models/Qwen/Qwen3-ForcedAligner-0.6B) 转换为可本地高效运行的混合格式，实现**快速、准确的离线语音识别与字级时间戳对齐**。

主要依赖 [llama.cpp](https://github.com/ggml-org/llama.cpp) 加速 LLM Decoder，ONNX Runtime 加速 Encoder。

> 转换工具与推理引擎：[Qwen3-ASR-GGUF](https://github.com/HaujetZhao/Qwen3-ASR-GGUF)

## 模型文件

| 文件                                         | 来源                       | 精度    | 大小       | 说明                          |
| ------------------------------------------ | ------------------------ | ----- | -------- | --------------------------- |
| `qwen3_asr_encoder_frontend.int4.onnx`     | Qwen3-ASR-0.6B           | INT4  | 19.4 MB  | ASR 编码器前段 (CNN)             |
| `qwen3_asr_encoder_backend.int4.onnx`      | Qwen3-ASR-0.6B           | INT4  | 90.4 MB  | ASR 编码器后段 (Transformer)     |
| `qwen3_asr_llm.q4_k.gguf`                  | Qwen3-ASR-0.6B           | Q4\_K | 461.8 MB | ASR 解码器 (LLM)               |
| `qwen3_aligner_encoder_frontend.int4.onnx` | Qwen3-ForcedAligner-0.6B | INT4  | 19.9 MB  | Aligner 编码器前段 (CNN)         |
| `qwen3_aligner_encoder_backend.int4.onnx`  | Qwen3-ForcedAligner-0.6B | INT4  | 156.6 MB | Aligner 编码器后段 (Transformer) |
| `qwen3_aligner_llm.q4_k.gguf`              | Qwen3-ForcedAligner-0.6B | Q4\_K | 462.0 MB | Aligner 解码器 (LLM)           |

## 量化说明

- **Encoder (ONNX)**：INT4 量化 (MatMulNBits, block\_size=128)，与 FP16 输出的数值余弦相似度 96%，对语音识别精度影响可忽略
- **Decoder (GGUF)**：Q4\_K 量化，比 FP16 输出的困惑度仅增加 8.7%，对语音识别精度影响可忽略

如需其他精度 (FP32 / FP16 / INT8)，可使用 [Qwen3-ASR-GGUF](https://github.com/HaujetZhao/Qwen3-ASR-GGUF) 的导出脚本自行转换。

## 核心特性

- **纯本地运行** — 无需网络，数据不外传
- **速度快** — 混合推理架构 (ONNX Encoder + GGUF Decoder)，GPU 加速下 RTF 可达 0.05（20 倍实时速度）
- **GPU 加速** — 支持 DirectML (Encoder) / Vulkan (Decoder)
- **流式输出** — 无限时长的音频文件，流式转录
- **字幕输出** — ForceAligner 对齐字级时间戳，输出 SRT / JSON 格式
- **上下文增强** — 可提供上下文信息，提升准确率
- **多语言** — 支持 30 种语言和 22 种中文方言的识别
