---
title: qwen3_asr_0.6b_q4_k.gguf
canonical_url: "https://www.modelscope.cn/models/insogao/qwen3_asr_0.6b_q4_k.gguf"
md_url: "https://www.modelscope.cn/models/insogao/qwen3_asr_0.6b_q4_k.gguf.md"
repository: insogao/qwen3_asr_0.6b_q4_k.gguf
chinese_name: qwen3_asr_0.6b_q4_k
last_updated: 2026-03-07
base_model_relation: quantized
library_name:
  - gguf
  - other
frameworks:
  - other
downloads: 943
stars: 3
---

# qwen3_asr_0.6b_q4_k.gguf

> qwen3_asr_0.6b_q4_k.gguf - insogao 在 ModelScope 开源的模型。Qwen3-ASR GGUF (Q4K) for Mac Local Inference

- **Repository**: insogao/qwen3_asr_0.6b_q4_k.gguf
- **Downloads**: 943
- **Stars**: 3
- **Last updated**: 2026-03-07

Source: https://www.modelscope.cn/models/insogao/qwen3_asr_0.6b_q4_k.gguf

---

# Qwen3-ASR GGUF (Q4_K) for Mac Local Inference

## 1. 简介
这是 Qwen3-ASR 的 GGUF 量化模型集合，包含两个版本：
- `qwen3_asr_0.6b_q4_k.gguf`
- `qwen3_asr_1.7b_q4_k.gguf`

模型来源于 Hugging Face 仓库：
- https://huggingface.co/Alkd/qwen3-asr-gguf

## 2. 文件列表

| 文件名 | 大小 | 说明 |
|---|---:|---|
| `qwen3_asr_0.6b_q4_k.gguf` | 577 MB | 速度更快，资源占用更低 |
| `qwen3_asr_1.7b_q4_k.gguf` | 1.2 GB | 精度上限更高，加载更慢 |

## 3. 运行方式说明
- 这两个模型是 `qwen3_asr` 架构。
- 截至本次测试，`llama.cpp` 不能直接加载该架构（报错：`unknown model architecture: 'qwen3_asr'`）。
- 建议使用 `qwen3-asr-rs` 跑 GGUF。

参考项目：
- https://github.com/alan890104/qwen3-asr-rs

## 4. 本机测试环境与结果（7 秒音频）
测试设备：Apple Silicon + Metal  
测试音频：7 秒英文语音

- 0.6B Q4_K
  - `load_ms: 1824.82`
  - `avg_ms: 1306.61`
  - `avg_rtf: 0.1867`
- 1.7B Q4_K
  - `load_ms: 7106.62`
  - `avg_ms: 4095.37`
  - `avg_rtf: 0.5851`

说明：`rtf < 1` 代表快于实时。

## 5. 推荐使用场景
- 追求低延迟、轻量部署：`0.6b_q4_k`
- 追求更高识别稳定性：`1.7b_q4_k`

## 6. 许可证与声明
- 本仓库仅做模型分发与部署复现说明。
- 原始模型与相关权利请以上游仓库说明为准：
  - https://huggingface.co/Alkd/qwen3-asr-gguf
  - https://github.com/alan890104/qwen3-asr-rs