---
title: moonshine-base-int8-onnx
canonical_url: "https://www.modelscope.cn/models/manyeyes/moonshine-base-int8-onnx"
md_url: "https://www.modelscope.cn/models/manyeyes/moonshine-base-int8-onnx.md"
repository: manyeyes/moonshine-base-int8-onnx
chinese_name: "moonshine-base-语音识别-英文-int8-onnx模型"
last_updated: 2026-04-25
license: mit
pipeline_tag: auto-speech-recognition
tasks:
  - auto-speech-recognition
library_name:
  - onnx
frameworks:
  - onnx
language:
  - en
downloads: 0
stars: 0
tags:
  - pytorch
  - onnx
  - int8
  - quantization
  - automatic-speech-recognition
  - audio
  - edge-device
---

# moonshine-base-int8-onnx

> moonshine-base-int8-onnx - manyeyes 在 ModelScope 开源的模型。Moonshine-Base-INT8-ONNX 英文语音识别模型

manyeyes/moonshine-base-int8-onnx 是 ModelScope 魔搭社区上的auto-speech-recognition模型，采用 mit 许可。

- **Repository**: manyeyes/moonshine-base-int8-onnx
- **License**: mit
- **Tasks**: auto-speech-recognition
- **Tags**: pytorch, onnx, int8, quantization, automatic-speech-recognition, audio, edge-device
- **Downloads**: 0
- **Stars**: 0
- **Last updated**: 2026-04-25

Source: https://www.modelscope.cn/models/manyeyes/moonshine-base-int8-onnx

---

# Moonshine-Base-INT8-ONNX 英文语音识别模型

## 模型描述

**Moonshine** 是一个面向边缘计算场景（树莓派、手机、物联网设备）的语音识别模型家族，由 Useful Sensors 团队开发。本模型是 **Moonshine Base** 的 **INT8 静态量化 ONNX 版本**，在保持 FP32 版本识别精度的前提下，大幅压缩模型体积并提升推理效率，专为资源受限的边缘部署场景优化。

Moonshine 的量产级 WER 表现建立在“模型容量 + 量化策略”的工程化平衡之上。**w8-a8（8-bit 权重 + 8-bit 激活）量化**是生产环境的首选配置，在所有 Moonshine 模型上都能保持 WER 退化小于 1% 的接近无损表现，同时与主流边缘 NPU 的 INT8 硬件支持完全兼容[reference:0]。

**主要规格：**

| 属性 | 说明 |
|:---|:---|
| 网络层数 | 8 层 Transformer |
| 注意力头数 | 8 个 |
| 隐藏维度 | 416 |
| 参数量 | 约 **6100 万** |
| 模型大小（FP32）| 约 **400 MB** |
| 模型大小（INT8 静态量化）| 约 **100 MB** |
| 支持语言 | 英文 |
| 量化方案 | w8-a8 静态量化，per-group 粒度（组大小=52），对称权重量化 |
| 开源协议 | MIT License |

## 适用场景

| 场景 | 说明 |
|:---|:---|
| **实时会议转写** | 支持流式实时字幕生成，满足远程会议和记录需求 |
| **离线语音助理** | 隐私优先的边缘设备语音控制，无需联网 |
| **嵌入式 Linux 部署** | 树莓派、ARM Cortex-A53 等低端处理器可流畅运行，内存占用控制在 128MB 以内|
| **Web 浏览器端** | 可通过 ONNX Runtime Web 实现完全客户端运行，数据不离开设备 |
| **智能家居 / IoT 设备** | 资源受限环境下的语音命令识别 |

**性能优势：**
- **处理 10 秒音频**：速度比 Whisper 快约 **5 倍**
- **内存占用**：INT8 量化后仅 **~100 MB**，FP32 版本约 400 MB，内存降低 **75%**
- **推理速度提升**：相比 FP32 ONNX 版本提升约 **20%**
- **WER 退化**：≤ **1%**，接近无损量化

**限制与不足：**
- 本模型**仅支持英文**，对于非英文内容识别效果不佳
- 在强噪声或严重口音环境下识别效果会明显下降
- 极短的音频片段（纯噪声或极短语音）可能产生“幻觉”文本，应用层配合 **VAD（语音活动检测）** 可有效缓解

## 量化配置详情

### 量化方案选择
- **量化类型**：静态量化（Static Quantization）[reference:2]
  - 通过校准数据集预先计算激活值的量化参数，性能优于动态量化
- **比特宽度**：w8-a8（8-bit 权重 + 8-bit 激活）
  - 在所有 Moonshine 模型上保持接近无损的 WER 表现（退化 < 1%）
  - 与主流边缘 NPU 的 INT8 硬件支持完全兼容[reference:3]
- **量化粒度**：per-group
  - 组大小设置为 52（针对 Moonshine Base 的隐藏维度 416 ÷ 8 = 52）
  - per-group 量化相比 per-channel，在 Moonshine 上的 WER 改善可达 5% 以上
- **对称性**：对称量化（zero-point=0）
  - 硬件实现简单，对 8-bit 精度影响可接受

### 校准数据配置
建议使用约 **256 个英文语音样本**进行校准，并优先选择与目标领域匹配的数据分布。

## ONNX 模型结构

Moonshine ONNX 实现将原始模型划分为两个独立的 ONNX 组件：

| 组件 | 文件名 | 功能 |
|:---|:---|:---|
| **Encoder（编码器）** | `encoder_model.onnx` | 将音频输入处理为隐藏状态表征 |
| **Decoder（解码器）** | `decoder_model_merged.onnx` | 从编码器的隐藏状态生成文本 Token |

自回归解码时，解码器使用 **Key-Value 缓存机制**，避免注意力重复计算，大幅提升推理效率。推理从起始 Token ID = 1 开始，直到生成结束 Token ID = 2 或达到最大长度时终止。