---
title: Audio_Assistant
canonical_url: "https://www.modelscope.cn/models/AIBS/Audio_Assistant"
md_url: "https://www.modelscope.cn/models/AIBS/Audio_Assistant.md"
repository: AIBS/Audio_Assistant
last_updated: 2026-10-28
license: "Apache License 2.0"
pipeline_tag: auto-speech-recognition
tasks:
  - auto-speech-recognition
downloads: 0
stars: 0
tags:
  - audio
  - keyword-spotting
  - asr
  - tts
  - 400tai
  - 30tai
  - icraft
---

# Audio_Assistant

> Audio_Assistant - AIBS 在 ModelScope 开源的模型。Audio_Assistant语音助手

AIBS/Audio_Assistant 是 ModelScope 魔搭社区上的auto-speech-recognition模型，采用 Apache License 2.0 许可。

- **Repository**: AIBS/Audio_Assistant
- **License**: Apache License 2.0
- **Tasks**: auto-speech-recognition
- **Tags**: audio, keyword-spotting, asr, tts, 400tai, 30tai, icraft
- **Downloads**: 0
- **Stars**: 0
- **Last updated**: 2026-10-28

Source: https://www.modelscope.cn/models/AIBS/Audio_Assistant

---

# Audio_Assistant

离线语音助手参考工程（VAD + KWS + ASR + TTS），按芯片后端分分支维护：

```text
PCM(16k, mono, float32)
  -> VAD(silero-vad, onnxruntime)
  -> KWS(zipformer, 3s 滑窗唤醒)
  -> VAD 切命令段
  -> ASR(conformer, b16 joiner + asr_encoder_500)
  -> orange_command 匹配(command/intent/family/slot)
  -> TTS(MeloTTS)
```

本仓库是**部署型模型库**：每个分支都是可直接运行的完整工程（模型 json/raw、离线 Python 环境、pyrt 入口、golden/耗时基线），不包含模型导出与 icraft 编译流程。

## 分支说明

| 分支 | 平台 | 运行环境 | 默认入口 |
|---|---|---|---|
| `master` | — | — | 本说明（仅指引，不含模型） |
| `WL` | 400TAI / WL170 | Ubuntu 22.04 aarch64，Python 3.12，icraft 3.40.1，AXI | `3_deploy/pyrt/run_cmd_axi.sh` |
| `ZG` | 30TAI / ZG330 | Ubuntu 20.04 aarch64，Python 3.8，icraft 3.40.1，AXI | `3_deploy/pyrt/run_cmd_axi.sh` |

> 默认分支 `master` 只放分支说明与使用指引；获取模型请显式指定 `--revision WL` 或 `--revision ZG`。

## 获取

```bash
git lfs install

# 按分支克隆（分支根目录即工程根目录）
git clone -b WL https://www.modelscope.cn/AIBS/Audio_Assistant.git Audio_Assistant_WL
git clone -b ZG https://www.modelscope.cn/AIBS/Audio_Assistant.git Audio_Assistant_ZG
```

或使用 ModelScope SDK：

```python
from modelscope import snapshot_download

snapshot_download('AIBS/Audio_Assistant', revision='WL', local_dir='./Audio_Assistant_WL')
snapshot_download('AIBS/Audio_Assistant', revision='ZG', local_dir='./Audio_Assistant_ZG')
```

## WL 分支（400TAI / WL170）

- 配置：`3_deploy/cfg/audio_assistant_WL_fp16_b16_500_axi.yaml`
- 模型：`3_deploy/imodel/WL/fp16/`（KWS/ASR b16 + asr_encoder_500 帧，TTS_YL=1024）
- 离线环境：`3_deploy/axi_pyenv/`（Python 3.12 aarch64 wheels + nltk_data）
- 运行：

```bash
cd Audio_Assistant_WL/3_deploy/pyrt
chmod +x run_cmd_axi.sh
./run_cmd_axi.sh --no-tts --timing-json ../io/output/cmd_timing.json
./run_cmd_axi.sh --timing-json ../io/output/cmd_timing.json       # 带 TTS
./run_cmd_axi.sh --ip <board_ip>
```

- 结果：`3_deploy/io/output/WL_fp16_b16_500_cmd/`
- 期望：`3_deploy/io/golden/`
- 基线：`3_deploy/metrics/time_analyze/`
- 详见分支内 `README.md`

## ZG 分支（30TAI / ZG330）

- 配置：`3_deploy/cfg/audio_assistant_ZG_fp16_b16_500_axi.yaml`
- 模型：`3_deploy/imodel/ZG/fp16/`（KWS/ASR b16 + asr_encoder_500 帧，TTS_YL=256）
- 离线环境：`3_deploy/zg_audio_env/`（Python 3.8 aarch64 wheels + nltk_data）
- 运行：

```bash
cd Audio_Assistant_ZG/3_deploy/pyrt
chmod +x run_cmd_axi.sh
./run_cmd_axi.sh --no-tts --timing-json ../io/output/cmd_timing.json
./run_cmd_axi.sh --timing-json ../io/output/cmd_timing.json       # 带 TTS
./run_cmd_axi.sh --ip <board_ip>
```

- 结果：`3_deploy/io/output/ZG_fp16_b16_500_cmd/`
- 期望：`3_deploy/io/golden/`
- 基线：`3_deploy/metrics/time_analyze/`
- 详见分支内 `README.md`

## 网络耗时

| 分支 | 平台 | KWS | ASR | VAD | TTS 子网稳态 |
|---|---|---:|---:|---:|---:|
| WL | 400TAI / WL170 | ~214 ms | ~247 ms | ~106 ms | ~0.91 s（1024帧） |
| ZG | 30TAI / ZG330 | ~409 ms | ~477 ms | ~165 ms | ~0.44 s(256帧) |

> 数值为对应板端实测网络自身耗时；完整层级耗时树见各分支 `README.md` 的「耗时树输出」与 `3_deploy/metrics/time_analyze/`。复测请以 `--timing-json` 为准。

## 目录约定

每个分支的根目录即对应工程根目录：

```text
<branch>/
├── configuration.json
├── README.md
├── THIRD_PARTY_NOTICES.md
├── melo/                      # MeloTTS 文本前端
└── 3_deploy/
    ├── cfg/                   # datapath/模型路径配置
    ├── imodel/<WL|ZG>/fp16/   # 最终 json + raw
    ├── pyrt/                  # audio_assistant_mix[_cmd].py + run_cmd_axi.sh + assets
    ├── modelzoo_utils/        # pyrtutils（Icraft 封装）
    ├── axi_pyenv/ | zg_audio_env/   # 板端离线 Python 环境
    ├── io/                    # 输入 wav + golden 结果
    └── metrics/time_analyze/  # 耗时基线 JSON / 说明
```

## 注意

1. **默认分支 master 不含模型**，请按 `--revision`/`-b` 选择 WL 或 ZG。
2. 模型文件通过 Git LFS 管理，克隆前先 `git lfs install`；未拉取 LFS 时 `*.raw/*.npy/*.whl` 只是指针文件。
3. `run_cmd_axi.sh` 会自动设置 `LD_PRELOAD`（`libgatherelements_hostbackend.so`）；缺失时 ASR 会退化到很慢的 host 路径。
4. 首次运行需加载全部 session，初始化耗时以各分支实测为准；TTS 首次 `clean_text` 为一次性开销。
5. 权重来源与第三方许可见各分支 `THIRD_PARTY_NOTICES.md`。