---
title: speech_rwkv_transducer_asr-en-16k-gigaspeech-vocab5001-pytorch-online
canonical_url: "https://www.modelscope.cn/models/damo/speech_rwkv_transducer_asr-en-16k-gigaspeech-vocab5001-pytorch-online"
md_url: "https://www.modelscope.cn/models/damo/speech_rwkv_transducer_asr-en-16k-gigaspeech-vocab5001-pytorch-online.md"
repository: damo/speech_rwkv_transducer_asr-en-16k-gigaspeech-vocab5001-pytorch-online
chinese_name: "RWKV-Transducer语音识别-英文-gigaspeech-16k-实时"
last_updated: 2024-02-21
license: "Apache License 2.0"
pipeline_tag: auto-speech-recognition
tasks:
  - auto-speech-recognition
model_type:
  - autoregressive
library_name:
  - pytorch
frameworks:
  - pytorch
language:
  - en
domain:
  - audio
downloads: 290
stars: 0
tags:
  - "RNN transducer"
  - Alibaba
---

# speech_rwkv_transducer_asr-en-16k-gigaspeech-vocab5001-pytorch-online

> speech_rwkv_transducer_asr-en-16k-gigaspeech-vocab5001-pytorch-online - damo 在 ModelScope 开源的模型。基于RWKV的流式Transducer，在Gigaspeech数据集上训练得到。

damo/speech_rwkv_transducer_asr-en-16k-gigaspeech-vocab5001-pytorch-online 是 ModelScope 魔搭社区上的auto-speech-recognition模型，采用 Apache License 2.0 许可。

- **Repository**: damo/speech_rwkv_transducer_asr-en-16k-gigaspeech-vocab5001-pytorch-online
- **License**: Apache License 2.0
- **Tasks**: auto-speech-recognition
- **Tags**: RNN transducer, Alibaba
- **Downloads**: 290
- **Stars**: 0
- **Last updated**: 2024-02-21

Source: https://www.modelscope.cn/models/damo/speech_rwkv_transducer_asr-en-16k-gigaspeech-vocab5001-pytorch-online

---

# RWKV Transducer 模型介绍

## 项目介绍
RNN-T是一种识别准确率高、流式友好的语音识别模型。
本项目实现了基于RWKV的流式RNN-T模型，在Gigaspeech上获得了流式模型的SOTA结果。


## 如何快速体验模型效果

### 在线体验

在页面右侧，可以在“在线体验”栏内看到我们预先准备好的示例音频，点击播放按钮可以试听，点击“执行测试”按钮，会在下方“测试结果”栏中显示识别结果。如果您想要测试自己的音频，可点“更换音频”按钮，选择上传或录制一段音频，完成后点击执行测试，识别内容将会在测试结果栏中显示。

### 在Notebook中开发

对于有开发需求的使用者，特别推荐您使用Notebook进行离线处理。先登录ModelScope账号，点击模型页面右上角的“在Notebook中打开”按钮出现对话框。api调用方式可参考如下范例：

```python
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

inference_pipline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_rwkv_transducer_asr-en-16k-gigaspeech-vocab5001-pytorch-online',
    model_revision="v2.0.2",
    )

rec_result = inference_pipline('https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_en.wav')
print(rec_result)
```


## 如何训练自己的RNN-T模型？

本项目提供的RNN-T是基于Gigaspeech的识别模型，开发者可以基于本项目对应的github代码仓库进一步进行模型的领域定制化。

### 基于github的模型训练和推理

FunASR框架支持魔搭社区开源的工业级的语音识别模型的training & finetuning，使得研究人员和开发者可以更加便捷的进行语音识别模型的研究和生产，目前已在github开源：https://github.com/alibaba-damo-academy/FunASR。

#### FunASR框架安装

- 安装FunASR和ModelScope

```sh
# Clone the repo:
git clone https://github.com/alibaba/FunASR.git

# Install Conda:
wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh
conda create -n funasr python=3.7
conda activate funasr

# Install Pytorch (version >= 1.7.0):
conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=9.2 -c pytorch  # For more versions, please see https://pytorch.org/get-started/locally/

# Install ModelScope
pip install "modelscope[audio]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

# Install other packages:
pip install --editable ./
```



## 数据评估及结果


| model | test (WER%) |
|:-----:|:-----------:|
| RNN-T |    13.12    |


## 使用方式以及适用范围

运行范围
- 现阶段只能在Linux-x86_64运行，不支持Mac和Windows。

使用方式
- 直接推理：可以直接对输入音频进行解码，输出目标文字。
- 微调：加载训练好的模型，采用私有或者开源数据进行模型训练。

使用范围与目标场景
- 适合于在线语音识别场景，如录音文件转写，配合GPU推理效果更加，推荐输入语音时长在20s以下。

## 相关论文以及引用信息

```BibTeX
@inproceedings{an2023bat,
  title={BAT: Boundary aware transducer for memory-efficient and low-latency ASR},
  author={Keyu An, Xian Shi, Shiliang Zhang},
  booktitle={INTERSPEECH},
  year={2023}
}
@misc{an2023exploring,
      title={Exploring RWKV for Memory Efficient and Low Latency Streaming ASR}, 
      author={Keyu An and Shiliang Zhang},
      year={2023},
      eprint={2309.14758},
      archivePrefix={arXiv},
      primaryClass={eess.AS}
}
```