--- title: speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch canonical_url: "https://www.modelscope.cn/models/damo/speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch" md_url: "https://www.modelscope.cn/models/damo/speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch.md" repository: damo/speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch chinese_name: "ParaformerBert语音识别-中文-aishell2-16k-离线-pytorch" last_updated: 2023-07-25 license: "Apache License 2.0" pipeline_tag: auto-speech-recognition tasks: - auto-speech-recognition model_type: - Non-autoregressive library_name: - pytorch frameworks: - pytorch language: - cn domain: - audio downloads: 12692 stars: 2 tags: - FunASR - ParaformerBert - Alibaba - "INTERSPEECH 2022" --- # speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch > speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch - damo 在 ModelScope 开源的模型。Paraformer是一种非自回归端到端语音识别模型。非自回归模型相比于目前主流的自回归模型，可以并行的对整条句子输出目标文字，特别适合利用GPU进行并行推理。Paraformer是目前已知的首个在工业大数据上可以获得和自回归端到端模型相同性能的非自回归模型。配合GPU推理，可以将推理效率提升10倍，从而将语音识别云服务的机器成本… damo/speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch 是 ModelScope 魔搭社区上的auto-speech-recognition模型，采用 Apache License 2.0 许可。 - **Repository**: damo/speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch - **License**: Apache License 2.0 - **Tasks**: auto-speech-recognition - **Tags**: FunASR, ParaformerBert, Alibaba, INTERSPEECH 2022 - **Downloads**: 12692 - **Stars**: 2 - **Last updated**: 2023-07-25 Source: https://www.modelscope.cn/models/damo/speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch --- # ParaformerBert模型介绍 ## [ModelScope-FunASR](https://github.com/alibaba-damo-academy/FunASR) [FunASR](https://github.com/alibaba-damo-academy/FunASR)希望在语音识别方面建立学术研究和工业应用之间的桥梁。通过支持在ModelScope上发布的工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并促进语音识别生态系统的发展。 [**最新动态**](https://github.com/alibaba-damo-academy/FunASR#whats-new) | [**环境安装**](https://github.com/alibaba-damo-academy/FunASR#installation) | [**介绍文档**](https://alibaba-damo-academy.github.io/FunASR/en/index.html) | [**中文教程**](https://github.com/alibaba-damo-academy/FunASR/wiki#funasr%E7%94%A8%E6%88%B7%E6%89%8B%E5%86%8C) | [**服务部署**](https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime) | [**模型库**](https://github.com/alibaba-damo-academy/FunASR/blob/main/docs/model_zoo/modelscope_models.md) | [**联系我们**](https://github.com/alibaba-damo-academy/FunASR#contact) ## 项目介绍 Paraformer是达摩院语音团队提出的一种高效的非自回归端到端语音识别框架。本项目为Paraformer中文通用语音识别模型，采用工业级数万小时的标注音频进行模型训练，保证了模型的通用识别效果。模型可以被应用于语音输入法、语音导航、智能会议纪要等场景。

Paraformer模型结构 Paraformer模型结构如上图所示，由 Encoder、Predictor、Sampler、Decoder 与 Loss function 五部分组成。Encoder可以采用不同的网络结构，例如self-attention，conformer，SAN-M等。Predictor 为两层FFN，预测目标文字个数以及抽取目标文字对应的声学向量。Sampler 为无可学习参数模块，依据输入的声学向量和目标向量，生产含有语义的特征向量。Decoder 结构与自回归模型类似，为双向建模（自回归为单向建模）。Loss function 部分，除了交叉熵（CE）与 MWER 区分性优化目标，还包括了 Predictor 优化目标 MAE。 其核心点主要有： - Predictor 模块：基于 Continuous integrate-and-fire (CIF) 的 预测器 (Predictor) 来抽取目标文字对应的声学特征向量，可以更加准确的预测语音中目标文字个数。 - Sampler：通过采样，将声学特征向量与目标文字向量变换成含有语义信息的特征向量，配合双向的 Decoder 来增强模型对于上下文的建模能力。 - 基于负样本采样的 MWER 训练准则。 更详细的细节见： - 论文： [Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition](https://arxiv.org/abs/2206.08317) - 论文解读：[Paraformer: 高识别率、高计算效率的单轮非自回归端到端语音识别模型](https://mp.weixin.qq.com/s/xQ87isj5_wxWiQs4qUXtVw) ## 如何使用与训练自己的模型 本项目提供的预训练模型是基于大数据训练的通用领域识别模型，开发者可以基于此模型进一步利用ModelScope的微调功能或者本项目对应的Github代码仓库[FunASR](https://github.com/alibaba-damo-academy/FunASR)进一步进行模型的领域定制化。 ### 在Notebook中开发 对于有开发需求的使用者，特别推荐您使用Notebook进行离线处理。先登录ModelScope账号，点击模型页面右上角的“在Notebook中打开”按钮出现对话框，首次使用会提示您关联阿里云账号，按提示操作即可。关联账号后可进入选择启动实例界面，选择计算资源，建立实例，待实例创建完成后进入开发环境，进行调用。 #### 基于ModelScope进行推理 - 推理支持音频格式如下： - wav文件路径，例如：data/test/audios/asr_example.wav - wav文件url，例如：https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example.wav - wav二进制数据，格式bytes，例如：用户直接从文件里读出bytes数据或者是麦克风录出bytes数据。 - 已解析的audio音频，例如：audio, rate = soundfile.read("asr_example.wav")，类型为numpy.ndarray或者torch.Tensor。 - wav.scp文件，需符合如下要求： ```sh cat wav.scp asr_example1 data/test/audios/asr_example1.wav asr_example2 data/test/audios/asr_example2.wav ... ``` - 若输入格式wav文件url，api调用方式可参考如下范例： ```python from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks inference_pipeline = pipeline( task=Tasks.auto_speech_recognition, model='damo/speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch') rec_result = inference_pipeline(audio_in='https://modelscope.oss-cn-beijing.aliyuncs.com/test/audios/asr_example.wav') print(rec_result) ``` - 输入音频为wav格式，api调用方式可参考如下范例: ```python rec_result = inference_pipeline(audio_in='asr_example.wav') ``` - 若输入格式为文件wav.scp(注：文件名需要以.scp结尾)，可添加 output_dir 参数将识别结果写入文件中，api调用方式可参考如下范例: ```python inference_pipeline = pipeline( task=Tasks.auto_speech_recognition, model='damo/speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch', output_dir='./output_dir') inference_pipeline("wav.scp") ``` 识别结果输出路径结构如下： ```sh tree output_dir/ output_dir/ └── 1best_recog ├── rtf ├── score ├── text └── time_stamp 1 directory, 4 files ``` rtf：计算过程耗时统计 score：识别路径得分 text：语音识别结果文件 time_stamp：时间戳结果文件 - 若输入音频为已解析的audio音频，api调用方式可参考如下范例： ```python import soundfile waveform, sample_rate = soundfile.read("asr_example.wav") rec_result = inference_pipeline(audio_in=waveform) ``` ### 在本地机器中开发 #### 基于ModelScope进行推理 支持基于ModelScope上数据集及私有数据集进行推理，使用方式同Notebook中开发。 #### 基于FunASR进行微调和推理 FunASR框架支持魔搭社区开源的工业级的语音识别模型的training & finetuning，使得研究人员和开发者可以更加便捷的进行语音识别模型的研究和生产，目前已在Github开源：https://github.com/alibaba-damo-academy/FunASR 。若在使用过程中遇到任何问题，欢迎联系我们：[联系方式](https://github.com/alibaba-damo-academy/FunASR/blob/main/docs/images/dingding.jpg) #### FunASR框架安装 - 安装FunASR和ModelScope，[详见](https://github.com/alibaba-damo-academy/FunASR/wiki) ```sh pip3 install -U modelscope git clone https://github.com/alibaba/FunASR.git && cd FunASR pip3 install -e ./ ``` #### 基于FunASR进行推理 接下来会以私有数据集为例，介绍如何在FunASR框架中进行推理。 - 推理 ```sh cd egs_modelscope/paraformerbert/speech_paraformerbert_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch python infer.py ``` ## AISHELL-2 | testset | CER(%) | |:-----------:|:-------:| | dev | 4.62 | | test | 5.11 | ## 使用方式以及适用范围 运行范围 - 支持Linux-x86_64、Mac和Windows运行。 使用方式 - 直接推理：可以直接对输入音频进行解码，输出目标文字。 - 微调：加载训练好的模型，采用私有或者开源数据进行模型训练。 使用范围与目标场景 - 适合与离线语音识别场景，如录音文件转写，配合GPU推理效果更加，推荐输入语音时长在20s以下。 ## 模型局限性以及可能的偏差 考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（<0.1%），推理GPU环境差异导致的RTF数值差异。 ## 相关论文以及引用信息 ```BibTeX @inproceedings{gao2022paraformer, title={Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition}, author={Gao, Zhifu and Zhang, Shiliang and McLoughlin, Ian and Yan, Zhijie}, booktitle={INTERSPEECH}, year={2022} } ```