--- title: speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k canonical_url: "https://www.modelscope.cn/models/damo/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k" md_url: "https://www.modelscope.cn/models/damo/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k.md" repository: damo/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k chinese_name: "Data2vec语音识别-预训练-paraformer-中文-aishell2-16k" last_updated: 2023-06-27 license: "Apache License 2.0" pipeline_tag: auto-speech-recognition tasks: - auto-speech-recognition model_type: - Autoregressive library_name: - pytorch frameworks: - pytorch language: - cn domain: - audio downloads: 2037 stars: 1 tags: - data2vec - Alibaba - ICML2022 --- # speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k > speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k - damo 在 ModelScope 开源的模型。近年来，随着预训练的流行，许多研究致力于利用预训练的方式来充分利用大量的无监督数据，帮助提升在有监督语音数据有限情况下的语音识别的性能。wav2vec，HuBERT，WavLM等方法，都通过无监督预训练的方式在语音识别任务上取得了不错的识别率。2022年，Meta… damo/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k 是 ModelScope 魔搭社区上的auto-speech-recognition模型，采用 Apache License 2.0 许可。 - **Repository**: damo/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k - **License**: Apache License 2.0 - **Tasks**: auto-speech-recognition - **Tags**: data2vec, Alibaba, ICML2022 - **Downloads**: 2037 - **Stars**: 1 - **Last updated**: 2023-06-27 Source: https://www.modelscope.cn/models/damo/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k --- # Data2vec模型介绍 # Highlights - Data2vec中文预训练模型上线，欢迎试用 - 提供基于AISHELL-2数据集训练得到的中文预训练模型，可以用于下游任务微调，例如语音识别等。 - 新增基于AISHELL-1数据集微调得到的paraformer中文语音识别模型，相比自回归模型，在保持性能基本不变的情况下，速度大幅提升。 ## Release Notes - 2023年2月（2月17号发布）：[funasr-0.2.0](https://github.com/alibaba-damo-academy/FunASR/tree/main), modelscope-1.3.0 - 功能完善： - 新增加模型导出功能，Modelscope中所有Paraformer模型与本地finetune模型，支持一键导出[onnx格式模型与torchscripts格式模型](https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/export)，用于模型部署。 - 新增加Paraformer模型[onnxruntime部署功能](https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/python/onnxruntime/paraformer/rapid_paraformer)，无须安装Modelscope与FunASR，即可部署，cpu实测，onnxruntime推理速度提升近3倍(rtf: 0.110->0.038)。 - 新增加[grpc服务功能](https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/python/grpc)，支持对Modelscope推理pipeline进行服务部署，也支持对onnxruntime进行服务部署。 - 优化[Paraformer-large长音频模型](https://www.modelscope.cn/models/damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch/summary)时间戳，对badcase时间戳预测准确率有较大幅度提升，平均首尾时间戳偏移74.7ms，[详见论文](https://arxiv.org/abs/2301.12343)。 - 新增加任意VAD模型、ASR模型与标点模型自由组合功能，可以自由组合Modelscope中任意模型以及本地finetune后的模型进行推理。 - 新增加采样率自适应功能，任意输入采样率音频会自动匹配到模型采样率；新增加多种语音格式支持，如，mp3、flac、ogg、opus等。 - 上线新模型： - [Paraformer-large热词模型](https://www.modelscope.cn/models/damo/speech_paraformer-large-contextual_asr_nat-zh-cn-16k-common-vocab8404/summary)，可实现热词定制化，基于提供的热词列表，对热词进行激励增强，提升模型对热词的召回。 - [MFCCA多通道多说话人识别模型](https://www.modelscope.cn/models/NPU-ASLP/speech_mfcca_asr-zh-cn-16k-alimeeting-vocab4950/summary)，与西工大音频语音与语言处理研究组合作论文，一种基于多帧跨通道注意力机制的多通道语音识别模型。 - [8k语音端点检测VAD模型](https://modelscope.cn/models/damo/speech_fsmn_vad_zh-cn-8k-common/summary)，可用于检测长语音片段中有效语音的起止时间点，支持流式输入，最小支持10ms语音输入流。 - UniASR流式离线一体化模型: [16k UniASR闽南语](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-minnan-16k-common-vocab3825/summary)、 [16k UniASR法语](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-fr-16k-common-vocab3472-tensorflow1-online/summary)、 [16k UniASR德语](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-de-16k-common-vocab3690-tensorflow1-online/summary)、 [16k UniASR越南语](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-vi-16k-common-vocab1001-pytorch-online/summary)、 [16k UniASR波斯语](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-fa-16k-common-vocab1257-pytorch-online/summary)。 - [基于Data2vec结构无监督预训练Paraformer模型](https://www.modelscope.cn/models/damo/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k/summary)，采用Data2vec无监督预训练初值模型，在AISHELL-1数据中finetune Paraformer模型。 - 2023年1月（1月16号发布）：[funasr-0.1.6](https://github.com/alibaba-damo-academy/FunASR/tree/main), modelscope-1.2.0 - 上线新模型： - [Paraformer-large长音频模型](https://www.modelscope.cn/models/damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch/summary)，集成VAD、ASR、标点与时间戳功能，可直接对时长为数小时音频进行识别，并输出带标点文字与时间戳。 - [中文无监督预训练Data2vec模型](https://www.modelscope.cn/models/damo/speech_data2vec_pretrain-zh-cn-aishell2-16k-pytorch/summary)，采用Data2vec结构，基于AISHELL-2数据的中文无监督预训练模型，支持ASR或者下游任务微调模型。 - [16k语音端点检测VAD模型](https://modelscope.cn/models/damo/speech_fsmn_vad_zh-cn-16k-common-pytorch/summary)，可用于检测长语音片段中有效语音的起止时间点。 - [中文标点预测通用模型](https://www.modelscope.cn/models/damo/punc_ct-transformer_zh-cn-common-vocab272727-pytorch/summary)，可用于语音识别模型输出文本的标点预测。 - [8K UniASR流式模型](https://www.modelscope.cn/models/damo/speech_UniASR_asr_2pass-zh-cn-8k-common-vocab3445-pytorch-online/summary)，[8K UniASR模型](https://www.modelscope.cn/models/damo/speech_UniASR_asr_2pass-zh-cn-8k-common-vocab3445-pytorch-offline/summary)，一种流式与离线一体化语音识别模型，进行流式语音识别的同时，能够以较低延时输出离线识别结果来纠正预测文本。 - Paraformer-large基于[AISHELL-1微调模型](https://www.modelscope.cn/models/damo/speech_paraformer-large_asr_nat-zh-cn-16k-aishell1-vocab8404-pytorch/summary)、[AISHELL-2微调模型](https://www.modelscope.cn/models/damo/speech_paraformer-large_asr_nat-zh-cn-16k-aishell2-vocab8404-pytorch/summary)，将Paraformer-large模型分别基于AISHELL-1与AISHELL-2数据微调。 - [说话人确认模型](https://www.modelscope.cn/models/damo/speech_xvector_sv-zh-cn-cnceleb-16k-spk3465-pytorch/summary) ，可用于说话人确认，也可以用来做说话人特征提取。 - [小尺寸设备端Paraformer指令词模型](https://www.modelscope.cn/models/damo/speech_paraformer-tiny-commandword_asr_nat-zh-cn-16k-vocab544-pytorch/summary)，Paraformer-tiny指令词版本，使用小参数量模型支持指令词识别。 - 将原TensorFlow模型升级为Pytorch模型，进行推理，并支持微调定制，包括： - 16K 模型：[Paraformer中文](https://modelscope.cn/models/damo/speech_paraformer_asr_nat-zh-cn-16k-common-vocab8358-tensorflow1/summary)、 [Paraformer-large中文](https://modelscope.cn/models/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8358-tensorflow1/summary)、 [UniASR中文](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-zh-cn-16k-common-vocab8358-tensorflow1-offline/summary)、 [UniASR-large中文](https://modelscope.cn/models/damo/speech_UniASR-large_asr_2pass-zh-cn-16k-common-vocab8358-tensorflow1-offline/summary)、 [UniASR中文流式模型](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-zh-cn-16k-common-vocab8358-tensorflow1-online/summary)、 [UniASR方言](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-cn-dialect-16k-vocab8358-tensorflow1-offline/summary)、 [UniASR方言流式模型](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-cn-dialect-16k-vocab8358-tensorflow1-online/summary)、 [UniASR日语](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-ja-16k-common-vocab93-tensorflow1-offline/summary)、 [UniASR日语流式模型](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-ja-16k-common-vocab93-tensorflow1-online/summary)、 [UniASR印尼语](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-id-16k-common-vocab1067-tensorflow1-offline/summary)、 [UniASR印尼语流式模型](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-id-16k-common-vocab1067-tensorflow1-online/summary)、 [UniASR葡萄牙语](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-pt-16k-common-vocab1617-tensorflow1-offline/summary)、 [UniASR葡萄牙语流式模型](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-pt-16k-common-vocab1617-tensorflow1-online/summary)、 [UniASR英文](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-en-16k-common-vocab1080-tensorflow1-offline/summary)、 [UniASR英文流式模型](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-en-16k-common-vocab1080-tensorflow1-online/summary)、 [UniASR俄语](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-ru-16k-common-vocab1664-tensorflow1-offline/summary)、 [UniASR俄语流式模型](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-ru-16k-common-vocab1664-tensorflow1-online/summary)、 [UniASR韩语](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-ko-16k-common-vocab6400-tensorflow1-offline/summary)、 [UniASR韩语流式模型](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-ko-16k-common-vocab6400-tensorflow1-online/summary)、 [UniASR西班牙语](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-es-16k-common-vocab3445-tensorflow1-offline/summary)、 [UniASR西班牙语流式模型](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-es-16k-common-vocab3445-tensorflow1-online/summary)、 [UniASR粤语简体](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-cantonese-CHS-16k-common-vocab1468-tensorflow1-offline/files)、 [UniASR粤语简体流式模型](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-cantonese-CHS-16k-common-vocab1468-tensorflow1-online/files)、 - 8K 模型：[Paraformer中文](https://modelscope.cn/models/damo/speech_paraformer_asr_nat-zh-cn-8k-common-vocab8358-tensorflow1/summary)、 [UniASR中文](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-zh-cn-8k-common-vocab8358-tensorflow1-offline/summary)、 [UniASR中文流式模型](https://modelscope.cn/models/damo/speech_UniASR_asr_2pass-zh-cn-8k-common-vocab8358-tensorflow1-offline/summary) ## 项目介绍 近年来，随着预训练的流行，许多研究致力于利用预训练的方式来充分利用大量的无监督数据，帮助提升在有监督语音数据有限情况下的语音识别的性能。wav2vec，HuBERT，WavLM等方法，都通过无监督预训练的方式在语音识别任务上取得了不错的识别率。2022年，Meta AI在ICML上提出了data2vec，具体结构如下图琐事，其能同时应用于语音、视觉、自然语言处理等不同模态，且都取得了不错的性能。

data2vec模型结构 更详细的描述见：[论文](https://proceedings.mlr.press/v162/baevski22a/baevski22a.pdf) ## 如何使用与训练自己的模型 本项目提供的预训练模型是基于大数据训练的通用领域识别模型，开发者可以基于此模型进一步利用ModelScope的微调功能或者本项目对应的Github代码仓库[FunASR](https://github.com/alibaba-damo-academy/FunASR)进一步进行模型的领域定制化。 ### 在Notebook中开发 对于有开发需求的使用者，特别推荐您使用Notebook进行离线处理。先登录ModelScope账号，点击模型页面右上角的“在Notebook中打开”按钮出现对话框，首次使用会提示您关联阿里云账号，按提示操作即可。关联账号后可进入选择启动实例界面，选择计算资源，建立实例，待实例创建完成后进入开发环境，进行调用。 #### 基于ModelScope进行推理 - 推理支持音频格式如下： - wav文件路径，例如：data/test/audios/asr_example.wav - wav文件url，例如：https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example.wav - wav二进制数据，格式bytes，例如：用户直接从文件里读出bytes数据或者是麦克风录出bytes数据。 - 已解析的audio音频，例如：audio, rate = soundfile.read("asr_example.wav")，类型为numpy.ndarray或者torch.Tensor。 - wav.scp文件，需符合如下要求： ```sh cat wav.scp asr_example1 data/test/audios/asr_example1.wav asr_example2 data/test/audios/asr_example2.wav ... ``` - 若输入格式wav文件url，api调用方式可参考如下范例： ```python from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks inference_pipeline = pipeline( task=Tasks.auto_speech_recognition, model='damo/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k') rec_result = inference_pipeline(audio_in='https://modelscope.oss-cn-beijing.aliyuncs.com/test/audios/asr_example.wav') print(rec_result) ``` - 输入音频为wav格式，api调用方式可参考如下范例: ```python rec_result = inference_pipeline(audio_in='asr_example.wav') ``` - 若输入格式为文件wav.scp(注：文件名需要以.scp结尾)，可添加 output_dir 参数将识别结果写入文件中，api调用方式可参考如下范例: ```python inference_pipeline = pipeline( task=Tasks.auto_speech_recognition, model='damo/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k', output_dir='./output_dir') inference_pipeline("wav.scp") ``` 识别结果输出路径结构如下： ```sh tree output_dir/ output_dir/ └── 1best_recog ├── score ├── text └── token 1 directory, 3 files ``` score：识别路径得分 text：语音识别结果文件 token：带空格的语音识别结果文件 - 若输入音频为已解析的audio音频，api调用方式可参考如下范例： ```python import soundfile waveform, sample_rate = soundfile.read("asr_example.wav") rec_result = inference_pipeline(audio_in=waveform) ``` #### 基于ModelScope进行微调 - 基于ModelScope上数据集进行微调： 以[AISHELL-1](https://www.modelscope.cn/datasets/speech_asr/speech_asr_aishell1_trainsets/summary)数据集为例，完整数据集已经上传ModelScope，可通过数据集英文名（speech_asr_aishell1_trainsets）搜索： ```python import os from modelscope.metainfo import Trainers from modelscope.trainers import build_trainer from funasr.datasets.ms_dataset import MsDataset exp_dir = './exp' if not os.path.exists(exp_dir): os.makedirs(exp_dir) # dataset split ['train', 'validation'] ds_dict = MsDataset.load(dataset_name='speech_asr_aishell1_trainsets', namespace='speech_asr') kwargs = dict( model='damo/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k', data_dir=ds_dict, work_dir=exp_dir) trainer = build_trainer(Trainers.speech_asr_trainer, default_args=kwargs) trainer.train() ``` - 基于私有数据集进行微调: 私有数据集格式按如下准备： ```sh tree ./example_data/ ./example_data/ ├── validation │ ├── text │ └── wav.scp └── train ├── text └── wav.scp 2 directories, 4 files ``` 其中，text文件中存放音频标注，wav.scp文件中存放wav音频绝对路径，样例如下： ```sh cat ./example_data/text BAC009S0002W0122 而 对 楼市 成交 抑制 作用 最 大 的 限 购 BAC009S0002W0123 也 成为 地方 政府 的 眼中 钉 cat ./example_data/wav.scp BAC009S0002W0122 /mnt/data/wav/train/S0002/BAC009S0002W0122.wav BAC009S0002W0123 /mnt/data/wav/train/S0002/BAC009S0002W0123.wav ``` 安装[FunASR](https://github.com/alibaba-damo-academy/FunASR)框架，安装命令如下： ``` git clone https://github.com/alibaba/FunASR.git cd FunASR pip install --editable ./ ``` 训练私有数据代码范例如下： ```python import os from modelscope.metainfo import Trainers from modelscope.trainers import build_trainer from funasr.datasets.ms_dataset import MsDataset def modelscope_finetune(params): if not os.path.exists(params.output_dir): os.makedirs(params.output_dir, exist_ok=True) # dataset split ["train", "validation"] ds_dict = MsDataset.load(params.data_path) kwargs = dict( model=params.model, data_dir=ds_dict, dataset_type=params.dataset_type, work_dir=params.output_dir, batch_bins=params.batch_bins, max_epoch=params.max_epoch, lr=params.lr) trainer = build_trainer(Trainers.speech_asr_trainer, default_args=kwargs) trainer.train() if __name__ == '__main__': from funasr.utils.modelscope_param import modelscope_args params = modelscope_args(model="damo/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k", data_path="./data") params.output_dir = "./checkpoint" # 模型保存路径 params.data_path = "./example_data/" # 数据路径 params.dataset_type = "small" # 小数据量设置small，若数据量大于1000小时，请使用large params.batch_bins = 16000 # batch size，如果dataset_type="small"，batch_bins单位为fbank特征帧数，如果dataset_type="large"，batch_bins单位为毫秒， params.max_epoch = 50 # 最大训练轮数 params.lr = 0.00002 # 设置学习率 modelscope_finetune(params) ``` 若使用多卡进行训练，可将上述代码保存为py文件（如finetune.py）后，执行如下命令： ```sh CUDA_VISIBLE_DEVICES=1,2 python -m torch.distributed.launch --nproc_per_node 2 finetune.py > log.txt 2>&1 ``` ### 在本地机器中开发 #### 基于ModelScope进行微调和推理 支持基于ModelScope上数据集及私有数据集进行定制微调和推理，使用方式同Notebook中开发。 #### 基于FunASR进行微调和推理 FunASR框架支持魔搭社区开源的工业级的语音识别模型的training & finetuning，使得研究人员和开发者可以更加便捷的进行语音识别模型的研究和生产，目前已在Github开源：https://github.com/alibaba-damo-academy/FunASR 。若在使用过程中遇到任何问题，欢迎联系我们：[联系方式](https://github.com/alibaba-damo-academy/FunASR/blob/main/docs/images/dingding.jpg) #### FunASR框架安装 - 安装FunASR和ModelScope ```sh pip install "modelscope[audio]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html git clone https://github.com/alibaba/FunASR.git cd FunASR pip install --editable ./ ``` #### 基于FunASR进行微调和推理 接下来会以私有数据集为例，介绍如何在FunASR框架中使用Data2vec预训练模型进行微调，以及使用基于Data2vec预训练模型微调得到的模型进行推理。 - 微调 ```sh cd egs_modelscope/data2vec/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k python finetune.py ``` 若修改输出路径、数据路径、采样率、batch_size等配置，可参照在Notebook开发中私有数据微调部分的代码，修改finetune.py文件中配置。 若想使用多卡进行微调训练，可按执行如下命令： ```sh CUDA_VISIBLE_DEVICES=1,2 python -m torch.distributed.launch --nproc_per_node 2 finetune.py > log.txt 2>&1 ``` - 推理 ```sh cd egs_modelscope/data2vec/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k python infer.py ``` - 基于本地微调训练模型推理 ```sh cd egs_modelscope/data2vec/speech_data2vec_pretrain-paraformer-zh-cn-aishell2-16k python infer_after_finetune.py ``` ## AISHELL-1数据集微调性能 | testset | CER(%) | |:-----------:|:-------:| | dev | 3.87 | | test | 4.15 | ## 使用方式以及适用范围 运行范围 - 现阶段只能在Linux-x86_64运行，不支持Mac和Windows。 使用方式 - 直接推理：基于提供的微调模型直接对输入音频进行解码，输出目标文字。 - 微调：加载提供的预训练模型，采用私有或者开源数据进行下游任务模型微调。 使用范围与目标场景 - 微调模型：适合与离线语音识别场景，如录音文件转写，配合GPU推理效果更加 - 预训练模型：基于提供的预训练模型，采用私有或者开源数据进行模型微调。另外，预训练采用学术数据集AISHELL-2，可在学术科研场景下，作为语音识别等下游任务的初值模型。 ## 模型局限性以及可能的偏差 考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（<0.1%）。 ## 相关论文以及引用信息 ```BibTeX @article{baevski2022data2vec, title={Data2vec: A general framework for self-supervised learning in speech, vision and language}, author={Baevski, Alexei and Hsu, Wei-Ning and Xu, Qiantong and Babu, Arun and Gu, Jiatao and Auli, Michael}, journal={arXiv preprint arXiv:2202.03555}, year={2022} } ```