## 使用方式和范围 运行范围： - 现阶段只能在Linux-x86_64运行，不支持Mac和Windows。 使用方式： - 使用附带的kwsbp工具(Linux-x86_64)直接推理，分别测试各个“主唤醒词/命令词”正样本及负样本集合，根据各个词的Det测试结果综合选取最优工作点。 使用范围: - 移动端设备，Android/iOS型号或版本不限，使用环境不限，采集音频为16K单通道。 目标场景: - 移动端APP用到的关键词检测场景。 ### 如何使用 请使用python3.9，并手动安装如下依赖： ```shell pip install kwsbp==0.0.6 -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html ``` #### 模型推理代码范例： ```python from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks kwsbp_16k_pipline = pipeline( task=Tasks.keyword_spotting, model='damo/speech_charctc_kws_phone-xiaoyun-commands', model_revision='v1.0.0') kws_result = kwsbp_16k_pipline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/KWS/pos_testset/kws_xiaoyunxiaoyun.wav') print(kws_result) ``` audio_in参数说明： - 默认传入url地址的小云正样本音频，函数返回单条测试结果。 - 设置本地单条音频路径，如audio_in='LOCAL_PATH'，函数返回单条测试结果。 - 设置本地正样本目录(自动检索该目录下wav格式音频)，如audio_in=['POS_DIR', None]，函数返回全部正样本测试结果。 - 设置本地负样本目录(自动检索该目录下wav格式音频)，如audio_in=[None, 'NEG_DIR']，函数返回全部负样本测试结果。 - 同时设置本地正/负样本目录，如audio_in=['POS_DIR', 'NEG_DIR']，函数返回Det测试结果，用户可保存JSON格式文本方便选取合适工作点。 ### 模型局限性以及可能的偏差 - 考虑到单一模型同时支持的命令词较多，测试数据缺乏，正负样本测试集覆盖场景不够全面，可能有特定场合/特定人群唤醒率偏低或误唤醒偏高问题。 ## 训练数据介绍 - basetrain使用内部移动端ASR数据5000+小时，finetune使用合并37个命令词共约30万条混合场景数据，以及约5万条移动端ASR数据。 ## 模型训练流程 - 模型训练采用"basetrain + finetune"的模式，finetune过程使用目标场景的特定唤醒词数据并混合一定比例的ASR数据。如训练数据与应用场景不匹配，应当针对性做数据模拟。 ### 预处理 - finetune模型对直接使用各命令词混合场景数据进行训练，未做数据模拟或扩充。 ## 数据评估及结果 - 针对“小云小云”主唤醒词，模型在自建9个场景各50句的正样本测试集（共450条），唤醒率为95.78%。 - 同时从训练数据随机预留10%作为每个命令词的正样本测试集，其中部分词测试数据量较少，可能导致实际体验有偏差；误唤醒依旧使用内部自建的移动端40小时负样本测试集，数据来源于导航场景的ASR。详细测试结果如下： | 命令词 | 唤醒率 | 误唤醒/小时 | 正样本(条) | 负样本(小时) | |:------------:|:------------:|:------------:|:------------:|:------------:| | 小云小云 | 100.00% | 0.00 | 1043 | 77.29 | | 你好小云 | 98.39% | 0.00 | 1550 | 77.76 | | 播放音乐 | 89.99% | 0.01 | 689 | 78.04 | | 增大音量 | 97.54% | 0.10 | 1503 | 77.50 | | 减小音量 | 98.75% | 0.10 | 1526 | 77.48 | | 继续播放 | 98.65% | 0.10 | 2079 | 77.61 | | 暂停播放 | 98.36% | 0.10 | 2439 | 77.22 | | 上一首 | 78.55% | 1.03 | 3939 | 75.99 | | 下一首 | 90.45% | 1.00 | 17504 | 67.95 | | 单曲循环 | 95.42% | 0.01 | 153 | 78.60 | | 随机模式 | 94.85% | 0.03 | 97 | 78.62 | | 列表循环 | 89.33% | 0.00 | 75 | 78.62 | | 取消导航 | 97.87% | 0.08 | 1364 | 77.83 | | 退出导航 | 96.89% | 0.10 | 2157 | 77.58 | | 放大地图 | 98.21% | 0.10 | 1115 | 77.95 | | 缩小地图 | 98.22% | 0.10 | 1857 | 77.68 | | 查看全程 | 96.27% | 0.08 | 993 | 77.98 | | 不走高速 | 93.10% | 0.01 | 58 | 78.64 | | 躲避拥堵 | 97.86% | 0.00 | 140 | 78.61 | | 避免收费 | 96.00% | 0.00 | 50 | 78.64 | | 高速优先 | 84.05% | 0.00 | 163 | 78.58 | | 上一页 | 92.97% | 0.10 | 384 | 78.52 | | 下一页 | 95.96% | 0.10 | 445 | 78.47 | | 换一批 | 96.20% | 0.10 | 368 | 78.53 | | 返回桌面 | 95.22% | 0.00 | 335 | 78.52 | | 睡眠模式 | 99.59% | 0.00 | 246 | 78.33 | | 蓝牙模式 | 98.46% | 0.00 | 259 | 78.32 | | 拍照拍照 | 97.84% | 0.03 | 928 | 78.03 | | 我要拍照 | 98.89% | 0.08 | 451 | 78.04 | | 上一个 | 90.45% | 0.51 | 1403 | 77.18 | | 下一个 | 97.25% | 0.50 | 6649 | 71.82 | | 打开灯光 | 98.48% | 0.00 | 264 | 78.30 | | 关闭灯光 | 99.52% | 0.00 | 210 | 78.38 | | 打开录音 | 97.82% | 0.00 | 459 | 78.02 | | 关闭录音 | 99.04% | 0.00 | 416 | 78.09 | | 打开空调 | 87.94% | 0.00 | 141 | 78.54 | | 关闭空调 | 87.10% | 0.00 | 155 | 78.53 | ## 相关论文以及引用信息 ```BibTeX @inproceedings{chen18c_interspeech, author={Mengzhe Chen and ShiLiang Zhang and Ming Lei and Yong Liu and Haitao Yao and Jie Gao}, title={{Compact Feedforward Sequential Memory Networks for Small-footprint Keyword Spotting}}, year=2018, booktitle={Proc. Interspeech 2018}, pages={2663--2667}, doi={10.21437/Interspeech.2018-1204} } ```