基于聚焦损失函数的指导型声学事件检测模型训练方法与流程

技术特征：
1.基于聚焦损失函数的指导型声学事件检测模型训练方法,其特征在于，包括：从音频数据训练集中提取声学特征；所述音频数据训练集包括：强标签数据集、弱标签数据集和无标签数据集；搭建指导型声学事件检测模型并根据所述声学特征解决声学事件检测任务和声学事件分类任务；所述指导型声学事件检测模型包括：复杂教师模型、轻量化学生模型和分类器部分；常规学习阶段和聚焦学习阶段的两阶段训练方式训练指导型声学事件检测模型。2.根据权利要求1所述的基于聚焦损失函数的指导型声学事件检测模型训练方法,其特征在于，所述方法还包括：划分常规学习阶段和聚焦学习阶段。3.根据权利要求2所述的基于聚焦损失函数的指导型声学事件检测模型训练方法,其特征在于，所述划分常规学习阶段和聚焦学习阶段包括：根据指导型声学事件检测模型预测后验概率计算指导型声学事件检测模型的误差，确定划分常规学习阶段和聚焦学习阶段的分界点。4.根据权利要求1所述的基于聚焦损失函数的指导型声学事件检测模型训练方法,其特征在于，所述方法还包括：确定每次迭代训练中输入所述指导型声学事件检测模型的小批量数据集中所包含强标签数据集、弱标签数据集和无标签数据集数据占比，作为一个小批量数据集输入所述指导型声学事件检测模型中进行训练。5.根据权利要求1所述的基于聚焦损失函数的指导型声学事件检测模型训练方法,其特征在于，所述复杂教师模型包括：5个双层卷积神经网络模块和两层额外的双向门控循环神经网络层，所述两层双向门控循环神经网络层用于提取所述卷积神经网络模块的时间信息；所述轻量化学生模型包括：3个单层卷积神经网络模块、两层双向门控循环神经网络层；其中，每个卷积神经网络模块包括：卷积层、批量归一化模块和relu激活函数；所述分类器部分包括：声学事件检测任务分支和声学事件分类任务分支所述声学事件检测任务分支包括：具有较大隐藏状态的全连接层和sigmoid激活函数；所述声学事件分类任务分支包括：注意力模块。6.根据权利要求5所述的基于聚焦损失函数的指导型声学事件检测模型训练方法,其特征在于，所述声学事件检测任务分支用于得到帧级别检测后验概率；所述声学事件分类任务分支用于得到声学事件级别的分类后验概率。7.根据权利要求1所述的基于聚焦损失函数的指导型声学事件检测模型训练方法,其特征在于，所述方法还包括：在所述常规学习阶段，所述指导型声学事件检测模型整体的损失函数由四部分组成，具体包括：复杂教师模型与轻量化学生模型的弱标签损失l
weak
，复杂教师模型与轻量化学生模型的强标签损失l
strong
，复杂教师模型指导轻量化学生模型的一致性损失轻
量化学生模型微调复杂教师模型的一致性损失所述常规学习阶段模型用于产生相对稳定的复杂教师模型与轻量化学生模型；在所述聚焦学习阶段，使用聚焦损失函数代替交叉熵损失函数，增加指导型声学事件检测模型对困难类别的惩罚力度。8.根据权利要求7所述的基于聚焦损失函数的指导型声学事件检测模型训练方法,其特征在于，在所述常规学习阶段，所述指导型声学事件检测模型整体的损失函数由如下公式组成:其中，分别是声学时间分类损失函数和声学事件检测损失函数，表示使用复杂教师模型预测目标事件的后验概率指导轻量化学生模型训练，随着训练的进行，复杂教师模型趋于稳定，表示轻量化学生模型使用较小权重ρ来微调复杂教师模型；所述较小权重ρ的计算方式为：其中，x根据当前训练轮数与总训练轮数相关。9.根据权利要求7所述的基于聚焦损失函数的指导型声学事件检测模型训练方法,其特征在于，所述在所述聚焦学习阶段使用聚焦损失函数代替交叉熵损失函数，增加指导型声学事件检测模型对困难类别的惩罚力度，包括：计算聚焦损失，其中，聚焦损失函数的定义如下：其中，ξ是控制第i个声学事件级别的分类后验概率、第j个目标声学事件类别惩罚项的尺度因子，m表示在每个小批量数据集中带有弱标签和强标签的音频片段的总数量，c表示目标声学事件类别的数量；计算相应的聚焦损失使用聚焦损失分别替换来执行聚焦学习，即得到10.根据权利要求1所述的基于聚焦损失函数的指导型声学事件检测模型训练方法,其特征在于，所述从音频数据训练集中提取声学特征包括：从所述强标签数据集、所述弱标签数据集和所述无标签数据集中分别提取对数梅尔频谱图作为声学特征。

技术总结
本发明涉及基于聚焦损失函数的指导型声学事件检测模型训练方法，该方法包括：从音频数据训练集中提取声学特征；搭建指导型声学事件检测模型并根据所述声学特征解决声学事件检测任务和声学事件分类任务；指导型声学事件检测模型包括：复杂教师模型、轻量化学生模型和分类器部分；两阶段训练方式训练指导型声学事件检测模型。本申请实施例指导型声学事件检测模型能充分学习不同数据类型中所包含的特征信息，同时将复杂教师模型学习的特征信息蒸馏到轻量化学生模型中，减少了参数量，加快了模型收敛速度，在不同训练阶段有针对性学习简单样本与困难样本，改善了指导型声学事件检测模型对复杂类别事件的检测性能，提高了声学事件检测的鲁棒性。件检测的鲁棒性。件检测的鲁棒性。


技术研发人员：龙艳花 梁芸浩 李轶杰
受保护的技术使用者：云知声（上海）智能科技有限公司
技术研发日：2021.08.24
技术公布日：2022/2/7