一种基于迁移学习的音频自动标注方法与流程

技术特征：
1.一种基于迁移学习的音频自动标注方法，该算法主要包括如下步骤：步骤1：数据预处理，清洗数据集，将音频信息进行短时傅里叶变换转化为频域信息，得到声谱图作为音频信号在频域的表示；依据数据集的标注分布筛选一级标注，划分为多个一级标注数据(例如：流派数据集、情感数据集、乐器数据集)。步骤2：迁移学习，对于步骤1中得到的m个子数据集，将图像识别中的网络模型迁移过来分别进行训练微调，构建一级标签下的音频自动标注分类器，并扩充音频标注数据集。步骤3：音频自动标注，针对步骤2中扩充过后的数据集，构建模型进行知识学习，训练出音频自动标注分类器。2.根据权利要求1所述的基于迁移学习的音频自动标注方法，其特征在于步骤1所述的数据集划分方式，针对原始数据集标注的分布情况，构建m个一级标签，每个一级标签下对应多个二级标签，其中，二级标签为原始数据集标签，如此，将原始的多标签大数据集划分为多个一级标签对应的子数据集。3.根据权利1要求所述的基于迁移学习的音频自动标注方法，其特征在于步骤2所述的迁移学习模型的选择与训练，主要利用在图像领域中表现较好的网络模型，迁移至音频分类任务上，进行微调，提高音频分类的准确性，并且可以考虑在该任务上进行模型的改进，构建音频分类分类器，进一步提升音频分类的效果。4.根据权利1要求所述的基于迁移学习的音频自动标注方法，其特征在于步骤2所述的数据集原始标注的扩充方式，选取某个子数据集，应用步骤2中音频分类分类器进行训练测试，当分类精确度达到一定高度时，可以认为该分类器可以预测出其他数据集的该类标注，从而对其他数据集进行标注，如此，可以将原始标注数据集扩充为每条音频至少被标注m个标签的数据集，提高标注数据集的多样性和均衡性。5.根据权利1要求所述的基于迁移学习的音频自动标注方法，其特征在于步骤3所述的音频自动标注方法，针对步骤2中扩充后的数据集(每条音频至少被标注m个标签)进行多分类；以声谱图为输入，m个标注为目标，构建音频标注分类器，对音频的频域特性进行知识学习；由于原始信号中包含丰富的时域信息，所以，将时域波形作为另一个分类器的输入，学习音频信号的时序特性；最后，将两个分类器的输出(概率分布)进行决策级融合，具体公式如(1)所示：其中，n表示模型个数，weight
i
表示模型i的权重，p
i
表示模型i的预测概率值，这不仅大幅提高了音频自动标注模型的准确率，还充分地利用了音频信息。

技术总结
本发明公开了一种基于迁移学习的音频自动标注方法，该方法主要包含以下步骤：数据预处理，根据音频标签的分布情况建立一级标签(例如：音乐流派、演奏乐器、音乐情绪、演唱者信息等)，将原始数据集划分为包含一级标签的数据集作为模型的输入；迁移学习，利用图像识别领域中学习到的知识结构在音频小数据集上完成音频分类，同时可对未标注该一级标签的音频数据进行标注；音频自动标注，对标签重构后的数据集，使用不同的音频表示形式作为输入，构建分类器学习音频信号的时频域特征，进行自动标注。本发明提出的音频自动标注方法，可以有效的缓解原始音频标注数据集极度稀疏的问题，增加音频标注的多样性和均衡性，提高音频自动标注的准确率。标注的准确率。标注的准确率。


技术研发人员：居辰 韩立新
受保护的技术使用者：河海大学
技术研发日：2021.06.25
技术公布日：2021/10/15