多通道音频数据处理方法、装置、计算机设备、存储介质与流程

技术特征：
1.一种多通道音频数据处理方法，其特征在于，包括：获取多通道麦克风阵列采集到的采样音频数据；所述采样音频数据包括纯噪声数据和混合声音数据；计算所述采样音频数据的第一协方差矩阵；基于高斯混合模型获取纯噪声数据的第二协方差矩阵；根据所述第一协方差矩阵与所述第二协方差矩阵作差得到的矩阵差，获取纯语音数据的第三协方差矩阵；获取所述第三协方差矩阵的目标特征向量；根据所述目标特征向量和所述采样音频数据，合成目标音频数据。2.根据权利要求1所述的多通道音频数据处理方法，其特征在于，所述计算所述采样音频数据的第一协方差矩阵包括：对所述采样音频数据进行分帧加窗，获得多帧音频数据；对多帧所述音频数据进行快速傅里叶变换，获取时频域的所述采样音频数据；将时频域的所述采样音频数据代入混合声音数据的协方差计算式中，获取所述第一协方差矩阵。3.根据权利要求2所述的多通道音频数据处理方法，其特征在于，时频域的所述采样音频数据包括：式中，y
f,t
表示所述采样音频数据在t时刻第f个快速傅里叶变换后的值，v表示为纯噪声数据n或混合声音数据(x n)中的任意一种数据，s
f,t
表示真实声源产生的音频数据，r
f,t
表示从真实声源到麦克风之间的传播函数；所述混合声音数据的协方差计算式包括：式中，表示所述混合声音数据的协方差，y
f,t
表示所述采样音频数据在t时刻第f个快速傅里叶变换后的值，表示y
f,t
的共轭矩阵，t表示所述采样音频数据的音频时间长度。4.根据权利要求1或2所述的多通道音频数据处理方法，其特征在于，所述基于高斯混合模型获取纯噪声数据的第二协方差矩阵包括：获取所述纯噪声数据的语音到达向量的初始设定值；根据所述初始设定值计算所述纯噪声数据的高斯混合分布系数；根据所述高斯混合分布系数计算所述纯噪声数据的所述高斯混合模型中的参数概率；根据所述高斯混合分布系数和所述参数概率计算所述纯噪声数据的新的语音到达向量；重复利用新的语音到达向量计算新的高斯混合分布系数和新的参数概率的迭代过程，直至迭代收敛；
将迭代收敛时的所述纯噪声数据的所述参数概率代入纯噪声数据的协方差计算式中，获取第二协方差矩阵。5.根据权利要求4所述的多通道音频数据处理方法，其特征在于，在重复利用新的语音到达向量计算新的高斯混合分布系数和新的参数概率的迭代过程，直至迭代收敛时，所述方法还包括：基于所述高斯混合模型获取混合声音数据的第四协方差矩阵；将每次迭代中获取的所述第二协方差矩阵的特征参数与每次迭代中获取的所述第四协方差矩阵的特征参数进行比较；根据比较结果对所述第二协方差矩阵和所述第四协方差矩阵进行纠正。6.根据权利要求4所述的多通道音频数据处理方法，其特征在于，所述高斯混合分布系数的计算方法包括：式中，表示所述高斯混合分布系数，m表示多通道麦克风阵列中麦克风的通道数，tr()表示求矩阵的迹，y
f,t
表示所述采样音频数据在t时刻第f个快速傅里叶变换后的值，表示y
f,t
的共轭矩阵，表示语音到达向量；所述参数概率的计算方法包括：式中，表示所述参数概率，p(y
f,t
|d
f,t
＝v,θ)表示y
f,t
为纯噪声数据n的概率密度函数或y
f,t
为混合声音数据(x n)的概率密度函数，∑
v
p(y
f,t
|d
f,t
＝v,θ)表示对y
f,t
为纯噪声数据n的概率密度函数或y
f,t
为混合声音数据(x n)的概率密度函数求和；所述语音到达向量的计算方法包括：式中，表示所述语音到达向量，表示所述参数概率，表示对所有时刻的所述参数概率求和，表示所述高斯混合分布系数，y
f,t
表示所述采样音频数据在t时刻第f个快速傅里叶变换后的值，表示y
f,t
的共轭矩阵；所述纯噪声数据的协方差计算式包括：式中，表示所述纯噪声数据的协方差，y
f,t
表示所述采样音频数据在t时刻第f个快
速傅里叶变换后的值，表示y
f,t
的共轭矩阵，t表示所述采样音频数据的音频时间长度；表示纯噪声数据的所述参数概率。7.根据权利要求1所述的多通道音频数据处理方法，其特征在于，所述获取所述第三协方差矩阵的目标特征向量包括：对所述第三协方差矩阵进行特征分解，获取多个特征值和多个特征向量，一个所述特征值对应一个特征向量；将符合预设条件的特征值对应的所述特征向量定义为目标特征向量。8.根据权利要求1所述的多通道音频数据处理方法，其特征在于，将所述目标特征向量和所述采样音频数据作为波束成形算法的输入，获取目标音频数据。9.一种多通道音频数据处理装置，其特征在于，包括：数据采集模块，用于获取多通道麦克风阵列采集到的采样音频数据；所述采样音频数据包括纯噪声数据和混合声音数据；数据处理模块，用于计算所述采样音频数据的第一协方差矩阵；模型生成模块，用于基于高斯混合模型和所述第一协方差矩阵，获取纯噪声数据的第二协方差矩阵，还用于根据所述第二协方差矩阵与所述第一协方差矩阵作差得到的矩阵差，获取纯语音数据的第三协方差矩阵；音频处理模块，用于获取所述第三协方差矩阵的目标特征向量，还用于根据所述目标特征向量和所述采样音频数据，合成目标音频数据。10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任意一项所述的多通道音频数据处理方法的步骤。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任意一项所述的多通道音频数据处理方法的步骤。12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任意一项所述的多通道音频数据处理方法的步骤。

技术总结
本发明涉及音频数据处理技术领域，公开了一种多通道音频数据处理方法、装置、计算机设备和存储介质，包括获取多通道麦克风阵列采集到的采样音频数据；计算采样音频数据的第一协方差矩阵；基于高斯混合模型获取纯噪声数据的第二协方差矩阵；根据第一协方差矩阵与第二协方差矩阵作差获取的矩阵差，获取纯语音数据的第三协方差矩阵；获取第三协方差矩阵的目标特征向量；根据目标特征向量和采样音频数据，合成目标音频数据。多通道音频数据处理方法利用了聚类思想对噪声与语音进行分类提取，通过最大似然方法估计纯噪声数据和混合声音数据在采样音频数据中的分布，提高采样音频数据中噪声的鲁棒性，可以更好地对采样音频数据中噪声数据进行处理。数据进行处理。数据进行处理。


技术研发人员：郑康 张小亮 潮蕾
受保护的技术使用者：上海浦东发展银行股份有限公司
技术研发日：2021.09.09
技术公布日：2022/1/10