一种基于复数门控循环单元的波束形成方法与流程

技术特征：
1.一种基于复数门控循环单元的波束形成方法，其特征在于，包括以下步骤：(1)进行复数掩蔽预测；混合音频经过短时傅里叶变换，转为复数混合音频特征，利用复数混合音频特征的实部和虚部计算对数功率谱，复数混合音频特征和对数功率谱的最小单位为时频单元，也称为帧；将对数功率谱输入到双向长短时记忆网络预测复数掩蔽，由于混合音频由若干名说话人的音频组成，为了提取每个说话人的音频，预测的复数掩蔽数量和说话人的个数对应；(2)将复数掩蔽和复数混合音频特征做元素乘积得到说话人复数音频特征，将所述说话人复数音频特征与自身的共轭转置做矩阵乘，标准化后沿着时间维度求和得到复数功率谱密度矩阵；元素乘积时，考虑深度滤波：计算得到的说话人复数音频特征的当前帧，数值上等于复数混合音频特征当前帧以及前后若干帧与复数掩蔽乘积的求和，实现多以一映射；(3)复数功率谱密度矩阵有若干个，分别与每个说话人的音频对应；为了分离出其中一名说话人的音频，将其中一说话人的音频对应的复数功率谱密度矩阵视作目标，即为语音功率谱密度矩阵；其余所有说话人的音频对应的复数功率谱密度矩阵求和后视作干扰功率谱密度矩阵；将语音功率谱密度矩阵和干扰功率谱密度矩阵的实部与实部拼接，虚部与虚部拼接，得到复数矩阵特征；(4)构建复数门控循环单元网络，将拼接好的复数矩阵特征输入到复数门控循环单元网络中，充分利用复数网络的特点，预测波束形成的加权系数；波束形成的加权系数和复数混合音频特征做矩阵乘后，即可得到更精确的说话人复数音频特征，对说话人复数音频特征做逆傅里叶变换，得到分离的说话人的音频；基于复数门控循环单元的波束形成方法以尺度不变的信噪比作为损失函数。2.根据权利要求1所述的一种基于复数门控循环单元的波束形成方法，其特征在于，步骤(2)中深度滤波的具体过程如下：复数混合音频特征的当前帧，在时间维度前后各取k个，频率维度前后各取l个，共计(2k 1)*(2l 1)帧，复数掩蔽同样的取用方式，(2k 1)*(2l 1)帧做完元素乘积后求和，即为说话人复数音频特征的当前帧。3.根据权利要求1所述的一种基于复数门控循环单元的波束形成方法，其特征在于，复数门控循环单元网络的输入和输出皆是复数，拼接好的复数矩阵特征输入到复数门控循环单元网络后，充分交互复数矩阵特征的实部和虚部，输出的预测结果作为波束形成的加权系数。4.根据权利要求1所述的一种基于复数门控循环单元的波束形成方法，其特征在于，一个加权系数实现一个说话人的音频分离，为了分离出每个说话人的音频，需要重复执行权力要求1中步骤(3)和步骤(4)，预测波束形成的加权系数的数量等于说话人的个数。

技术总结
本发明公开一种基于复数门控循环单元的波束形成方法，包括以下步骤：(1)进行复数掩蔽预测；预测的复数掩蔽数量和说话人的个数对应；(2)将复数掩蔽和复数混合音频特征做元素乘积得到说话人复数音频特征，将所述说话人复数音频特征与自身的共轭转置做矩阵乘，标准化后沿着时间维度求和得到复数功率谱密度矩阵；(3)复数功率谱密度矩阵有若干个，分别与每个说话人的音频对应；(4)构建复数门控循环单元网络，将拼接好的复数矩阵特征输入到复数门控循环单元网络中，充分利用复数网络的特点，预测波束形成的加权系数；波束形成的加权系数和复数混合音频特征做矩阵乘后，即可得到更精确的说话人复数音频特征。的说话人复数音频特征。的说话人复数音频特征。


技术研发人员：姜宇 王龙标 葛檬 党建武 本多清志
受保护的技术使用者：天津大学
技术研发日：2021.12.14
技术公布日：2022/3/18