一种多声源波达方向估计方法及相关设备与流程

本技术涉及声源定位，尤其涉及一种多声源波达方向估计方法及相关设备。

背景技术：

1、在语音信号处理领域，基于麦克风阵列的多声源波达方向（doa）估计是声源定位、语音增强、语音分离及目标声源提取等任务的核心前置技术。准确地估计多个声源的空间方位，能够为后续的音频信号处理提供关键的空间先验信息，在智能家居、视频会议、机器人听觉及安防监控等场景中具有广泛的应用需求。

2、现有的多声源doa估计方法主要分为两类。第一类是传统信号处理方法，以导向响应功率相位变换（srp-phat）为代表，其通过在空间网格上遍历可能的声源位置，对麦克风阵列信号进行延时补偿并求和，利用相位变换加权提升在混响与噪声环境下的稳健性。然而，传统srp-phat方法在低信噪比和强混响环境下性能下降明显，且其空间分辨率受限于搜索网格的离散化精度，难以满足复杂声学环境下的高精度定位需求。

3、第二类是深度学习方法。近年来，深度学习被广泛应用于声源doa估计，主要可分为端到端方法和特征驱动方法。端到端方法直接将多通道音频信号输入神经网络输出声源方向，但在多源重叠和复杂声学环境下容易受到干扰。特征驱动方法先提取物理或统计特征，再输入神经网络进行预测，能够利用物理先验信息提高鲁棒性。然而，现有深度学习方法大多作为“黑盒”模型运行，缺乏有效的物理先验引导机制，尤其缺少能够对网络特征提取过程进行显式空间引导的技术手段，使得网络在时频域上难以自适应地聚焦于空间上可信的区域。当多个声源同时发声、背景噪声较强或房间混响较为严重时，网络的空间分辨能力和定位精度显著下降。

技术实现思路

1、本技术实施例的主要目的在于提出一种基于通道间相位差引导空间感知的多声源波达方向估计方法、装置、电子设备、存储介质及程序产品，旨在解决现有深度学习方法在声源doa估计中缺乏物理先验引导、难以自适应聚焦于可信空间区域的不足的问题。

2、为实现上述目的，本技术实施例的一方面提出了一种多声源波达方向估计方法，所述方法包括：

3、获取麦克风阵列采集的多通道时域观测信号，对所述多通道时域观测信号进行时频变换，得到多通道频域信号；

4、根据所述多通道频域信号计算观测通道间相位差；

5、根据麦克风阵列几何结构与预设的声源方向搜索空间，构建直达路径通道间相位差理论模板；

6、将所述观测通道间相位差与各候选声源方向对应的直达路径通道间相位差理论模板进行匹配和相似度计算，得到导向响应功率空间谱；

7、利用所述导向响应功率空间谱生成时频掩蔽，并将所述时频掩蔽作用于所述多通道频域信号，得到增强后的频域特征；

8、根据所述增强后的频域特征进行声源波达方向估计，得到各声源的波达方向。

9、在一些实施例中，所述根据所述多通道频域信号计算观测通道间相位差，包括：

10、将所述多通道频域信号的所有通道进行两两配对，构造复数谱对，实现通道间特征结构化重组；

11、根据重组后的复数谱计算各麦克风对的相位谱，根据所述相位谱计算各麦克风对的相位差，并对所述相位差取正余弦值，得到实数值形式的观测通道间相位差。

12、在一些实施例中，所述根据麦克风阵列几何结构与预设的声源方向搜索空间，构建直达路径通道间相位差理论模板，包括：

13、在球坐标系下构建离散化的方向网格，其中，俯仰角在[0, π]范围内等间隔采样，方位角在[-π, π]范围内等间隔采样，构成多个声源波达方向候选点；每个候选点对应一个唯一的俯仰角与方位角组合；

14、基于远场平面波模型，对于任意候选方向与任意一对麦克风，计算理想时延差：

15、将所述理想时延差转换为频域的通道间相位差；

16、将所述通道间相位差的复值拆分为实部和虚部，并在频率维度拼接，得到直达路径通道间相位差理论模板。

17、在一些实施例中，所述将所述观测通道间相位差与各候选声源方向对应的直达路径通道间相位差理论模板进行匹配和相似度计算，得到导向响应功率空间谱，包括：

18、将所述观测通道间相位差与各候选方向的直达路径通道间相位差理论模板分别进行重塑；

19、针对每一对麦克风，计算重塑后的观测通道间相位差与重塑后的直达路径通道间相位差理论模板的内积，并在频率维度累加，得到各麦克风对在各候选方向上的累加内积值；

20、针对每一个候选方向，对所有麦克风对在所述候选方向上的所述累加内积值取平均，得到该候选方向的导向响应功率。

21、在一些实施例中，所述利用所述导向响应功率空间谱生成时频掩蔽，包括：

22、对所述导向响应功率空间谱在方位角维度上进行归一化，并通过频率映射网络提取频率维度的方向信息，得到频率注意力；

23、对归一化后的导向响应功率空间谱沿角度进行平均，并通过时间映射网络提取全局时间权重，得到时间注意力；

24、将所述频率注意力与所述时间注意力相乘，得到时频掩蔽。

25、在一些实施例中，所述根据所述增强后的频域特征进行声源波达方向估计，得到各声源的波达方向，包括：

26、对所述增强后的频域特征和所述观测通道间相位差分别进行编码，得到第一编码特征和第二编码特征；

27、利用跨注意力模块将所述第一编码特征和所述第二编码特征进行融合，得到融合特征；

28、对所述融合特征依次进行频率维度建模、时间维度建模和通道维度建模，得到深层特征；

29、根据所述深层特征进行多标签分类，输出各离散角度类别上是否存在声源的预测结果。

30、在一些实施例中，所述对所述融合特征依次进行频率维度建模、时间维度建模和通道维度建模，得到深层特征，包括：

31、将所述融合特征重整为第一维度形式，采用双向长短期记忆网络进行频率维度建模，并引入残差连接；

32、将频率维度建模后的特征重整为第二维度形式，采用双向长短期记忆网络进行时间维度建模，并引入残差连接；

33、采用压缩-激励模块对时间维度建模后的特征在通道维度进行自适应加权，得到通道维度建模后的深层特征。

34、在一些实施例中，在所述根据所述深层特征进行多标签分类之前，所述方法还包括：

35、采用混合池化模块对所述深层特征进行池化处理，得到全局表示；

36、所述混合池化模块包括：在频率维度进行池化，先在时间维度求平均，再对通道维度做线性变换生成频率得分，经softmax归一化后加权求和得到频率池化结果；在时间维度进行池化，先在频率维度求平均，再对通道维度做线性变换生成时间得分，经softmax归一化后加权求和得到时间池化结果；将所述频率池化结果与所述时间池化结果拼接，得到全局表示。

37、在一些实施例中，所述根据所述深层特征进行多标签分类，输出各离散角度类别上是否存在声源的预测结果，包括：

38、将所述深层特征或所述全局表示经全连接层和非线性激活函数处理，输出多标签分类得分向量，所述得分向量的每个维度对应一个离散角度类别；

39、以每条语音的真实声源到达角转换为多标签one-hot向量作为学习目标；

40、采用二分类交叉熵损失与聚焦损失的加权组合作为总损失函数进行网络训练：

41、

42、其中，为二分类交叉熵损失，为聚焦损失，为权重系数。

43、在一些实施例中，在所述对所述多通道时域观测信号进行时频变换之前，所述方法还包括：

44、采用基于动态平滑因子的拉普拉斯归一化方法对所述多通道时域观测信号进行归一化处理；

45、所述拉普拉斯归一化方法包括：基于目标平滑窗口长度计算稳态平滑因子；根据当前帧序数动态调整实际平滑因子；按照指数移动平均方式递归更新均值估计；将输入信号与动态估计的均值序列相除，得到归一化后的信号。

46、为实现上述目的，本技术实施例的另一方面提出了一种多声源波达方向估计装置，所述装置包括：

47、时频变换模块，用于获取麦克风阵列采集的多通道时域观测信号，对所述多通道时域观测信号进行时频变换，得到多通道频域信号；

48、观测相位差计算模块，用于根据所述多通道频域信号计算观测通道间相位差；

49、理论模板构建模块，用于根据麦克风阵列几何结构与预设的声源方向搜索空间，构建直达路径通道间相位差理论模板；

50、空间谱构建模块，用于将所述观测通道间相位差与各候选声源方向对应的直达路径通道间相位差理论模板进行匹配和相似度计算，得到导向响应功率空间谱；

51、空间感知掩蔽模块，用于利用所述导向响应功率空间谱生成时频掩蔽，并将所述时频掩蔽作用于所述多通道频域信号，得到增强后的频域特征；

52、波达方向估计模块，用于根据所述增强后的频域特征进行声源波达方向估计，得到各声源的波达方向。

53、为实现上述目的，本技术实施例的另一方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上所述的方法。

54、为实现上述目的，本技术实施例的另一方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上所述的方法。

55、为实现上述目的，本技术实施例的另一方面提出了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上所述的方法。

56、本技术实施例包括以下有益效果：本技术提供一种多声源波达方向估计方法、装置、电子设备、存储介质及程序产品，该方案通过获取麦克风阵列信号并对其进行时频变换后，一方面从观测数据中计算通道间相位差，另一方面依据阵列几何结构构建各候选方向的直达路径相位差理论模板，将两者进行匹配计算相似度以构建导向响应功率空间谱，并利用该空间谱生成时频掩蔽对频域特征进行自适应增强，再基于增强后的特征进行波达方向估计，本技术能够以数据驱动与物理先验相结合的方式，实现对声源空间方向信息的显式建模与可信时频区域的自适应聚焦，从而在无需依赖复杂后处理的条件下，有效提升多声源场景中波达方向估计的精度与稳健性。