一种基于初始方向锚定与连续身份保持的多通道目标语音提取方法

本发明属于语音信号处理，尤其涉及一种基于初始方向锚定与连续身份保持的多通道目标语音提取方法。

背景技术：

1、在多人动态语音场景中，多通道阵列系统通常能够通过波束形成、时延估计、空间谱扫描或者深度学习增强模型，从混合语音中提取与某一空间方向相关的语音成分。然而，现有大量方法实质上更擅长解决当前哪个方向最强或者给定方向如何增强的问题，对于如何在目标短时停顿、缓慢移动或竞争说话人持续发声时，仍持续保持最初锁定的同一目标身份这一问题，缺少稳定且工程可实施的闭环方案。

2、现有技术中常见技术路线主要包括：其一，依据当前时刻的方向峰值、空间响应峰值或能量最大方向，直接驱动波束形成器或者方向条件语音增强模型；其二，在给定目标方向的条件下，利用单个方向条件网络输出增强语音；其三，在说话人识别或说话人验证场景中，引入注册语音作为身份模板，从而辅助目标保持。上述技术路线在实际多人动态环境中均存在局限。

3、一方面，当目标说话人短时停顿、说话断续或者语速变化较大时，仅依赖瞬时方向峰值或瞬时活动方向，系统容易将增强目标切换为当前最强竞争说话人，导致目标漂移。另一方面，当目标说话人发生缓慢移动时，若系统缺少对目标连续身份的显式维护，仅依赖固定初始方向又容易造成方向失配，输出语音质量下降。

4、此外，若直接使用当前增强结果持续更新目标模板，则在竞争说话人较强、空间候选不稳定或输出泄漏较高的情况下，模板极易被污染。一旦模板污染，后续增强与目标判定将进一步偏离，形成错误累积。由此可见，现有技术普遍存在以下问题：其一，过度依赖瞬时方向证据；其二，缺乏对目标连续身份的显式建模；其三，缺乏针对模板污染的门控保护机制；其四，缺乏区分目标停顿、目标移动与目标丢失的统一控制逻辑。

5、因此，亟需提出一种新的多通道目标说话人提取方法，在仅已知目标初始方向的前提下，通过建立目标连续身份状态、构建初始化模板、抑制竞争方向干扰并在必要时执行方向平滑更新，从而在目标短时停顿、竞争说话人持续发声以及方向候选波动的情况下，仍尽可能保持对同一目标说话人的持续提取。

技术实现思路

1、发明目的：针对现有技术中过度依赖瞬时方向峰值、难以保持目标连续身份、目标停顿时易误切换以及模板容易污染的问题，本发明提出一种基于初始方向锚定与连续身份保持的多通道目标语音提取方法。

2、技术方案：本发明提供了一种基于初始方向锚定与连续身份保持的多通道目标语音提取方法，具体为：

3、对n 路同步采集的多通道混合语音信号进行预处理、分帧、加窗和短时傅里叶变换；

4、在初始时间窗口下，根据目标语音的初始方向构建邻域；设置固定步长,在内提取候选方向；

5、采用gcc-phat空间分析，对空间候选可信度进行显式建模，计算候选方向d的空间候选可信度；在内选择满足条件的候选方向作为初始化方向，也即测量方向；将测量方向邻域外的具有语音活动的候选方向作为竞争候选方向；

6、计算竞争候选方向的得分，将得分最高的竞争候选方向作为最强竞争候选方向；基于语音活动概率和最强竞争候选方得分对初始化方向的语音进行增强；得到局部增强的语音片段；将划分为个子片段，计算每个子片段的可靠性；从而计算每个子片段归一化后的权重，计算初始历史模板；

7、采用gcc-phat空间分析，得到当前时间窗口t的测量方向，将上一个时间窗口的历史模板作为当前时间窗口的历史模板,预测当前时刻窗口t下的预测方向，对当前时间窗口的语音进行增强，并计算当前时间窗口的目标语音存在概率；

8、将增强后的语音输入至说话人表征模型，提取当前模板，计算与之间的相似度、语音泄漏水平以及目标方向连续性得分；将、、以及 作为正向一致性项，将作为负向风险项，生成连续性控制量；

9、基于上一个时间窗口的状态和当前时间窗口的状态特征向量，确定当前时间窗口的状态，并确定是否更新以及历史模板。

10、进一步的，针对任意候选方向计算其归一化峰值强度：

11、；

12、其中，为候选方向集合，为防止分母为零的常数；为候选方向的空间响应：

13、；

14、其中，i，j表示第i、第j个麦克风，表示麦克风集合，表示第i、第j个麦克风对应的通道对的权重，表示第i、第j个麦克风在候选方向上的时延，为加权互相关函数：

15、；

16、其中，表示第i、第j个麦克风之间的互功率谱，，其中f表示频率，表示对第i个麦克风传输的信号进行短时傅里叶变换后的信号；*表示共轭；

17、针对任意候选方向计算其峰值尖锐度：

18、；

19、其中，为候选方向的邻域；

20、针对任意候选方向计算其跨帧稳定度；

21、；（跨帧时刻起到当前帧）

22、其中，为跨帧稳定度窗口长度，为麦克风阵列的最小可分辨角度，表示时刻的主峰对应的方向；为位于跨帧稳定度窗口中第一帧语音信号对应的时间，表示当前时间窗口中的最后一帧对应的时间，若当前时间窗口为时则不计算跨帧稳定度；

23、针对任意候选方向计算其语音活动的一致性：

24、；

25、其中，为语音活动一致性窗口长度，表示指数函数，表示时刻候选方向d对应的语音活动检测结果；为位于语音活动一致性窗口中第一帧语音信号对应的时间，若当前时间窗口为时则不计算语音活动的一致性；

26、针对任意候选方向计算其竞争惩罚项：

27、；

28、其中，示集合中除了候选方向d之外的其他候选方向构成的集合，

29、计算候选方向d的空间候选可信度：

30、

31、其中，均为非负权重， 为 sigmoid 函数，为候选方向的归一化峰值强度，为候选方向的峰值尖锐度。

32、进一步的，设置如下条件选择初始化方向：

33、(1) ；

34、(2) ；为候选可信度阈值；

35、(3) 在当前时间窗口下存在一段连续的时间采样点，在该连续的时间采样点内，相邻时间的方向偏差小于等于预设的方向偏差阈值，且每个采样点能检测到或者与之间的偏差小于阈值的候选方向；

36、 (4) 小于等于，为语音活动一致性阈值。

37、进一步的，对应的导向向量为，计算归一化延时求和波束形成权向量：

38、；

39、其中，为防止分母为0的常数；f表示频率；

40、计算方向方向的波束形成频域：

41、；

42、对方向的语音进行增强，得到：

43、；

44、其中，为软掩码：

45、；

46、其中，为语音活动概率，也即存在语音的概率，为得分差：

47、；

48、其中，为当前时间窗口t下的最强竞争候选方向，为当前时间窗口t下测量方向邻域内得分最高的方向；为得分函数：

49、；

50、其中，表示测量方向邻域内的方向，,为非负权重，为在时间窗口下的方向一致性：

51、；

52、其中，为时间窗口下的预测方向，当时，为；

53、；

54、其中，表示语音活动判定阈值，为时间窗口下的平均对数能量：

55、；

56、其中，表示第 n 路通道在时间窗口、频率 f 下的时频表示，表示频率集合。

57、进一步的，计算每个子片段的可靠性：

58、；

59、其中，为非负权重，为第k个子片段的平均空间候选可信度，为第个子片段的平均语音活动概率，第个子片段的平均泄漏水平：

60、；

61、其中，为第k个子片段在时间窗口下的泄漏水平，为第k个子片段在时间窗口下的测量方向邻域内的输出能量，为第k个子片段在时间窗口下的竞争候选方向集合中最大的能量；

62、计算归一化权重：

63、；

64、其中，为权重敏感系数，用于控制不同子片段可靠性分数之间的区分程度；

65、计算初始历史模板：

66、；

67、其中，，为说话人表征模型。

68、进一步的，采用卡尔曼滤波器基于上一个时间窗口的预测方向，预测当前时间窗口t下的预测方向，也即目标候选方向，将，以及当前时间窗口t下的语音和状态特征向量，输入至时频掩码预测网络，得到当前时刻的增强语音和当前时刻的目标语音存在的概率。

69、进一步的，计算当前模板与当前历史模板之间的相似度：

70、；

71、计算目标候选方向连续性得分：

72、；

73、其中，，其中为当前时间窗口下的测量方向，为人为预设的方向变化速度，；

74、正向一致性项为：

75、；

76、其中，、、以及均为非负指数权重参数；

77、设负向风险项为：

78、；

79、其中；

80、为最强竞争候选方向的得分与当前时间窗口下的测量方向得分之间的差值；

81、计算连续性控制量：

82、。

83、进一步的，状态包括锁定状态、跟踪状态、保持状态、重捕获状态和丢失状态；

84、若连续性控制量大于等于预设的锁定阈值，目标语音存在概率大于等于预设的存在阈值，当前模板与当前时刻的历史模板之间的相似度大于等于预设的模板阈值，目标方向连续性得分大于等于预设的方向阈值时，将锁定状态作为当前时间窗口的候选状态；

85、当目标语音存在概率大于等于阈值，大于等于可接受阈值，当的空间候选可信度大于等于阈值，当前时间窗口下测量方向和预测得到的方向之间的差值的绝对值大于等于静止阈值，且方向变化速度小于等于平滑阈值时，将跟踪状态作为当前时间窗口的候选状态；

86、当连续性控制量小于保持阈值或目标语音存在概率小于存在阈值，且保持状态的持续时长小于等于保持窗口时，将保持状态作为当前时间窗口的候选状态；

87、当系统已处于保持状态，且保持持续时长大于保持窗口，同时在测量方向邻域内或预测方向的邻域内重新出现空间候选可信度大于等于阈值 且目标语音存在概率大于等于阈值的候选方向时，将重捕获状态作为当前时间窗口的候选状态；

88、当系统处于重捕获状态，且重捕获持续时长超过重捕获窗口，仍未检测到满足锁定状态的候选方向时，将丢失状态作为当前时间窗口的候选状态；

89、对所有候选状态分别计算状态转移得分，并选择得分最高者作为当前时刻状态：

90、；

91、其中，表示候选状态集合，，和分别为权重和偏置，为状态特征向量：，其中为冷却计数。

92、进一步的，当当前时间窗口的状态为跟踪状态，对测方向执行平滑更新：

93、；

94、其中，表示更新后的预测方向，也即更新后的目标方向，表示当前时间窗口下测量方向， 表示自适应平滑更新系数：

95、；

96、其中，表示 sigmoid 函数，,为非负权重；

97、对历史模板执行门控更新：

98、；

99、其中，为更新后的当前时间窗口的历史模板， 表示当前时刻历史模板的更新强度：

100、；

101、其中，,, 为非负权重，为模板更新门控变量：

102、；

103、其中，、以及均表示与，，对应的阈值；为指数函数。

104、有益效果：

105、1. 本发明通过局部增强片段初始化和历史模板可靠性加权建立，使初始模板不依赖单一瞬时帧，降低了初始化阶段由偶然峰值、噪声或竞争说话人带来的误锁定风险。

106、2. 本发明不是将当前最强方向直接视为目标，而是通过初始方向邻域锚定建立目标连续身份入口，从方法主线层面区分了方向增强与身份保持两个技术问题。

107、3. 本发明通过引入竞争抑制项、泄漏惩罚项和模板门控更新机制，有助于降低模板污染风险。

108、4. 本发明通过连续性控制量和状态转移打分机制，有助于区分目标短时停顿、方向平滑变化和目标丢失等情形，从而减少目标误切换。

109、5. 本发明在仅已知目标初始方向、无注册语音条件下即可实施，工程实现难度较低，适用于会议拾音、人机交互、阵列终端以及语音采集设备等场景。