一种双麦阵列的声源方位确定方法、设备、介质和产品与流程
本技术涉及音频数据处理,更具体地,涉及一种双麦阵列的声源方位确定方法、设备、介质和产品。
背景技术:
1、随着智能音箱、会议终端、机器人及其他语音交互设备的发展,声源方位确定技术被广泛用于拾音控制、语音增强、交互对象识别及设备朝向控制等场景。双麦阵列由于麦克风数量较少,具有结构紧凑、计算量较小且易于部署在微控制器或片上系统中等优点。传统双麦声源的方位确定方法通常是根据两个麦克风采集的音频信号之间的到达时间差确定声源方位。
2、当声源接近双麦阵列的端射方向时,较小的时延测量扰动可能被几何映射放大为较大的方位变化,因此传统技术常通过降低端射测量对平滑时延状态更新结果的影响来抑制方位抖动。然而,当可信的时延测量表明声源进一步接近端射方向或由阵列一侧切换至另一侧时,传统的处理方式将过度抑制有效测量,使平滑时延状态难以及时向当前时延测量收敛,导致声源方位跟踪结果出现响应滞后或方位偏差,降低端射方向的方位确定准确性。
3、针对这一情况,亟需一种改进的方案,以提高双麦阵列的声源方位确定的准确性和效率。
技术实现思路
1、本技术的目的在于提供一种方案,其至少能够解决上述或其他问题中的一个或多个。
2、在本技术的一方面,提供一种双麦阵列的声源方位确定方法,其特征在于,所述双麦阵列包括间隔设置的两个麦克风,所述方法包括:
3、基于当前音频帧的时延测量值、平滑时延状态值和测量可信度,判断声源方位跟踪过程是否进入端射获取状态;
4、在确定所述声源方位跟踪过程进入端射获取状态时,调整状态估计参数,并基于调整后的状态估计参数更新所述平滑时延状态值,其中所述状态估计参数用于控制所述时延测量值对所述平滑时延状态值更新结果的影响程度;
5、基于更新后的所述平滑时延状态值和所述双麦阵列的双麦间距,确定声源的方位信息。
6、可选地,在一些示例中,在所述测量可信度满足预设可信度要求,且所述声源方位跟踪过程满足端射增强条件和跨侧变化条件中的至少一种时,确定所述声源方位跟踪过程进入所述端射获取状态。
7、可选地,在一些示例中,所述端射增强条件表征:所述时延测量值对应的声源方位相对于所述平滑时延状态值对应的声源方位进一步接近端射方向,其中所述端射方向为沿所述两个麦克风的间隔方向延伸的声源方向。
8、可选地,在一些示例中,所述跨侧变化条件表征:所述时延测量值和所述平滑时延状态值对应的声源方位分别位于所述双麦阵列的不同侧。
9、可选地,在一些示例中,在基于当前音频帧的时延测量值、平滑时延状态值和测量可信度,判断声源方位跟踪过程是否进入端射获取状态之前,所述方法还包括:
10、基于声速与所述双麦间距的比值,对所述时延测量值和所述平滑时延状态值进行归一化,获得时延测量投影和平滑时延投影。
11、可选地,在一些示例中,所述端射增强条件包括:
12、所述时延测量投影的绝对值和所述平滑时延投影的绝对值之间的差值达到预设增量值,且所述时延测量投影的绝对值大于预设的端射获取阈值。
13、可选地,在一些示例中,所述跨侧变化条件包括:
14、所述时延测量投影与所述平滑时延投影的符号相反,且所述时延测量投影的绝对值大于预设的跨侧变化阈值。
15、可选地,在一些示例中,所述调整状态估计参数,包括增大所述时延测量值对所述平滑时延状态值更新的影响程度;
16、所述增大所述时延测量值对所述平滑时延状态值更新的影响程度包括以下操作中的一种或多种组合:
17、提高所述平滑时延状态值对应的状态不确定度;
18、增大所述平滑时延状态值的状态预测过程对应的过程噪声;
19、降低所述时延测量值对应的测量噪声;
20、增大所述时延测量值对应的状态更新增益;
21、提高所述时延测量值对应的测量权重;
22、减小针对端射测量设置的噪声增大系数。
23、可选地,在一些示例中,在确定所述声源方位跟踪过程进入端射获取状态之后,所述方法还包括:
24、在所述平滑时延状态值满足预设的端射锁定条件时,确定所述声源方位跟踪过程进入端射保持状态;所述端射保持状态表征所述平滑时延状态值处于端射方向对应的预设时延范围。
25、可选地,在一些示例中,所述端射锁定条件包括:
26、所述平滑时延投影的绝对值大于预设的端射保持阈值;以及
27、所述平滑时延状态值的状态不确定度小于预设锁定阈值。
28、可选地,在一些示例中,在确定所述声源方位跟踪过程进入端射保持状态之后,所述方法还包括:
29、确定所述时延测量值和更新前的所述平滑时延状态值之间的新息以及所述新息对应的变化方向;
30、基于所述变化方向和新息约束上限,约束所述新息;
31、基于约束后的新息更新所述平滑时延状态值。
32、可选地,在一些示例中,所述新息表征所述时延测量值与更新前的所述平滑时延状态值之间的差值,所述变化方向表征基于所述新息更新所述平滑时延状态值时,所述平滑时延状态值的绝对值的变化趋势。
33、可选地,在一些示例中,所述基于所述变化方向和新息约束上限,约束所述新息,包括:
34、在所述变化方向为第一变化方向时,基于第一新息约束上限约束所述新息;所述第一变化方向表征声源方位朝所述端射方向变化,使所述平滑时延状态值的绝对值增大的变化方向。
35、可选地,在一些示例中,所述基于所述变化方向和新息约束上限,约束所述新息,还包括:
36、在所述变化方向为第二变化方向时,基于第二新息约束上限约束所述新息;所述第二变化方向表征声源方位朝宽侧方向变化,使平滑时延状态值的绝对值减小的变化方向,所述宽侧方向为垂直于所述间隔方向的声源方向,所述第一新息约束上限大于所述第二新息约束上限。
37、可选地,在一些示例中,在基于所述变化方向和预设的新息约束上限,约束所述新息前,所述方法还包括:
38、基于所述平滑时延投影,确定所述平滑时延状态值对应的几何映射敏感度;
39、基于预设的角度变化量和所述几何映射敏感度,确定所述当前音频帧的时延变化预算;
40、基于所述时延变化预算、第一方向系数和第二方向系数,分别确定第一新息约束上限和第二新息约束上限;所述第一方向系数大于所述第二方向系数。
41、可选地,在一些示例中,在所述声源方位跟踪过程处于所述端射保持状态且满足所述跨侧变化条件时,不执行所述端射保持状态对应的新息约束,或增大所述新息约束上限;
42、基于所述端射获取状态对应的状态估计参数更新所述平滑时延状态值。
43、可选地,在一些示例中,在基于当前音频帧的时延测量值、平滑时延状态值和测量可信度,判断声源方位跟踪过程是否进入端射获取状态之前,所述方法还包括:
44、对所述双麦阵列的双麦音频数据进行同步分帧,获得所述当前音频帧对应的第一通道音频帧和第二通道音频帧;
45、对所述第一通道音频帧和所述第二通道音频帧进行时延估计,获得所述时延测量值和所述测量可信度;
46、获取所述当前音频帧的在先音频帧对应的时延测量值,并对所述在先音频帧的时延测量值进行递归状态估计,获得所述平滑时延状态值。
47、可选地,在一些示例中,在基于当前音频帧的时延测量值、平滑时延状态值和测量可信度,判断声源方位跟踪过程是否进入端射获取状态之前,所述方法还包括:
48、基于声速和所述双麦间距,确定所述双麦阵列对应的物理时延范围;
49、在所述时延测量值超出所述物理时延范围时,将所述时延测量值限制为所述物理时延范围相应的边界值。
50、可选地,在一些示例中,所述基于更新后的所述平滑时延状态值和所述双麦阵列的双麦间距,确定声源的方位信息,包括:
51、基于更新后的所述平滑时延状态值,确定更新后的平滑时延投影;
52、基于所述平滑时延投影和声源位置之间的几何映射关系,确定所述声源相对于所述双麦阵列的方位角。
53、可选地,在一些示例中,所述基于更新后的所述平滑时延状态值和所述双麦阵列的双麦间距,确定声源的方位信息,还包括:
54、在所述测量可信度大于可信度阈值,所述两个麦克风的信号电平均达到预设的电平门限、所述两个麦克风的信号能量比满足预设的能量平衡条件,且所述方位角处于所述双麦阵列的阵列结构对应的方位范围时,确定所述声源处于有效方位,生成有效标志。
55、可选地,在一些示例中,所述基于更新后的所述平滑时延状态值和所述双麦阵列的双麦间距,确定声源的方位信息,还包括:
56、基于所述当前音频帧的测量可信度,确定所述声源的质量分数。
57、在本技术的另一方面,提供一种电子设备,包括:至少一个处理器;以及存储器,存储有计算机可执行指令,其中所述计算机可执行指令当由所述至少一个处理器执行时,执行根据本技术的方法。
58、在本技术的又一方面,提供一种非暂态计算机可读存储介质,存储有计算机可执行指令,其中所述计算机可执行指令当由至少一个处理器执行时,执行根据本技术的方法。
59、在本技术的又一方面,提供一种计算机程序产品,包括计算机可执行指令,其中所述计算机可执行指令配置为当由至少一个处理器执行时,使所述至少一个处理器执行根据本技术的方法。
60、作为示例而非限制,本技术方案提供的优点可以包括以下优点和/或其他优点中的一个或多个:
61、1)结合当前时延测量相对于平滑时延状态的端射增强程度、时延投影的跨侧变化以及测量可信度,区分可信端射变化与噪声、多径或错误相关峰引起的偶发变化,提高端射获取状态判断的可靠性;
62、2)针对普通跟踪状态、端射获取状态和端射保持状态采用不同的端射相关测量噪声处理规则,避免对所有端射测量采用相同的保守处理,兼顾了端射获取速度和方位跟踪稳定性;
63、3)在声源方位跟踪过程进入端射获取状态时,通过调整状态参数提高可信端射测量对平滑时延状态更新结果的影响程度,使平滑时延状态更及时地向端射增强测量或跨侧变化测量收敛;
64、4)在平滑时延状态值满足端射锁定条件时确认进入端射保持状态,对朝端射方向和朝宽侧方向的新息采用不同的新息约束上限,使得可信测量继续推动状态朝端射方向收敛,同时抑制噪声、多径或反射造成的宽侧回退,避免传统对称约束难以兼顾端射获取能力和端射保持稳定性的问题;
65、5)在当前时延测量与平滑时延状态表征声源位于双麦阵列不同侧且满足可信条件时,跳过或放宽端射保持状态下的新息约束,并按照端射获取状态更新平滑时延状态,避免真实跨侧变化受到宽侧回退约束的过度限制,提高双麦阵列两侧之间的方位切换能力。
66、应当理解,上述所列举的技术问题以及优点仅作为示例而非对本技术的限制。此外,本技术并不限于同时解决上述所有技术问题的技术方案,本技术的技术方案可以实施为解决上述或其他技术问题中的一个或多个,以及提供上述或其他优点中的一个或多个。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com