多麦克风波束成形方法、设备、存储介质及智能眼镜与流程
本技术涉及阵列信号处理,尤其涉及一种多麦克风波束成形方法、设备、存储介质及智能眼镜。
背景技术:
1、随着可穿戴设备(如智能耳机、健康监测贴片、智能眼镜等)的快速发展,在复杂声学环境中实现高质量定向语音采集已成为关键需求。然而,这类设备受限于电池容量、散热条件和算力约束,难以部署运行时深度学习推理引擎。因此,如何在极低功耗预算下实现鲁棒的定向拾音,成为可穿戴音频系统的核心挑战之一。
2、现有主流方案通常采用同构麦克风阵列(如多个全向mems麦克风)配合软件端神经网络进行语音分离或波束成形,但该路线对算力和内存的要求较高,难以满足可穿戴设备的低功耗实时处理需求。
3、以歌尔股份有限公司的专利cn120581022a(2025年10月授权)为代表,该方法采用深度学习网络对多通道音频信号进行语音分离,通过数据驱动的方式学习空间滤波特性。此类方案已成为当前智能音箱和耳机产品的主流技术路线,在理想算力条件下可取得较好的分离效果。
4、美国专利us11601764(audio analysis and processing system)公开了一种音频分析与处理系统,涉及多通道音频信号的采集与处理架构,为相关应用提供了系统层面的技术参考。
5、学术界对gev(generalized eigenvalue)波束成形算法已有大量理论研究(如heymann等人的工作),该算法通过求解广义特征值问题获得最优空间滤波器,在理论层面已较为成熟。然而,现有研究多聚焦于算法本身的数学推导与仿真验证,缺乏面向资源受限嵌入式平台的低功耗实现方案。
6、工业界智能音箱产品(如amazon echo、apple homepod等)已普遍采用波束成形技术实现定向拾音,但这些设备通常配备同构麦克风阵列,并依赖云端或高性能本地处理器完成信号处理,其功耗水平远高于可穿戴设备的承受范围。
7、综合上述现有技术,目前面向可穿戴设备的定向音频采集方案存在以下主要缺陷:
8、1.算力与功耗不匹配
9、基于深度神经网络的语音分离方法(如cn120581022a)需要在运行时执行网络前向推理,对内存带宽和计算资源要求较高,导致功耗通常在数百毫瓦量级,难以满足可穿戴设备数毫瓦至数十毫瓦的严苛功耗预算。
10、2.麦克风阵列同质化
11、现有方案普遍采用统一类型的麦克风(通常为全向mems麦克风)构建阵列,未充分利用不同指向特性麦克风的物理先验信息。这种同构设计增加了后续信号处理的复杂度,且对空间信息的利用效率较低。
12、3.缺乏固定系数的低功耗实现路径
13、gev波束成形算法虽在学术领域有充分公开,但现有研究主要关注其自适应或在线训练变体,未充分考虑如何在资源受限的嵌入式平台上以固定系数方式实现。运行时自适应更新或在线训练机制进一步加剧了计算负担,不适用于超低功耗场景。
14、4.定点化与实时性挑战
15、面向arm cortex-m等微控制器的定点实现方案尚不成熟。现有gev波束成形实现多采用浮点运算,在q15定点精度下直接移植会面临数值稳定性与滤波性能劣化的双重挑战,限制了其在可穿戴设备中的应用。
技术实现思路
1、本技术提供了一种多麦克风波束成形方法、设备、存储介质及智能眼镜,以解决上述技术问题。
2、有鉴于此,本技术第一方面提供了一种多麦克风波束成形方法,所述方法包括:
3、s1、通过设置于可穿戴设备上的麦克风阵列采集音频信号,所述麦克风阵列包含至少两种具有不同极性指向特性的麦克风,其中所述至少两种麦克风至少包括:
4、第一类型麦克风,具有近似无方向偏好的极性指向;
5、第二类型麦克风,所述第二类型麦克风为偶极子麦克风,所述偶极子麦克风具有固定空间响应零点方向,所述固定空间响应零点方向在制造过程中由振膜结构和声学孔布局确定,且在运行时不可改变;
6、s2、基于预先计算并固化存储的波束成形系数,对所述音频信号进行空间滤波处理,得到方向增强的音频信号,其中所述波束成形系数在运行时保持固定;并且,所述波束成形系数在离线求解过程中已将所述第二类型麦克风的所述固定空间响应零点方向对应的方位作为空间滤波约束予以嵌入,使得由所述波束成形系数确定的波束成形器在所述固定空间响应零点方位上的空间响应被约束至预设阈值以下。
7、可选地,所述麦克风阵列进一步还包括第三类型麦克风,所述第三类型麦克风为超心形指向麦克风,所述麦克风阵列由全向麦克风、偶极子麦克风和超心形麦克风三类组成。
8、可选地,所述麦克风阵列至少包含四颗mems麦克风,分为前端阵列区和尾端区两组,其中所述前端阵列区包含至少两颗麦克风,所述尾端区包含至少两颗麦克风。
9、可选地,所述可穿戴设备为眼镜形态,所述前端阵列区设置于眼镜镜腿前端20mm范围内,所述尾端区设置于眼镜镜腿后端,所述前端阵列区与尾端区沿佩戴者头部矢状面方向形成空间基线。
10、可选地,还包括:
11、预先存储多组波束成形系数集,并基于环境噪声估计在所述多组系数集之间动态切换,每组系数集均为预先离线计算并固化存储的固定系数;
12、所述系数集至少包括:用于拾取佩戴者自身语音的佩戴者口腔方向增强系数集、用于拾取佩戴者前方对话对象语音的对话方向增强系数集、以及用于在通话场景下抑制环境侧向干扰的电话模式系数集;
13、所述动态切换由轻量级噪声分类器基于信号能量统计特征经阈值判断执行。
14、可选地,还包括:
15、基于风噪检测结果,对受风噪影响的麦克风通道的输入信号,在所述空间滤波处理之前施加通道级增益衰减,而固化存储的所述波束成形系数保持不变,所述风噪检测基于各通道低频能量差异和相位一致性度量。
16、本技术第二方面提供一种多麦克风波束成形设备,所述设备包括处理器以及存储器:
17、所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
18、所述处理器用于根据所述程序代码中的指令,执行如上述第一方面所述的多麦克风波束成形的方法的步骤。
19、本技术第三方面提供一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述第一方面所述的方法。
20、本技术第四方面提供一种智能眼镜,应用上述第一方面所述的多麦克风波束成形的方法,所述智能眼镜的镜腿上设置有麦克风阵列,所述麦克风阵列包含至少两种具有不同极性指向特性的麦克风,其中所述至少两种麦克风至少包括:
21、第一类型麦克风,具有近似无方向偏好的极性指向;
22、第二类型麦克风,所述第二类型麦克风为偶极子麦克风,所述偶极子麦克风具有固定空间响应零点方向,所述固定空间响应零点方向在制造过程中由振膜结构和声学孔布局确定,且在运行时不可改变。
23、本技术第五方面提供一种用于多麦克风波束成形的系数生成方法,包括:
24、采集多场景训练数据,所述训练数据包括来自目标方向的语音信号和来自多个干扰方向的噪声信号,并记录偶极子麦克风的固定空间响应零点方位作为已知条件;
25、基于所述训练数据分别构建目标空间协方差矩阵和干扰空间协方差矩阵;
26、将所述偶极子麦克风的固定空间响应零点方位作为空间滤波约束,嵌入空间滤波器的求解过程;
27、通过求解广义特征值问题,获得使目标方向输出信噪比最大化、且在所述固定空间响应零点方位上的空间响应满足所述空间滤波约束的最优空间滤波器,并将所述最优空间滤波器对应的系数固化存储。
28、可选地,所述将偶极子麦克风的固定空间响应零点方位作为空间滤波约束嵌入求解过程,包括:
29、在所述广义特征值问题的求解中施加线性约束,使所述空间滤波器对所述固定空间响应零点方位对应的阵列导向矢量的响应为零。
30、可选地,所述将偶极子麦克风的固定空间响应零点方位作为空间滤波约束嵌入求解过程,包括:
31、在所述干扰空间协方差矩阵中沿所述固定空间响应零点方位注入虚拟干扰功率,并基于虚拟干扰功率求解所述广义特征值问题。
32、从以上技术方案可以看出,本技术实施例具有以下优点:
33、本技术中,提供了一种多麦克风波束成形方法、设备、存储介质及智能眼镜,通过异构mems麦克风组合(全向+偶极子),偶极子麦克风在制造阶段即确定固定空间响应零点方向,该零点方向在运行时不可改变。将该固定零点方位作为空间滤波约束,在离线阶段嵌入基于广义特征值分解的滤波器求解过程,使所得波束成形器在零点方位的空间响应被约束至预设阈值以下,无需运行时在线估计声源方向。波束成形系数离线计算并固化存储,运行时仅执行固定系数的空间滤波,消除了自适应迭代和神经网络推理的算力开销。该方案可在超低功耗微控制器上实现实时处理,功耗降至数十毫瓦量级,解决了现有"同构阵列+dnn分离"路线算力需求高、功耗大、难以适配可穿戴设备的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com