一种基于空气传导信号与结构传导信号融合的助听设备、助听设备自声抑制方法、系统、终端及介质与流程

本发明涉及助听设备与音频信号处理的，尤其涉及一种基于空气传导信号与结构传导信号融合的助听设备、助听设备自声抑制方法、系统、终端及介质。

背景技术：

1、助听设备通常利用一个或多个空气传导麦克风采集环境声音，经降噪、均衡和听力补偿后由受话器向佩戴者输出。当佩戴者讲话时，其声音不仅经空气传播至麦克风，还会经颅骨、软组织、耳廓、耳道、壳体接触面及助听设备结构件形成结构传导路径。

2、对于封闭或半封闭佩戴结构，佩戴者发声时容易产生闭塞效应，使自声在耳道内增强；对于开放式佩戴结构，佩戴者自声也会经空气传导、骨传导、组织传导和设备结构耦合进入助听处理链路。现有助听算法通常依赖一个或多个空气传导麦克风执行降噪、波束形成、自动增益控制、方向判定或固定增益调节，但麦克风同时接收佩戴者自声、非佩戴者语音和环境声音，难以稳定判断当前语音是否由佩戴者产生。因此，现有处理容易出现自声残留、抑制不足，或者在压低自声的同时削弱外部交流语音的问题。

3、部分方案采用运动传感器辅助判断佩戴者是否说话，或者在检测到自声后切换助听增益，但通常仅将结构传导信号作为触发信息或状态控制信息，未充分利用结构传导信号与空气传导声信号之间的连续对应关系，对佩戴者语音和非佩戴者语音进行联合估计。

4、因此，现有技术还存在缺陷。

技术实现思路

1、针对现有技术的上述缺陷，本发明提供一种基于空气传导信号与结构传导信号融合的助听设备、助听设备自声抑制方法、系统、终端及介质。本发明所采用的技术方案如下：

2、第一方面，本发明提供一种基于空气传导信号与结构传导信号融合的助听设备，所述助听设备包括：

3、壳体组件；

4、至少一个空气传导麦克风，用于获取包含佩戴者自声和非佩戴者语音的空气传导声信号；

5、至少一个结构传导信号传感单元，设置于所述壳体组件内，并与接收佩戴者发声所引起结构振动的结构件机械耦合，用于将结构振动和/或结构传导声转换为结构传导信号；

6、信号处理模块，分别与所述空气传导麦克风和所述结构传导信号传感单元连接；

7、受话器，与所述信号处理模块连接；

8、其中，所述信号处理模块被配置为：

9、获取所述空气传导声信号和所述结构传导信号；

10、根据所述空气传导声信号与所述结构传导信号之间的对应关系构建融合输入信息；

11、将所述融合输入信息输入至语音处理模型，得到用于区分佩戴者语音与非佩戴者语音的输出结果；

12、根据所述输出结果降低佩戴者语音在助听输出中的比例，同时保持或增强非佩戴者语音，并通过所述受话器输出。

13、在一种实现方式中，所述结构传导信号传感单元包括振动拾音单元、压电式振动传感器、mems加速度传感器、接触式麦克风、骨传导拾音传感器、惯性传感器、应变传感器、力传感器、振动速度传感器或位移传感器中的任意一种或多种。

14、在一种实现方式中，所述结构传导信号传感单元通过粘接、卡接、紧固、预压、弹性垫耦合、一体成型中的任意一种方式与所述结构件连接，以使佩戴者发声所产生的结构振动传递至所述结构传导信号传感单元，并降低外部空气传导声对所述结构传导信号输出的影响。

15、在一种实现方式中，所述结构传导信号传感单元设置于以下至少一个预设安装区域：上壳体中部、上壳体前部、上壳体尾部、内部支架与上壳体之间、内部支架与下壳体之间、内部支架中心、下壳体中部、下壳体前部、下壳体后部、助听设备尾部、拾音端部、受话器的端部、上壳体内壁、下壳体内壁或内部支架上可形成机械耦合路径的区域；

16、所述结构传导信号传感单元的安装姿态、敏感方向和底座朝向根据壳体空间及结构振动传递方向设置。

17、在一种实现方式中，所述融合输入信息包括以下至少一种信息：所述空气传导声信号和所述结构传导信号的时域波形、时频表示、幅度、相位、频带能量、包络、基频、谐波、通道幅度差、通道幅度比、互相关、相干度、时延、语音活动状态以及自声置信度。

18、在一种实现方式中，所述语音处理模型包括规则判决模型、统计分类模型、自适应滤波模型、源分离模型和神经网络模型中的任意一种或多种；所述语音处理模型用于根据所述空气传导信号与结构传导信号的融合输入信息确定佩戴者自声区间或自声置信度，并估计所述空气传导声信号中的佩戴者语音分量和非佩戴者语音分量。

19、在一种实现方式中，所述神经网络模型包括输入层、时序建模层和输出层；所述输入层用于接收由至少一路空气传导声信号和至少一路结构传导信号得到的输入表示；所述时序建模层包括长短期记忆网络lstm，或者包括循环神经网络、门控循环单元、时序卷积网络、卷积神经网络、transformer网络、状态空间网络中的任意一种或多种。

20、在一种实现方式中，所述输出层采用以下至少一种输出方式：

21、输出佩戴者语音估计和非佩戴者语音估计两路信号；

22、输出一路语音估计以及佩戴者语音活动检测结果或自声置信度；

23、输出佩戴者语音估计，并根据所述佩戴者语音估计从空气传导声信号中获得非佩戴者语音估计；

24、输出对应于佩戴者语音和非佩戴者语音的时频掩码、增益、类别标签或类别概率，以区分并分别控制佩戴者语音和非佩戴者语音。

25、在一种实现方式中，所述信号处理模块按照y=α·y_non_wearer+β·y_wearer形成助听输出，其中，y_non_wearer为非佩戴者语音估计，y_wearer为佩戴者语音估计，α为非佩戴者语音增益系数，β为佩戴者自声保留系数；α和β分别为预设固定值或动态调整值，所述动态调整值根据自声置信度、用户自声抑制等级、输入声级、听力补偿参数、佩戴状态和使用场景中的至少一种确定。

26、第二方面，本发明实施例还提供一种基于空气传导信号与结构传导信号融合的助听设备的自声抑制方法，其中，所述自声抑制方法利用上述方案中任一项所述的基于空气传导信号与结构传导信号融合的助听设备来实现，所述方法包括：

27、同步获取至少一路空气传导声信号和至少一路结构传导信号；

28、根据所述空气传导声信号与所述结构传导信号之间的对应关系构建融合输入信息；

29、将所述融合输入信息输入至语音处理模型，得到用于区分佩戴者语音与非佩戴者语音的输出结果；

30、根据所述输出结果降低佩戴者语音在助听输出中的比例，同时保持或增强非佩戴者语音，生成经自声抑制的助听信号，并通过受话器输出。

31、在一种实现方式中，所述语音处理模型通过以下至少一种方式获得佩戴者语音估计和非佩戴者语音估计：

32、输出分别对应佩戴者语音和非佩戴者语音的时频掩码并作用于参考信号；

33、直接映射得到两路时频表示；

34、直接生成两路时域信号；

35、基于所述结构传导信号估计所述空气传导声信号中的佩戴者自声分量，并从所述空气传导声信号中去除全部或部分所述佩戴者自声分量。

36、在一种实现方式中，根据所述输出结果降低佩戴者语音在助听输出中的比例，同时保持或增强非佩戴者语音，包括：

37、当所述结构传导信号与所述空气传导声信号的对应关系满足佩戴者自声判定条件时，提高自声置信度，并降低佩戴者语音分量在助听输出中的比例；

38、当所述空气传导声信号中存在语音而所述结构传导信号未形成相应响应时，判定为非佩戴者语音，并保持或增强非佩戴者语音分量的输出。

39、在一种实现方式中，所述语音处理模型通过包含佩戴者语音、非佩戴者语音、环境噪声及对应结构传导信号的训练样本进行训练，训练目标用于约束佩戴者语音与非佩戴者语音的来源分类、语音活动检测、通道归属、分离度、语音可懂度和波形保真度中的至少一种。

40、第三方面，本发明实施例还提供一种基于空气传导信号与结构传导信号融合的助听设备的自声抑制系统，其中，所述系统用于实现上述方案中任一项所述的基于空气传导信号与结构传导信号融合的助听设备的自声抑制方法的步骤，所述方法包括：

41、传导信号采集模块，用于同步获取至少一路空气传导声信号和至少一路结构传导信号；

42、融合输入构建模块，用于根据所述空气传导声信号与所述结构传导信号之间的对应关系构建融合输入信息；

43、语音分离处理模块，用于将所述融合输入信息输入至语音处理模型，得到用于区分佩戴者语音与非佩戴者语音的输出结果；

44、输出控制模块，用于根据所述输出结果降低佩戴者语音在助听输出中的比例，同时保持或增强非佩戴者语音，生成经自声抑制的助听信号，并通过受话器输出。

45、第四方面，本发明实施例还提供一种终端，其中，所述终端包括存储器、处理器及存储在存储器中并可在处理器上运行的基于空气传导信号与结构传导信号融合的助听设备的自声抑制程序，处理器执行基于空气传导信号与结构传导信号融合的助听设备的自声抑制程序时，实现上述方案中任一项的基于空气传导信号与结构传导信号融合的助听设备的自声抑制方法的步骤。

46、第五方面，本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有基于空气传导信号与结构传导信号融合的助听设备的自声抑制程序，所述基于空气传导信号与结构传导信号融合的助听设备的自声抑制程序在所述计算机可读存储介质上实现上述方案中任一项所述的基于空气传导信号与结构传导信号融合的助听设备的自声抑制方法的步骤。

47、有益效果：与现有技术相比，本发明提供了一种基于空气传导信号与结构传导信号融合的助听设备，该助听设备包括：壳体组件；至少一个空气传导麦克风，用于获取包含佩戴者自声和非佩戴者语音的空气传导声信号；至少一个结构传导信号传感单元，设置于所述壳体组件内，并与接收佩戴者发声所引起结构振动的结构件机械耦合，用于将结构振动和/或结构传导声转换为结构传导信号；信号处理模块，分别与所述空气传导麦克风和所述结构传导信号传感单元连接；受话器，与所述信号处理模块连接；其中，所述信号处理模块被配置为：获取所述空气传导声信号和所述结构传导信号；根据所述空气传导声信号与所述结构传导信号之间的对应关系构建融合输入信息；将所述融合输入信息输入至语音处理模型，得到用于区分佩戴者语音与非佩戴者语音的输出结果；根据所述输出结果降低佩戴者语音在助听输出中的比例，同时保持或增强非佩戴者语音，并通过所述受话器输出。

48、本发明解决了空气传导麦克风难以稳定区分佩戴者自声与非佩戴者语音、对混合输入进行统一衰减会损失外部有效声音，以及现有自声抑制效果不稳定的问题；并且提供一种不依赖结构传感单元的单一器件类型、固定位置或安装姿态的机械耦合结构，使产品可根据内部空间、结构振动模态、装配工艺和目标频响选择传感器类型及安装位置，同时保持对佩戴者自声的有效提取。