一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种骨传导信号补偿方法及装置与流程

2021-08-27 13:36:00 来源:中国专利 TAG:传导 补偿 装置 信号 计算机
一种骨传导信号补偿方法及装置与流程

本发明涉及计算机领域,尤其涉及一种骨传导信号补偿方法及装置。



背景技术:

语音信号处理通常利用麦克风采集空气传导(airconducted,ac)信号,对采集到的ac信号进行处理时,往往面临环境噪声的影响,特别是在低信噪比下,各种信号处理算法性能大幅度下降。骨传导(boneconducted,bc)信号对环境噪声具有较强的鲁棒性,可以加以利用来进行优化,但bc信号中高频成分存在严重衰减。若要对bc信号进行利用需要先对bc信号进行补偿。

目前,市场上对bc信号的应用主要集中在bc信号的低频区域,通过给bc信号一个固定的增益进行补偿,在低信噪比情况下,利用bc信号的低频部分替换ac信号的低频部分以达到提高信号信噪比的目的,但这样的补偿方式准确性较差,导致语音信号的清晰度降低。



技术实现要素:

本申请提供一种骨传导信号补偿方法及装置,有利于提高语音信号的清晰度。

第一方面,本申请提供一种骨传导信号补偿方法,该方法包括:获取目标语音对应的骨传导信号和空气传导信号;根据该骨传导信号和该空气传导信号确定传递函数,该传递函数用于对骨传导信号进行补偿;基于该骨传导信号确定语音频点和非语音频点,该语音频点为语音能量大于第一能量阈值的频点,该非语音频点为语音能量小于或者等于该第一能量阈值的频点;对该语音频点和该非语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到第一幅频响应;在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应;根据该第二幅频响应对该骨传导信号进行处理。

基于第一方面描述的方法,确定出用于补偿骨传导信号的传递函数,并对传递函数的幅频响应进行帧间平滑处理,然后从心理声学出发对传递函数的幅频响应进行更新。因此,基于第一方面描述的方法,能够对骨传导信号进行补偿,有利于提高语音信号的清晰度。

在一种可能的实现方式中,该语音频点包括强语音频点和一般语音频点,该强语音频点为语音能量大于第二能量阈值的频点,该一般语音频点为语音能量小于或等于该第二能量阈值且语音能量大于该第一能量阈值的频点,该第二能量阈值大于该第一能量阈值。

在一种可能的实现方式中,该对语音频点和非语音频点对应的传递函数的幅频响应进行帧间平滑处理,包括:基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理,并基于非语音频点的平滑因子对该非语音频点对应的传递函数的幅频响应进行帧间平滑处理;其中,该语音频点的平滑因子大于该非语音频点的平滑因子。基于该方式,有利于提高传递函数的精确性。

在一种可能的实现方式中,该语音频点的平滑因子包括强语音频点的平滑因子和一般语音频点的平滑因子,该强语音频点的平滑因子大于该一般语音频点的平滑因子,该非语音频点的平滑因子为零;该基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理,包括:基于该强语音频点的平滑因子对该语音频点中的强语音频点对应的传递函数的幅频响应进行帧间平滑处理;基于该一般语音频点的平滑因子对该语音频点中的一般语音频点对应的传递函数的幅频响应进行帧间平滑处理。基于该方式,有利于提高传递函数的精确性。

在一种可能的实现方式中,该在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应,包括:确定每个心理声学尺度带;在每个心理声学尺度带中,分别计算该语音频点和该非语音频点对应的该第一幅频响应的均值,并将该均值确定为第二幅频响应。基于该方式,有利于提高语音信号的清晰度。

在一种可能的实现方式中,该获取目标语音对应的骨传导信号和空气传导信号,根据该骨传导信号和该空气传导信号确定传递函数,包括:获取骨传导信号和空气传导信号;对该骨传导信号进行语音活动检测;若检测到存在目标语音,则根据该骨传导信号和该空气传导信号确定传递函数。基于该方式,有利于保证获取到的骨传导信号存在语音,避免无效处理。

在一种可能的实现方式中,该第一幅频响应为其中,为该传递函数的幅频响应,k为频点,m为帧索引,α(k)为语音频点的平滑因子或非语音频点的平滑因子。

在一种可能的实现方式中,该语音频点对应的该第一幅频响应的均值为|h′eq(n,p≠-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk≠-1,该非语音频点对应的该第一幅频响应的均值为|h′eq(n,p=-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk=-1,其中,|heq(k,m)|为该第一幅频响应,pk为频点k对应的值,n为心理声学尺度带号,kn_min为心理声学尺度带n所对应的最小频点,kn_max为心理声学尺度带n所对应的最大频点,pk≠-1表示语音频点,pk=-1表示非语音频点。

第二方面,本申请提供了一种处理装置,该装置包括获取单元、确定单元和处理单元,该处理单元和确定单元用于执行上述第一方面所述的方法。

第三方面,本申请提供了一种芯片,包括处理器、存储器和通信接口,该存储器中存储有计算机程序,该处理器被配置用于调用该计算机程序以执行如下操作:获取目标语音对应的骨传导信号和空气传导信号;根据该骨传导信号和该空气传导信号确定传递函数,该传递函数用于对骨传导信号进行补偿;基于该骨传导信号确定语音频点和非语音频点,该语音频点为语音能量大于第一能量阈值的频点,该非语音频点为语音能量小于或者等于该第一能量阈值的频点;对该语音频点和该非语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到第一幅频响应;在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应;根据该第二幅频响应对该骨传导信号进行处理。

第四方面,本申请提供了一种模组设备,该模组设备包括通信模组、电源模组、存储模组以及芯片模组,其中:该电源模组用于为该模组设备提供电能;该存储模组用于存储数据和指令;该通信模组用于进行模组设备内部通信,或者用于该模组设备与外部设备进行通信;该芯片模组用于:获取目标语音对应的骨传导信号和空气传导信号;根据该骨传导信号和该空气传导信号确定传递函数,该传递函数用于对该骨传导信号进行补偿;基于该骨传导信号确定语音频点和非语音频点,该语音频点为语音能量大于第一能量阈值的频点,该非语音频点为语音能量小于或者等于该第一能量阈值的频点;对该语音频点和该非语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到第一幅频响应;在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应;根据该第二幅频响应对该骨传导信号进行处理。

第五方面,本发明实施例公开了一种电子设备,该电子设备包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第一方面所述的方法。

第六方面,本申请提供了一种计算机可读存储介质,该计算机存储介质中存储有计算机可读指令,当该计算机可读指令在通信装置上运行时,使得该通信装置执行上述第一方面及其任一种可能的实现方式中的方法。

第七方面,本申请提供一种计算机程序或计算机程序产品,包括代码或指令,当代码或指令在计算机上运行时,使得计算机执行如第一方面及其任一种可能的实现方式中的方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种配置骨传导麦克风的耳机结构示意图;

图2是本申请实施例提供的一种骨传导信号补偿方法的流程图;

图3是本申请实施例提供的另一种骨传导信号补偿方法的流程图;

图4是本申请实施例提供的一种处理装置的结构示意图;

图5是本申请实施例提供的一种电子设备的结构示意图;

图6是本申请实施例提供的一种模组设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

需要说明的是,本申请的说明书和权利要求书中及上述附图中的属于“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述以外的顺序实施。此外,术语“包括”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请提出的方法的执行主体可以是电子设备,该电子设备可以是含有骨传导麦克风的设备,如配置骨传导麦克风的耳机。请参阅图1,图1是本申请实施例提供的一种配置骨传导麦克风的耳机结构示意图,该配置骨传导麦克风的耳机包括一个骨传导麦克风和一个空气传导麦克风,其中,骨传导麦克风用于采集骨传导(boneconducted,bc)信号,空气传导麦克风用于采集空气传导(airconducted,ac)信号。

需要说明的是,语音信号处理通常利用麦克风采集ac信号,对采集到的ac信号进行处理时,往往面临环境噪声的影响,特别是在低信噪比下,各种信号处理算法性能大幅度下降。bc信号对环境噪声具有较强的鲁棒性,可以加以利用来进行优化,但bc信号中高频成分存在严重衰减。若要对bc信号进行利用需要先对bc信号进行补偿。

目前,市场上对bc信号的应用主要集中在bc信号的低频区域,通过给bc信号一个固定的增益进行补偿,在低信噪比情况下,利用bc信号的低频部分替换ac信号的低频部分以达到提高信号信噪比的目的,但这样的补偿方式准确性较差,导致语音信号的清晰度降低。

为了能够提高语音信号的清晰度,本申请实施例提供了一种骨传导信号补偿方法。为了更好地理解本申请实施例提供的骨传导信号补偿方法,下面对该骨传导信号补偿方法进行详细描述。

请参阅图2,图2是本申请实施例提供的一种骨传导信号补偿方法的流程图,该骨传导信号补偿方法包括步骤201~步骤206。图2所示的方法执行主体可以为电子设备(示例性的,可参照图1所示),或主体可以为电子设备中的芯片。图2所示的方法执行主体以电子设备为例。其中:

201、电子设备获取目标语音对应的骨传导信号和空气传导信号。

本申请实施例中,针对同一目标语音,电子设备通过骨传导麦克风获取到该目标语音对应的骨传导信号,通过空气传导麦克风获取到该目标语音对应的空气传导信号。基于该方式,便于后续对该骨传导信号进行处理。

202、电子设备根据该骨传导信号和该空气传导信号确定传递函数。

本申请实施例中,该传递函数用于对该骨传导信号进行补偿。该用于补偿骨传导信号的传递函数的幅频响应采用公式(1)计算得到。

其中,pab(k,m)为预处理降噪得到的空气传导信号和骨传导信号的互功率谱,pbb(k,m)为骨传导信号的自功率谱,k为频点,m为帧索引。

203、电子设备基于该骨传导信号确定语音频点和非语音频点。

本申请实施例中,语音频点为语音能量大于第一能量阈值的频点,非语音频点为语音能量小于或者等于该第一能量阈值的频点。基于该方式,通过区分语音频点和非语音频点,提高对骨传导信号处理的精确性。

例如,第一能量阈值为30,若频点a的语音能量为42,该频点a的语音能量大于30,则频点a为语音频点。若频点b的语音能量为25,该频点b的语音能量小于30,则频点b为非语音频点。

在一种可能的实现方式中,该语音频点包括强语音频点和一般语音频点,该强语音频点为语音能量大于第二能量阈值的频点,该一般语音频点为语音能量小于或等于该第二能量阈值且语音能量大于该第一能量阈值的频点,该第二能量阈值大于该第一能量阈值。基于该可能的方式,进一步将语音频点划分为强语音频点和一般语音频点,有利于提高对骨传导信号处理的精确性。

例如,第一能量阈值为30,第二能量阈值为45,若频点a的语音能量为52,该频点a的语音能量大于第二能量阈值,则频点a为强语音频点。若频点b的语音能量为40,该频点b的语音能量小于第二能量阈值且大于第一能量阈值,则频点b为一般语音频点。若频点c的语音能量为25,该频点c的语音能量小于第一能量阈值,则频点c为非语音频点。

204、电子设备对语音频点和非语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到第一幅频响应。

本申请实施例中,帧间平滑处理是一种实现语音信号曲线平滑变化的方式,以保证语音信号曲线平滑过渡,从而提高语音信号的准确性,减少语音信号的失真。电子设备分别对语音频点和非语音频点对应的传递函数的幅频响应进行帧间平滑处理,实现对传递函数的幅频响应的更新,从而提高传递函数的精确性。

205、在每个心理声学尺度带中,电子设备计算该第一幅频响应对应的第二幅频响应。

本申请实施例中,由于人耳对声音的感知(如频率、音调)是非线性的,为了对声音的感知进行度量,产生了一系列的尺度,即心理声学尺度。本申请实施例中的心理声学尺度包括但不限于巴克域、梅尔域等。基于该方式,从心理声学出发对第一幅频响应进行更新,更符合人的听觉习惯,提高了语音信号的清晰度。

206、电子设备根据该第二幅频响应对该骨传导信号进行处理。

本申请实施例中,该第二幅频响应对应更新后的传递函数的幅频响应,传递函数的相频响应保持不变,因此根据该第二幅频响应和原有的相频响应可以得到更新后的传递函数,该骨传导信号通过该更新后的传递函数进行补偿。基于该方式,骨传导信号根据更新后的传递函数的幅频响应实现对骨传导信号的补偿,从而提高语音信号的清晰度。

在图2所描述的方法中,电子设备确定出用于补偿骨传导信号的传递函数,并对传递函数的幅频响应进行帧间平滑处理,然后从心理声学出发对传递函数的幅频响应进行更新。因此,基于图1所描述的方法,能够对骨传导信号进行补偿,有利于提高语音信号的清晰度。

请参见图3,图3是本申请实施例提供的另一种骨传导信号补偿方法的流程图。该文本分类的特征提取方法包括步骤301~步骤308。步骤301~步骤303为上述步骤201和步骤202的一种具体的实现方式。步骤305为上述步骤204的一种具体的实现方式。步骤306和步骤307为上述步骤205的一种具体的实现方式。图3所示的方法执行主体可以为电子设备,或主体可以为电子设备中的芯片。图3所示的方法执行主体以电子设备为例。其中:

301、电子设备获取骨传导信号和空气传导信号。

302、电子设备对该骨传导信号进行语音活动检测。

本申请实施例中,语音活动检测是一种检测语音信号是否存在的方法,主要用于语音编码和语音识别。具体的实现方式可以是:首先对接收到的骨传导信号进行降噪处理,然后对降噪后的骨传导信号的一个区块提取特征,最后使用一个分类器对这个区块进行分类,确定该骨传导信号是否存在语音信号。

303、若检测到存在目标语音,则电子设备根据该骨传导信号和该空气传导信号确定传递函数。

本申请实施例中,电子设备根据骨传导信号进行语音活动检测,若检测到存在目标语音,则设置语音标志位vad=1;若检测到不存在目标语音,则设置语音标志位vad=0。当检测到存在目标语音时,电子设备根据该骨传导信号和该空气传导信号确定传递函数。电子设备根据该骨传导信号和该空气传导信号确定传递函数的具体实现方式与上述步骤202的具体实现方式相同,在此不赘述。基于该方式,先判断骨传导信号是否存在语音信号,在语音信号存在的情况下,再获取该语音信号对应的空气传导信号,有利于避免对骨传导信号进行多余的无效处理。

可选的,当检测到不存在目标语音时,电子设备无需对该骨传导信号进行处理。

304、电子设备基于该骨传导信号确定语音频点和非语音频点。

其中,步骤304的具体实现方式与上述步骤203的具体实现方式相同,在此不赘述。

305、电子设备基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理,并基于非语音频点的平滑因子对该非语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到第一幅频响应。

本申请实施例中,语音频点的平滑因子大于非语音频点的平滑因子。其中,第一幅频响应通过公式(2)计算得到。

其中,为该传递函数的幅频响应,k为频点,m为帧索引,α(k)为语音频点的平滑因子或非语音频点的平滑因子。

例如,语音频点的平滑因子为0.6,非语音频点的平滑因子为0,将α(k)=0.6代入公式(2)实现对语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到语音频点对应的第一幅频响应;将α(k)=0代入公式(2)实现对非语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到非语音频点对应的第一幅频响应。

可选的,语音频点的平滑因子和非语音频点的平滑因子可以通过经验确定,也可以基于处理结果的反馈进行调整,本申请实施例中对平滑因子的取值不作限定。

在一种可能的实现方式中,该语音频点的平滑因子包括强语音频点的平滑因子和一般语音频点的平滑因子,该强语音频点的平滑因子大于该一般语音频点的平滑因子,该非语音频点的平滑因子为零;该基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理,包括:基于该强语音频点的平滑因子对该语音频点中的强语音频点对应的传递函数的幅频响应进行帧间平滑处理;基于该一般语音频点的平滑因子对该语音频点中的一般语音频点对应的传递函数的幅频响应进行帧间平滑处理。基于该可能的方式,有利于提高对骨传导信号处理的精确性。

其中,若语音频点为强语音频点,则记为pk=1;若语音频点为一般语音频点,则记为pk=0;若语音频点为非语音频点,则记为pk=-1。

例如,强语音频点的平滑因子为0.6,一般语音频点的平滑因子为0.3,非语音频点的平滑因子为0。将α(k)=0.6代入公式(2)实现对强语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到强语音频点对应的第一幅频响应;将α(k)=0.3代入公式(2)实现对一般语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到一般语音频点对应的第一幅频响应;将α(k)=0代入公式(2)实现对非语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到非语音频点对应的第一幅频响应,即不对非语音频点对应的传递函数的幅频响应进行更新。

306、电子设备确定每个心理声学尺度带。

本申请实施例中,电子设备将整个频域划分为多个心理声学尺度带。心理声学尺度包括但不限于巴克域、梅尔域等。不同的心理声学尺度对应不同的心理声学尺度带。如表1所示,表1是巴克域的心理声学尺度带。巴克尺度是以赫兹(hz)为单位,把频率映射到心理声学的24个临界频带上,第25个临界频带占据约:16k~20khz的频率,1个临界频带的宽度等于一个巴克,简单的说,巴克尺度是把物理频率转换到心理声学的频率。

表1

307、在每个心理声学尺度带中,电子设备分别计算该语音频点和该非语音频点对应的第一幅频响应的均值,并将该均值确定为第二幅频响应。

本申请实施例中,该语音频点对应的第一幅频响应的均值通过公式(3)计算得到:

|h′eq(n,p≠-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk≠-1(3)

该非语音频点对应的第一幅频响应的均值为通过公式(4)计算得到。

|h′eq(n,p=-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk=-1(4)

其中,|heq(k,m)|为所述第一幅频响应,pk为频点k对应的值,n为心理声学尺度带号,kn_min为心理声学尺度带n所对应的最小频点,kn_max为心理声学尺度带n所对应的最大频点,pk≠-1表示语音频点,pk=-1表示非语音频点。

例如,第一个心理声学尺度带中,包含一般语音频点a、强语音频点b、一般语音频点c、非语音频点d、非语音频点e、非语音频点f。其中,一般语音频点a对应的第一幅频响应为36,强语音频点b对应的第一幅频响应为45,一般语音频点c对应的第一幅频响应为40,非语音频点d对应的第一幅频响应为25,非语音频点e对应的第一幅频响应为20,非语音频点f对应的第一幅频响应为15。语音频点包括强语音频点和一般语音频点,对于强语音频点pk=1,对于一般语音频点pk=0,对于非语音频点pk=-1。因此,语音频点对应的第一幅频响应的均值通过公式(3)计算的结果为40.3,即第一个心理声学尺度带中语音频点对应的第二幅频响应为40.3。非语音频点对应的第一幅频响应的均值通过公式(4)计算的结果为20,即第一个心理声学尺度带中非语音频点对应的第二幅频响应为20。

需要说明的是,一个心理声学尺度带中包含多个频点,电子设备将对每个心理声学尺度带中的语音频点和非语音频点分别进行处理,得到各个心理声学尺度带中的语音频点和非语音频点对应的第二幅频响应。可以理解的是,基于该方式,可以减小同一心理声学尺度带中的语音频点(或者非语音频点)的增益差异,从而提高语音信号的清晰度。

308、电子设备根据该第二幅频响应对该骨传导信号进行处理。

其中,步骤308的具体实现方式与上述步骤206的具体实现方式相同,在此不赘述。

在图3所描述的方法中,电子设备确定出用于补偿骨传导信号的传递函数,并对传递函数的幅频响应进行帧间平滑处理,然后从心理声学出发对传递函数的幅频响应进行更新。因此,基于图3所描述的方法,能够对骨传导信号进行补偿,有利于提高语音信号的清晰度。

请参见图4,图4是本发明实施例提供的一种处理装置的结构示意图,该处理装置可以为电子设备或具有电子设备功能的装置(例如芯片)。具体的,如图4所示,该处理装置40,可以包括:

获取单元401,用于获取目标语音对应的骨传导信号和空气传导信号;

确定单元402,用于根据该骨传导信号和该空气传导信号确定传递函数,该传递函数用于对骨传导信号进行补偿;

确定单元402,还用于基于该骨传导信号确定语音频点和非语音频点,该语音频点为语音能量大于第一能量阈值的频点,该非语音频点为语音能量小于或者等于该第一能量阈值的频点;

处理单元403,用于对该语音频点和该非语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到第一幅频响应;

处理单元403,还用于在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应;

处理单元403,还用于根据该第二幅频响应对该骨传导信号进行处理。

可选的,该语音频点包括强语音频点和一般语音频点,该强语音频点为语音能量大于第二能量阈值的频点,该一般语音频点为语音能量小于或等于该第二能量阈值且语音能量大于该第一能量阈值的频点,该第二能量阈值大于该第一能量阈值。

可选的,该处理单元403,在对语音频点和非语音频点对应的传递函数的幅频响应进行帧间平滑处理时,具体用于:基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理,并基于非语音频点的平滑因子对该非语音频点对应的传递函数的幅频响应进行帧间平滑处理;其中,该语音频点的平滑因子大于该非语音频点的平滑因子。

可选的,该语音频点的平滑因子包括强语音频点的平滑因子和一般语音频点的平滑因子,该强语音频点的平滑因子大于该一般语音频点的平滑因子,该非语音频点的平滑因子为零;该处理单元403,在基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理时,具体用于:基于该强语音频点的平滑因子对该语音频点中的强语音频点对应的传递函数的幅频响应进行帧间平滑处理;基于该一般语音频点的平滑因子对该语音频点中的一般语音频点对应的传递函数的幅频响应进行帧间平滑处理。

可选的,该处理单元403,在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应时,具体用于:确定每个心理声学尺度带;在每个心理声学尺度带中,分别计算该语音频点和该非语音频点对应的该第一幅频响应的均值,并将该均值确定为第二幅频响应。

可选的,该处理单元403,在获取目标语音对应的骨传导信号和空气传导信号,根据该骨传导信号和该空气传导信号确定传递函数时,具体用于:获取骨传导信号和空气传导信号;对该骨传导信号进行语音活动检测;若检测到存在目标语音,则根据该骨传导信号和该空气传导信号确定传递函数。

可选的,该第一幅频响应为其中,为该传递函数的幅频响应,k为频点,m为帧索引,α(k)为语音频点的平滑因子或非语音频点的平滑因子。

可选的,该语音频点对应的该第一幅频响应的均值为|h′eq(n,p≠-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk≠-1,该非语音频点对应的该第一幅频响应的均值为|h′eq(n,p=-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk=-1,其中,|heq(k,m)|为该第一幅频响应,pk为频点k对应的值,n为心理声学尺度带号,kn_min为心理声学尺度带n所对应的最小频点,kn_max为心理声学尺度带n所对应的最大频点,pk≠-1表示语音频点,pk=-1表示非语音频点。

本发明实施例和图2、图3所示方法实施例基于同一构思,其带来的技术效果也相同,具体原理请参照图2和图3所示实施例的描述,在此不赘述。

请参阅图5,图5是本申请实施例提供的一种电子设备的结构示意图,该电子设备可以为耳机等相关的设备。该电子设备50中包括处理器501、存储器502、空气传导麦克503和骨传导麦克504。

处理器501可以是中央处理单元(centralprocessingunit,cpu),该处理器501还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器,可选的,该处理器501也可以是任何常规的处理器等。

存储器502可以包括只读存储器和随机存取存储器,并向处理器501提供指令和数据。存储器502的一部分还可以包括非易失性随机存取存储器。

可选的,该电子设备50还可以包括除上述所描述的器件以外的器件,例如通信接口,本申请实施例对此不作限定。

其中:

处理器501,用于调用存储器502中存储的程序指令。

存储器502,用于存储程序指令。

空气传导麦克503,用于接收空气传导信号。

骨传导麦克504,用于接收骨传导信号。

处理器501调用存储器502中存储的程序指令,使该电子设备50执行以下操作:获取目标语音对应的骨传导信号和空气传导信号;根据该骨传导信号和该空气传导信号确定传递函数,该传递函数用于对骨传导信号进行补偿;基于该骨传导信号确定语音频点和非语音频点,该语音频点为语音能量大于第一能量阈值的频点,该非语音频点为语音能量小于或者等于该第一能量阈值的频点;对该语音频点和该非语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到第一幅频响应;在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应;根据该第二幅频响应对该骨传导信号进行处理。

在一种实现方式中,该语音频点包括强语音频点和一般语音频点,该强语音频点为语音能量大于第二能量阈值的频点,该一般语音频点为语音能量小于或等于该第二能量阈值且语音能量大于该第一能量阈值的频点,该第二能量阈值大于该第一能量阈值。

在一种实现方式中,该对语音频点和非语音频点对应的传递函数的幅频响应进行帧间平滑处理,包括:基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理,并基于非语音频点的平滑因子对该非语音频点对应的传递函数的幅频响应进行帧间平滑处理;其中,该语音频点的平滑因子大于该非语音频点的平滑因子。

在一种实现方式中,该语音频点的平滑因子包括强语音频点的平滑因子和一般语音频点的平滑因子,该强语音频点的平滑因子大于该一般语音频点的平滑因子,该非语音频点的平滑因子为零;该基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理,包括:基于该强语音频点的平滑因子对该语音频点中的强语音频点对应的传递函数的幅频响应进行帧间平滑处理;基于该一般语音频点的平滑因子对该语音频点中的一般语音频点对应的传递函数的幅频响应进行帧间平滑处理。

在一种实现方式中,该在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应,包括:确定每个心理声学尺度带;在每个心理声学尺度带中,分别计算该语音频点和该非语音频点对应的该第一幅频响应的均值,并将该均值确定为第二幅频响应。

在一种实现方式中,该获取目标语音对应的骨传导信号和空气传导信号,根据该骨传导信号和该空气传导信号确定传递函数,包括:获取骨传导信号和空气传导信号;对该骨传导信号进行语音活动检测;若检测到存在目标语音,则根据该骨传导信号和该空气传导信号确定传递函数。

在一种实现方式中,该第一幅频响应为其中,为该传递函数的幅频响应,k为频点,m为帧索引,α(k)为语音频点的平滑因子或非语音频点的平滑因子。

在一种实现方式中,该语音频点对应的该第一幅频响应的均值为|h′eq(n,p≠-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk≠-1,该非语音频点对应的该第一幅频响应的均值为|h′eq(n,p=-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk=-1,其中,|heq(k,m)|为该第一幅频响应,pk为频点k对应的值,n为心理声学尺度带号,kn_min为心理声学尺度带n所对应的最小频点,kn_max为心理声学尺度带n所对应的最大频点,pk≠-1表示语音频点,pk=-1表示非语音频点。

需要说明的是,图5对应的实施例中未提及的内容以及各个步骤的具体实现方式可参见图2和图3所示实施例以及前述内容,这里不再赘述。

本申请实施例还提供了一种芯片,该芯片可以执行前述方法实施例中电子设备的相关步骤。该芯片,包括处理器、存储器和通信接口,该存储器中存储有计算机程序,该处理器被配置用于调用该计算机程序以执行如下操作:获取目标语音对应的骨传导信号和空气传导信号;根据该骨传导信号和该空气传导信号确定传递函数,该传递函数用于对该骨传导信号进行补偿;基于该骨传导信号确定语音频点和非语音频点,该语音频点为语音能量大于第一能量阈值的频点,该非语音频点为语音能量小于或者等于该第一能量阈值的频点;对该语音频点和该非语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到第一幅频响应;在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应;根据该第二幅频响应对该骨传导信号进行处理。

可选的,该语音频点包括强语音频点和一般语音频点,该强语音频点为语音能量大于第二能量阈值的频点,该一般语音频点为语音能量小于或等于该第二能量阈值且语音能量大于该第一能量阈值的频点,该第二能量阈值大于该第一能量阈值。

可选的,该芯片在对语音频点和非语音频点对应的传递函数的幅频响应进行帧间平滑处理时,具体用于:基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理,并基于非语音频点的平滑因子对该非语音频点对应的传递函数的幅频响应进行帧间平滑处理;其中,该语音频点的平滑因子大于该非语音频点的平滑因子。

可选的,该语音频点的平滑因子包括强语音频点的平滑因子和一般语音频点的平滑因子,该强语音频点的平滑因子大于该一般语音频点的平滑因子,该非语音频点的平滑因子为零;该芯片在基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理时,具体用于:基于该强语音频点的平滑因子对该语音频点中的强语音频点对应的传递函数的幅频响应进行帧间平滑处理;基于该一般语音频点的平滑因子对该语音频点中的一般语音频点对应的传递函数的幅频响应进行帧间平滑处理。

可选的,该芯片在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应时,具体用于:确定每个心理声学尺度带;在每个心理声学尺度带中,分别计算该语音频点和该非语音频点对应的该第一幅频响应的均值,并将该均值确定为第二幅频响应。

可选的,该芯片在获取目标语音对应的骨传导信号和空气传导信号,根据该骨传导信号和该空气传导信号确定传递函数时,具体用于:获取骨传导信号和空气传导信号;对该骨传导信号进行语音活动检测;若检测到存在目标语音,则根据该骨传导信号和该空气传导信号确定传递函数。

可选的,该第一幅频响应为其中,为该传递函数的幅频响应,k为频点,m为帧索引,α(k)为语音频点的平滑因子或非语音频点的平滑因子。

可选的,该语音频点对应的该第一幅频响应的均值为|h′eq(n,p≠-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk≠-1,该非语音频点对应的该第一幅频响应的均值为|h′eq(n,p=-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk=-1,其中,|heq(k,m)|为该第一幅频响应,pk为频点k对应的值,n为心理声学尺度带号,kn_min为心理声学尺度带n所对应的最小频点,kn_max为心理声学尺度带n所对应的最大频点,pk≠-1表示语音频点,pk=-1表示非语音频点。

在一种可能的实现方式中,上述芯片包括至少一个处理器、至少一个第一存储器和至少一个第二存储器;其中,前述至少一个第一存储器和前述至少一个处理器通过线路互联,前述第一存储器中存储有指令;前述至少一个第二存储器和前述至少一个处理器通过线路互联,前述第二存储器中存储前述方法实施例中需要存储的数据。

对于应用于或集成于芯片的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现。

如图6所示,图6是本申请实施例提供的一种模组设备的结构示意图。该模组设备60可以执行前述方法实施例中终端设备的相关步骤,该模组设备60包括:通信模组601、电源模组602、存储模组603、芯片模组604、空气传导麦克模组605以及骨传导麦克模组606。

其中,所述电源模组602用于为所述模组设备提供电能;所述存储模组603用于存储数据和指令;所述通信模组601用于进行模组设备内部通信,或者用于所述模组设备与外部设备进行通信;所述空气传导麦克模组605用于接收骨传导信号;所述骨传导麦克模组606用于接收空气传导信号;所述芯片模组604用于:

获取目标语音对应的骨传导信号和空气传导信号;根据该骨传导信号和该空气传导信号确定传递函数,该传递函数用于对该骨传导信号进行补偿;基于该骨传导信号确定语音频点和非语音频点,该语音频点为语音能量大于第一能量阈值的频点,该非语音频点为语音能量小于或者等于该第一能量阈值的频点;对该语音频点和该非语音频点对应的传递函数的幅频响应进行帧间平滑处理,得到第一幅频响应;在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应;根据该第二幅频响应对该骨传导信号进行处理。

可选的,该语音频点包括强语音频点和一般语音频点,该强语音频点为语音能量大于第二能量阈值的频点,该一般语音频点为语音能量小于或等于该第二能量阈值且语音能量大于该第一能量阈值的频点,该第二能量阈值大于该第一能量阈值。

可选的,该芯片模组604,在对语音频点和非语音频点对应的传递函数的幅频响应进行帧间平滑处理时,具体用于:基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理,并基于非语音频点的平滑因子对该非语音频点对应的传递函数的幅频响应进行帧间平滑处理;其中,该语音频点的平滑因子大于该非语音频点的平滑因子。

可选的,该语音频点的平滑因子包括强语音频点的平滑因子和一般语音频点的平滑因子,该强语音频点的平滑因子大于该一般语音频点的平滑因子,该非语音频点的平滑因子为零;该芯片模组604,在基于语音频点的平滑因子对该语音频点对应的传递函数的幅频响应进行帧间平滑处理时,具体用于:基于该强语音频点的平滑因子对该语音频点中的强语音频点对应的传递函数的幅频响应进行帧间平滑处理;基于该一般语音频点的平滑因子对该语音频点中的一般语音频点对应的传递函数的幅频响应进行帧间平滑处理。

可选的,该芯片模组604,在每个心理声学尺度带中,计算该第一幅频响应对应的第二幅频响应时,具体用于:确定每个心理声学尺度带;在每个心理声学尺度带中,分别计算该语音频点和该非语音频点对应的该第一幅频响应的均值,并将该均值确定为第二幅频响应。

可选的,该芯片模组604,在获取目标语音对应的骨传导信号和空气传导信号,根据该骨传导信号和该空气传导信号确定传递函数时,具体用于:获取骨传导信号和空气传导信号;对该骨传导信号进行语音活动检测;若检测到存在目标语音,则根据该骨传导信号和该空气传导信号确定传递函数。

可选的,该第一幅频响应为其中,为该传递函数的幅频响应,k为频点,m为帧索引,α(k)为语音频点的平滑因子或非语音频点的平滑因子。

可选的,该语音频点对应的该第一幅频响应的均值为|h′eq(n,p≠-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk≠-1,该非语音频点对应的该第一幅频响应的均值为|h′eq(n,p=-1)|=mean(|heq(k,m)|),kn_min<k<kn_max且pk=-1,其中,|heq(k,m)|为该第一幅频响应,pk为频点k对应的值,n为心理声学尺度带号,kn_min为心理声学尺度带n所对应的最小频点,kn_max为心理声学尺度带n所对应的最大频点,pk≠-1表示语音频点,pk=-1表示非语音频点。

对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,不同的模块可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现。本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在处理器上运行时,上述方法实施例的方法流程得以实现。

本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在处理器上运行时,上述方法实施例的方法流程得以实现。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些操作可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

本申请提供的各实施例的描述可以相互参照,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。为描述的方便和简洁,例如关于本申请实施例提供的各装置、设备的功能以及执行的操作可以参照本申请方法实施例的相关描述,各方法实施例之间、各装置实施例之间也可以互相参考、结合或引用。

最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文章

  • 日榜
  • 周榜
  • 月榜