一种基于虚拟环绕立体声技术的助听方法及装置与流程

1.本发明专利涉及助听器领域，具体涉及一种基于虚拟环绕立体声技术的助听方法及装置。


背景技术：

2.助听器的基本结构包括传音器、放大器、耳机、电源四个主要部分，助听器把声音信号转变为电信号（电能）送入放大器，放大器则将输入很弱的电信号放大后，再传至输出换能器，输出换能器由耳机或骨振动器构成，其作用是把放大的强信号由电能再转换为声信号（声能）或动能输出，因此，耳机或骨振动器传出信号比之传声器原来接收的信号强多了，这就可以在不同程度上弥补听觉障碍者的听力损失；单声道缺乏对声音的位置定位，而立体声技术则彻底改变了这一状况，声音在录制过程中被分配到两个独立的声道，从而达到了很好的声音定位效果，这种技术在音乐欣赏中显得尤为有用，听众可以清晰地分辨出各种乐器来自的方向，从而使音乐更富想象力，更加接近于临场感受，耳聋患者所使用的助听器一般只有一只耳塞机，这种助听器虽然能取得一定的助听效果，但使用时感到很不舒服；双耳佩戴助听器能够缓解上述单耳佩戴助听器的听障情况，但双耳助听器需要复杂的处理系统来完成双耳听力的方向性判断，更增加了耳部负担，影响了听障用户的佩戴舒适度。
3.发明专利内容针对现有技术中的缺陷，本发明专利提供一种基于虚拟环绕立体声技术的助听方法及装置，以帮助听障用户听到舒适的立体声。
4.根据本公开实施例的第一方面，本发明专利一优选实施例提供了一种基于虚拟环绕立体声技术的助听方法及装置，应用于助听设备，所述方法，包括：从周围环境中获取声音信号产生不同的输入信号；生成不同的所述输入信号频谱图；甄选最优的所述输入信号频谱图的主声源信号作为第一输出信号输出；将所述输入信号频谱图的声源信号进行差异性比对，生成所述助听设备与主声源之间的方位信息；将所述助听设备与主声源之间的方位信息和第一输出信号传输至接收端设备；将所述第一输出信号处理作为第二输出信号输出。
5.在一实施例中，所述甄选最优的所述输入信号频谱图的主声源信号作为第一输出信号输出，包括：计算一定时域内不同所述输入信号频谱图中高声幅阈值的均值信息；选取频谱图中高声幅阈值均值信息最大的所述输入信号作为输出信号进行输出。
6.在一实施例中，所述将所述输入信号频谱图的声源信号进行差异性比对，生成所述助听设备与主声源之间的方位信息，包括：
框选优选的所述输入信号频谱图中主声源的任一峰值时刻作为参考时间；依据剩余所述输入信号频谱图中主声源峰值时刻与参考时间之间的差值，计算出所述助听设备距离主声源的方位信息；其中，所述方位信息包括方向信息以及直线距离信息。
7.在一实施例中，将所述第一输出信号处理作为第二输出信号输出，包括：获取所述接收端设备的信号处理逻辑；根据所述信号处理逻辑按比例对第一输出信号进行处理；其中，所述信号处理逻辑包括不同信号输入位置之间的距离信息、剩余输入信号频谱图中主声源峰值时刻与参考时间差值正负与方位信息的关系信息、剩余输入信号频谱图中主声源峰值时刻与参考时间差值大小与距离信息之间的关系信息以及上述信息与第一输出信号放大倍数之间的关系。
8.根据本公开实施例的第二方面，本发明专利提供了一种基于虚拟环绕立体声技术的助听装置，应用于助听设备，包括：输入模块，用于从周围环境中获取声音信号产生不同的输入信号；生成模块，用于生成不同的所述输入信号频谱图；第一输出模块，用于甄选最优的所述输入信号频谱图的主声源信号作为第一输出信号输出；计算模块，用于将所述输入信号频谱图的声源信号进行差异性比对，生成所述助听设备与主声源之间的方位信息；通讯模块，用于将所述助听设备与主声源之间的方位信息和第一输出信号传输至接收端设备；第二输出模块，用于将所述第一输出信号处理作为第二输出信号输出。
9.在一实施例中，所述第一输出模块，包括：处理模块，用于计算一定时域内不同所述输入信号频谱图中高声幅阈值的均值信息；确定模块，用于选取频谱图中高声幅阈值均值信息最大的所述输入信号作为输出信号进行输出。
10.在一实施例中，所述计算模块，还包括：选取模块，用于框选优选的所述输入信号频谱图中主声源的任一峰值时刻作为参考时间；计算子模块，用于依据剩余所述输入信号频谱图中主声源峰值时刻与参考时间之间的差值，计算出所述助听设备距离主声源的方位信息；其中，所述方位信息包括方向信息以及直线距离信息。
11.在一实施例中，所述第二输出模块，包括：获取模块，用于获取所述接收端设备的信号处理逻辑；执行模块，用于根据所述信号处理逻辑按比例对第一输出信号进行处理；其中，所述信号处理逻辑包括不同信号输入位置之间的距离信息、剩余输入信号频谱图中主声源峰值时刻与参考时间差值正负与方位信息的关系信息、剩余输入信号频谱图中主声源峰值时刻与参考时间差值大小与距离信息之间的关系信息以及上述信息与第
一输出信号放大倍数之间的关系。
12.根据本公开实施例的第三方面，本发明专利提供了一种基于虚拟环绕立体声技术的助听装置，应用于助听设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：从周围环境中获取声音信号产生不同的输入信号；生成不同的所述输入信号频谱图；甄选最优的所述输入信号频谱图的主声源信号作为第一输出信号输出；将所述输入信号频谱图的声源信号进行差异性比对，生成所述助听设备与主声源之间的方位信息；将所述助听设备与主声源之间的方位信息和第一输出信号传输至接收端设备；将所述第一输出信号处理作为第二输出信号输出。
13.由上述技术方案可知，本发明专利提供的一种基于虚拟环绕立体声技术的助听方法及装置可以包括以下有益效果：设计有非单一的声音信号输入口，通过声音衰变的速度、传播速度等等能够推导出以助听设备为坐标原点的主声源的位置信息；第二输出信号与第一输出信号差异性输出，使得声音被分配到两个独立的声道，从而达到了很好的声音定位效果，用户能清晰地辨出声源方向，进而可制造出立体空间声音定位的效果；助听设备配合接收端设备应用，具备隐蔽效果好，佩戴负担轻的优点。
14.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
15.为了更清楚地说明本发明专利具体实施方式，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，各元件或部分并不一定按照实际的比例绘制。
16.图1为本发明专利提供的一种基于虚拟环绕立体声技术的助听方法及装置的流程图；图2为本发明专利提供的一种基于虚拟环绕立体声技术的助听方法及装置中步骤s103的流程图；图3为本发明专利提供的一种基于虚拟环绕立体声技术的助听方法及装置中步骤s104的流程图；图4为本发明专利提供的一种基于虚拟环绕立体声技术的助听方法及装置中步骤s106的流程图；图5为本发明专利提供的一种基于虚拟环绕立体声技术的助听装置的框图；图6为本发明专利提供的一种基于虚拟环绕立体声技术的助听装置中助听设备的框图；图7为本发明专利提供的一种基于虚拟环绕立体声技术的助听装置中第一输出模块的框图；
图8为本发明专利提供的一种基于虚拟环绕立体声技术的助听装置中计算模块的框图；图9为本发明专利提供的一种基于虚拟环绕立体声技术的助听装置中第二输出模块的框图；图10为本发明专利提供的另一种基于虚拟环绕立体声技术的助听装置的框图。
具体实施方式
17.下面将结合附图对本发明专利技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明专利的技术方案，因此只作为示例，而不能以此来限制本发明专利的保护范围。
18.图1为本发明专利提供的一种基于虚拟环绕立体声技术的助听方法及装置的流程图，本实施例提供的一种基于虚拟环绕立体声技术的助听方法，如图1所示，应用于助听设备，所述方法，包括以下步骤s101
‑
s106：在步骤s101中，从周围环境中获取声音信号产生不同的输入信号；声音信号输入依靠麦克风、话筒等等拾音设备接收周围环境中的声音，产生声音信号，并将声音信号转化为电信号，拾音设备数量至少为两个；举例说明：拾音设备的应用数量为2个时，2个拾音设备对称分布在助听设备的前后侧，朝向为相反设计，这使得2个拾音设备能够分别侧重于收集助听设备前后侧的声源信号，使得输入信号之间存在差异；拾音设备的应用数量为3个时，3个拾音设备在一水平平面内依次排布在助听设备外壁，且朝向各不相同，而3个拾音设备在垂直平面内错落分布，这样设计的好处在于，增加了拾音设备之间的位置差异。
19.在步骤s102中，生成不同的所述输入信号频谱图；在步骤s103中，甄选最优的所述输入信号频谱图的主声源信号作为第一输出信号输出；输入信号频谱图优先选择声音幅度较大，声音幅度变化不大的声音信号作为主声源信号，经扬声器、音响等等扩音设备在耳蜗处播放，助听方式可为骨传导或空气传导中的任一种；作为优选，可以设置主声源信号库，该主声源信号库包括语言类、噪音类等等类别的声音特征信息，增设相应声音类型的滤波器，可清除这类声音，在剔除噪音类声音后，可防止噪音干扰，而优选语言类声音后，可防止环境声音对听障用户造成干扰，可将语言信息拉近，以便与他人交流。
20.在步骤s104中，将所述输入信号频谱图的声源信号进行差异性比对，生成所述助听设备与主声源之间的方位信息；在步骤s105中，将所述助听设备与主声源之间的方位信息和第一输出信号传输至接收端设备；助听设备与接收端设备之间为蓝牙连接、有线连接、无线网络连接，如wifi，2g、3g、4g或5g中的任一种，其中，助听设备体积较大、质量较重，可设计为悬挂式、眼镜式等等稳定性好的结构，接收端设备体积较小，可设计为耳塞结构，外形美观，隐蔽效果好，佩戴负
担轻。
21.在步骤s106中，将所述第一输出信号处理作为第二输出信号输出；第二输出信号与第一输出信号差异性输出，使得声音被分配到两个独立的声道，从而达到了很好的声音定位效果，用户能清晰地辨出声源方向。
22.在一实施例中，如图2所示，在步骤s103中，所述甄选最优的所述输入信号频谱图的主声源信号作为第一输出信号输出，包括以下步骤s201
‑
s202：在步骤s201中，计算一定时域内不同所述输入信号频谱图中高声幅阈值的均值信息；时域为恒定值，且允检测间隔在0.1s
‑
2s之间，高声幅阈值范围在20db
‑
65db之间。
23.在步骤s202中，选取频谱图中高声幅阈值均值信息最大的所述输入信号作为输出信号进行输出；举例说明：同步骤201所述，在检测间隔为0.5s时，声音环境内一输入信号的分贝量分别为20db
‑
25db，声音环境内另一输入信号的分贝量在25db
‑
30db，计算0.5s内两者在0.5s内的分贝量均值为23db和26db，可选定分贝量均值为26db的输入信号作为主声源。
24.在一实施例中，如图3所示，在步骤s104中，所述将所述输入信号频谱图的声源信号进行差异性比对，生成所述助听设备与主声源之间的方位信息，包括以下步骤s301
‑
s302：在步骤s301中，框选优选的所述输入信号频谱图中主声源的任一峰值时刻作为参考时间；在步骤s302中，依据剩余所述输入信号频谱图中主声源峰值时刻与参考时间之间的差值，计算出所述助听设备距离主声源的方位信息；举例说明：在拾音设备为2个时，自伊始接收后，任选输入信号频谱图中主声源的任一峰值信息，以此为参照，与另一拾音设备同时刻的信号大小进行比对，声源位于同时刻声音信号较大的一侧；其中，所述方位信息包括方向信息以及直线距离信息；同步骤s302所述，若听障用户进行位置移动，选择前后输入信号频谱图中主声源的任两个峰值信息进行比对，则判定声源接近同时刻声音信号较大的方位，使得方位信息更加精确；已知助听设备主声源的大小信息，以利用声音衰减公式，能够反向推导出最大主声源位置信息，取该最大主声源位置信息的中间值，能够得到该声源距离的拟定距离。
25.在一实施例中，如图4所示，在步骤s106中，将所述第一输出信号处理作为第二输出信号输出，包括以下步骤s401
‑
s402：在步骤s401中，获取所述接收端设备的信号处理逻辑；同步骤s302所述，本技术不限于上述对方向信息以及直线距离信息的检测方式，还可以为其它的方位信息获取方式。
26.在步骤s402中，根据所述信号处理逻辑按比例对第一输出信号进行处理；通过放大器对输出信号大小进行调整，利用hrtf技术正向推导出第二输出信号的调节倍数，放大器按照该调节倍数对第一输出信号进行处理。
27.其中，所述信号处理逻辑包括不同信号输入位置之间的距离信息、剩余输入信号
频谱图中主声源峰值时刻与参考时间差值正负与方位信息的关系信息、剩余输入信号频谱图中主声源峰值时刻与参考时间差值大小与距离信息之间的关系信息以及上述信息与第一输出信号放大倍数之间的关系。
28.下述为本公开装置实施例，可以用于执行本公开方法实施例。
29.图5本发明专利提供的一种基于虚拟环绕立体声技术的助听装置的框图，图6为本发明专利提供的一种基于虚拟环绕立体声技术的助听装置中助听设备的框图，如图5、图6所示，所述装置，应用于助听设备1，包括：输入模块3，用于从周围环境中获取声音信号产生不同的输入信号；生成模块4，用于生成不同的所述输入信号频谱图；第一输出模块5，用于甄选最优的所述输入信号频谱图的主声源信号作为第一输出信号输出；计算模块6，用于将所述输入信号频谱图的声源信号进行差异性比对，生成所述助听设备1与主声源之间的方位信息；通讯模块7，用于将所述助听设备1与主声源之间的方位信息和第一输出信号传输至接收端设备2；第二输出模块8，用于将所述第一输出信号处理作为第二输出信号输出。
30.本公开实施例的上述装置，设计有非单一的声音信号输入口，通过声音衰变的速度、传播速度等等能够推导出以助听设备为坐标原点的主声源的位置信息；第二输出信号与第一输出信号差异性输出，使得声音被分配到两个独立的声道，从而达到了很好的声音定位效果，用户能清晰地辨出声源方向，进而可制造出立体空间声音定位的效果；助听设备配合接收端设备应用，具备隐蔽效果好，佩戴负担轻的优点。
31.在一实施例中，如图7所示，所述第一输出模块5，包括：处理模块51，用于计算一定时域内不同所述输入信号频谱图中高声幅阈值的均值信息；确定模块52，用于选取频谱图中高声幅阈值均值信息最大的所述输入信号作为输出信号进行输出。
32.在一实施例中，如图8所示，所述计算模块6，还包括：选取模块61，用于框选优选的所述输入信号频谱图中主声源的任一峰值时刻作为参考时间；计算子模块62，用于依据剩余所述输入信号频谱图中主声源峰值时刻与参考时间之间的差值，计算出所述助听设备距离主声源的方位信息；其中，所述方位信息包括方向信息以及直线距离信息。
33.在一实施例中，如图9所示，所述第二输出模块8，包括：获取模块81，用于获取所述接收端设备的信号处理逻辑；执行模块82，用于根据所述信号处理逻辑按比例对第一输出信号进行处理；其中，所述信号处理逻辑包括不同信号输入位置之间的距离信息、剩余输入信号频谱图中主声源峰值时刻与参考时间差值正负与方位信息的关系信息、剩余输入信号频谱图中主声源峰值时刻与参考时间差值大小与距离信息之间的关系信息以及上述信息与第一输出信号放大倍数之间的关系。
34.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
35.本公开实施例还提供一种基于虚拟环绕立体声技术的助听装置，应用于助听设备，如图10所示，包括：处理器101；用于存储处理器101可执行指令的存储器102；其中，所述处理器101被配置为：从周围环境中获取声音信号产生不同的输入信号；生成不同的所述输入信号频谱图；甄选最优的所述输入信号频谱图的主声源信号作为第一输出信号输出；将所述输入信号频谱图的声源信号进行差异性比对，生成所述助听设备与主声源之间的方位信息；将所述助听设备与主声源之间的方位信息和第一输出信号传输至接收端设备；将所述第一输出信号处理作为第二输出信号输出。
36.上述处理器101还可被配置为：所述甄选最优的所述输入信号频谱图的主声源信号作为第一输出信号输出，包括：计算一定时域内不同所述输入信号频谱图中高声幅阈值的均值信息；选取频谱图中高声幅阈值均值信息最大的所述输入信号作为输出信号进行输出。
37.上述处理器101还可被配置为：所述将所述输入信号频谱图的声源信号进行差异性比对，生成所述助听设备1与主声源之间的方位信息，包括：框选优选的所述输入信号频谱图中主声源的任一峰值时刻作为参考时间；依据剩余所述输入信号频谱图中主声源峰值时刻与参考时间之间的差值，计算出所述助听设备距离主声源的方位信息；其中，所述方位信息包括方向信息以及直线距离信息。
38.上述处理器101还可被配置为：获取所述接收端设备的信号处理逻辑；根据所述信号处理逻辑按比例对第一输出信号进行处理；其中，所述信号处理逻辑包括不同信号输入位置之间的距离信息、剩余输入信号频谱图中主声源峰值时刻与参考时间差值正负与方位信息的关系信息、剩余输入信号频谱图中主声源峰值时刻与参考时间差值大小与距离信息之间的关系信息以及上述信息与第一输出信号放大倍数之间的关系。
39.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
40.图10为本发明专利提供的另一种基于虚拟环绕立体声技术的助听装置的框图，该装置适用于助听设备。
41.助听设备可以包括以下一个或多个组件：处理组件100、存储器102、通信组件110、输入/输出接口120、电源组件130、多媒体组件140、传感器组件150以及音频组件160。处理
组件100通常控制助听设备的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件100可以包括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件100可以包括一个或多个模块，便于处理组件100和其他组件之间的交互。例如，处理组件100可以包括多媒体模块，以方便多媒体组件140和处理组件100之间的交互。
42.存储器102被配置为存储各种类型的数据以支持在助听设备的操作。这些数据的示例包括用于在助听设备上操作的任何应用程序或方法的指令，联系人数据、电话簿数据、消息、图片、视频等。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。电源组件130为助听设备的各种组件提供电力。电源组件130可以包括电源管理系统，一个或多个电源，及其他与为助听设备生成、管理和分配电力相关联的组件。
43.通信组件110被配置为便于助听设备和其他设备之间有线或无线方式的通信。助听设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通讯部件110经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通讯部件110还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
44.在示例性实施例中，助听设备可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
45.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器102，上述指令可由助听设备的处理器101执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
46.一种非临时性计算机可读存储介质，当所述存储介质中的指令由助听设备的处理器101执行时，使得助听设备能够执行上述基于虚拟环绕立体声技术的助听方法，所述方法，包括：从周围环境中获取声音信号产生不同的输入信号；生成不同的所述输入信号频谱图；甄选最优的所述输入信号频谱图的主声源信号作为第一输出信号输出；将所述输入信号频谱图的声源信号进行差异性比对，生成所述助听设备与主声源之间的方位信息；将所述助听设备与主声源之间的方位信息和第一输出信号传输至接收端设备；将所述第一输出信号处理作为第二输出信号输出。
47.在一实施例中，所述甄选最优的所述输入信号频谱图的主声源信号作为第一输出信号输出，包括：计算一定时域内不同所述输入信号频谱图中高声幅阈值的均值信息；选取频谱图中高声幅阈值均值信息最大的所述输入信号作为输出信号进行输出。
48.在一实施例中，所述将所述输入信号频谱图的声源信号进行差异性比对，生成所述助听设备与主声源之间的方位信息，包括：框选优选的所述输入信号频谱图中主声源的任一峰值时刻作为参考时间；依据剩余所述输入信号频谱图中主声源峰值时刻与参考时间之间的差值，计算出所述助听设备距离主声源的方位信息；其中，所述方位信息包括方向信息以及直线距离信息。
49.在一实施例中，将所述第一输出信号处理作为第二输出信号输出，包括：获取所述接收端设备的信号处理逻辑；根据所述信号处理逻辑按比例对第一输出信号进行处理；其中，所述信号处理逻辑包括不同信号输入位置之间的距离信息、剩余输入信号频谱图中主声源峰值时刻与参考时间差值正负与方位信息的关系信息、剩余输入信号频谱图中主声源峰值时刻与参考时间差值大小与距离信息之间的关系信息以及上述信息与第一输出信号放大倍数之间的关系。
50.本发明专利的说明书中，说明了大量具体细节。然而，能够理解，本发明专利的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
51.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明专利的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
52.以上实施例仅用以说明本发明专利的技术方案，而非对其限制；尽管参照前述各实施例对本发明专利进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明专利各实施例技术方案的范围，其均应涵盖在本发明专利的权利要求和说明书的范围当中。