助听控制方法、装置、助听设备和存储介质与流程

1.本公开涉及穿戴设备技术领域，尤其涉及一种助听控制方法、装置、助听设备和计算机可读存储介质。


背景技术：

2.相关技术中，虽然目前的助听设备能够结合穿戴设备的功能实现对用户注视区域进行收音，但是这种助听方案的核心方式仍是将收集到的声音放大后，再播放给听障用户，由于对于重度耳聋或完全丧失听力的患者无效，导致该方案存在一定的使用局限性。
3.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

4.本公开的目的在于提供一种助听控制方法、装置、助听设备和计算机可读存储介质，至少在一定程度上能够改善相关技术中的助听方案存在一定的使用局限性的问题。
5.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
6.根据本公开的一个方面，提供一种助听控制方法，包括：应用于助听设备，所述助听设备包括ar眼镜，以及设置在所述ar眼镜上的声音采集模块和入耳式播音模块，所述声音采集模块用于采集语音，所述入耳式播音模块用于播放音频，所述助听控制方法包括：播放听力检测音频，以获取佩戴所述助听设备的用户基于所述听力检测音频的反馈信号，并基于所述反馈信号确定所述用户的听力评估结果；在基于所述听力评估结果确定需要所述助听设备执行显示操作时，采集需要辅助处理的语音信息；在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述ar眼镜的视窗区域显示所述文本信息。
7.在一个实施例中，所述助听设备还包括置在所述ar眼镜上的骨传导振动传感器，所述骨传导振动传感器能够与用户的头部骨骼区域接触，所述在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述ar眼镜的视窗区域显示所述文本信息，具体包括：在采集到所述语音信息时，基于所述骨传导振动传感器检测所述用户的声带振动信号；基于特征对比模型检测所述声带振动信号，以基于检测结果判断所述用户是否为所述语音信息的声源；基于判断结果确定对应的渲染方式，以在将所述语音信息转化为所述文本信息时，基于对应的所述渲染方式，在所述ar眼镜的视窗区域显示所述文本信息，其中，基于颜色、字体、显示比例和显示速度中的至少一项，配置不同的所述渲染方式。
8.在一个实施例中，所述基于判断结果确定对应的渲染方式，以在将所述语音信息转化为所述文本信息时，基于对应的所述渲染方式，在所述ar眼镜的视窗区域显示所述文本信息，具体包括：在确定所述用户不是所述语音信息的声源时，基于第一渲染方式进行显示操作；在确定所述用户是所述语音信息的声源时，基于第二渲染方式进行显示操作，其中，在基于所述第二渲染方式显示所述文本信息时，接收所述用户的反馈信息，以基于所述
反馈信息判断所述用户的发音水平。
9.在一个实施例中，所述将所述语音信息转化为文本信息，并在所述ar眼镜的视窗区域显示所述文本信息，具体包括：确定所述语音信息的声源方位；基于所述声源方位对所述ar眼镜的视窗范围图像进行人脸识别，以识别出所述语音信息的发声对象；将所述语音信息转化为文本信息，并在所述助听设备上与所述发声对象对应的所述视窗区域显示所述文本信息。
10.在一个实施例中，所述将所述语音信息转化为文本信息，并在所述ar眼镜的视窗区域显示所述文本信息，还包括：检测所述语音信息的频谱参数；基于所述频谱参数区分所述语音信息的声源性别；基于所述声源性别确定对应的渲染方式；基于对应的所述渲染方式确定所述文本信息的显示风格，并显示在所述视窗区域。
11.在一个实施例中，所述将所述语音信息转化为文本信息，并在所述ar眼镜的视窗区域显示所述文本信息，还包括：基于所述发声对象的视觉特征检测与所述发声对象之间的距离，检测到与所述发声对象之间的距离远近，同步调整所述文本信息的文本框大小。
12.在一个实施例中，所述在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述ar眼镜的视窗区域显示所述文本信息，还包括：在检测到采集到的所述语音信息为待翻译的语音信息时，调用目标语种的翻译模型，对所述待翻译的语音信息进行翻译，得到翻译文本；将所述翻译文本作为所述文本信息显示在所述ar眼镜的视窗区域。
13.在一个实施例中，所述播放听力检测音频，以获取佩戴所述助听设备的用户基于所述听力检测音频的反馈信号，并基于所述反馈信号确定所述用户的听力评估结果，具体包括：在所述ar眼镜的视窗内显示听力检测图像，所述听力检测图像包括多组不同长短组合图形，以及每组所述长短组合图像对应的字符；在一次评估中，基于指定的声音音量和/或声音音调播放多组长短音中的至少一组，作为所述听力检测音频，每组所述长短音对应于一组所述长短组合图像；接收用户对所述长短音识别的反馈结果，以作为所述反馈信号；基于所述反馈结果确定所述用户的听力评估结果，其中，所述声音音量包括低音、中音和高音，所述声音音调包括低频、中频和高频，基于不同的所述声音音量和/或不同的所述声音音调执行多次评估。
14.在一个实施例中，所述接收用户对所述长短音识别的反馈结果，具体包括：在播放所述长短音之后，在所述视窗内显示所述长短音对应的所述字符的正确选项和错误选项；接收用户针对所述正确选项和所述错误选项的选择结果，将所述选择结果确定为所述反馈结果。
15.在一个实施例中，所述接收用户对所述长短音识别的反馈结果，具体包括：采集所述用户对所述长短音对应的所述字符的识别语音，将所述识别语音确定为所述反馈结果。
16.在一个实施例中，所述基于所述反馈结果确定所述用户的听力评估结果，具体包括：基于所述反馈结果确定所述用户反馈的反馈字符；检测所述反馈字符是否正确；基于检测结果评估所述用户能够识别的音量区域和所述用户的音调损失类型，作为所述用户的听力评估结果。
17.在一个实施例中，在基于所述听力评估结果确定需要所述助听设备执行显示操作时，采集需要辅助处理的语音信息之前，还包括：在所述音量区域为第一音量区域时，对采集到的所述语音信息执行扩音操作；在所述音量区域为第二音量区域时，对采集到的所述
语音信息执行所述扩音操作和所述显示操作；在所述音量区域为第三音量区域时，对采集到的所述语音信息执行显示操作。
18.在一个实施例中，所述对采集到的所述语音信息执行扩音操作，具体包括：检测所述语音信息的强度参数和频率参数，采取动态放大器对所述强度参数和所述频率参数自动调整增益，将所述强度参数和所述频率参数调整至舒适听音区间。
19.在一个实施例中，所述对采集到的所述语音信息执行扩音操作，还包括：在检测所述用户存在音调损失时，根据所述用户的音调损失类型对执行扩音操作的所述语音信息进行缺失频率的补偿操作。
20.根据本公开的另一方面，提供一种助听控制装置，包括：检测模块，用于播放听力检测音频，以获取佩戴所述助听设备的用户基于所述听力检测音频的反馈信号，并基于所述反馈信号确定所述用户的听力评估结果；采集模块，用于在基于所述听力评估结果确定需要所述助听设备执行显示操作时，采集需要辅助处理的语音信息；显示模块，用于在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述ar眼镜的视窗区域显示所述文本信息。
21.根据本公开的再一方面，提供一种助听设备，包括：ar眼镜；设置在所述ar眼镜上的入耳式播音模块，用于播放听力检测音频；处理器，用于获取佩戴所述助听设备的用户基于所述听力检测音频的反馈信号，并基于所述反馈信号确定所述用户的听力评估结果；设置在所述ar眼镜上的声音采集模块，用于在基于所述听力评估结果确定需要所述助听设备执行显示操作时，采集需要辅助处理的语音信息；所述ar眼镜还用于：在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述ar眼镜的视窗区域显示所述文本信息。
22.在一个实施例中，还包括：设置在所述ar眼镜上的骨传导振动传感器，所述骨传导振动传感器能够与用户的声带区域接触，所述骨传导振动传感器用于检测所述用户的声带振动信号；所述处理器还用于：基于特征对比模型检测所述声带振动信号，以确定所述用户是否为所述语音信息的声源；所述处理器还用于：在确定所述用户不是所述语音信息的声源时，将所述语音信息转化为文本信息。
23.根据本公开的又一方面，提供一种助听设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述另一个方面所述的助听控制方法。
24.根据本公开的又一方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一项的助听控制方法。
25.本公开的实施例所提供的助听控制方案，通过预先检测助听设备佩戴用户的听力水平，从而在基于听力水平确定需要执行助听操作时，将采集到的语音信息转化为文本信息，并显示在助听设备的ar眼镜的视窗区域，一方面，通过检测佩戴用户的听力水平，并基于听力水平确定是否执行基于显示的助听操作，能够保证助听操作执行的可靠性，另一方面，实现了通过由听觉转化为视觉方向的助听，从而能够提升助听操作的效果。
26.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
27.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1示出本公开实施例中一种助听设备的结构示意图；
29.图2示出本公开实施例中一种助听控制方法的流程图；
30.图3示出本公开实施例中另一种助听控制方法的流程图；
31.图4示出本公开实施例中再一种助听控制方法的流程图；
32.图5示出本公开实施例中一种听力检测字符的示意图；
33.图6示出本公开实施例的又一种助听控制方法的流程图；
34.图7示出本公开实施例中又一种助听控制方法的流程图；
35.图8示出本公开实施例中又一种助听控制方法的流程图；
36.图9示出本公开实施例中又一种助听控制方法的流程图；
37.图10示出本公开实施例中一种助听控制装置的示意图；
38.图11示出本公开实施例中一种助听设备的示意图。
具体实施方式
39.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
40.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
41.如图1所示，根据本公开的再一方面，提供一种助听设备，包括：
42.ar眼镜102。
43.设置在ar眼镜102上的入耳式播音模块104，用于播放听力检测音频。
44.处理器(图中未示出)，用于获取佩戴助听设备的用户基于听力检测音频的反馈信号，并基于反馈信号确定用户的听力评估结果。
45.设置在ar眼镜102上的声音采集模块106，用于在基于听力评估结果确定需要助听设备执行显示操作时，采集需要辅助处理的语音信息。
46.ar眼镜102还用于：在采集到语音信息时，将语音信息转化为文本信息，并在ar眼镜102的视窗区域显示文本信息。
47.设置在ar眼镜102上的骨传导振动传感器108，骨传导振动传感器能够与用户的声带区域接触，骨传导振动传感器用于检测用户的声带振动信号。
48.处理器还用于：基于特征对比模型检测声带振动信号，以确定用户是否为语音信
息的声源。
49.处理器还用于：在确定用户不是语音信息的声源时，将语音信息转化为文本信息。
50.设置在ar眼镜102上的图像采集模块110，用于采集视窗范围图像；
51.处理器还用于：基于声源方位对ar眼镜102的视窗范围图像进行人脸识别，以识别出语音信息的发声对象；
52.处理器还用于：将语音信息转化为文本信息，并在助听设备上与发声对象对应的视窗区域显示文本信息。
53.下面基于图1，将结合其它附图及实施例对本示例实施方式中的助听控制方法中的各个步骤进行更详细的说明。
54.图2示出本公开实施例中一种助听控制方法流程图。
55.如图2所示，助听设备执行助听控制方法，助听设备包括ar眼镜，以及设置在ar眼镜上的声音采集模块和入耳式播音模块，声音采集模块可以为一个或多个，声音采集模块用于采集语音，入耳式播音模块用于播放音频，包括以下步骤：
56.步骤s202，播放听力检测音频，以获取佩戴助听设备的用户基于听力检测音频的反馈信号，并基于反馈信号确定用户的听力评估结果。
57.其中，在播放听力检测音频后，接收助听设备佩戴用户对检测音频的反馈信号，反馈信号可以为用户的语音信号、眨眼信号或对助听设备上的指定区域的触控信号。
58.具体地，听力检测音频可以通过入耳式播音模块104播放。
59.步骤s204，在基于听力评估结果确定需要助听设备执行显示操作时，采集需要辅助处理的语音信息。
60.通常情况下，助听设备的佩戴用户为听力缺失用户，听力缺失包括但不限于强度缺失和/或音调缺失。
61.在本公开中，将强度划分为高强度区域、中强度区间和低强度区间，将音调划分为高频区间、中频区间和低频区间。
62.具体地，声音的强度就是响度，主观上，声音的大小(通常称为音量)由“振幅”和距离声源的距离决定。振幅越大，声源与人之间的距离越小，响度越大。
63.音调：音高(高音和低音)由“频率”决定，频率越高，音调越高(频率单位为赫兹，赫兹，人耳听力范围为20-20000赫兹)。次声称为20hz以下，超声波称为20000hz以上。
64.步骤s206，在采集到语音信息时，将语音信息转化为文本信息，并在ar眼镜的视窗区域显示文本信息。
65.在该实施例中，通过预先检测助听设备佩戴用户的听力水平，从而在基于听力水平确定需要执行助听操作时，将采集到的语音信息转化为文本信息，并显示在助听设备的ar眼镜的视窗区域，一方面，通过检测佩戴用户的听力水平，并基于听力水平确定是否执行基于显示的助听操作，能够保证助听操作执行的可靠性，另一方面，实现了通过由听觉转化为视觉方向的助听，从而能够提升助听操作的效果。
66.在一个实施例中，助听设备还包括置在ar眼镜上的骨传导振动传感器，骨传导振动传感器具体可以为骨传导麦克风或音频加速器，骨传导振动传感器能够与用户的头部骨骼区域接触。
67.如图3所示，根据本公开的另一个实施例的助听控制方法，具体包括：
68.步骤s302，播放听力检测音频，以获取佩戴助听设备的用户基于听力检测音频的反馈信号，并基于反馈信号确定用户的听力评估结果。
69.步骤s304，在基于听力评估结果确定需要助听设备执行显示操作时，采集需要辅助处理的语音信息。
70.步骤s306，在采集到语音信息时，基于骨传导振动传感器检测用户的声带振动信号。
71.步骤s308，基于特征对比模型检测声带振动信号，以基于检测结果判断用户是否为语音信息的声源。
72.步骤s310，基于判断结果确定对应的渲染方式，以在将语音信息转化为文本信息时，基于对应的渲染方式，在ar眼镜的视窗区域显示文本信息。
73.其中，基于颜色、字体、显示比例和显示速度中的至少一项，配置不同的渲染方式。
74.具体的，在一个实施例中，基于判断结果确定对应的渲染方式，以在将语音信息转化为文本信息时，基于对应的渲染方式，在ar眼镜的视窗区域显示文本信息，具体包括：
75.在确定用户不是语音信息的声源时，基于第一渲染方式进行显示操作。
76.具体地，第一渲染方式可以基于图8和/或图9描述的渲染方式进行显示。
77.在确定用户是语音信息的声源时，基于第二渲染方式进行显示操作。
78.具体地，为了区分第一渲染方式和第二渲染方式，可以在使用不同的大小和颜色的字体的同时，还可以采用不同的显示方式，比如，第一渲染方式采用滚动显示的方式，第二渲染方式采用满区静止显示的方式。
79.另外，在基于第二渲染方式显示文本信息时，接收用户的反馈信息，以基于反馈信息判断用户的发音水平。
80.在该实施例中，通过设置用于检测用户的声带振动信号的骨传导振动传感器，在助听设备接收到语音信息时，基于对声带振动信号检测语音信息用户是否为该语音信息的声源，在检测到用户不是该语音信息的声源时，通过将语音信息转化为文本信息，实现视觉方向的助听，该方案能够降低助听设备将用户自己的话语进行文本转化的概率，提升视觉助听操作的可靠性。
81.而在检测到用户是该语音信息的声源时，此时助听设备用于检测用户的语言表达能力，有利于辅助改善用户的咬字发音，进而提升语言交流水平。
82.如图4所示，在一个实施例中，步骤s202中，播放听力检测音频，以获取佩戴助听设备的用户基于听力检测音频的反馈信号，并基于反馈信号确定用户的听力评估结果的一种具体实现方式，包括：
83.步骤s402，在ar眼镜的视窗内显示听力检测图像，听力检测图像包括多组不同长短组合图形，以及每组长短组合图像对应的字符。
84.步骤s404，在一次评估中，基于指定的声音音量和/或声音音调播放多组长短音中的至少一组，作为听力检测音频，每组长短音对应于一组长短组合图像。
85.如图5所示，以数字为例，对于0至9十个数字，每个数字采用一种长短滴答声组合表示，以长短滴答声组合作为听力检测音频，每次播放其中的一种。
86.其中，声音音量包括低音、中音和高音，声音音调包括低频、中频和高频，基于不同的声音音量和/或不同的声音音调执行多次评估。
87.步骤s406，接收用户对长短音识别的反馈结果，以作为反馈信号。
88.步骤s408，基于反馈结果确定用户的听力评估结果。
89.在该实施例中，通过使用ar眼镜的视窗显示功能，显示检测用户听力的多个字符，然后通过耳机播放多个字符中的至少一个对应的长短音组合音频，以接收用户对长短音组合音频对应的字符的识别结果，通过识别结果对用户的听力水平进行评估，得到听力评估结果，实现了助听设备的听力评估功能，从而能够使助听设备能够基于听力评估结果有针对性的执行助听操作，以提升助听效果。
90.具体地，听力评估结果通过表1中的强度阈值和音调阈值，设定≥30以及≤60db为第一音量区域，≥60以及≤90db为第二音量区域，佩戴者描述听到的滴答声对应的数字是否准确，》90为第三音量区域，综合佩戴者的听音反馈，确定佩戴者听力等级。
91.表1
92.滴答声的音调阈值250hz500hz1000hz强度阈值(30db)第一音量区域第一音量区域第一音量区域强度阈值(60db)第二音量区域第二音量区域第二音量区域强度阈值(90db)第三音量区域第三音量区域第三音量区域
93.在一个实施例中，步骤s406中，接收用户对长短音识别的反馈结果的一种具体实现方式，包括：在播放长短音之后，在视窗内显示长短音对应的字符的正确选项和错误选项；接收用户针对正确选项和错误选项的选择结果，将选择结果确定为反馈结果。
94.在该实施例中，通过接收用户对正确选项和错误选项的选择结果，得到反馈结果，正确选项和错误选项的选择操作，可以通过接收用户对助听设备不同区域的触控操作实现。
95.在一个实施例中，步骤s406中，接收用户对长短音识别的反馈结果的另一种具体实现方式，包括：采集用户对长短音对应的字符的识别语音，将识别语音确定为反馈结果。
96.在该实施例中，通过接收用户对字符的识别语音，作为反馈结果。
97.如图6所示，在一个实施例中，步骤s408中，基于反馈结果确定用户的听力评估结果的一种具体实现方式，包括：
98.步骤s602，基于反馈结果确定用户反馈的反馈字符。
99.步骤s604，检测反馈字符是否正确。
100.步骤s606，基于检测结果评估用户能够识别的音量区域和用户的音调损失类型，作为用户的听力评估结果。
101.如图7所示，根据本公开的再一个实施例的助听控制方法，具体包括：
102.步骤s702，播放听力检测音频，以获取佩戴助听设备的用户基于听力检测音频的反馈信号，并基于反馈信号确定用户的听力评估结果。
103.步骤s704，在用户能够识别的音量区域为第一音量区域时，对采集到的语音信息执行扩音操作。
104.用户能够识别的音量区域为第一音量区域，表明用户听力为轻度受损。
105.步骤s706，在用户能够识别的音量区域为第二音量区域时，对采集到的语音信息执行扩音操作和显示操作。
106.用户能够识别的音量区域为第二音量区域，表明用户听力为中度受损。
107.步骤s708，在用户能够识别的音量区域为第三音量区域时，对采集到的语音信息执行显示操作。
108.用户能够识别的音量区域为第三音量区域，表明用户听力为重度受损。
109.步骤s710，在基于听力评估结果确定需要助听设备执行显示操作时，采集需要辅助处理的语音信息。
110.步骤s712，在采集到语音信息时，将语音信息转化为文本信息，并在ar眼镜的视窗区域显示文本信息。
111.具体地，≥30以及≤60db为第一音量区域，≥60以及≤90db为第二音量区域，》90为第三音量区域。
112.在该实施例中，通过确定用户能够识别的音量区间，确定对应的助听方式，从而能够使不同的听力受损用户得到适配的助听方案，助听方案包括单独扩音、单独显示转化文本，以及文本显示和扩音相结合等。
113.在一个实施例中，步骤s704和步骤s706中的对采集到的语音信息执行扩音操作，具体包括：检测语音信息的强度参数和频率参数，采取动态放大器对强度参数和频率参数自动调整增益，将强度参数和频率参数调整至舒适听音区间。
114.在该实施例中，在执行扩音操作时，基于上述的听力评估结果，对强度参数和频率参数进行调整，以提升扩音操作的助听效果。
115.在一个实施例中，对采集到的所述语音信息执行扩音操作，还包括：在检测用户存在音调损失时，根据用户的音调损失类型对执行扩音操作的语音信息进行缺失频率的补偿操作。
116.在该实施例中，在进一步检测到用户的音调缺失时，通过音调缺失类型对语音信息进行频率补偿，以提升用户接收到的扩音后的语音信息的舒适性。
117.例如，如果用户存在低音损失时，则听到的语音信息会比较尖锐，长此以往，有可能导致用户听障更加严重，通过进行损失频率的补偿，不但能够使用户听到正常音调的语音信息，还有利于防止用户听障进一步恶化。
118.如图8所示，在一个实施例中，在未设置骨传导振动传感器，或骨传导振动传感器不参与助听控制过程时，此时默认声源不是用户本身，步骤s206中，将语音信息转化为文本信息，并在ar眼镜的视窗区域显示文本信息的一种具体实现方式，包括：
119.步骤s802，确定语音信息的声源方位。
120.步骤s804，基于声源方位对ar眼镜的视窗范围图像进行人脸识别，以识别出语音信息的发声对象。
121.步骤s806，将语音信息转化为文本信息，并在助听设备上与发声对象对应的视窗区域显示文本信息。
122.在该实施例中，在与人交流的使用环境中，通过使用ar眼镜的声源定位功能和人脸识别功能，识别出此时正在说话的发声对象，基于识别结果，不但能够在发声对象对应的视窗区域显示文本信息，还可以进一步基于对文本信息与发声对象进行进一步交流，从而提升用户的交互感。
123.如图9所示，在一个实施例中，将语音信息转化为文本信息，并在ar眼镜的视窗区域显示文本信息的另一种具体实现方式，包括：
124.步骤s902，确定语音信息的声源方位。
125.步骤s904，基于声源方位对ar眼镜的视窗范围图像进行人脸识别，以识别出语音信息的发声对象。
126.步骤s906，将语音信息转化为文本信息。
127.步骤s908，检测语音信息的频谱参数。
128.步骤s910，基于频谱参数区分语音信息的声源性别。
129.步骤s912，基于声源性别确定对应的渲染方式。
130.步骤s914，基于对应的渲染方式确定文本信息的显示风格，并显示在视窗区域。
131.在该实施例中，通过基于语音信息的频谱参数检测声源对象的性别，以进一步基于性别进行渲染方式的匹配，以基于该渲染方式对文本信息进行渲染后显示在近眼显示设备上，一方面，实现了文本信息的个性化显示，另一方面，实现了文本信息在ar眼镜上的显示优化，从而有利于提升用户对文本的观看体验。
132.在一个实施例中，作为步骤s206中，将语音信息转化为文本信息，并在ar眼镜的视窗区域显示文本信息的进一步补充，还包括：基于发声对象的视觉特征检测与发声对象之间的距离，检测到与发声对象之间的距离远近，同步调整文本信息的文本框大小。
133.在该实施例中，通过根据深度摄像头或某种距离映射算法确定近眼显示设备和信息源之间的距离，以根据距离，确定文本信息显示文字框的大小，比如，与信息源之间的距离较远，则信息源在视窗中所占面积较小，此时可以扩大文本框，与信息源之间的距离较近，则信息源在视窗中所占面积较大，此时可以适当减小文本框，以防止遮挡信息源，从而有利于在查阅文本信息时，提升用户与信息源之间的交互感。
134.在一个实施例中，作为步骤s206中，在采集到语音信息时，将语音信息转化为文本信息，并在ar眼镜的视窗区域显示文本信息的进一步补充，还包括：在检测到采集到的语音信息为待翻译的语音信息时，调用目标语种的翻译模型，对待翻译的语音信息进行翻译，得到翻译文本；将翻译文本作为文本信息显示在ar眼镜的视窗区域。
135.在该实施例中，在检测到接收的语音信息为待翻译的语音信息时，通过调用目标语种的翻译模型对接收到的待翻译的信息进行翻译并得到翻译文本，实现了对助听设备的功能扩展。
136.需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
137.所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
138.下面参照图10来描述根据本发明的这种实施方式的助听控制装置1000。图10所示的助听控制装置1000仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
139.助听控制装置1000以硬件模块的形式表现。助听控制装置1000的组件可以包括但不限于：检测模块1002，用于播放听力检测音频，以获取佩戴助听设备的用户基于听力检测
音频的反馈信号，并基于反馈信号确定用户的听力评估结果；采集模块1004，用于在基于听力评估结果确定需要助听设备执行显示操作时，采集需要辅助处理的语音信息；显示模块1006，用于在采集到语音信息时，将语音信息转化为文本信息，并在ar眼镜的视窗区域显示文本信息。
140.在一个实施例中，助听设备还包括置在ar眼镜上的骨传导振动传感器，骨传导振动传感器能够与用户的声带区域接触，检测模块1002还用于：在采集到语音信息时，基于骨传导振动传感器检测用户的声带振动信号；检测模块1002还用于：基于特征对比模型检测声带振动信号，以确定用户是否为语音信息的声源；助听控制装置1000还包括：转化模块1008，用于在确定用户不是语音信息的声源时，将语音信息转化为文本信息。
141.在一个实施例中，检测模块1002还用于：在ar眼镜的视窗内显示听力检测图像，听力检测图像包括多组不同长短组合图形，以及每组长短组合图像对应的字符；助听控制装置1000还包括：播放模块1010，用于在一次评估中，基于指定的声音音量和/或声音音调播放多组长短音中的至少一组，作为所述听力检测音频，每组长短音对应于一组长短组合图像；接收模块1012，用于接收用户对长短音识别的反馈结果，以作为反馈信号；检测模块1002还用于：基于反馈结果确定用户的听力评估结果，其中，声音音量包括低音、中音和高音，声音音调包括低频、中频和高频，基于不同的声音音量和/或不同的声音音调执行多次评估。
142.在一个实施例中，接收模块1012还用于：在播放长短音之后，在视窗内显示长短音对应的字符的正确选项和错误选项；接收用户针对正确选项和错误选项的选择结果，将选择结果确定为反馈结果。
143.在一个实施例中，接收模块1012还用于：采集用户对长短音对应的字符的识别语音，将识别语音确定为反馈结果。
144.在一个实施例中，检测模块1002还用于：基于反馈结果确定用户反馈的反馈字符；检测反馈字符是否正确；基于检测结果评估用户能够识别的音量区域和用户的音调损失类型，作为用户的听力评估结果。
145.在一个实施例中，还包括：语音信息处理模块1014，用于在音量区域为第一音量区域时，对采集到的语音信息执行扩音操作；在音量区域为第二音量区域时，对采集到的语音信息执行扩音操作和显示操作；在音量区域为第三音量区域时，对采集到的语音信息执行显示操作。
146.在一个实施例中，语音信息处理模块1014还用于：检测语音信息的强度参数和频率参数，采取动态放大器对强度参数和频率参数自动调整增益，将强度参数和频率参数调整至舒适听音区间。
147.在一个实施例中，语音信息处理模块1014：在检测用户存在音调损失时，根据用户的音调损失类型对执行扩音操作的语音信息进行缺失频率的补偿操作。
148.在一个实施例中，显示模块1006还用于：确定语音信息的声源方位；基于声源方位对ar眼镜的视窗范围图像进行人脸识别，以识别出语音信息的发声对象；将语音信息转化为文本信息，并在助听设备上与发声对象对应的视窗区域显示文本信息。
149.在一个实施例中，显示模块1006还用于：检测语音信息的频谱参数；基于频谱参数区分语音信息的声源性别；基于声源性别确定对应的渲染方式；基于对应的渲染方式确定
文本信息的显示风格，并显示在视窗区域。
150.在一个实施例中，显示模块1006还用于：基于发声对象的视觉特征检测与发声对象之间的距离，检测到与发声对象之间的距离远近，同步调整文本信息的文本框大小。
151.在一个实施例中，显示模块1006还用于：在检测到采集到的语音信息为待翻译的语音信息时，调用目标语种的翻译模型，对待翻译的语音信息进行翻译，得到翻译文本；将翻译文本作为文本信息显示在ar眼镜的视窗区域。
152.下面参照图11来描述根据本发明的这种实施方式的助听设备1100。图11显示的助听设备1100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
153.如图11所示，助听设备1100以通用计算设备的形式表现。助听设备1100的组件可以包括但不限于：上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130。
154.其中，存储单元存储有程序代码，程序代码可以被处理单元1110执行，使得处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元1110可以执行如图2中所示的步骤s202、s204与s206，以及本公开的助听控制方法中限定的其他步骤。
155.存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)11201和/或高速缓存存储单元11202，还可以进一步包括只读存储单元(rom)11203。
156.存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204，这样的程序模块11205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
157.总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
158.助听设备1100也可以与一个或多个外部设备1160(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该助听设备交互的设备通信，和/或与使得该助听设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1150进行。并且，助听设备1100还可以通过网络适配器1150与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1150通过总线1130与助听设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合助听设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
159.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
160.在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能
够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
161.根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
162.计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
163.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
164.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
165.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
166.此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
167.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
168.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或
者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。