音频数据的处理方法、装置、耳机及存储介质与流程

1.本技术属于耳机技术领域，尤其涉及音频数据的处理方法、装置、耳机及存储介质。


背景技术：

2.健康耳机可以根据用户的听力情况，保护用户的听力或者弥补用户的听力缺陷。但是现有的健康耳机对音频数据的调整比较单一，一般是整体调整耳机的音量或者调整耳机在一端时间内的声音剂量，因此不能有效的针对用户的听力情况进行调整，进而不能很好的与用户的听力情况相匹配，导致调整后的音频数据存在听音体验感差或者依然有损害听力健康的风险。


技术实现要素：

3.有鉴于此，本技术实施例提供了一种音频数据的处理方法、装置、耳机及存储介质，可以提高调整后的音频数据与用户的听力情况的匹配程度。
4.本技术实施例的第一方面提供了一种音频数据的处理方法，应用于耳机，所述音频数据的处理方法包括：
5.获取用户的听力检测信息以及输入所述耳机的音频数据，所述听力检测信息包括在预设频率的待补偿声压级；
6.根据所述音频数据确定所述耳机在所述预设频率的耳机输出声压级；
7.根据所述待补偿声压级与所述耳机输出声压级调整所述音频数据对应的时域信号的幅值，输出调整后的音频数据。
8.在一种可能的实现方式中，所述获取用户的听力检测信息，包括：
9.获取用户的听力检测图像；
10.对所述听力检测图像进行图像识别，得到所述听力检测信息。
11.在一种可能的实现方式中，所述根据所述音频数据确定在所述预设频率的耳机输出声压级，包括：
12.根据所述音频数据确定在所述预设频率的散射场声压级；
13.对所述散射场声压级进行频率加权处理，得到在所述预设频率的耳机输出声压级。
14.在一种可能的实现方式中，所述音频数据的处理方法还包括：
15.根据所述调整后的音频数据计算所述音频数据对应的响度；
16.根据所述响度调整所述耳机的音量。
17.在一种可能的实现方式中，所述音频数据的处理方法还包括：
18.根据所述调整后的音频数据计算所述音频数据对应的声音剂量；
19.根据所述声音剂量控制所述耳机在预设时间内的声音剂量。
20.在一种可能的实现方式中，在所述根据所述声音剂量控制所述耳机在预设时间内
的声音剂量之后，所述音频数据的处理方法还包括：
21.若所述耳机在预设时间内的声音剂量达到预设值，发出声音剂量达到预设值的提示信息。
22.在一种可能的实现方式中，所述获取用户的听力检测信息以及输入所述耳机的音频数据，包括：
23.若获取到参数更新信息，根据所述参数更新信息获取用户的听力检测信息以及输入所述耳机的音频数据。
24.本技术实施例的第二方面提供了一种音频数据的处理装置，应用于耳机，所述音频数据的处理装置包括：
25.获取模块，用于获取用户的听力检测信息以及输入所述耳机的音频数据，所述听力检测信息包括在预设频率的待补偿声压级；
26.计算模块，用于根据所述音频数据确定所述耳机在所述预设频率的耳机输出声压级；
27.调整模块，用于根据所述待补偿声压级与所述耳机输出声压级调整所述音频数据对应的时域信号的幅值，输出调整后的音频数据。
28.在一种可能的实现方式中，所述获取模块具体用于：
29.获取用户的听力检测图像；
30.对所述听力检测图像进行图像识别，得到所述听力检测信息。
31.在一种可能的实现方式中，所述计算模块具体用于：
32.根据所述音频数据确定在所述预设频率的散射场声压级；
33.对所述散射场声压级进行频率加权处理，得到在所述预设频率的耳机输出声压级。
34.在一种可能的实现方式中，所述调整模块还用于：
35.根据所述调整后的音频数据计算所述音频数据对应的响度；
36.根据所述响度调整所述耳机的音量。
37.在一种可能的实现方式中，所述调整模块还用于：
38.根据所述调整后的音频数据计算所述音频数据对应的声音剂量；
39.根据所述声音剂量控制所述耳机在预设时间内的声音剂量。
40.在一种可能的实现方式中，所述调整模块还用于：
41.若所述耳机在预设时间内的声音剂量达到预设值，发出声音剂量达到预设值的提示信息。
42.在一种可能的实现方式中，所述获取模块具体还用于：
43.若获取到参数更新信息，根据所述参数更新信息获取用户的听力检测信息以及输入所述耳机的音频数据。
44.本技术实施例的第三方面提供了一种耳机，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
45.本技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方
法。
46.本技术实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的方法。
47.本技术实施例与现有技术相比存在的有益效果是：获取用户的听力检测信息以及输入所述耳机的音频数据，听力检测信息包括在预设频率的待补偿声压级，根据音频数据确定耳机在预设频率的耳机输出声压级；根据待补偿声压级与耳机输出声压级调整音频数据对应的时域信号的幅值，输出调整后的音频数据。由于听力检测信息包括在预设频率的待补偿声压级，因此听力检测信息反映用户在预设频率的听力情况，因此，根据耳机在预设频率的耳机输出声压级以及待补偿声压级调整音频数据对应的时域信号的幅值，可以提高调整后的音频数据与用户的听力情况的匹配程度，进而可以有效的保护用户的听力。
附图说明
48.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
49.图1是本技术一实施例提供的音频数据的处理方法的实现流程示意图；
50.图2是本技术另一实施例提供的音频数据的处理方法的实现流程示意图；
51.图3是本技术又一实施例提供的音频数据的处理方法的实现流程示意图
52.图4是本技术实施例提供的音频数据的处理装置示意图；
53.图5是本技术实施例提供的耳机的结构示意图。
具体实施方式
54.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
55.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
56.现有耳机的音频数据的调整比较单一，一般是整体调整耳机的音量或者调整耳机在一端时间内的声音剂量，因此不能有效的针对用户的听力情况进行调整，进而不能很好的与用户的听力情况相匹配。
57.为此，本技术提供一种音频数据的处理方法，包括：获取输入耳机的音频数据以及用户的听力检测信息，听力检测信息包括在预设频率的待补偿声压级，根据音频数据确定耳机在预设频率的耳机输出声压级；根据待补偿声压级与耳机输出声压级调整音频数据对应的时域信号的幅值，输出调整后的音频数据。由于听力检测信息包括在预设频率的待补偿声压级，因此听力检测信息反映用户在预设频率的听力情况，因此，根据耳机在预设频率的耳机输出声压级以及待补偿声压级调整音频数据对应的时域信号的幅值，可以提高调整后的音频数据与用户的听力情况的匹配程度，进而可以有效的保护用户的听力。
58.下面对本技术提供的音频数据的处理方法进行示例性说明。
59.请参阅附图1，本技术一实施例提供的音频数据的处理方法包括：
60.s101：获取用户的听力检测信息以及输入所述耳机的音频数据，所述听力检测信息包括在预设频率的待补偿声压级。
61.其中，输入耳机的音频数据可以是声音的原始数字信号，也可以根据耳机输出的音频数据计算出，例如，在耳机耳罩内放置麦克风，根据麦克风采集的音频数据以及耳机的频率响应确定输入耳机的音频数据。其中，耳机的频率响应表征耳机的输入与输出之间的关系。
62.听力检测信息可以是听力检测的原始数据，原始数据包括预设频率以及对应的待补偿声压级。听力检测信息也可以是对听力检测图像进行图像识别后得到的，听力检测图像的横坐标为频率，纵坐标为待补偿声压级。预设频率是预先设定的每个频点对应的频率，例如第一个频点为100hz，第二个频点为125hz，第三频点为160hz等，则每个频点对应的频率即为预设频率。待补偿声压级是参考声压级与用户的声压级阈值之间的差值，参考声压级是人工耳能接收到的声音的声压级，用户的声压级阈值是用户能感受到的声音的声压级，一个预设频率对应一个待补偿声压级。
63.在一种可能的实现方式中，听力检测图像是对用户的听力情况进行医学检测后得到的，具有较高的准确度。对用户的听力情况进行医学检测后得到听力检测图像，用户可以通过拍照的方式获得听力检测图像，将获得的听力检测图像通过蓝牙或者wifi的方式发送至耳机，耳机对听力检测图像进行图像识别，即可得到听力检测信息，提高了获取听力检测信息的效率。
64.s102：根据所述音频数据确定所述耳机在所述预设频率的耳机输出声压级。
65.在一种可能的实现方式中，耳机输出声压级是鼓膜参考点声压级，鼓膜参考点声压级可以通过将人工耳放置于耳机内测得，也可以根据音频数据以及耳机的频率响应计算出。
66.在一种可能的实现方式中，也可以根据音频数据确定耳机在预设频率的散射场声压级，将散射场声压级作为耳机输出声压级。对应地，若听力检测信息对应的待补偿声压级为鼓膜参考点声压级的补偿值，需要将鼓膜参考点声压级的补偿值进行散射场转换，得到散射场对应的待补偿声压级。
67.在另一种可能的实现方式中，在得到散射场声压级后，对散射场声压级进行频率加权处理，得到频率加权处理后的声压级，将频率加权处理后的声压级作为耳机输出声压级。其中，频率加权处理可以根据需要选择a加权、b加权或c加权中的任意一种加权方式。a加权是模拟人耳对40方纯音的响应，b加权是模拟人耳对70方纯音的响应，c加权是模拟人耳对100方纯音的响应。通过频率加权处理，提高了得到的耳机输出声压级的准确度。
68.s103：根据所述待补偿声压级与所述耳机输出声压级调整所述音频数据对应的时域信号的幅值，输出调整后的音频数据。
69.具体地，根据待补偿声压级，对相同频率的耳机输出声压级进行补偿，得到补偿后的声压级，根据补偿后的声压级调整时域信号的幅值，即调整音频数据对应的数字信号中每个时刻对应的能量值。
70.在一种可能的实现方式中，输入耳机的音频数据是按照时间顺序对输入耳机的声音信号进行划分后得到，例如，音频数据的信号时长可以是20ms。在获取到音频数据后，对
音频数据进行傅立叶变化，得到对应的频域信号，根据频域信号确定预设频率对应的耳机输出声压级，根据预设频率对应的待补偿声压级，对耳机输出声压级和待补偿声压级进行求和，得到补偿后的声压级，其中待补偿声压级可以是为正数或负数。在得到补偿后的声压级后，根据补偿后的声压级即可得到补偿后的频域信号，对补偿后的频域信号进行傅立叶转换，得到的时域信号即为调整后的音频数据的时域信号，该时域信号的幅值即为调整后的音频数据的幅值。将调整后的音频数据通过耳机输出，用户听到的声音即为与用户的听力情况相适配的声音。为了提高用户用户听到声音的质量，可以根据音频数据调节的时间对音频数据进行延迟缓冲处理，使音频数据延迟输出。
71.上述实施例中，通过获取输入耳机的音频数据以及用户的听力检测信息，听力检测信息包括在预设频率的待补偿声压级，根据音频数据确定耳机在预设频率的耳机输出声压级；根据待补偿声压级与耳机输出声压级调整音频数据对应的时域信号的幅值，得到调整后的音频数据，再输出调整后的音频数据。由于听力检测信息包括在预设频率的待补偿声压级，因此听力检测信息反映用户在预设频率的听力情况，因此，根据耳机在预设频率的耳机输出声压级以及待补偿声压级调整音频数据对应的时域信号的幅值，可以提高调整后的音频数据与用户的听力情况的匹配程度，进而可以有效的保护用户的听力。
72.在一种可能的实现方式中，在确定出调整后的音频数据后，根据调整后的音频数据计算音频数据对应的声音剂量，其中，声音剂量是指暴露时间内的频率加权声压级的平方的积分。在确定出音频数据对应的声音剂量后，控制耳机在预设时间内的声音剂量，例如，耳机根据音频数据对应的声音剂量，统计预设时间内的声音剂量，在预设时间内的声音剂量在超过预设剂量时，调整耳机输出声压级，根据调整后的耳机输出声压级进一步调整音频数据对应的时域信号的幅值，从而降低当前输出的音频数据的声音剂量，进而可以保护用户的听力。
73.对应地，在一实施例中，音频数据的处理方法流程如图2所示，获取听力检测图像，对听力检测图像进行图像识别，得到听力检测信息，也即在预设频率的鼓膜参考点声压级的补偿值，将鼓膜参考点声压级的补偿值进行散射场转换，得到散射场对应的待补偿声压级。根据待补偿声压级对耳机输出声压级进行补偿，根据补偿后的耳机输出声压级得到调整后的音频数据，再根据调整后的音频数据确定声音剂量，根据调整后的音频数据以及声音剂量控制音频数据输出，从而使得输出的音频数据与用户的听力情况相适配。
74.在一种可能的实现方式中，耳机在确定出音频数据对应的声音剂量后，判断耳机在预设时间内的声音剂量是否达到预设值，若达到预设值，则发出声音剂量达到预设值的提示信息，提示信息可以是声音提示信息或者文字提示信息，从而提醒用户合理使用耳机。
75.在一种可能的实现方式中，在确定出调整后的音频数据后，根据调整后的音频数据计算音频数据对应的响度，根据响度调整耳机的音量。具体地，对调整后的音频数据进行傅立叶变化，计算预设频率对应的响度，根据预设响度对预设频率对应的响度进行调整，根据调整后的预设频率对应的响度，确定音频数据在单位时间内需要调整的响度，根据单位时间内需要调整的响度调整耳机的音量，也即根据需要调整的响度调整音频数据的增益，从而使得输出的音频数据与用户的听力情况相适配，进而保护用户的听力。
76.在另一种可能的实现方式中，在计算出音频数据对应的响度后，确定环境声音(即噪音)的响度，根据音频数据对应的响度以及环境声音的响度调整音频数据的增益，例如，
在环境声音的响度较大时，适当增大音频数据的增益，在环境声音的响度较小时，适当降低音频数据的增益，从而使得输出的音频数据与周围环境相适应，提高用户的听音体验。
77.在一种可能的实现方式中，耳机在未获取到参数更新信息时，直接输出未经调整的音频数据，在获取到参数更新信息时，根据参数更新信息获取输入耳机的音频数据以及用户的听力检测信息，根据用户的听力检测信息对音频数据进行调整，得到调整后的音频数据，从而可以根据使用耳机的用户的听力检测信息对音频数据进行调整，以适应不同用户的听力情况。
78.对应地，在一实施例中，音频数据的处理方法流程如图3所示，在检测到参数更新信息时，获取用户的听力检测信息，根据用户的听力检测信息确定预设频率的待补偿声压级。在获取到音频数据后，对音频数据进行傅立叶变换，得到频域信号，根据频域信号确定预设频率的耳机输出声压级。根据待补偿声压级与耳机输出声压级调整音频数据对应的时域信号的幅值，得到调整后的音频数据。在得到调整后的音频数据后，计算音频数据对应的声音剂量以及响度，根据调整后的音频数据、声音剂量以及响度对音频数据进行调整和控制，输出最终得到的音频数据。
79.在一种可能的实现方式中，耳机中存储多个用户的听力检测信息及对应的用户身份，在用户使用耳机时，根据识别出的用户身份调用对应的听力检测信息，根据听力检测信息计算预设频率的待补偿声压级，根据待补偿声压级对耳机输出声压级进行补偿，得到调整后的音频数据，从而使得耳机可以与每个用户的听力情况相适配。
80.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
81.对应于上文实施例所述的图像合成方法，图4示出了本技术实施例提供的音频数据的处理装置的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。
82.如图4所示，音频数据的处理装置包括，
83.获取模块10，用于获取用户的听力检测信息以及输入所述耳机的音频数据，所述听力检测信息包括在预设频率的待补偿声压级；
84.计算模块20，用于根据所述音频数据确定所述耳机在所述预设频率的耳机输出声压级；
85.调整模块30，用于根据所述待补偿声压级与所述耳机输出声压级调整所述音频数据对应的时域信号的幅值，输出调整后的音频数据。
86.在一种可能的实现方式中，所述获取模块10具体用于：
87.获取用户的听力检测图像；
88.对所述听力检测图像进行图像识别，得到所述听力检测信息。
89.在一种可能的实现方式中，所述计算模块20具体用于：
90.根据所述音频数据确定在所述预设频率的散射场声压级；
91.对所述散射场声压级进行频率加权处理，得到在所述预设频率的耳机输出声压级。
92.在一种可能的实现方式中，所述调整模块30还用于：
93.根据所述调整后的音频数据计算所述音频数据对应的响度；
94.根据所述响度调整所述耳机的音量。
95.在一种可能的实现方式中，所述调整模块30还用于：
96.根据所述调整后的音频数据计算所述音频数据对应的声音剂量；
97.根据所述声音剂量控制所述耳机在预设时间内的声音剂量。
98.在一种可能的实现方式中，所述调整模块30还用于：
99.若所述耳机在预设时间内的声音剂量达到预设值，发出声音剂量达到预设值的提示信息。
100.在一种可能的实现方式中，所述获取模块10具体还用于：
101.若获取到参数更新信息，根据所述参数更新信息获取用户的听力检测信息以及输入所述耳机的音频数据。
102.需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
103.图5是本技术实施例提供的耳机的结构示意图。如图5所示，该实施例的耳机包括：处理器11、存储器12以及存储在所述存储器12中并可在所述处理器11上运行的计算机程序13。所述处理器11执行所述计算机程序13时实现上述耳机的控制方法实施例中的步骤，例如图1所示的步骤s101至s103。或者，所述处理器11执行所述计算机程序13时实现上述各装置实施例中各模块/单元的功能，例如图4所示获取模块10至调整模块30的功能。
104.示例性的，所述计算机程序13可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器11执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序13在所述终端设备中的执行过程。
105.本领域技术人员可以理解，图5仅仅是耳机的示例，并不构成对耳机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述耳机还可以包括输入输出设备、网络接入设备、总线等。
106.所述处理器11可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
107.所述存储器12可以是所述耳机的内部存储单元，例如耳机的硬盘或内存。所述存储器12也可以是所述耳机的外部存储设备，例如所述耳机上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器12还可以既包括所述耳机的内部存储单元也包括外部存储设备。所述存储器12用于存储所述计算机程序以及所述耳机所需的其他程序和数据。所述存储器12还可以用于暂时地存储已经输出或者将要输出的数据。
108.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的
功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
109.在本技术所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
110.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
111.集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
112.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
113.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。