音频数据处理方法、音频数据处理装置及可读存储介质与流程

1.本发明属于音频数据处理领域，尤其涉及一种音频数据处理方法、音频数据处理装置及可读存储介质。


背景技术：

2.目前市场上的嵌入式移动平台，出现了越来越来越多的对声音耳返要求较高的需求，其中最典型的就是家庭k歌需求等。
3.由于嵌入式设备，主要是嵌入式android平台，一般对成本控制要求较高，故硬件耳返得不到广泛应用。再有k歌场景对耳返的延时要求也不是特别高，能达到人耳可接受的范围即可(80ms以内)，所以目前大多数设备都是通过软件来实现耳返需求的。
4.软件上由于音频数据的拷贝，软件流程控制等的耗时，以及一些设备的不稳定性，会导致耳返的声音实时性不够好，耳返采集数据时间一久就会有数据的积攒，数据积攒到一定量以后就会出现耳返延时时间变长，达不到理想的效果。


技术实现要素：

5.本发明所要解决的技术问题在于提供一种音频数据处理方法、音频数据处理装置及可读存储介质，旨在解决现有技术中耳返采集时间增长导致耳返延时时间变长的问题。
6.本发明是这样实现的，一种音频数据处理方法，包括：
7.将第一音频数据保存至数据缓存队列；
8.在判断所述数据缓存队列中存储的第二音频数据的缓存量超过缓存阈值时，获取所述第一音频数据的音强；
9.在判断所述第一音频数据的音强满足消除条件时，将所述数据缓存队列中满足所述消除条件的所述第二音频数据清除；
10.根据处理策略对所述第一音频数据进行处理得到第三音频数据，并将所述第三音频数据保存至所述数据缓存队列，返回执行判断所述数据缓存队列中存储的第二音频数据的缓存量是否超过缓存阈值的步骤。
11.进一步地，判断所述第一音频数据的音强是否满足消除条件的步骤包括：
12.判断在预设时间内，所述第一音频数据的音强是否均低于低音强阈值；
13.若是，则判断所述第一音频数据的音强满足所述消除条件，若否，则判断所述第一音频数据的音强不满足所述消除条件。
14.进一步地，所述将所述数据缓存队列中满足所述消除条件的所述第二音频数据清除包括：
15.获取所述数据缓存队列中所述第二音频数据的音强；
16.以低于所述低音强阈值的所述第二音频数据为目标音频数据，对所述目标音频数据进行循环删除擦操作，直至所述目标音频数据全部删除。
17.进一步地，所述根据处理策略对所述第一音频数据进行处理得到第三音频数据包
括：
18.在预设处理时间内，对所述第一音频数据进行淡入处理，得到所述第三音频数据，将所述第三音频数据保存至所述数据缓存队列；
19.在预设处理时间达到后，将所述第一音频数据直接保存至所述数据缓存队列。
20.进一步地，所述音频数据处理方法还包括：
21.在检测到接入操作时，获取接入设备的设备信息；
22.根据所述接入设备的设备信息生成初始化指令，发送所述初始化指令给所述接入设备；
23.在检测到所述接入设备返回的完成初始化信息后，获取所述接入设备的第一音频数据。
24.进一步地，所述数据缓冲队列中存储的音频数据的按照存储的先后顺序进行排序。
25.进一步地，所述音频数据处理方法还包括：
26.在检测到数据请求指令时，获取所述数据请求指令中的目标信息；
27.从所述数据缓存队列中读取所述目标信息对应的第二音频数据，将读取的第二音频数据发送到所述数据请求指令中对应的目标设备。
28.本发明实施例还提供了一种音频数据处理装置，包括：
29.保存单元，用于将第一音频数据保存至数据缓存队列；
30.判断单元，用于在判断所述数据缓存队列中存储的第二音频数据的缓存量超过缓存阈值时，获取所述第一音频数据的音强；还用于在判断所述第一音频数据的音强满足消除条件时，将所述数据缓存队列中满足所述消除条件的所述第二音频数据清除；
31.处理单元，用于根据处理策略对所述第一音频数据进行处理得到第三音频数据，并将所述第三音频数据保存至所述数据缓存队列，返回执行判断所述数据缓存队列中存储的第二音频数据的缓存量是否超过缓存阈值的步骤。
32.本发明实施例还提供了一种音频数据处理装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述所述的音频数据处理方法中的各个步骤。
33.本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述所述的音频数据处理方法中的各个步骤。
34.本发明与现有技术相比，有益效果在于：本发明实施例提供的音频数据处理方法将第一音频数据保存至数据缓存队列，在判断该数据缓存队列中存储的第二音频数据的缓存量超过缓存阈值时，获取后续保存的第一音频数据的音强，在判断和后续保存的第一音频数据的音强满足消除条件时，将数据缓存队列中满足该消除条件的第二音频数据清除，根据处理策略对第一音频数据进行处理得到第三音频数据，将该第三音频数据保存至数据缓存队列中，并返回执行判断该数据缓存队列中存储的第二音频数据的缓存量是否超过缓存阈值的步骤。本发明实施例通过判断数据缓存队列中的第二音频数据的缓存量在超过缓存阈值时，将获取后续接收并保存的第一音频数据低音强，在判断后续接收的第一音频数据的音强满足一定时间内连续低于低音强阈值的消除条件时，将该数据缓存队列中满消除条件的第一音频数据删除，并对后续继续接收并保存的第一音频数据进行处理，本发明实
施例在通过检测连续时间内的音强强度进行数据缓存队列的数据处理，有效降低数据积攒缓冲带来的耳返延时，提高用户体验。
附图说明
35.图1是本发明实施例提供的一种音频数据处理方法的流程图；
36.图2是本发明另一实施例提供的一种音频数据处理方法的流程图；
37.图3是本发明又一实施例提供的一种音频数据处理装置的结构示意图。
具体实施方式
38.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
39.本发明实施例提供了一种利用发声者换气间隙，通过对如麦克风等音频输入设备输入的数据进行实时检测，以判断是否当前静音的方式来改善由于背景技术所提及的技术问题造成的数据延时。本发明提供的实施例是这样实现的，如图1所示，一种音频数据处理方法，包括：
40.s100，将第一音频数据保存至数据缓存队列。
41.在本步骤中，音频数据处理装置接收外部的接入设备传输的第一音频数据，将该第一音频数据保存到数据缓存队列中。在本发明实施例中，该数据缓存队列的数据格式按照所接收的音频数据的先后顺序进行数据存储，即该数据缓冲队列中存储的音频数据被设置为按照存储的先后顺序进行排序。在本发明实施例的具体使用过程中，音频数据处理装置检测是否有接入设备，该接入设备可以是音频输出装置，该音频输出装置如usb麦克风设备等。音频数据处理装置在检测到接入操作时，获取接入设备的设备信息；根据所述接入设备的设备信息生成初始化指令，发送所述初始化指令给所述接入设备；在检测到所述接入设备返回的完成初始化信息后，获取所述接入设备的第一音频数据。在本发明实施例中，音频数据处理装置在检测到插入操作，如操作者打开音频输入设备(插入usb麦克风设备)，音频数据处理装置将对插入设备进行必要的初始化步骤，并设置进入程序主体循环，通过该插入设备的音频pcm数据，该音频pcm数据作为本申请的第一音频数据。pcm(pulse code modulation，脉冲编码调制)音频数据是未经压缩的音频采样数据裸流，它是由模拟信号经过采样、量化、编码转换成的标准数字音频数据。
42.s200，在判断所述数据缓存队列中存储的第二音频数据的缓存量超过缓存阈值时，获取所述第一音频数据的音强。
43.在本发明实施例中，该数据缓存队列中存储的音频数据称之为第二音频数据，换言之，在步骤s100中，音频数据处理装置将接收的第一音频数据保存至该数据缓存队列中，该第一音频数据按照该数据缓存队列的存储规则进行存储后作为第二音频数据。音频数据处理装置在将第一音频数据保存至该数据缓存队列时，同步获取该数据缓存队列中存储的第二音频数据的缓存量，在检测到该数据缓存队列中存储的第二音频数据的缓存量超过缓存阈值时，将获取该接入设备继续输入的第一音频数据的音强。具体地，音频数据处理装置在当前时刻判断该数据缓存队列中的第二音频数据的缓存量超过缓存阈值时，在下一时刻
继续接收该接入设备传输的第一音频数据并保存至该数据缓存队列时，将同时获取该第一音频数据的音强。
44.s300，在判断所述第一音频数据的音强满足消除条件时，将所述数据缓存队列中满足所述消除条件的所述第二音频数据清除。
45.在本步骤中，音频数据处理装置判断所述第一音频数据的音强是否满足消除条件的步骤包括：判断在预设时间内，所述第一音频数据的音强是否均低于低音强阈值；若是，则判断所述第一音频数据的音强满足所述消除条件，若否，则判断所述第一音频数据的音强不满足所述消除条件。具体地，在本实施例中设置一个音强检测时间，该音强检测时间可以根据实际需要进行设置，如可以设置为60ms、80ms、100ms或者其他值，该音频数据处理在连续80ms的时间内检测到该第一音频数据的音强均低于设定的低音强阈值时，则确定该第一音频数据满足消除条件，则音频数据处理装置在确定该第一音频数据满足该消除条件获取所述数据缓存队列中所述第二音频数据的音强；以低于所述低音强阈值的所述第二音频数据为目标音频数据，对所述目标音频数据进行循环删除擦操作，直至所述目标音频数据全部删除。
46.s400，根据处理策略对所述第一音频数据进行处理得到第三音频数据，并将所述第三音频数据保存至所述数据缓存队列，返回执行判断所述数据缓存队列中存储的第二音频数据的缓存量是否超过缓存阈值的步骤。
47.在本步骤中，该音频数据处理装置根据处理策略对所述第一音频数据进行处理得到第三音频数据包括：在预设处理时间内，对所述第一音频数据进行淡入处理，得到所述第三音频数据，将所述第三音频数据保存至所述数据缓存队列；在预设处理时间达到后，将所述第一音频数据直接保存至所述数据缓存队列。具体地，音频数据处理装置在进行步骤s300的同时，对接入设备传输的第一音频数据进行预设处理时间的淡入处理，淡入处理指的是对第一音频数据进行音量调节处理，在接下来的0.5秒的预设处理时间内将第一音频数据的音量逐渐从0设置为100。该预设处理时间根据实际情况进行设置，根据实际使用中的延时情况进行设置。
48.本发明提供的上述实施例在实际使用测试中，在检测演唱者的正常k歌过程中，演唱者的换气间隙时间，足够进行低音强数据的解析和清除缓存数据的操作。本发明实施例提供的音频数据处理方法提出检测低音强数据的检测机制，以及之后的音频快速淡入步骤，能有效减少由于长时间录音导致的数据积攒，避免出现耳返延时问题。本发明提供的实施例即可以保证数据的实时性，又能有效保证声音的连贯性。使用本发明可以稳定的实现实时耳返功能，可以极大的改善用户耳返体验。
49.本发明实施例基于android(安卓)底层audio hal层(音频硬件抽象层)开发，提出了一种利用演唱者换气间隙，通过对音频接入设备(如usb麦克风)输入的音频数据实时检测是否静音的方式来优化软件耳返带来的延时问题。本发明实施例提供的音频数据处理方法可运行于嵌入式android设备上，图2示出了本发明提供的另一实施例，一种音频数据处理方法，包括：
50.s201，打开音频输入设备(如插入usb麦克风设备)，并对音频输入设备进行必要的初始化设置；
51.s202，进入本发明提供的音频数据处理方法的循环步骤中，并通过该音频输入设
备获取由该音频输入设备输入的音频pcm数据；
52.s203，将该音频出入设备输入的第一音频数据加入临时的数据缓存队列，此时其他的程序可以通过该数据缓存队列来获取该音频输入设备的音频pcm数据，并加以处理。该数据缓存队列保存在系统的内存中，从而实现实时耳返，保证音频数据的快速传递。该数据缓存队列中的第二音频数据可以由其他程序进行调用，其他程序可以调用该数据缓存队列中的第二音频数据用来增加音效，比如做混响处理等，还可以和其他音频进行混音处理，比如k歌时和背景伴奏音乐混音处理，还可以直接保存成本地文件。
53.s204，检测该数据缓存队列的第二音频数据的缓存量，判断该缓存量是否超过提前预置好的判断低延时的缓存阈值。若超过该缓存阈值则计算接下来保存的第一音频数据的音强并记录，在出现连续80ms的低音强数据时，音频数据处理装置将判定此时该音频输入设备为静音状态，此时将该数据缓存队列中已经缓存的连续低音强数据清除掉，并且对接下来的第一音频数据进行短暂的音频数据淡入的处理，从而降低音频被突然截断破音声。在本实施例中，该数据缓存队列是一个list(表单)的数据结构，对该数据缓存队列中的已经缓存的连续低音强数据进行清除操作即对这个list数据结构中的已经缓存的连续低音强数据进行循环删除节点的操作，直到list数据结构中不存在连续的低音强数据。
54.s205，判断是否继续获取该音频输入设备输入的第一音频数据，若是，则返回步骤s202，若否，则关闭该音频输入设备。
55.本发明实施例通过清除低音强数据的方式可以有效降低数据积攒缓冲带来的耳返延时，从而提高用户的k歌体验。
56.图3示出了本发明实施例提供的又一实施例，一种音频数据处理装置，包括：
57.保存单元301，用于将第一音频数据保存至数据缓存队列；
58.判断单元302，用于在判断所述数据缓存队列中存储的第二音频数据的缓存量超过缓存阈值时，获取所述第一音频数据的音强；还用于在判断所述第一音频数据的音强满足消除条件时，将所述数据缓存队列中满足所述消除条件的所述第二音频数据清除；
59.处理单元303，用于根据处理策略对所述第一音频数据进行处理得到第三音频数据，并将所述第三音频数据保存至所述数据缓存队列，返回执行判断所述数据缓存队列中存储的第二音频数据的缓存量是否超过缓存阈值的步骤。
60.本发明实施例还提供了一种音频数据处理装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如图1或者图2所述的音频数据处理方法中的各个步骤。
61.本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如图1或者图2所述的音频数据处理方法中的各个步骤。
62.在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。本发明实施例中所提及的“第一”、“第二”、“第三”或者其他表述仅仅是为了表述方便，不进行具体的顺序限制或者关系限制，在实际应用中
可以采取其他表述方式。
63.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
64.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
65.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，randomaccess memory)、磁碟或者光盘等各种可以存储程序代码的介质。
66.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定都是本发明所必须的。
67.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
68.以上为对本发明所提供的一种音频数据处理方法、音频数据处理装置及可读存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。