音频数据处理方法、装置、音频通信系统及存储介质与流程

1.本公开涉及数据通信技术领域，具体涉及一种音频数据处理方法、装置、音频通信系统以及存储介质。


背景技术：

2.目前，无线短距通信技术覆盖的应用场景越来越广泛，但是相关技术中，无线短距通信技术在音频流传输时，受限于带宽等因素影响，无法实现多条音频流数据的独立控制或处理，导致音频播放功能受限。


技术实现要素：

3.为实现无线短距音频传输场景中，多条音频流的独立控制和处理，本公开实施方式提供了一种音频数据处理方法、装置、音频通信系统及存储介质。
4.第一方面，本公开实施方式提供了一种音频数据处理方法，应用于音频接收设备，所述方法包括：
5.接收音频发送设备通过无线短距通信方式发送的至少两个音频流数据；
6.基于预设控制指令，对所述至少两个音频流数据中的至少一个音频流数据进行处理，得到目标音频流。
7.在一些实施方式中，所述基于预设控制指令，对所述至少两个音频流数据中的至少一个音频流数据进行处理，得到目标音频流，包括：
8.基于所述预设控制指令，确定每个所述音频流数据的时序信息和时占比；
9.根据所述时占比对每个所述音频流数据进行压缩处理，得到每个音频流数据对应的音频播放数据；
10.根据所述时序信息对各个所述音频播放数据进行时序拼接，得到所述目标音频流。
11.在一些实施方式中，所述根据所述时占比对每个所述音频流数据进行压缩处理，得到每个音频流数据对应的音频播放数据，包括：
12.根据所述目标音频流的总时长，以及每个所述音频流数据的所述时占比，确定每个所述音频流数据的时长；
13.根据每个所述音频流数据的时长，调整所述音频流数据的播放速度，得到所述音频流数据对应的所述音频播放数据。
14.在一些实施方式中，所述方法还包括：
15.根据所述预设控制指令包括的数据标识，从所述至少两个音频流数据中确定与所述数据标识对应的目标音频流数据。
16.在一些实施方式中，所述方法还包括：
17.解析每个音频流数据，得到所述音频流数据携带的标识信息；
18.根据所述标识信息生成与所述音频流数据对应的数据标识，并将所述数据标识分
配至所述音频流数据。
19.在一些实施方式中，所述音频流数据的所述标识信息包括所述音频发送设备的第一标识、所述音频流数据对应的音频源的第二标识以及所述音频流数据对应的第三标识。
20.在一些实施方式中，所述方法还包括：
21.根据所述预设控制指令包括的播放控制指令，对所述目标音频流数据的音频播放参数进行调整，得到所述目标音频流。
22.在一些实施方式中，所述无线短距通信方式包括星闪通信和/或无线局域网通信。
23.第二方面，本公开实施方式提供了一种音频数据处理方法，应用于音频发送设备，所述方法包括：
24.获取所述音频发送设备的各个音频源生成的至少两个音频流数据；
25.将所述音频流数据通过无线短距通信方式发送至音频接收设备。
26.在一些实施方式中，所述无线短距通信方式包括星闪通信和/或无线局域网通信。
27.第三方面，本公开实施方式提供了一种音频通信系统，包括：
28.音频发送设备，包括至少一个音频源，每个所述音频源用于生成至少一个音频流数据；
29.音频接收设备，与所述音频发送设备通过无线短距通信方式连接，所述音频接收设备包括至少一个音频宿，所述音频宿用于接收所述至少一个音频流数据；
30.其中，所述音频接收设备还包括处理器和存储器，所述处理器与所述存储器可通信连接，所述存储器存储有计算机指令，所述计算机指令用于使所述处理器执行根据第一方面任意实施方式所述的方法。
31.第四方面，本公开实施方式提供了一种音频数据处理装置，应用于音频接收设备，所述装置包括：
32.数据接收模块，被配置为接收音频发送设备通过无线短距通信方式发送的至少两个音频流数据；
33.数据处理模块，被配置为基于预设控制指令，对所述至少两个音频流数据中的至少一个音频流数据进行处理，得到目标音频流。
34.在一些实施方式中，所述数据处理模块被配置为：
35.基于所述预设控制指令，确定每个所述音频流数据的时序信息和时占比；
36.根据所述时占比对每个所述音频流数据进行压缩处理，得到每个音频流数据对应的音频播放数据；
37.根据所述时序信息对各个所述音频播放数据进行时序拼接，得到所述目标音频流。
38.在一些实施方式中，所述数据处理模块被配置为：
39.根据所述目标音频流的总时长，以及每个所述音频流数据的所述时占比，确定每个所述音频流数据的时长；
40.根据每个所述音频流数据的时长，调整所述音频流数据的播放速度，得到所述音频流数据对应的所述音频播放数据。
41.在一些实施方式中，所述数据处理模块被配置为：
42.根据所述预设控制指令包括的数据标识，从所述至少两个音频流数据中确定与所
述数据标识对应的目标音频流数据。
43.在一些实施方式中，所述数据处理模块被配置为：
44.解析每个音频流数据，得到所述音频流数据携带的标识信息；
45.根据所述标识信息生成与所述音频流数据对应的数据标识，并将所述数据标识分配至所述音频流数据。
46.在一些实施方式中，所述音频流数据的所述标识信息包括所述音频发送设备的第一标识、所述音频流数据对应的音频源的第二标识以及所述音频流数据对应的第三标识。
47.在一些实施方式中，所述数据处理模块被配置为：
48.根据所述预设控制指令包括的播放控制指令，对所述目标音频流数据的音频播放参数进行调整，得到所述目标音频流。
49.在一些实施方式中，所述无线短距通信方式包括星闪通信和/或无线局域网通信。
50.第五方面，本公开实施方式提供了一种音频数据处理装置，应用于音频发送设备，所述装置包括：
51.数据获取模块，被配置为获取所述音频发送设备的各个音频源生成的至少两个音频流数据；
52.数据发送模块，被配置为将所述音频流数据通过无线短距通信方式发送至音频接收设备。
53.第六方面，本公开实施方式提供了一种存储介质，存储有计算机指令，所述计算机指令用于使计算机执行根据第一方面或者第二方面任意实施方式所述的方法。
54.本公开实施方式的音频数据处理方法，应用于音频接收设备，其包括接收音频发送设备通过无线短距通信方式发送的至少两个音频流数据，并基于预设控制指令对至少两个音频流数据中的至少一个音频流数据进行处理，得到目标音频流。本公开实施方式中，在无线短距通信中实现多个音频流数据的并行收发，而且可以对每个音频流数据独立处理和控制，实现更多的音频播放效果，丰富音频功能。
附图说明
55.为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1是根据本公开一些实施方式中音频通信系统的结构示意图。
57.图2是根据本公开一些实施方式中音频数据处理方法的流程图。
58.图3是根据本公开一些实施方式中音频数据处理方法的流程图。
59.图4是根据本公开一些实施方式中音频数据处理方法的流程图。
60.图5是根据本公开一些实施方式中音频数据处理方法的流程图。
61.图6是根据本公开一些实施方式中音频数据处理方法的原理示意图。
62.图7是根据本公开一些实施方式中音频数据处理方法的流程图。
63.图8是根据本公开一些实施方式中音频数据处理方法的流程图。
64.图9是根据本公开一些实施方式中音频数据处理方法的原理示意图。
65.图10是根据本公开一些实施方式中音频数据处理方法的流程图。
66.图11是根据本公开一些实施方式中音频数据处理装置的结构框图。
67.图12是根据本公开一些实施方式中音频数据处理装置的结构框图。
68.图13是根据本公开一些实施方式中移动终端的结构框图。
具体实施方式
69.下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
70.音频流是指由音频应用所产生的经数字编码后的音频数据，一个音频应用可以同时产生一条或者多条音频流。相关技术中，常见的用户音频流数据短距离无线传输的通信协议包括蓝牙(bt，bluetooth)通信协议，但是，蓝牙通信仅能实现一条音频流的传输，无法实现多条音频流的独立传输，导致接收设备端无法对多条音频信号分别独立控制或处理，音频功能较为受限。
71.例如一个示例场景中，发送设备端的一个多语言新闻播报类应用，该应用可以同时产生例如汉语、英语等多条不同语言的音频流。相关技术中，在利用蓝牙传输时，发送设备端只能发送一种语言的单条音频流，或者将多条音频流叠加为一条多语言音频流发送。在接收设备端，其只能接收到单条音频流数据，对于多语言叠加的单条音频流数据，接收设备端无法将不同语言的音频流分离，从而无法单独控制和处理各个音频流。
72.例如另一个示例场景中，一个短距多人会议应用，在利用无线短距音频传输时，由于接收设备端只能接收到单条音频流数据，无法实现多个音频流的独立控制和处理，因此会议过程中同一时间仅能支持一个人在线发言，无法实现多人同时发言，会议体验不佳。
73.星闪联盟是国内手机、汽车与芯片等厂商组建的面向下一代无线短距离通信的行业联盟，其制定的星闪短距离通信标准(以下简称为“星闪通信”)承载智能汽车、智能家居、智能终端以及智能制造等场景应用。
74.星闪通信标准由底层至顶层，分为接入层、基础服务层和基础应用层。接入层包括物理层与链路层，基础服务层主要提供设备发现与服务管理、连接管理、数据传输与适配等基础服务，基础应用层主要提供音视频应用、人机接口以及其他垂直行业应用。
75.在星闪通信标准的音频流数据传输中，音频流的流出设备为音频发送设备，音频发送设备可以包括一个或者多个音频源(source)，每个音频源可以产生一条或者多条音频流。音频流的流入设备为音频接收设备，音频接收设备可以包括一个或者多个音频宿(sink)，每个音频宿可以接收一条或者多条音频流。
76.基于此，本公开实施方式提供了一种音频数据处理方法、装置、音频通信系统以及存储介质，旨在无线短距通信中，实现多条音频流数据的同时收发，以及对单条音频流数据的独立控制和处理。
77.图1示出了本公开一些实施方式中的音频通信系统，下面结合图1对本公开实施方式的应用场景进行说明。
78.如图1所示，在一些实施方式中，本公开示例的音频通信系统包括音频发送设备100和音频接收设备200，音频发送设备100和音频接收设备200通过无线通信方式建立通信连接。
79.值得说明的是，本公开实施方式所述的无线通信方式，是指短距离无线通信，例如前述的星闪通信标准。但是可以理解，本公开实施方式方法并不局限于星闪通信，在满足通信带宽的情况下，其他任何适于实现多条音频流数据并行收发的无线通信方式，均可以适用于本公开方法，例如无线局域(wifi)通信协议等，本公开对此不作限制。
80.音频发送设备100可以包括一个或者多个音频源(source)110，音频源110可以理解为产生音频流数据的音频应用。一个音频应用可以仅产生一条音频流，例如音乐类应用，其可以产生播放音乐的一条音频流数据；一个音频应用也可以产生多条音频流，例如多语言新闻播报类应用，其可以同时产生多条不同语言的音频流数据。因此可知，一个音频源110可以同时产生一个或者多个音频流数据。
81.同理，音频接收设备200可以包括一个或者多个音频宿(sink)210，音频宿210可以理解为音频流数据所要传达到的接收端。本公开实施方式中，一个音频宿210可以同时接收一条或者多条音频流数据，例如图1示例中，每个箭头即表示一条音频流数据。
82.在图1示例的音频通信系统的基础上，本公开实施方式提供了一种音频数据处理方法，该方法可应用于上述示例中的音频接收设备200，下面结合图2进行说明。
83.如图2所示，在一些实施方式中，本公开示例的音频数据处理方法，由音频接收设备200执行，该方法包括：
84.s210、接收音频发送设备通过无线短距通信方式发送的至少两个音频流数据；或，接收音频发送设备通过无线短距通信方式发送的音频流数据，所述音频流数据有至少两个音频流数据。
85.s220、基于预设控制指令，对至少两个音频流数据中的至少一个音频流数据进行处理，得到目标音频流。
86.结合图1所示，音频接收设备200可以接收音频发送设备100无线传输的一个或者多个音频流数据，本公开实施方式主要针对同时传输多个音频流数据场景，对于单条音频流数据通信场景不再赘述。
87.本公开实施方式中，音频发送设备与音频接收设备之间的无线短距通信方式可以是任何具有足够带宽，能够实现多条音频流数据同时无线短距传输的方式，例如星闪通信、无线局域网(wifi)通信等，本公开对此不作限制。其中，星闪通信是指无线短距通信技术，特别是指符合星闪联盟(sparklink)技术规范的无线短距离通信技术。
88.在音频发送设备端，可以是由一个音频源产生多个音频流数据，例如一个多语言新闻播放类应用，其同时产生多种语言的音频流数据，每一种语言即对应一个音频流数据。也可以是由多个音频源产生的多个音频流数据，例如音乐播放应用为一个音频源，其产生音乐播放的一个音频流数据，同时，导航应用为另一个音频流，其在音乐播放的同时，产生导航语音播报的一个音频流数据。还可以由两个或两个以上音频发送设备端作为多个音频源发送音频流数据；例如，在在线会议中，音频接收端可能会接收到两个或两个以上音频发送设备一起发送音频流数据。本领域技术人员对此可以理解，本公开不再赘述。
89.音频接收设备的接收到多个音频流数据之后，可以根据预设控制指令对多个音频
流数据中的任意一个或者多个音频流数据进行预定的处理，从而得到目标音频流。
90.本公开实施方式中，预设控制指令是指用于控制接收到的多个音频流数据的指令。预设控制指令中可以包括数据标识以及相应的控制参数，根据数据标识可以从接收到的多个音频数据中确定需要进行处理的一个或者多个音频流数据，根据控制参数可以对确定出的音频流数据进行相对应的处理，处理后即可得到目标音频流。
91.本公开实施方式中，对音频流数据进行处理的方式包括但不限于以下任意一种或多种：播放、停止、倍速播放、音量控制、音效、音频压缩和拼接等；本公开对此不作限制。
92.例如一个示例场景中，音频接收设备同时接收到两个音频流数据，其中一个音频流数据为音乐播放，另一个音频流数据为语音播报。预设控制指令表示“在语音播报的时间周期内，降低音乐播放的音量”，从而根据该预设控制指令，确定音乐播放对应的音频流数据为需要处理的音频流数据，对该音频流数据进行处理的方式为降低音量，得到目标音频流。
93.例如另一个示例场景中，音频接受设备同时接收到3个音频流数据，其中一个音频流数据为英语新闻播报，第二个音频流数据为法语新闻播报，第三个音频流数据为汉语新闻播报。预设控制指令表示“压缩每段新闻播报的时长，并且按照英语、法语、汉语的顺序依次播放每段音频”，从而根据该预设控制指令，分别对三个音频流数据进行压缩处理，并且在时序上按照英语、法语、汉语的顺序拼接处理，得到目标音频流。也即，将原本时域上重叠的三个音频流，处理为时域上依次先后播放的三段语音。
94.本公开下文实施方式中，分别对上述示例的音频流数据处理过程进行说明，在此暂不详述。
95.通过上述可知，本公开实施方式中，在无线短距通信中实现多个音频流数据的并行收发，而且可以对每个音频流数据独立处理和控制，实现更多的音频播放效果，丰富音频功能。
96.本公开实施方式中，音频接收设备在接收到多个音频流数据之后，为实现对每个音频流数据的独立处理和控制，首先可为每个音频流数据分配唯一的数据标识，下面结合图3实施方式进行说明。
97.如图3所示，在一些实施方式中，本公开示例的音频数据处理方法，由音频接收设备200执行，该方法包括：
98.s310、解析每个音频流数据，得到音频流数据携带的标识信息。
99.s320、根据标识信息生成与音频流数据对应的数据标识，并将数据标识分配至音频流数据。
100.可以理解，在音频发送设备端，每个音频源可以理解为一个音频应用，系统在启动音频应用时，会创建对应的进程，音频应用中产生的每个音频流数据，对应进程中的一个子线程。
101.从而，音频源产生的每个音频流数据中，携带有唯一标识该音频流数据的标识信息，标识信息例如可以包括音频发送设备的mac地址、音频流数据所属的音频应用进程的pid(process identification，进程标识号)以及该音频流数据所属子线程的id号。
102.在音频接收设备端，在接收到多个音频流数据之后，即可读取音频流数据中携带的这些标识信息，根据标识信息生成对应的数据标识，从而在音频接收设备端为每个音频
流数据分配新地址。
103.本公开实施方式中，音频接收设备为接收到的每个音频流数据分配数据表示的方式，可以是任何适于唯一标识音频流数据的方式，也即，为音频流数据分配的数据标识的形式可以是任意类型，本公开对此不作具体限制。
104.例如一些实施方式中，音频流数据的标识信息可以包括如下三个部分：
105.1)该音频流数据的音频发送设备的第一标识。
106.第一标识为音频发送设备的唯一标识信息，同一个音频发送设备发送的多个音频流数据的第一标识相同，不同音频发送设备发送的音频流数据的第一标识不同。例如一个示例中，第一标识可以是32bit的音频发送设备的mac地址，表示为b8-9a-2a-9e-be-48。
107.2)该音频流数据的音频源的第二标识。
108.第二标识是指产生音频流数据的音频源应用的进程pid，同一个音频源产生的多个音频流数据的第二标识相同，不同音频源产生的音频流数据的第二标识不同。例如一个示例中，音频流数据的第二标识为16bit的应用进程id，表示为00-ff。
109.3)该音频流数据对应的第三标识。
110.第三标识是指该音频流数据自身对应的子线程的线程id，同一个音频源产生的多个不同音频流数据的第三标识不同。例如一个示例中，音频流数据的第三标识为8bit的线程id，标识为01。
111.基于上述可知，利用第一标识、第二标识以及第三标识分层级地对每个音频流数据进行地址分配，可以高效管理每个音频流数据，通过分析音频数据的数据标识，即可准确对该音频流数据溯源。因此，本公开实施方式中，音频接收设备对音频流数据进行数据标识分配的方式，是十分高效且具有标准化意义的。
112.例如上述示例中，对某个音频流数据生成的数据标识表示为：b8-9a-2a-9e-be-48-00-ff-01。其中，b8-9a-2a-9e-be-48部分可以唯一标识该音频流数据的音频发送设备，00-ff部分可以唯一标识该音频发送设备中的某个音频源，01部分可以唯一标识该音频源中的某个音频流数据。可以看到，通过层级地址分配，可以准确对每个音频流数据进行溯源分析。
113.在音频接收设备端，在得到每个音频流数据的数据标识之后，即可将数据标识分配至对应的音频流数据，并将音频流数据的数据标识进行缓存。
114.通过上述可知，本公开实施方式中，音频接收设备端可以根据不同层级的标识信息对每个音频流数据进行地址分配，实现音频流数据的数据标识标准化，提高音频流数据的溯源分析能力。
115.需要说明的是，如图3所示的实施方式对应的方法，即可以单独被实施，也可以结合本公开的任何其他实施例一起被实施，本公开实施例并不对此作出限定。
116.在对每个音频流数据分配数据标识之后，即可根据预设控制指令对音频流数据进行处理，下面结合图4实施方式进行说明。
117.如图4所示，在一些实施方式中，本公开示例的音频数据处理方法，基于预设控制指令对音频流数据处理的过程，包括：
118.s410、根据预设控制指令包括的数据标识，从至少两个音频流数据中确定与数据标识对应的一个目标音频流数据。
119.s420、基于预设控制指令，对该目标音频流数据进行处理。
120.本公开实施方式中，在音频接收设备端，在为接收到的各个音频流数据分配数据标识之后，即可基于预设控制指令对音频流数据进行数据处理。
121.可以理解，在一些实施方式中，并非需要对所有的音频流数据进行处理，而是仅对其中一个或者部分音频流数据进行处理，其他音频流数据不作处理。例如一个示例中，音频接收设备共接收到2个音频流数据，分别为音乐播放和语音播报，在此场景下，仅需要对音乐播放的音频流数据进行音量降低处理，而无需对语音播报的音频流数据进行处理。
122.因此，在一些实施方式中，预设控制指令中包括需要进行数据处理的音频流数据的数据标识，从而可以根据预设控制指令携带的数据标识，确定需要进行数据处理的音频流数据，也即本公开所述的目标音频流数据。
123.另外，在一些实施方式中，在需要对多个音频流数据进行数据处理时，不同音频流数据的处理方式也可以能不同。例如一个示例中，音频接收设备共接收到3个音频流数据，分别为音乐播放、语音播报和系统提示音，在此场景，需要对音乐播放的音频流数据进行静音处理，对语音播报的音频流数据进行音量降低处理，对系统提示音的音频流数据无需做任何处理。
124.因此，在一些实施方式中，预设控制指令中还包括对每个目标音频流数据进行处理的控制指令，从而可以根据预设控制指令携带的数据标识和控制指令，对每个目标音频流数据进行相应的处理，得到最终的目标音频流。
125.图5示出了本公开一些实施方式中对音频流数据处理的过程，下面结合图5进行说明。
126.如图5所示，在一些实施方式中，本公开示例的音频流数据处理方法，对目标音频流数据进行处理的过程，包括：
127.s510、根据预设控制指令包括的数据标识，从至少两个音频流数据中确定与数据标识对应的目标音频流数据。
128.s520、根据预设控制指令包括的播放控制指令，对目标音频流数据的音频播放参数进行调整，得到目标音频流。
129.基于前述可知，预设控制指令中包括需要进行数据处理的音频流数据的数据标识，以及该音频流数据处理的播放控制指令。从而，本公开实施方式中，可以解析该预设控制指令，得到预设控制指令包括的数据标识，从而根据数据标识从接收到的多个音频流数据中确定对应的音频流数据，也即目标音频流数据。
130.在得到各个目标音频流数据之后，解析预设控制指令得到针对每个目标音频流数据进行处理的播放控制指令，基于该播放控制指令对目标音频流数据进行相应处理，即可得到最终的目标音频流。
131.例如一个示例中，如图6所示，音频接收设备共接收到2条音频流，其中，音频流1为语音播报对应的音频流数据，音频流2为音乐播放对应的音频流数据。音频流1和音频流2对应的波形如图6中(a)所示。
132.在本示例中，预设控制指令包括的数据标识为音频流2的数据标识，播放控制指令表示“降低音量至10％”。
133.从而，本公开实施方式中，音频接收设备端解析该预设控制指令，根据数据标识确
定音频流2对应的音频流数据为目标音频流数据，然后基于播放控制指令将音频流2的音频流数据中的音量参数调整至10％。得到的目标音频流的波形如图6中(b)所示，用户听到的音频即为图6中(b)所示的两个音频流叠加后的效果，也即音频流2对应的音乐播放的音量变小，而音频流1对应的语音播报正常播放。
134.当然，本领域技术人员可以理解，对目标音频流数据进行调整的音频播放参数并不局限于上述示例的音量参数，还包括其他任何适于控制的播放参数，例如暂停、静音、音效等参数，本公开对此不再赘述。另外，音频流数据的数量也不局限于图6示例，还可以是更多数量的音频流数据，其控制原理与之相同，对此不再赘述。
135.通过上述可知，本公开实施方式中，在无线短距通信中实现多个音频流数据的并行收发，而且可以对每个音频流数据独立处理和控制，实现更多的音频播放效果，丰富音频功能。
136.在上述图6示例的实施方式中，无论对每个目标音频流数据进行如何调整，最终得到的目标音频流数据中始终为多个音频流数据在时域上叠加播放。而在本公开另一些实施方式中，音频接收设备可以将多个时域上叠加的音频流数据处理为时域上连续的目标音频流。
137.例如在多人会议的场景中，用户a端的音频接收设备同时接收到多个音频流数据，每一个音频流数据表示一个参会者的讲话音频，换言之，用户a的音频接收设备接收到多个参会者同时讲话的多个音频流数据。
138.在此场景下，无论对哪个音频流数据进行处理，最终得到的目标音频流始终无法兼顾所有的音频信息。例如，若将所有音频流数据叠加播放，用户a的注意力难以兼顾多条语音。又例如，若将其中部分音频流数据降低音量或者静音，用户a将直接损失掉这部分语音信息，造成会议信息缺失。
139.由此可见，在一些现实场景中，对于多音频流数据的处理，很难兼顾到时域上存在叠加的音频流数据的信息完整性。因此，本公开一些实施方式中，通过将时域上叠加的多条音频流数据处理为时域上连续的单条音频流，保证用户接收到的音频信息的完整性，下面结合图7实施方式进行说明。
140.如图7所示，在一些实施方式中，本公开示例的音频数据处理方法，对音频流数据进行处理得到目标音频流的过程，包括：
141.s710、基于预设控制指令，确定每个音频流数据的时序信息和时占比。
142.s720、根据时占比对每个音频流数据进行压缩处理，得到每个音频流数据对应的音频播放数据。
143.s730、根据时序信息对各个音频播放数据进行时序拼接，得到目标音频流。
144.可以理解，本公开实施方式中，需要将多个在时域上重叠的音频流数据处理为时域上连续的单条音频流，从而每个音频流数据在时序上必然存在一定的先后顺序，本公开所述的时序信息，即用来表示对应音频流数据的先后顺序。
145.例如一个示例中，在多人会议场景中，包括主讲人和副讲人两个音频源，在主讲人与副讲人同时讲话时，用户a端的音频接收设备即可同时接收到两个音频流数据。对于此场景中，主讲人的语音优先级要高于副讲人，从而用户a可以在预设控制指令中，预先设置主讲人讲话所产生的音频流数据的时序信息优先级更高，而副讲人讲话所产生的音频流数据
的时序信息优先级更低。从而在得到的目标音频流中，首先播放主讲人讲话的音频流，然后播放副讲人讲话的音频流。
146.时占比可以理解为每条音频流数据在最终得到的目标音频流中的时长占比。可以理解，由于本公开实施方式中，需要将多个时域重叠的音频流数据处理为时域上连续的单条音频流，若是不对音频流数据进行压缩直接拼接，将会导致目标音频流的时间不同步问题。
147.仍以上述多人会议场景为例，假设主讲人讲话的音频流数据与副讲人讲话的音频流数据，在某个时间段存在12秒时长的重叠，若直接将副讲人讲话的音频流数据拼接在主讲人的音频流数据之后，两个重叠的音频流数据拼接得到的目标音频流在时序上将变为12s*2＝24秒，这将导致用户a接收到的音频流在时序上与实际开会时间不同步的问题。
148.因此，本公开实施方式中，在对多个音频流数据进行拼接之前，需要对每个音频流数据在时序上进行压缩处理，以保证目标音频流的总时长与现实时长保持一致。从而，在得到的目标音频流中，每段音频流数据占整个目标音频流时长的比值，即为本公开所述的时占比。
149.在得到每个音频流数据的时占比之后，即可根据各个音频流数据的时占比，对每个音频流数据进行处理，得到对应的音频播放数据，下面结合图8实施方式进行说明。
150.如图8所示，在一些实施方式中，本公开示例的音频数据处理方法，根据每个音频流数据的时占比对音频流数据进行处理的过程，包括：
151.s721、根据目标音频流的总时长，以及每个音频流数据的时占比，确定每个音频流数据的时长。
152.s722、根据每个音频流数据的时长，调整音频流数据的播放速度，得到音频流数据对应的音频播放数据。
153.本公开实施方式中，目标音频流的总时长，可以理解为多个音频流数据在时域上存在重叠部分的时长，换言之，目标音频流的总时长与多个音频流数据的重叠时长相同，这样得到的目标音频流既可以包括各个音频流数据的完整语音信息，也不会造成音频信号在时序上的不同步问题。
154.对于每个音频流数据而言，在得到目标音频流数据的总时长之后，即可根据对应的时占比，确定得到该音频流数据在目标音频流中所占的时长，然后基于该时长对应调整音频流数据的播放速度，即可得到对应的音频播放数据。
155.例如上述会议场景中，在一个示例中，考虑到主讲人的语音优先级要高于副讲人，从而用户a可以在预设控制指令中，预先设置主讲人讲话所产生的音频流数据的时占比为2/3，而副讲人讲话所产生的音频流数据的时占比为1/3。
156.如图9中(a)所示，主讲人讲话产生的音频流数据为音频流3，副讲人讲话产生的音频流数据为音频流4，在某个时间段，音频流3与音频流4存在12秒时长的重叠。
157.在本示例场景中，即可根据预设控制指令得到音频流3对应的时占比为2/3，音频流4对应的时占比为1/3，目标音频流的总时长为12s。从而，音频流3在目标音频流中的时长为：12*2/3＝8s，音频流4在目标音频流中的时长为：12*1/3＝4s。
158.换句话说，在本公开实施方式方法中，需要将音频流3的时长压缩至8s，将音频流4的时长压缩至4s。在此基础上，即可调整音频流3和音频流4的播放速度。例如，将音频流3的
播放速度调整为1.5倍速播放，得到的音频播放数据的波形如图9中(b)所示；将音频流4的播放速度调整为3倍速播放，得到的音频播放数据的波形如图9中(b)所示。
159.本公开实施方式中，在得到每个音频流数据对应的音频播放数据之后，即可根据预设控制指令中的时序信息，将多个音频播放数据按照预设顺序拼接处理，得到最终单条的目标音频流。
160.仍以图9场景为例，主讲人的音频流3对应的音频播放数据的波形如图9中(b)所示，副讲人的音频流4对应的音频播放数据的波形如图9中(b)所示。同时，预设控制指令中，主讲人的时序信息优先级高于副讲人的时序信息。
161.在此示例场景中，即可将副讲人的音频流4对应的音频播放数据，在时序上拼接在主讲人的音频流3对应的音频播放数据之后，得到的目标音频流的波形如图9中(c)所示。可以看到，本公开实施方式中，目标音频流的总时长仍然为12s，用户在依次收听两段音频流之后，仍然可以与实际音频时序同步。
162.当然，本领域技术人员可以理解，上述仅以两个音频流数据为例进行了说明，事实上，本公开实施方式对于音频流数据的数量不作限制，其数据处理的原理与上述相同，本公开不再枚举赘述。
163.通过上述可知，本公开实施方式中，可以将多个时域上重叠的音频流数据处理为时域上连续的单条音频流，在保证音频信息时序同步的同时，提高音频信息的完整性，使得用户可以得到多条音频流数据的完整信息。
164.另外，值得说明的是，本公开上述示例实施方式中，对一些场景下的音频流数据处理过程进行了说明，但是可以理解，本公开方法并不局限于上述示例，还可以实现其他任何适于实施的处理方式。
165.例如一些实施方式中，在音频接收设备端包括多个扬声器的情况下(例如tws耳机包括左右耳两个扬声器、无线音箱包括多个独立的扬声器等)，可以对每个音频流数据处理之后，分别将各个音频流数据分离播放到多个扬声器上。另外，在音频流数据具有空间属性的情况下，还可以进一步结合音频流的空间属性，实现多个音频流数据的空间音频的独立控制。本领域技术人员基于上述公开可以理解并充分实现，本公开对此不再赘述。
166.通过上述可知，本公开实施方式中，在无线短距通信中实现多个音频流数据的并行收发，而且可以对每个音频流数据独立处理和控制，实现更多的音频播放效果，丰富音频功能。另外，可以将多个时域上重叠的音频流数据处理为时域上连续的单条音频流，在保证音频信息时序同步的同时，提高音频信息的完整性，使得用户可以得到多条音频流数据的完整信息。
167.在图1示例的音频通信系统的基础上，本公开实施方式提供了一种音频数据处理方法，该方法可应用于上述示例中的音频发送设备100，下面结合图10进行说明。
168.如图10所示，在一些实施方式中，本公开示例的音频数据处理方法，该方法由音频发送设备100执行，所述方法包括：
169.s1010、获取音频发送设备的各个音频源生成的至少两个音频流数据。
170.s1020、将至少两个音频流数据通过无线短距通信方式发送至音频接收设备。
171.结合图1所示，音频发送设备100包括一个或者多个音频源110，每个音频源110可以产生一个或者多个音频流数据，本公开实施方式主要针对同时传输多个音频流数据场
景，对于单条音频流数据通信场景不再赘述。
172.音频发送设备100端，由一个或者多个音频源产生的多个音频流数据，可以通过无线通信方式发送至前述的音频接收设备200。本公开实施方式中，音频发送设备与音频接收设备之间的无线短距通信方式可以是任何具有足够带宽，能够实现多条音频流数据同时传输的方式，例如星闪通信、无线局域网(wifi)通信等，本公开对此不作限制。
173.在音频接收设备200端，在接收到多个音频流数据之后，即可根据前述的音频数据处理方法，对每个音频流数据进行独立控制和处理。本领域技术人员参照前述即可理解并充分实现，本公开对此不再赘述。
174.通过上述可知，本公开实施方式中，在无线短距通信中实现多个音频流数据的并行收发，而且可以对每个音频流数据独立处理和控制，实现更多的音频播放效果，丰富音频功能。另外，可以将多个时域上重叠的音频流数据处理为时域上连续的单条音频流，在保证音频信息时序同步的同时，提高音频信息的完整性，使得用户可以得到多条音频流数据的完整信息。
175.本公开实施方式提供了一种音频通信系统，该音频通信系统可以是基于星闪通信协议标准的通信系统。
176.参见图1所示，在一些实施方式中，音频通信系统包括音频发送设备100和音频接收设备200。音频发送设备100可以包括一个或者多个音频源(source)110，音频接收设备200可以包括一个或者多个音频宿(sink)210，一个音频源110和一个音频宿210之间，可以同时实现一个或者多个音频流数据的并行传输。
177.音频发送设备100和音频接收设备200还包括处理器和存储器，存储器用于作为数据存储器，存储上述任意实施方式方法的计算机指令，从而处理器可以根据计算机指令执行上述实施方式的音频数据处理方法。本领域技术人员参照前述即可理解并充分实施，本公开对此不再赘述。
178.在一些实施方式中，本公开实施方式提供了一种音频数据处理装置，该装置可应用于上述示例中的音频接收设备200，下面结合图11进行说明。
179.如图11所示，在一些实施方式中，本公开示例的音频数据处理装置，包括：
180.数据接收模块10，被配置为接收音频发送设备通过无线短距通信方式发送的至少两个音频流数据；
181.数据处理模块20，被配置为基于预设控制指令，对至少两个音频流数据中的至少一个音频流数据进行处理，得到目标音频流。
182.通过上述可知，本公开实施方式中，在无线短距通信中实现多个音频流数据的并行收发，而且可以对每个音频流数据独立处理和控制，实现更多的音频播放效果，丰富音频功能。
183.在一些实施方式中，数据处理模块20被配置为：
184.基于预设控制指令，确定每个音频流数据的时序信息和时占比；
185.根据时占比对每个音频流数据进行压缩处理，得到每个音频流数据对应的音频播放数据；
186.根据时序信息对各个音频播放数据进行时序拼接，得到目标音频流。
187.在一些实施方式中，数据处理模块20被配置为：
188.根据目标音频流的总时长，以及每个音频流数据的时占比，确定每个音频流数据的时长；
189.根据每个音频流数据的时长，调整音频流数据的播放速度，得到音频流数据对应的音频播放数据。
190.在一些实施方式中，无线通信方式包括星闪通信。
191.通过上述可知，本公开实施方式中，可以将多个时域上重叠的音频流数据处理为时域上连续的单条音频流，在保证音频信息时序同步的同时，提高音频信息的完整性，使得用户可以得到多条音频流数据的完整信息。
192.在一些实施方式中，数据处理模块20被配置为：
193.根据预设控制指令包括的数据标识，从至少两个音频流数据中确定与数据标识对应的目标音频流数据。
194.在一些实施方式中，数据处理模块20被配置为：
195.解析每个音频流数据，得到音频流数据携带的标识信息；
196.根据标识信息生成与音频流数据对应的数据标识，并将数据标识分配至音频流数据。
197.在一些实施方式中，音频流数据的标识信息包括音频发送设备的第一标识、音频流数据对应的音频源的第二标识以及音频流数据对应的第三标识。
198.通过上述可知，本公开实施方式中，音频接收设备端可以根据不同层级的标识信息对每个音频流数据进行地址分配，实现音频流数据的数据标识标准化，提高音频流数据的溯源分析能力。
199.在一些实施方式中，数据处理模块20被配置为：
200.根据预设控制指令包括的播放控制指令，对目标音频流数据的音频播放参数进行调整，得到目标音频流。
201.通过上述可知，本公开实施方式中，在无线短距通信中实现多个音频流数据的并行收发，而且可以对每个音频流数据独立处理和控制，实现更多的音频播放效果，丰富音频功能。
202.在一些实施方式中，本公开实施方式提供了一种音频数据处理装置，该装置可应用于上述示例中的音频发送设备100，下面结合图12进行说明。
203.如图12所示，在一些实施方式中，本公开示例的音频数据处理装置，包括：
204.数据获取模块30，被配置为获取音频发送设备的各个音频源生成的至少两个音频流数据；
205.数据发送模块40，被配置为将音频流数据通过无线通信方式发送至音频接收设备。
206.在一些实施方式中，无线短距通信方式包括星闪通信。
207.通过上述可知，本公开实施方式中，在无线短距通信中实现多个音频流数据的并行收发，而且可以对每个音频流数据独立处理和控制，实现更多的音频播放效果，丰富音频功能。另外，可以将多个时域上重叠的音频流数据处理为时域上连续的单条音频流，在保证音频信息时序同步的同时，提高音频信息的完整性，使得用户可以得到多条音频流数据的完整信息。
208.在一些实施方式中，本公开实施方式提供了一种存储介质，存储有计算机指令，计算机指令用于使计算机执行上述任意实施方式中的方法。
209.图13中示出了本公开一些实施方式中移动终端结构，该移动终端既可以作为前述的音频发送设备100，也可以作为音频接收设备200，下面结合图13对本公开一些实施方式的移动终端进行说明。
210.参照图13，移动终端1800可以包括以下一个或多个组件：处理组件1802，存储器1804，电源组件1806，多媒体组件1808，音频组件1810，输入/输出(i/o)接口1812，传感器组件1816，以及通信组件1818。
211.处理组件1802通常控制移动终端1800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1802可以包括一个或多个处理器1820来执行指令。此外，处理组件1802可以包括一个或多个模块，便于处理组件1802和其他组件之间的交互。例如，处理组件1802可以包括多媒体模块，以方便多媒体组件1808和处理组件1802之间的交互。又如，处理组件1802可以从存储器读取可执行指令，以实现移动终端相关功能。
212.存储器1804被配置为存储各种类型的数据以支持在移动终端1800的操作。这些数据的示例包括用于在移动终端1800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
213.电源组件1806为移动终端1800的各种组件提供电力。电源组件1806可以包括电源管理系统，一个或多个电源，及其他与为移动终端1800生成、管理和分配电力相关联的组件。
214.多媒体组件1808包括在所述移动终端1800和用户之间的提供一个输出接口的显示屏。在一些实施例中，多媒体组件1808包括一个前置摄像头和/或后置摄像头。当移动终端1800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
215.音频组件1810被配置为输出和/或输入音频信号。例如，音频组件1810包括一个麦克风(mic)，当移动终端1800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1804或经由通信组件1818发送。在一些实施例中，音频组件1810还包括一个扬声器，用于输出音频信号。
216.i/o接口1812为处理组件1802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
217.传感器组件1816包括一个或多个传感器，用于为移动终端1800提供各个方面的状态评估。例如，传感器组件1816可以检测到移动终端1800的打开/关闭状态，组件的相对定位，例如所述组件为移动终端1800的显示器和小键盘，传感器组件1816还可以检测移动终
端1800或移动终端1800一个组件的位置改变，用户与移动终端1800接触的存在或不存在，移动终端1800方位或加速/减速和移动终端1800的温度变化。传感器组件1816可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1816还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1816还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
218.通信组件1818被配置为便于移动终端1800和其他设备之间有线或无线方式的通信。移动终端1800可以接入基于通信标准的无线网络，如wi-fi，2g，3g，4g，5g或6g，或它们的组合。在一个示例性实施例中，通信组件1818经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1818还包括近场通信(nfc)模块，以促进短程通信。例如，nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术、星闪通信技术以及其他技术来实现。
219.在示例性实施例中，移动终端1800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现。
220.显然，上述实施方式仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。