音频处理方法及装置、电子设备及存储介质与流程

1.本公开涉及音频技术领域，尤其涉及一种音频处理方法及装置、电子设备及存储介质。


背景技术：

2.音频投射是：将一个电子设备的音频流迁移到另一个电子设备上输出的技术。例如，将手机的音频流发送到音箱上输出，或者，将电视上的音频流发送到音箱上输出。
3.示例性地，智能音箱是一种自身具有网络连接功能且具有较强处理功能的音频设备，可以接收手机、平板电脑、可穿戴式设备或者笔记本等设备的音频投射，并能够以较大的音量和/或较优质的音质输出对应的音频流。
4.在相关技术中进行音频投射时，会将这个设备所产生的音频流都转移到被投射的设备输出，但是有些情况下，用户并不想要所有的音频流都由被投射其他设备输出，导致音频投射的播放效果不佳或者用户使用满意度低。


技术实现要素：

5.本公开提供一种音频处理方法及装置、电子设备及存储介质。
6.根据本公开实施例第一方面提供一种音频处理方法，应用于第一设备中，所述方法包括：
7.确定一个或多个目标应用程序；
8.从所述第一设备产生的音频流中，确定出所述目标应用程序产生的音频流；其中，所述目标应用程序产生的音频流为第二类音频流，剩余应用程序产生的音频流为第一类音频流；一个所述音频流由一个应用程序产生；
9.将所述第二类音频流发送给第二设备，其中，所述第二类音频流，用于所述第二设备输出。
10.基于上述方案，所述从所述第一设备产生的音频流中，确定出所述目标应用程序产生的音频流，包括：
11.所述第一设备的媒体框架层接收应用层产生的所述第一类音频流；
12.根据所述目标应用程序的应用标识id及所述第一类音频流携带的应用id，确定出所述第二类音频流。
13.基于上述方案，所述方法还包括：
14.在所述第一类音频流包含多个音频流时，混合所述第一类音频流包含的多个音频流得到所述第三类音频流；
15.输出所述第三类音频流。
16.基于上述方案，所述确定一个或多个目标应用程序，包括：
17.显示预设app的音频投射页面的进入控件；
18.当检测作用于进入控件的操作时，显示所述预设app的音频投射页面，其中，所述
音频投射页面内包含：一个或多个所述第二设备的备选设备的设备信息；
19.当检测到选择至少一个设备信息的操作时，确定所述预设app为所述目标应用程序；其中，所述被选择的所述设备标识对应的备选设备为所述第二设备。
20.基于上述方案，所述显示预设app的音频投射页面的进入控件，包括以下之一：
21.显示所述预设app的按钮，其中，所述按钮至少包含所述进入控件；
22.显示所述预设app的应用界面，其中，所述应用界面至少包含所述进入控件。
23.基于上述方案，所述音频投射页面包含：
24.第一音量调节条，用于统一调节各所述第二设备的音量或者调节所述第一设备的音量；
25.和/或，
26.第二音量调节条，一个所述第二音量调节条对应于一个所述第二设备，其中，所述第二音量调节条，用于调节所述第二设备的音量。
27.基于上述方案，所述预设app为音频播放类app；所述按钮和/或所述音频投射页面还包括：音频播放的控制控件；其中，所述音频播放的控制控件，用于检测控制预设app的音频播放的操作。
28.基于上述方案，所述第一设备具有第一模式和第二模式；在所述第一模式下，所述目标应用程序的数量为一个，在所述第二模式下所述目标应用程序的数量为一个或多个；
29.所述确定一个或多个目标应用程序，包括：
30.当所述第一设备处于所述第一模式时，确定一个所述目标应用程序；
31.当所述第一设备处于所述第二模式时，确定一个或多个所述目标应用程序。
32.根据本公开实施例第二方面提供一种音频处理装置，应用于第一设备中，所述装置包括：
33.第一确定模块，用于确定一个或多个目标应用程序；
34.第二确定模块，用于从所述第一设备产生的音频流中，确定出所述目标应用程序产生的音频流；其中，所述目标应用程序产生的音频流为第二类音频流，剩余应用程序产生的音频流为第一类音频流；一个所述音频流由一个应用程序产生；
35.发送模块，用于将所述第二类音频流发送给第二设备，其中，所述第二类音频流，用于所述第二设备输出。
36.基于上述方案，所述第二确定模块，被配置为所述第一设备的媒体框架层接收应用层产生的音频流；根据所述目标应用程序的应用标识id及所述应用层产生的音频流携带的应用id，确定出所述第二类音频流。
37.基于上述方案，所述装置还包括：
38.混合模块，用于在所述第一类音频流包含多个音频流时，混合所述第一类音频流包含的多个音频流得到所述第三类音频流；
39.输出模块，用于输出所述第三类音频流。
40.基于上述方案，所述第一确定模块，包括：
41.显示子模块，用于显示预设app的音频投射页面的进入控件；当检测作用于进入控件的操作时，显示所述预设app的音频投射页面，其中，所述音频投射页面内包含：一个或多个所述第二设备的备选设备的设备信息；
42.确定子模块，用于当检测到选择至少一个设备信息的操作时，确定所述预设app为所述目标应用程序；其中，所述被选择的所述设备标识对应的备选设备为所述第二设备。
43.基于上述方案，所述显示子模块，具体用执行以下之一：
44.显示所述预设app的按钮，其中，所述按钮至少包含所述进入控件；
45.显示所述预设app的应用界面，其中，所述应用界面至少包含所述进入控件。
46.基于上述方案，所述音频投射页面包含：
47.第一音量调节条，用于统一调节各所述第二设备的音量或者调节所述第一设备的音量；
48.和/或，
49.第二音量调节条，一个所述第二音量调节条对应于一个所述第二设备，其中，所述第二音量调节条，用于调节所述第二设备的音量。
50.基于上述方案，所述预设app为音频播放类app；所述按钮和/或所述音频投射页面还包括：音频播放的控制控件；其中，所述音频播放的控制控件，用于检测控制预设app的音频播放的操作。
51.基于上述方案，所述第一设备具有第一模式和第二模式；在所述第一模式下，所述目标应用程序的数量为一个，所述第二模式的数量能够为多个；
52.所述第一确定模块，用于当所述第一设备处于所述第一模式时，确定一个所述目标应用程序；当所述第一设备处于所述第二模式时，确定一个或多个所述目标应用程序。
53.根据本公开实施例的第三方面提供一种电子设备，包括：
54.用于存储处理器可执行指令的存储器；
55.处理器，与所述存储器连接；
56.其中，所述处理器被配置为执行如上所述的音频处理方法。
57.根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如上所述的音频处理方法。
58.本公开的实施例提供的技术方案可以包括以下有益效果：
59.在本公开实施例中，第一设备向第二设备传输音频流，由第二设备代替第一设备播放音频时，仅仅会将目标应用程序的第二类音频流传输到第二设备，而非将第一设备的所有应用程序产生的音频流都传输给第二设备，从而实现了以应用程序(application，app)维度的音频投射，避免了不想要第二设备播放的音频流也被一并传输到第二设备播出，实现了更精细维度和更优质的音频播放效果，并提升了用户体验。
附图说明
60.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
61.图1是根据一示例性实施例示出的音频处理方法的流程示意图；
62.图2是根据一示例性实施例示出的音频处理方法的流程示意图；
63.图3是根据一示例性实施例示出的案桌系统的软件分层示意图；
64.图4是根据一示例性实施例示出的目标应用程序的确定流程示意图；
65.图5是根据一示例性实施例示出的音频投射页面的显示效果示意图；
66.图6是根据一示例性实施例示出的按钮和进入控件的显示效果示意图；；
67.图7a是根据一示例性实施例示出的音频处理方法的页面切换示意图；
68.图7b是根据一示例性实施例示出的音频处理方法的页面切换示意图；
69.图7c是根据一示例性实施例示出的音频处理方法的页面切换示意图；
70.图7d是根据一示例性实施例示出的音频处理方法的页面切换示意图；
71.图8是根据一示例性实施例示出的音频处理装置的结构示意图；
72.图9是根据一示例性实施例示出的电子设备的结构示意图。
具体实施方式
73.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置的例子。
74.如图1所示，本公开实施例提供一种音频处理方法，应用于第一设备中，所述方法包括：
75.s110：确定一个或多个目标应用程序；
76.s120：从所述第一设备产生的音频流中，确定出所述目标应用程序产生的音频流；其中，所述目标应用程序产生的音频流为第二类音频流，剩余应用程序产生的音频流为第一类音频流；一个所述音频流由一个应用程序产生；
77.s130：将所述第二类音频流发送给第二设备，其中，所述第二类音频流，用于所述第二设备输出。
78.所述第一设备可为各种移动终端和/或固定终端。所述移动终端至少包括但不限于：手机、平板电脑、可穿戴式设备、智能家居设备、智能办公室或者笔记本。所述固定终端可至少包括：智能电视或者投影仪。
79.所述可穿戴式设备包括但不限于：智能手环、智能手表、智能脚环和/或头戴设备。所述头戴设备包括但不限于：智能眼镜和/或各种头部佩戴的虚拟现实(virtual reality，vr)设备和/或增强现实(augment reality，ar)设备等。
80.所述智能家居设备包括：智能清洁设备和/或智能厨具设备和/或智能门铃。所述智能办公设备包括但不限于：智能打印设备和/或网络电话机等。
81.所述智能清洁设备包括但不限于：智能洗衣机、扫地机器人。所述智能厨具设备包括但不限于：智能冰箱、智能烹饪设备。所述智能烹饪设备包括：智能烤箱、智能电饭煲等。
82.这些第一设备可以连接到网络，从网络下载信息，且可以与第二设备建立连接，从而通过与第二设备建立的连接，将所述第二类音频流传输到第二设备。
83.此处的第二类音频流可包括一个或多个音频流。所述第二类音频流包含的音频流个数等于所述目标应用程序的个数。例如，当所述目标应用程序为多个时则所述第二类音频流包含多个音频流，且所述第二类音频流包含的音频流的个数等于所述目标应用程序的个数。再例如，当所述目标应用程序为1个时，则所述第二类音频流仅包含一个音频流。
84.所述第二设备可为包括：音频输出组件的任意设备。示例性地，该音频输出组件可
包括：扬声器。示例性地，该第二设备可为各种音箱，例如，智能音箱、无线耳机或智能电视等。
85.通常情况下，第一设备和第二设备相比，第二设备的音频输出组件的最大输出音量更大，和/或，第二设备的音频输出质量高于第一设备的音频输出质量。
86.例如，手机作为第一设备可以播放音乐，但是手机的播放音乐的最大音量和音质可能都受限于手机自身的体积和/或硬件限制，不如智能音箱的播放效果。若使用本公开实施例的音频处理方法，则可以仅仅将手机的音乐类应用程序的第二类音频流传输给智能音箱。如此，减少手机当前被叫时，在音箱播放音乐时突然地插入被叫铃声。若被叫铃声的音量较大且通常是用户预期之外的声音，可能会产生惊吓到用户的效果，且突然插入播出的被叫铃声会干扰原本的音乐播放。
87.与此同时，在一些情况下，用户亲近的人的铃声可能比较特别，如此还可能涉及隐私，若直接由第二设备播放，在有其他人在场的情况下，会使得用户产生比较尴尬的情绪，故更好地保护用户隐私，再次提升用户使用满意度。
88.又例如，用户在通过智能烹饪设备进行烹饪，但是用户不想在厨房呆着，想去卧室呆着，则此时，第二设备可为位于卧室的音频设备。智能烹饪设备上可能安装有：烹饪app、菜谱app等。若智能设备下载了一个新菜谱产生了一个提示音，而该提示音并不是用户想要听到的提示音，而用户可能仅仅想要听到烹饪完成程度的提示音。使用本公开实施例中提供的音频处理方法，可以仅仅将烹饪app视为目标应用程序，可以将烹饪app根据烹饪完成程度产生的提示音所对应的音频流传输到卧室的智能音箱上，供智能音箱输出，从而减少了对用户的干扰，提升了用户体验。
89.目标应用程序可为第一设备内安装的部分应用程序，剩余应用程序即为目标应用程序以外的任意应用程序。
90.在本公开实施例中，所述第一设备和第二设备之间建立有连接，该连接可为无线连接。该无线连接包括但不限于：
91.蓝牙连接；
92.wifi连接。
93.在一些实施例中，第一设备和第二设备之间是直接的点对点连接，例如，wifi直连。在另一些实施例中，所述第一设备和第二设备之间可以通过网关设备连接。例如，第一设备和第二设备可以位于同一个wifi路由器或者无线调制解调器所形成的局域网内。
94.在一些实施例中，如图2所示，所述s120可包括：
95.s121：所述第一设备的媒体框架层接收应用层产生的音频流；
96.s122：根据所述目标应用程序的应用标识id及所述应用层产生的音频流携带的应用id，确定出所述第二类音频流。
97.所述第一设备的操作系统可为各种操作系统，例如，ios系统、安卓系统或者塞班系统或者微软提供的windows系统。
98.若所述第一设备的操作系统为安卓系统，则所述安装系统的应用程序位于应用层。所述安卓系统还包括：媒体框架(framework)。图3所示为一个安卓(android)系统的第一设备的软件层次结构示意图。位于最顶层的为应用层，该应用层可包括：一个或多个应用程序，例如，社交应用程序、即时通信应用程序、音乐播放应用程序等。每一个应用程层的应
用程序都可能产生音频流，这种应用层中目标应用程序以外的剩余应用程序产生的音频流被归类为第一类音频流位于次顶层的是媒体框架层(framework)，媒体框架层是应用层的下一层，应用层的多个应用程序产生了音频流将传输到媒体框架层进行处理。在媒体框架层布局有各种组件，这些组件被应用层的各个应用所共用。如图3所示，在媒体框架层下发还具有库、案桌运行库层和内核层。
99.通常情况下，所述第一设备的音频输出硬件(例如，扬声器)是被第一设备内所有应用程序的共用的。若在一个时间点同时有多个应用程序产生音频流，为了不遗漏，所述媒体框架内设置有混合组件，该混合组件会混合多个应用程序所产生的音频流，且第一设备输出的是混合的音频流，如此，用户可以在第一设备输出的音频流中听到两个或两个以上的声音。
100.一个应用程序安装到第一设备内后，操作系统会为该应用程序分配应用id，以标识操作系统和应用程序之间的数据交互。如此，第一设备内的不同应用程序，具有不同的应用id。该应用id是由第一设备的操作系统分配的，与对应用程序开发后由应用商店或者开发商提供的id可以是不同的。
101.当然，在另一个实施例中，不同应用程序的原始id(例如，应用商店或者开发商)也可以作为被携带在音频流中的id。
102.通常情况下，第一设备重新分配的id，相对于应用程序的原始id的长度更小，如此具有比特开销小的特点。
103.在本公开实施例中，为了实现app维度的音频投射，在进行第一设备内各个应用程序原始的音频流之前，会检测各个音频流携带的应用id，确定出哪些音频流属于目标应用程序产生的音频流，若属于目标应用程序产生的音频流，不参与剩余应用程序所产生的多个音频流的混合。如此，目标应用程序的第二类音频流在进入到混合组件之前被从非目标应用程序所产生的第一类音频流分离出来了，并被发送给所述第二设备。
104.若第二类音频流仅有一个音频流，则该音频流可以绕过混合组件(即不进入混合组件)直接被提交到通信组件，发送给第二设备，供第二设备播放。该通信组件可包括但不限于：各种无线通信组件。该通信组件可为第一设备的硬件层的无线通信芯片等。
105.若第二类音频流包含多个音频流，
106.在本公开实施例中，根据目标应用程序的应用id，在媒体框架层实现了第一类音频流和第二类音频流的简便分离，从而可以实现app维度的音频投射。
107.所述方法还包括：
108.在所述第一类音频流包含多个音频流时，混合所述第一类音频流包含的多个音频流得到所述第三类音频流；
109.输出所述第三类音频流。
110.若第一类音频流包含多个音频流，在第一设备输出这些音频流之前，需要将第一类音频流包含的多个音频流混合成一个音频流，该混合成的音频流被称之为第三类音频流。
111.如此，实现第一设备产生的音频流可以在自身和其他设备同步输出。
112.在一个实施例中，若所述目标应用程序为多个时，可以根据各个目标应用程序提供的音频流的持续性，在混合多个所述第二类音频流包含的音频流时的混合参数。
113.例如，多个目标应用程序可能仅有一个目标应用程序是会稳定持续的提供一个音频流，其他目标应用程序提供音频流都可能是突发性。
114.假设多个目标应用程序包含：持续提供音频流的应用程序a，且还包括至少一个可能突发性提供音频流的应用程序b，在一个时间点混合多个目标应用程序的第二类音频流时，可以按照如下方式进行处理：
115.根据混合参数，对应用程序b提供音频流进行整形，整形后的音频流的音量从突发插入时刻开始逐步增强到预设值，且不对应用程序a提供的音频流进行整形；
116.混合未整形的应用程序a提供的音频流和经过整形之后的应用程序b的音频流；
117.将第二类音频流包含的多个音频流混合后的一个音频流发送给第二设备。第二类音频流包含的多个音频流混合形成的一个音频流可以称之为第四音频流。
118.通过这种混合之前的整形，可以使得突发性插入音频流的应用程序b提供的音频流的播放效果是渐入式的，从而减少突发插入应用程序b的音频流的播放吓到用户等情况。
119.通常情况下，应用程序a可能音乐播放类应用程序、网络广播类播放应用程序或者语言学习类的播放应用程序。
120.而应用程序b可能是生活服务类应用程序。例如，用户通过生活服务类应用程序下单了外卖等，当外卖进行到一定程度时，可能配置了有对应的提示音，但是该提示音一方面不持续，另一方面可能插入时间决定于外卖完成程度，因而具有突发性，若直接插入，可能会因为突发插入的音量过大或者与应用程序a提供的音频流的播放效果差异过大震惊到用户等不好的播放效果，因此可以通过混合前的音频流整形，实现突发性的应用程序b的音频数据播放的渐入式效果。
121.再例如，该应用程序b还可包括：计时应用程序，第一设备上有定时提醒，若该定时提醒也需要借由第二设备播放，显然也会有突发性，通过提示音与其他目标应用程序的音频流混合之前的整形，就可以实现提示音的渐入。
122.此处的第二类音频流中具有突发性特点的音频流的整形，可以是对音频流包含的音频数据的幅度按照整形参数进行缩小处理。此处的整形参数可指示了整形后的音频流的音量变化曲线。
123.在一些实施例中，所述s110可包括以下至少之一：
124.将检测到投射操作的应用界面所对应的应用程序确定为所述目标应用程序；
125.根据作用于配置界面内应用程序图标的选择操作，确定所述目标应用程序；
126.根据第一配置，将所述第一设备内第一类应用程序确定为所述目标应用程序；
127.根据第二配置，将所述第一设备内第二类应用程序以外的应用程序确定为所述目标应用程序。
128.投射操作可为第一设备在人机交互接口检测到的用户操作。例如，在应用播放类应用程序的应用界面上检测到投射操作，在检测到投射操作的应用界面所对应的应用程序即为所述目标应用程序。
129.在一些实施例中，用户可能到了家之后，就想将手机的音频播转移到音箱等设备上来，也不想每次都手动触发，则可能在第一设备的设置页面内进行配置。在这种场景下，若第一设备和第二设备之间的距离足够近时，或者第一设备检测到与第二设备成功建立连接时，就可以自动进入投射，且根据配置页面的选择操作得到配置信息，确定出目标应用程
序。
130.在一些实施例中，第一设备出厂时或者设备内操作系统更新时，可能会自动配置，这种配置无需用户手动操作或者无需用户在配置页面来执行，就可以生成的第一配置。
131.第一配置可包括一个或多个应用的id，这些id可以以列表的形式呈现，该列表内的id所对应的应用程序为第一类应用程序。
132.示例性地，所述第一类应用程序包括以下至少之一：
133.音频播放类应用程序；
134.网络广播类应用程序；
135.语言学习类app。
136.语言学习类app，可以用于用户的语言学习，例如，英语学习app、法语学习类app等。
137.第二配置相当于限定了哪些应用程序是不能不经用户额外操作，直接投射到第二设备的。但是若第一设备启动了音频流自动投射模式，则会根据第二配置，将第二应用程序以外的应用程序确定为目标应用程序。
138.示例性地，所述第二类应用程序包括以下至少之一：
139.电话app；
140.即时通信app。
141.例如，此处的电话app可包括：基于电路交换域的应用程序。
142.典型的即时通信app包括但不限于：微信、qq、微博等。
143.在一些实施例中，如图4所示，所述s110可包括：
144.s111：显示预设app的音频投射页面的进入控件；
145.s112：当检测作用于进入控件的操作时，显示所述预设app的音频投射页面，其中，所述音频投射页面内包含：一个或多个所述第二设备的备选设备的设备信息；
146.s113：当检测到选择至少一个设备信息的操作时，确定所述预设app为所述目标应用程序；其中，所述被选择的所述设备标识对应的备选设备为所述第二设备。
147.所述音频投射页面可为将预设app的音频流发送到其他设备播放的控制页面。
148.该预设app可为能够提供音频流的app，具体可为前述任意实施例体提到的app，示例性地，该预设app可为音频播放类app或者网络广播类app等。
149.在一个实施例中，所述音频投射页面可不同于所述预设app的应用界面。
150.图5所示为一个音频投射页面的示意图。
151.示例性地，所述音频投射页面的显示面积可小于所述第一设备的显示屏的面积。
152.通过进入控件的显示，可以方便用户通过作用于进入控件的操作触发第一设备快捷进入到音频投射页面。图6所示为包含进入控件的按钮。
153.在音频投射页面显示了多个第二设备的备选设备的设备信息。该设备信息可为设备图标和/或设备名称和/或设备的描述信息等可以标识或区分备选设备的信息。如图5、图7a至图7d所示，该设备的描述信息可包括：客厅的小爱音箱等信息。示例性地，如图5以及图7a至图7d所示，音频投射页面的下半部分显示作为第二设备的备选设备的设备信息。
154.在一些实施例中，备选设备可为与所述第一设备建立有连接的音频设备，示例性地，已经与第一设备建立无线连接的音频设备。该音频设备可为能够进行音频播放的任意
设备。该无线连接包括但不限于：wifi连接。
155.该音频投射页面内会显示备选设备的设备信息，若检测到作用于至少一个备选设备的设备信息的选择操作，则认定当前该预设app为前述的目标应用程序。
156.所述进入控件的显示位置可有多个，示例性地，所述s111可包括：
157.显示所述预设app的按钮，其中，所述按钮至少包含所述进入控件；
158.或者
159.显示所述预设app的应用界面，其中，所述应用界面至少包含所述进入控件。
160.在一些实施例中，若当前预设app未启动，可以不用启动预设app，也可以作用于基于桌面或者负一屏等页面的触控操作，触发第一设备显示所述预设app的按钮，从而快捷找到所述进入控件。
161.若当前预设app已经启动，且第一设备正显示着所述预设app的应用界面，而进入控件也被显示在所述预设app的应用界面内，这样在不用退出预设app的应用界面的情况下，也可以便捷的触发第一设备切换到显示所述音频投射页面。图7d中第1个页面即为音乐类app的应用界面(播放界面)，在播放界面内显示有所述进入控件。
162.在本公开实施例中，第一设备的显示屏可显示预设app的按钮。该按钮可为面积小于第一设备的显示屏的显示面积的按钮。通常情况下，该预设app的按钮可为条状的倒角矩形按钮。在该按钮内包括一个或多个控件。
163.在一些实施例中，所述音频投射页面的面积可大于所述按钮的显示面积。
164.在一些实施例中，所述显示预设app的按钮包括以下至少之一：
165.在控制中心显示所述预设app的按钮；
166.在通知栏显示所述预设app的按钮；
167.在锁屏界面显示所述预设app的按钮。
168.所述按钮的显示位置有多个，具体实现时不局限于上述举例。
169.由于预设app的按钮能够显示在控制中心、锁屏界面以及通知栏等各处，因此可方便用户在第一设备的当前状态下便捷地调出所述按钮，并控制第一设备的音频投射。
170.例如，若预设app正通过第一设备自身播放音频，在检测到锁屏事件时进入锁屏状态，第一设备显示锁屏界面，并在所述锁屏界面上显示所述预设app的按钮，且所述按钮内的控件在第一设备处于锁屏状态下依然处于激活状态，即依然能够检测用户操作，并触发第一设备响应所述用户操作。
171.即在第一设备处于显示锁屏界面对应的锁屏状态下，依然可以通过所述按钮控制所述预设app的音频播放，并通过进入控件唤起所述音频投射页面。
172.同样地，第一设备处于锁屏状态下时，所述音频投射页面将悬浮显示在所述锁屏界面上，且锁屏界面内包含的控制控件均处于激活状态，处于激活状态下的控件能够检测各种用户操作，并触发第一设备响应所述用户操作。
173.在一些实施例中，如图5所示，所述音频投射页面包含：
174.第一音量调节条11，用于统一调节各所述第二设备的音量或者调节所述第一设备的音量；
175.和/或，
176.第二音量调节条12，一个所述第二音量调节条对应于一个所述第二设备，其中，所
述第二音量调节条，用于调节所述第二设备的音量。
177.例如，在第一设备有连接第二设备时，所述第一音量调节条11会用于统一调节所有第二设备的音量。在第一设备没有连接第二设备时，该第一音量调节条11会用于调节第一设备的音量。
178.即，第一音量调节条相当于总控了所有第二设备的第二音量调节条，在无第二设备时，控制第一设备的音量，而针对每一个第二设备的第二音量调节条，可以检测调节对应任意一个第二设备的输出音量的控件，如此，用户可以通过音频投射页面，不仅可以选择播放第一设备提供的音频流的第二设备、还可以从多个维度控制目标应用程序产生的音频流的播放音量等。
179.第一设备检测到作用于第一音量调节条的操作后，会生成第一音量调节指令，该第一音量调节指令用于总控所有第二设备的第二音量调节条，在无第二设备时，控制第一设备的音量。
180.第一设备检测到作用于第二音量调节条的操作后，生成第二音量调节指令，并将第二音量调节指令传输给第二设备，第二设备接收到该第二音量调节指令之后会调整所述第二设备的设备音量。
181.在一些实施例中，所述预设app为音频播放类app；所述按钮和/或所述音频投射页面还包括：音频播放的控制控件；其中，所述音频播放的控制控件，用于检测控制预设app的音频播放的操作。
182.所述控制控件包括但不限于以下至少之一：
183.播放控件，用于控制预设app的音频播放的启动或停止；
184.下一个控件，用于控制预设app的音频播放切换到下一个音频流；
185.上一个控件，用于控制预设app的音频播放切换到上一个音频流。
186.在一些实施例中，所述第一设备具有第一模式和第二模式；在所述第一模式下，所述目标应用程序的数量为一个，在所述第二模式下所述目标应用程序的数量为一个或多个。
187.所述第一模式有可以称之为单app音频流投射模式，所述第二模式可为多app音频投射模式。
188.在第一模式下，目标应用程序仅有1个，可以实现第一设备仅仅将一个应用程序产生的音频流发送给第二设备。
189.在第二模式下，目标应用程序可以是一个也可是多个。此时，第二模式可为多app音频投射模式。
190.第一设备是工作在第一模式还是工作在第二模式，可以根据检测到用户操作来确定。例如，在第一设备的设置页面，可以配置所述第一设备当前使用的工作模式，例如，第一模式被选中，则第一设备将处于第一模式，否则可以工作在第二模式。
191.对应地，所述s110可包括：当所述第一设备处于所述第一模式时，确定一个所述目标应用程序；当所述第一设备处于所述第二模式时，确定一个或多个所述目标应用程序。
192.由于第一设备处于第一模式，因此此时第一设备将仅有一个目标应用程序，若第一设备工作在第二模式，此处的目标应用程序允许为一个或多个。
193.对应地，所述当所述第一设备处于所述第一模式时，确定一个所述目标应用程序，
包括：检测作用于应用标识的选择操作；
194.当所述第一电子设备处于所述第一模式，将所述选择操作作用的最后一个应用标识对应的应用程序确定为所述目标应用程序。
195.示例性地，当所述第一电子设备处于所述第一模式，将所述选择操作作用的最后一个应用标识对应的应用程序确定为所述目标应用程序，包括：
196.当所述第一电子设备处于所述第一模式且当前无目标应用程序时，检测到将第二应用程序确定为目标应用程序的所述选择操作，将所述第一电子设备当前所述目标应用程序切换为所述第二应用程序
197.当所述第一电子设备处于所述第一模式且当前所述目标应用程序为第一应用程序时，检测到将第二应用程序确定为目标应用程序的所述选择操作，将所述第一电子设备当前所述目标应用程序切换为所述第二应用程序。
198.此处的应用标识包括但不限于第一设备显示的应用图标和/或应用名称等文字标识。
199.所述选择操作包括但不限于作用于第一设备的用户界面(user interface，ui)的任意操作，例如，作用于第一设备的触控屏上的触控操作。
200.在本公开实施例中，由于第一设备处于第一模式，若当前没有目标应用程序，基于在一次选择过程发现选择了多个应用程序，则将最后一个被选择的应用程序作为目标应用程序。
201.若当前已经有了目标应用程序，再次检测到选择目标应用程序的选择操作，则认定为目标应用程序的切换操作，会实现目标应用程序的切换。
202.在一些实施例中，所述当所述第一设备处于所述第二模式时，确定一个或多个所述目标应用程序，包括：
203.检测作用于应用标识的选择操作；
204.当所述第一电子设备处于所述第二模式且当前无所述目标应用程序，将所述选择操作作用的一个或多个的应用标识对应的应用程序确定为所述目标应用程序；
205.当所述第一电子设备处于所述第二模式时且已确定至少一个所述目标应用程序，检测到所述选择操作，将所述选择操作作用的应用标识对应的第三应用程序添加为所述目标应用程序。
206.若第一设备工作在第二模式，此时第二设备支持多个目标应用程序。若在一次目标应用程序的选择过程中，确定出选择了多个应用程序，则将这些应用程序均确定为目标应用程序，且在已经有目标应用程序的情况下，再检测到目标应用程序的选择操作，可认定是目标应用程序的添加操作，从而将选择操作作用的应用程序添加为目标应用程序。
207.在一些实施例中，不管所述第一设备是处于第一模式还是第二模式，所述方法还包括：
208.检测目标应用程序的删除操作；
209.将所述删除操作的应用程序从目标应用程序中删除。
210.在一些实施例中，所述方法还包括：
211.接收第二设备返回的控制指令；
212.将所述控制指令传输至所述目标应用程序，其中，所述控制指令，用于所述目标应
用程序执行以下至少之一：
213.停止提供所述音频流；
214.切换所述音频流；
215.调节播放音量。
216.例如，第二设备可能接收到用户操作，该用户操作会被第二设备通过与第一设备之间的连接，返回给第一设备。第一设备的无线通信模组接收到之后，会传输至对应的目标应用程序，由目标应用程序进行控制。
217.例如，第二设备为智能音箱，若智能音箱接收到指示停止播放的语音指令时，智能音箱会将该语音指令的指令信息返回给作为第一设备的手机。手机接收到之后会传输给音乐播放应用程序，音乐播放应用程序可将停止音频流的产生。若音乐播放应用程序是从网络上下载得到音频流，则接收到停止指令之后，会停止从网络上下载音频流，若是从本地读取的音频流，则会停止读取音频流，也会停止向第一设备的媒体框架发送音频流，从而减少了第一设备的不必要的操作。
218.又例如，智能音箱还可能会接收到：“换一首歌”等这种指示音频流切换的语音指令，同样地，智能音箱接收到之后会返回给手机，手机的无线通信模组接收到之后，通过媒体框架等返回给目标应用程序，供目标应用程序执行。
219.以上仅是以语音指令进行举例说明，具体实现过程中，所述第二设备返回的控制指令可以基于任意一种用户操作返回的。该用户操作可包括：手动操作和/或语音操作等。
220.在一些实施例中，若第二设备为多个时，某一个设备检测到用户操作在不返回第一设备的情况下执行响应，可能其他第二设备会依旧执行，从而产生不好的用户控制效果，因此在本公开实施例中，第一设备将接收第二设备返回的控制指令，由第一设备来执行，从而可以实现对多个设备的音频投射的同步控制。
221.如图8所示，本公开实施例提供一种音频处理装置，应用于第一设备中，所述装置包括：
222.第一确定模块110，用于确定一个或多个目标应用程序；
223.第二确定模块120，用于从所述第一设备产生的音频流中，确定出所述目标应用程序产生的音频流；其中，所述目标应用程序产生的音频流为第二类音频流，剩余应用程序产生的音频流为第一类音频流；一个所述音频流由一个应用程序产生；
224.发送模块130，用于将所述第二类音频流发送给第二设备，其中，所述第二类音频流，用于所述第二设备输出。
225.在一些实施例中，第一确定模块110、第二确定模块120及发送模块130均可包括程序模块；该程序模块被处理器执行之后，能够实现app维度的音频转移到第二设备去播放。
226.在另一些实施例中，第一确定模块110、第二确定模块120及发送模块130可为软硬结合模块；所述软硬结合模块包括但不限于：各种可编程阵列；所述可编程阵列包括但不限于：现场可编程阵列和/或复杂可编程阵列。
227.在还有一些实施例中，第一确定模块110、第二确定模块120及发送模块130还可包括但不限于：纯硬件模块；所述纯硬件模块包括但不限于专用集成电路。
228.可以理解地，所述确定模块，被配置为所述第一设备的媒体框架层接收应用层产生的音频流；根据所述目标应用程序的应用标识id及所述应用层产生的音频流携带的应用
id，确定出所述第二类音频流。
229.可以理解地，所述装置还包括：
230.在所述第一类音频流包含多个音频流时，混合所述第一类音频流包含的多个音频流得到一个所述第三类音频流；
231.输出所述第三类音频流。
232.可以理解地，所述第一确定模块，包括：
233.显示子模块，用于显示预设app的按钮，其中，所述按钮内至少包含第一控件；当检测作用于第一控件的操作时，显示所述预设app的音频投射页面，其中，所述音频投射页面内包含：一个或多个所述第二设备的备选设备的设备信息；
234.确定子模块，用于当检测到选择至少一个设备信息的操作时，确定所述预设app为所述目标应用程序；其中，所述被选择的所述设备标识对应的备选设备为所述第二设备。
235.在一些实施例中，所述显示子模块，具体用执行以下之一：
236.在控制中心显示所述预设app的按钮；
237.在通知栏显示所述预设app的按钮；
238.在锁屏界面显示所述预设app的按钮；
239.在所述预设app的应用页面显示所述预设app的按钮。
240.在一些实施例中，所述音频投射页面包含：
241.第一音量调节条，用于统一调节各所述第二设备的音量或者调节所述第一设备的音量；
242.和/或，
243.第二音量调节条，一个所述第二音量调节条对应于一个所述第二设备，其中，所述第二音量调节条，用于调节所述第二设备的音量。
244.可以理解地，所述装置还包括：
245.第一混合模块，用于在所述第二类音频流包含多个音频流时，混合多个所述第二类音频流得到一个音频流；该音频流可以称为第四类音频流；
246.所述发送模块130，用于混合后的所述一个音频流发送给所述第二设备。
247.可以理解地，所述第一确定模块110，用于执行以下至少之一：
248.将检测到投射操作的应用界面所对应的应用程序确定为所述目标应用程序；
249.根据作用于配置界面内应用程序图标的选择操作，确定所述目标应用程序；
250.根据第一配置，将所述第一设备内第一类应用程序确定为所述目标应用程序；
251.根据第二配置，将所述第一设备内第二类应用程序以外的应用程序确定为所述目标应用程序。
252.可以理解地，所述第一类应用程序包括以下至少之一：
253.音频播放类应用程序；
254.网络广播类应用程序；
255.语言学习类app；
256.和/或，
257.所述第二类应用程序包括：
258.电话app；
259.即时通信app。
260.在一些实施例中，所述显示子模块，具体用执行以下之一：
261.显示所述预设app的按钮，其中，所述按钮至少包含所述进入控件；
262.显示所述预设app的应用界面，其中，所述应用界面至少包含所述进入控件。
263.在一些实施例中，所述音频投射页面包含：
264.第一音量调节条，用于统一调节各所述第二设备的音量或者调节所述第一设备的音量；
265.和/或，
266.第二音量调节条，一个所述第二音量调节条对应于一个所述第二设备，其中，所述第二音量调节条，用于调节所述第二设备的音量。
267.在一些实施例中，所述预设app为音频播放类app；所述按钮和/或所述音频投射页面还包括：音频播放的控制控件；其中，所述音频播放的控制控件，用于检测控制预设app的音频播放的操作。
268.在一些实施例中，所述第一设备具有第一模式和第二模式；在所述第一模式下，所述目标应用程序的数量为一个；在所述第二模式下所述目标应用程序的数量为一个或多个
269.所述第一确定模块110，用于当所述第一设备处于所述第一模式时，确定一个所述目标应用程序；当所述第一设备处于所述第二模式时，确定一个或多个所述目标应用程序。
270.在一些实施例中，所述第一确定模块110，具体用于检测作用于应用标识的选择操作；
271.当所述第一电子设备处于所述第一模式且当前无所述目标应用程序，将所述选择操作作用的最后一个应用标识对应的应用程序确定为所述目标应用程序；
272.当所述第一电子设备处于所述第一模式且当前所述目标应用程序为第一应用程序时，检测到将第二应用程序确定为目标应用程序的所述选择操作，将所述第一电子设备当前所述目标应用程序切换为所述第二应用程序。
273.在一些实施例中，所述第一确定模块110，用于检测作用于应用标识的选择操作；当所述第一电子设备处于所述第二模式且当前无所述目标应用程序，将所述选择操作作用的一个或多个的应用标识对应的应用程序确定为所述目标应用程序；当所述第一电子设备处于所述第二模式时且已确定至少一个所述目标应用程序，检测到所述选择操作，将所述选择操作作用的应用标识对应的第三应用程序添加为所述目标应用程序。
274.本公开实施例提供一种电子设备，包括：
275.用于存储处理器可执行指令的存储器；
276.处理器，与存储器连接；
277.其中，处理器被配置为执行前述任意技术方案提供的音频处理方法。
278.处理器可包括各种类型的存储介质，该存储介质为非临时性计算机存储介质，在通信设备掉电之后能够继续记忆存储其上的信息。
279.处理器可以通过总线等与存储器连接，用于读取存储器上存储的可执行程序，例如，能够执行如图1、图2至图4任意所示方法的至少其中之一。
280.该电子设备可包含所述第一设备和/或第二设备。
281.图9是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可
以包含在移动电话、移动电脑等终端设备或者服务器等设备内。
282.参照图9，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
283.处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
284.存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
285.电源组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
286.多媒体组件808包括在电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作状态，如拍摄状态或视频状态时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
287.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作状态，如呼叫状态、记录状态和语音识别状态时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
288.i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
289.传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加
速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
290.通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wi-fi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
291.在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
292.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
293.本公开实施例提供一种非临时性计算机可读存储介质，当存储介质中的指令由ue的处理器执行时，使得ue或基站能够执行前述任意实施例提供的音频处理方法，能够执行1、图2至图4任意所示方法的至少其中之一。
294.该音频处理方法包括：确定一个或多个目标应用程序；从所述第一设备产生的音频流中，确定出所述目标应用程序产生的音频流；其中，所述目标应用程序产生的音频流为第二类音频流，剩余应用程序产生的音频流为第一类音频流；一个所述音频流由一个应用程序产生；将所述第二类音频流发送给第二设备，其中，所述第二类音频流，用于所述第二设备输出。
295.可以理解地，所述从所述第一设备产生的音频流中，确定出所述目标应用程序产生的音频流，包括：
296.所述第一设备的媒体框架层接收应用层产生的音频流；
297.根据所述目标应用程序的应用标识id及所述应用层产生的音频流携带的应用id，确定出所述第二类音频流。
298.可以理解地，所述方法还包括：
299.在所述第一类音频流包含多个音频流时，混合所述第一类音频流包含的多个音频流得到一个所述第三类音频流；
300.输出所述第三类音频流。
301.可以理解地，所述确定一个或多个目标应用程序，包括：
302.显示预设app的按钮，其中，所述按钮内至少包含进入控件；
303.当检测作用于进入控件的操作时，显示所述预设app的音频投射页面，其中，所述音频投射页面内包含：一个或多个所述第二设备的备选设备的设备信息；
304.当检测到选择至少一个设备信息的操作时，确定所述预设app为所述目标应用程序；其中，所述被选择的所述设备标识对应的备选设备为所述第二设备。
305.可以理解地，所述显示预设app的按钮包括以下至少之一：
306.在控制中心显示所述预设app的按钮；
307.在通知栏显示所述预设app的按钮；
308.在锁屏界面显示所述预设app的按钮；
309.在所述预设app的应用页面显示所述预设app的按钮。
310.可以理解地，所述音频投射页面包含：
311.第一音量调节条，用于统一调节各所述第二设备的音量或者调节所述第一设备的音量；
312.和/或，
313.第二音量调节条，一个所述第二音量调节条对应于一个所述第二设备，其中，所述第二音量调节条，用于调节所述第二设备的音量。
314.可以理解地，所述预设app为音频播放类app；所述按钮和/或所述音频投射页面还包括：音频播放的控制控件；其中，所述音频播放的控制控件，用于检测控制预设app的音频播放的操作。
315.可以理解地，所述方法还包括：
316.在所述第二类音频流包含多个音频流时，混合多个所述第二类音频流包含的多个音频流；
317.所述将所述第二类音频流发送给第二设备，包括：
318.将所述第二类音频流包含的多个音频流混合后发送给所述第二设备。
319.可以理解地，所述确定一个或多个所述目标应用程序，包括以下至少之一：
320.将检测到投射操作的应用界面所对应的应用程序确定为所述目标应用程序；
321.根据作用于配置界面内应用程序图标的选择操作，确定所述目标应用程序；
322.根据第一配置，将所述第一设备内第一类应用程序确定为所述目标应用程序；
323.根据第二配置，将所述第一设备内第二类应用程序以外的应用程序确定为所述目标应用程序。
324.可以理解地，所述第一类应用程序包括以下至少之一：
325.音频播放类应用程序；
326.网络广播类应用程序；
327.语言学习类app；
328.和/或，
329.所述第二类应用程序包括以下至少之一：
330.电话app；
331.即时通信app。
332.可以理解地，所述第一设备具有第一模式和第二模式；在所述第一模式下，所述目标应用程序的数量为一个；在所述第二模式下所述目标应用程序的数量为一个或多个所述确定一个或多个目标应用程序，包括：
333.当所述第一设备处于所述第一模式时，确定一个所述目标应用程序；
334.当所述第一设备处于所述第二模式时，确定一个或多个所述目标应用程序。
335.可以理解地，所述当所述第一设备处于所述第一模式时，确定一个所述目标应用程序，包括：
336.检测作用于应用标识的选择操作；
337.当所述第一电子设备处于所述第一模式，将所述选择操作作用的最后一个应用标识对应的应用程序确定为所述目标应用程序；
338.当所述第一电子设备处于所述第一模式且当前所述目标应用程序为第一应用程序时，检测到将第二应用程序确定为目标应用程序的所述选择操作，将所述第一电子设备当前所述目标应用程序切换为所述第二应用程序。
339.可以理解地，所述当所述第一设备处于所述第二模式时，确定一个或多个所述目标应用程序，包括：
340.检测作用于应用标识的选择操作；
341.当所述第一电子设备处于所述第一模式且当前无所述目标应用程序，将所述选择操作作用的一个或多个的应用标识对应的应用程序确定为所述目标应用程序；
342.当所述第一电子设备处于所述第二模式时且已确定至少一个所述目标应用程序，检测到所述选择操作，将所述选择操作作用的应用标识对应的第三应用程序添加为所述目标应用程序。
343.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
344.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。