一种声音处理方法及其装置与流程

1.本技术涉及终端领域，尤其涉及一种声音处理方法及其装置。


背景技术：

2.目前，在用户使用智能终端播放音频的过程中，终端设备一般都是单纯地进行音频回放。用户无法对正在播放的音频进行处理加工，从而无法获得基于音频的互动体验。


技术实现要素：

3.本技术提供了一种声音处理方法。实施该方法，电子设备可以通过运动检测识别一个或多个电子设备在用户在播放音频时的动作，并根据预设的关联关系确定与该动作匹配的音乐素材，从而为正在播放的音频附加娱乐性的互动效果，增加音频播放过程的趣味性，满足用户与正在播放的音频的互动需求。
4.第一方面，本技术提供了一种声音处理方法，该方法应用于第一电子设备，该方法包括：播放第一音频；检测到用户的第一动作；响应于第一动作，获取第二音频，第二音频与第一动作有对应关系，其中对应关系为用户预置的；根据第二音频，对第一音频进行处理，得到第三音频，其中第三音频和第一音频不同，且第三音频和第一音频关联；播放第三音频。
5.实施第一方面提供的方法，第一电子设备可以在用户播放音乐时，识别被检测电子设备的动作。当被检测电子设备做出预设的动作时，第一电子设备可以确定与上述动作匹配的音频，并将上述音频添加到正在播放的音乐上，与该正在播放的音乐一同播放。
6.结合第一方面的一些实施例，在一些实施例中，第二音频为预设的、用于为第一音频增加背景音效果的音频。
7.实施上述实施例提供的方法，第一电子设备可以为正在播放的音乐添加具有娱乐性互动效果的音频，满足用户与正在播放的音乐进行互动需求。
8.结合第一方面的一些实施例，在一些实施例中，在获取第二音频之后，该方法还包括：对第二音频进行处理，使之成为具有可变立体声播放效果的第二音频，可变立体声播放效果是指立体声播放效果能够随着用户与第一电子设备相对位置的变化而变化；根据第二音频，对第一音频进行处理，得到第三音频，具体包括：将具有可变立体声播放效果的第二音频和第一音频进行叠加得到第三音频。
9.实施上述实施例提供的方法，第一电子设备可以对添加的具有娱乐性互动效果的音频进行空间渲染处理，使一般的互动音频具备变化的空间立体环绕效果。
10.结合第一方面的一些实施例，在一些实施例中，对第二音频进行处理，使之成为具有可变立体声播放效果的第二音频，具体包括：获取第一电子设备相对用户的位置；根据位置确定第一参数，第一参数是从头相关变换函数数据库中获取的，调整第二音频左声道、右声道播放效果的参数；将第二音频与第一参数按频点相乘，得到具有可变立体声播放效果第二音频。
11.实施上述实施例提供的方法，第一电子设备可以通过第一电子设备相对用户的位置确定对第二音频进行空间渲染处理的参数，从而确认第二音频左声道、右声道的音频数据。这样，用户左右耳听到的左声道、右声道不同，从而形成立体声播放效果。随着相对位置的变化，空间渲染处理的参数也会不断变化，这样，用户听到的添加的具有娱乐性互动效果的音频也是立体的，且是可以随着第一电子设备与用户的相对位置变化而变化的，从而提升用户的沉浸式体验。
12.结合第一方面的一些实施例，在一些实施例中，根据第二音频，对第一音频进行处理，得到第三音频，具体包括：将第一时长的第二音频叠加到第一音频的第一区间，得到第三音频，第一区间的时长与第一时长相等。播放第三音频，具体包括：播放第三音频的第一区间内的音频。
13.实施上述实施例提供的方法，第一电子设备可以在检测到预设的设备动作后，在播放的第一音频的同时，播放第二音频。这样，用户可以立即听到正在播放的音频中添加了增加娱乐效果的互动音频。
14.结合第一方面的一些实施例，在一些实施例中，第一动作包括多个第二动作，多个第二动作为多个第二电子设备在同一时刻做出的动作的组合，第二音频包括多个第四音频，多个第四音频分别与多个第二动作对应。
15.实施上述实施例提供的方法，第一电子设备可以在检测到由多个电子设备做出的动作组合得到的动作。这样可以增加被检测动作的多样性，为用户提供更多的选择性。多个第二电子设备的动作组合形成的动作也更能准确的描述用户的肢体动作。
16.结合第一方面的一些实施例，在一些实施例中，在播放第一音频之前，该方法还包括：显示第一用户界面，第一用户界面中显示有一个或多个图标和控件，图标包括第一图标，控件包括第一控件；检测到用户作用于第一控件的第一操作；响应于第一操作，确认第二音频与第一动作关联。
17.实施上述实施例提供的方法，用户可以预先在第一电子设备中设置设备动作与具有娱乐性互动效果的音频的匹配关系。
18.结合第一方面的一些实施例，在一些实施例中，获取第二音频，具体包括：查询存储表，确定第二音频，存储表中记录了一个或多个音频，以及音频对应的动作；一个或多个音频包括第二音频，第二音频在存储表中对应第一动作；从本地数据库，或服务器获取第二音频。
19.实施上述实施例提供的方法，第一电子设备的本地存储中可以存储有存储表中预设的音乐素材，这样，在需要使用上述音乐素材时，第一电子设备可以直接从本地存储空间中获取该音乐素材。第一电子设备也可直接通过互联网从服务器获取存储表中预设的音乐素材，这样可以节省第一电子设备的存储空间。
20.结合第一方面的一些实施例，在一些实施例中，第二音频包括：乐器声、动物声、环境声或录音中任意一个。
21.实施上述实施例提供的方法，第一电子设备可以为正在播放的音乐添加这种不同的声音，例如乐器声、动物声、环境声或录音。
22.结合第一方面的一些实施例，在一些实施例中，乐器声包括：小鼓、大鼓、砂槌、钢琴、手风琴、小号、大号、长笛、大提琴或小提琴中任意一个；动物声包括：鸟鸣、蛙鸣、虫鸣、
猫叫、狗叫、羊叫、牛叫、猪叫、马叫或鸡鸣中任意一个；环境声包括：风声、雨声、雷声、流水声、海浪声或瀑布声中任意一个。
23.结合第一方面的一些实施例，在一些实施例中，第二电子设备包括第一电子设备连接的耳机，第一动作包括耳机检测到的用户的头部动作。
24.实施上述实施例提供的方法，第一电子设备可以通过检测耳机的设备运动，确定用户的头部运动。当用户跟随正在播放的音乐晃动头部时，第一电子设备可以通过耳机的运动，判断用户做出了上述晃动头部的动作。
25.结合第一方面的一些实施例，在一些实施例中，头部动作包括头部位移或头部转动中的任意一个；头部位移包括：左移、右移、上移或下移中的任意一个，头部转动包括左转、右转、仰头或低头中的任意一个。
26.结合第一方面的一些实施例，在一些实施例中，第二电子设备包括第一电子设备连接的手表，第一动作包括手表检测到的用户的手部动作。
27.实施上述实施例提供的方法，第一电子设备可以通过检测手表的设备运动，确定用户的手部运动。当用户跟随正在播放的音乐晃动手部时，第一电子设备可以通过手表的运动，判断用户做出了上述晃动手部的动作。
28.结合第一方面的一些实施例，在一些实施例中，手部动作包括手部位移或手部转动中的任意一个；手部位移包括：左移、右移、上移或下移中的任意一个，手部转动包括左转、右转、抬手或垂手中的任意一个。
29.结合第一方面的一些实施例，在一些实施例中，第二电子设备包括第一电子设备连接的耳机和手表，第一动作包括耳机和手表检测到的用户的头部动作和手部动作的组合。
30.实施上述实施例提供的方法，第一电子设备可以通过耳机和手表检测与由用户头部动作和手部动作组合形成的动作，从而增加动作类型的多样性，为用户提供更多的选择性。由用户头部动作和手部动作组合形成的动作也更能准确的描述用户的肢体动作。
31.第二方面，本技术提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器；其中，一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
32.第三方面，本技术提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
33.第四方面，本技术提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
34.可以理解地，上述第二方面提供的电子设备、第三方面提供的计算机存储介质、第四方面提供的计算机程序产品均用于执行本技术所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。
附图说明
35.图1是本技术实施例提供的一种声音处理方法的场景图；
36.图2是本技术实施例提供的一种声音处理方法的软件结构图；
37.图3是本技术实施例提供的一种声音处理方法的流程图；
38.图4a是本技术实施例提供的一种主设备识别设备动作的示意图；
39.图4b是本技术实施例提供的另一种主设备识别设备动作的示意图；
40.图4c是本技术实施例提供的主设备识别方位角的示意图；
41.图5a是本技术实施例提供的主设备对音频进行3d空间渲染的流程图；
42.图5b是本技术实施例提供的一组频域音频进行3d空间渲染的示意图；
43.图5c是本技术实施例提供的一组时域音频进行3d空间渲染的示意图；
44.图6a
‑
图6j是本技术实施例提供的一组用户界面；
45.图7是本技术实施例提供的电子设备的硬件结构图。
具体实施方式
46.本技术以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。
47.在手机连接无线耳机播放音频的过程中，无线耳机可通过跟踪用户的头部动作确定用户的左耳、右耳与手机的距离，从而调整左耳、右耳中输出的音频的音量，以满足用户沉浸式环绕声体验。但是，上述处理仅限于调整原始音频在左耳、右耳中输出的强度，以得到立体环绕声的效果，而不能满足用户在播放上述音频的过程中，与上述音频进行互动的效果。
48.为了满足用户与正在播放的音频的互动需求，增加音频播放过程的娱乐效果，提升用户使用体验，本技术实施例提供了一种声音处理方法。
49.该方法可应用于手机等电子设备。实施该方法，手机等电子设备可以建立设备动作与音乐素材的联系。在识别到预设的设备动作后，电子设备可确认与该设备动作关联的音乐素材，然后，将经过三维空间渲染处理后的音乐素材与用户正在播放的音频进行融合，然后输出。
50.上述设备动作是指由用户运动引起的电子设备的位置、形态的变化，包括位移动作，和/或，转动动作。其中，位移动作是指由于电子设备当前位置相对于前一时刻的位置的变化产生的动作，包括左移、右移、上移、下移。电子设备可通过加速度传感器采集的数据判断该电子设备是否执行上述任一位移动作。转动动作是指由于电子设备当前时刻的方向相对于前一时刻的方向变化产生的动作，包括左转、右转、上转、下转。电子设备可通过陀螺仪传感器采集的数据判断该电子设备是否执行上述任一转动动作。可以理解的，若采取更细致的划分标准，上述位移动作、转动动作还可包括更多的类型。
51.可选的，上述设备动作还包括组合动作。上述组合动作是指多个电子设备在同一时刻做出的动作的组合。例如，在同一时刻，第一个被检测的电子设备做出了左移的动作，第二个被检测的电子设备做出了左转的动作，此时，上述左移和左转组合而成的动作为一个组合动作。
52.上述音乐素材是指预设的具备特定内容的音频数据，包括乐器声、动物声、环境声
以及用户自定义的录音文件等等。上述乐器声例如小鼓、大鼓、砂槌、钢琴、手风琴、小号、大号、长笛、大提琴、小提琴等。上述动物声例如鸟鸣、蛙鸣、虫鸣、猫叫、狗叫、羊叫、牛叫、猪叫、马叫、鸡鸣等。上述环境声例如风声、雨声、雷声、流水声、海浪声、瀑布等。
53.三维空间渲染(three
‑
dimensional space rendering)是指利用头相关变换函数(head related transfer function，hrtf)对音频数据进行处理，使得处理后的音频数据可以在用户的左耳、右耳具备立体环绕效果。后续实施例将简称头相关变换函数为头函数。利用头函数处理音频数据的模块称为头函数滤波器。
54.实施上述方法，用户可以在播放音频时，可以通过自身运动(例如摇头、晃手等)带动电子设备运动，从而为上述正在播放的音频附加娱乐性的互动效果，增加音频播放过程的趣味性，满足用户与正在播放的音频的互动需求。
55.图1示例性示出了实施上述声音处理方法的系统10。下面将结合系统10介绍实施上述方法涉及的场景。
56.如图1所示，系统10可包括主设备100、从设备200。
57.其中，主设备100可用于获取和处理音频文件。主设备100可以连接从设备200，利用从设备200提供的发声单元的播放能力，在从设备200端播放音频信号。即在主设备100端执行音频文件解析任务，在从设备200端执行播放音频信号的任务。上述系统10包括主设备100和从设备200的场景可称为第一场景。
58.图1所示的主设备100以手机类型的电子设备为例，从设备200以耳机类型的电子设备为例。不限手机，主设备100还可包括平板电脑、个人电脑(personal computer，pc)、个人数字助理(personal digital assistant，pda)、智能可穿戴电子设备、增强现实(augmented reality，ar)设备、虚拟现实(virtual reality，vr)设备等。上述电子设备也可为其它便携式电子设备，诸如膝上型计算机(laptop)等。还应当理解的是，在其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是台式计算机等等。电子设备的示例性实施例包括但不限于搭载linux或者其它操作系统的便携式电子设备。
59.主设备100与从设备200的之间的连接可以为有线连接，也可以为无线连接。其中无线连接包括但不限于高保真无线通信(wi re less fide l ity，wi
‑
fi)连接、蓝牙连接、nfc连接、zigbee连接。若主设备100与从设备200之间为有线连接，则从设备200的设备类型可以是有线耳机；若主设备100与从设备200之间为无线连接，则从设备200的设备类型可以是无线耳机，包括头戴式无线耳机、颈挂式无线耳机和真无线耳机(true wireless headset，tws)。本技术实施例对此不做限制。
60.在第一场景中，主设备100检测的对象包括：主设备100，和/或，从设备200。即在第一场景中，主设备100的检测对象可以只包括自身；也可只包括从设备200；还可以既包括主设备100又包括从设备200。具体主设备100检测的对象可由用户设置。
61.主设备100中记录中有设备动作与音乐素材的关联关系。主设备100和从设备200在播放音频的过程中，主设备100可实时地检测电子设备的设备动作。当检测到某一设备动作后，根据上述关联关系，主设备100可确定与该动作匹配的音乐素材。参考表1，表1示例性示出了上述设备动作与音乐素材的关联关系。
62.表1
[0063][0064][0065]
例如，当主设备100检测到主设备100发生上移时，响应于上述上移动作，主设备100可确定与上述主设备100上移动作关联的音乐素材为长笛。然后，主设备100可在正在播放的音频上添加与该设备动作(上移)对应的音乐素材(长笛)，使得正在播放的音频文件还附带有该音乐素材(长笛)的效果，从而增加音频播放过程的趣味性，满足用户与正在播放的音频的互动需求。
[0066]
其中，“无效果”可指示不匹配音乐素材。例如，当主设备100检测到从设备200发生上移后，主设备100可不为在正在播放的音频上添加任何互动的音乐素材。
[0067]
可以理解的，若系统10还包括其他电子设备，则表1中记录的设备动作与音乐素材也会相应地增多，本技术实施例对此不再一一例举。当然，表1中记录的设备动作与音乐素材也不一定都是当前被检测电子设备的。例如，表1中记录的设备动作与音乐素材的关联关系包括主设备100的和从设备200的，而在实际的被检测对象可能仅包括主设备100(或从设备200)。
[0068]
可选的，表1也可记录有多个被检测电子设备的单个动作组合而成的设备动作。例如，主设备100左移 从设备200右移等等。本技术实施例对于动作的类型不做限制。
[0069]
此外，表1中所例举的设备动作也是可选的。当主设备100检测的设备动作仅包括位移动作时，表1中可仅记录位移动作和音乐素材的关联关系；当主设备100检测的设备动作仅包括转动动作时，表1中可仅记录转动动作和音乐素材的关联关系。
[0070]
表1示例性示出的设备动作与音乐素材的关联关系是预设的。用户可通过的主设备100提供的用户界面设置与设备动作匹配的音乐素材。后续实施例将会详细介绍上述用户界面，这里先不展开。
[0071]
在其他实施例中，系统10还可包括从设备300(第二场景)。其中从设备300包括：智能可穿戴设备(例如智能手表、智能手环等)、游戏手持设备(例如游戏手柄等)。
[0072]
主设备100可记录与从设备300的设备动作匹配的音乐素材。当检测从设备300的做出某一设备动作后，主设备100可为确定与该动作匹配的音乐素材，然后将该音乐素材附加到主设备100正在播放的音频上。
[0073]
这样，在播放音频(特别是音乐)的过程中，用户跟随音乐挥手的动作可被从设备300捕获到，进一步的，主设备100可以依据从设备300的设备动作为正在播放的音频文件添加更多的互动的音乐素材。
[0074]
在第二场景中，前述介绍的组合动作还可包括从设备300的动作，例如从设备200
上转 从设备300下移等等。
[0075]
在上述实施例中，智能手表、智能手环等智能可穿戴设备可以作为从设备300。在其他实施例中，智能手表、智能手环等智能可穿戴设备也可以作为主设备100。上述场景例如：智能手表播放音乐、智能手表连接无线耳机播放音乐等等。本技术实施例对此不作限制。
[0076]
图2示例性示出了实施本技术实施例提供的声音处理方法的软件结构20。下面结合图2具体介绍实施上述方法的软件结构。
[0077]
如图2所示，软件结构20包括两部分：音频播放模块201和互动音效处理模块202。
[0078]
音频播放模块201包括：原始音频211、基础音效212、输出音频213以及叠加模块214。互动音效处理模块202可包括：音乐素材库221、个性化设置模块222、运动检测模块223、头函数数据库224以及3d空间渲染模块225。
[0079]
原始音频211可用于指示主设备100正在播放的音频。例如响应于播放音乐的用户操作，主设备100播放某一歌曲(歌曲a)，此时，歌曲a的音频数据可称为主设备100正在播放的音频。
[0080]
基础音效212可用于为原始音频211附加一些基本的播放效果。基础音效212可以修饰原始音频211，使得用户最后听到的更高品质的音频。上述附加基本的播放效果例如：均衡(调节音乐的音色)、动态范围控制(调节音乐的响度)、限幅(防止算法产生削波)以及低频增强(增强低频的效果)等。
[0081]
输出音频213可用于指示从设备200实际播放的音频。输出音频213所包含的内容和效果是用户可直接听到或感受到的。例如，当输出音频213经过3d空间渲染后，用户听到的声音可具备空间立体环绕的效果。
[0082]
在本技术实施例中，音频播放模块201还包括叠加模块214。叠加模块214可用于为原始音频211附加娱乐性的互动效果。具体的，叠加模块214可接收互动音效处理模块202发送的音乐素材，并将上述音乐素材与原始音频211进行融合，使得播放融合后的音频即包括原始音频211的内容，又包括上述音乐素材的内容，即使得原始音频211附带有娱乐性的互动效果。
[0083]
在叠加模块214接收到互动音效处理模块202发送的音乐素材之前，互动音效处理模块202需要确定上述互动效果的具体内容，即确定为原始音频211附加哪一些音乐素材。同时，互动音效处理模块202还需对选定的音乐素材进行3d空间渲染，使得该音乐素材具备空间立体环绕的效果，从而提升用户体验。
[0084]
音乐素材库221中存储了多种音乐素材，包括前述实施例介绍的乐器声、动物声、环境声以及用户自定义的录音文件等等。原始音频211上附加的音乐素材来自于音乐素材库221。
[0085]
音乐素材库221中包括的音乐素材可以全部存储在主设备100上，也可以存储在服务器中。当存储在主设备100上时，主设备100在使用上述音乐素材时可直接从本地存储器中获取。当存储在服务器上时，主设备100可从服务器上下载需要的音乐素材到本地存储器，然后从本地存储器中读取上述音乐素材。上述服务器是指存储有大量音乐素材的且为终端设备提供获取上述音乐素材服务的设备
[0086]
上述需要的音乐素材是指：与被检测电子设备的设备动作关联的音乐素材。参考
表1，所被检测对象仅包括主设备100，则主设备100的存储器中需要存储的音乐素材包括：大鼓、左转、猫叫、海浪声、长笛、狗叫、海浪声、大提琴。上述音乐素材之外的，主设备100可无需提前从云上下载到本地，从而节省主设备100的存储空间。
[0087]
个性化设置模块222可用于设置设备动作与音乐素材的关联关系。用户可通过个性化设置模块222将任一设备动作与任一音乐素材匹配，例如，用户可通过个性化设置模块222将主设备100向左移动的动作与大鼓匹配。
[0088]
经过个性化设置模块222的预设，主设备100可得到记录有上述关联关系的存储表，参考表1。基于上述存储表，主设备100可随时确定与任一设备动作对应的音乐素材。
[0089]
运动检测模块223可用于检测主设备100、从设备200、从设备300等电子设备是否做出了上述存储表中记录的动作。具体的，上述电子设备中可安装有加速度传感器和陀螺仪传感器。其中，加速度传感器可用于检测上述电子设备是否发生位移动作；陀螺仪传感器可用于检测上述电子设备是否发生转动动作。
[0090]
当主设备100(或从设备200)发生位移动作时，加速度传感器的3轴的数据会发生变化。上述3轴是指空间直角坐标系中的x轴、y轴和z轴。根据上述3轴的数据的变化，主设备100可确定到主设备100(或从设备200)是否发生了位移。同理，根据陀螺仪传感器采集到的数据的变化，主设备100可确定到主设备100(或从设备200)是否发生了转动。加速度传感器和陀螺仪传感器的具体工作原理可参考后续介绍，这里先不展开。
[0091]
在检测电子设备是否做出特定的设备动作的同时，运动检测模块223还可检测主设备100的方位角的变化。上述方位角是指主设备100相对于用户头部的方位角度。其中，运动检测模块223可将开始播放音频时的主设备100的位置设置为默认值，例如方位角为0
°
(即默认主设备100在用户的正前方)。然后，主设备100可根据移动后的位置与前一时刻的位置的变化计算新的方位角。具体计算方式可参考后续实施例的介绍，这里先不展开。
[0092]
在运动检测模块223检测到特定的设备动作后，主设备100可查询个性化设置模块222中的存储表，确定与上述设备动作匹配的音乐素材。在确定音乐素材后，主设备100可从音乐素材库221获取上述音乐素材的音频数据。同时，根据运动检测模块223计算的新的方位角，主设备100可通过查询头函数数据库224确定与该方位角对应的滤波系数。上述滤波系数是指主设备100利用头函数滤波器确定左耳、右耳输出音频的参数。
[0093]
例如，在运动检测模块223检测到主设备100做出向左移动的动作后，通过表1所示的存储表，主设备100可确定与该向左移动的动作匹配的音乐素材为大鼓。同时，由于主设备100向左移动的动作，主设备100相对于用户的方位角会由前一方位角(这里假设前一方位角就是初始默认值0
°
)变化为280
°
(即正前方偏左80
°
)。
[0094]
然后，3d空间渲染模块225可利用上述特定滤波系数的头函数滤波器，对选定的音乐素材进行空间渲染，使之具备立体环绕效果。这样，附加在原始音频211上的音乐素材也是具备立体环绕效果的。
[0095]
根据系统10中被检测对象的变更，软件结构20中运动检测模块223的检测对象可相应地变更。例如，当系统10不包括从设备300时，运动检测模块223的检测对象不包括从设备300。若系统10包括主设备100、从设备200，但被检测对象仅包括从设备200，此时，运动检测模块223的检测对象仅包括从设备200。
[0096]
下面结合图3具体介绍本技术实施例提供的一种声音处理方法的流程图。
[0097]
s101：主设备100记录动作与音乐素材的关联关系。
[0098]
如图3所示，首先，主设备100需要先确定设备动作与音乐素材的关联关系，即确定什么样的设备动作对应什么样的音乐素材。基于上述关联关系，当检测到某一设备动作后，主设备100才可确定与该动作对应的音乐素材。
[0099]
具体的，在主设备100确定动作与音乐素材的关联关系时，主设备100可显示第一用户界面。该界面显示有被检测的电子设备、被检测的电子设备的动作类型(设备动作)以及预设的供用户选择音乐素材的按钮。响应于作用在上述按钮的用户操作，主设备100可显示预设的音乐素材库221中记录的音乐素材。
[0100]
上述被检测的电子设备包括：主设备100，和/或，从设备200，和/或，从设备300。当然，用户也可删除主设备100显示的支持被检测的电子设备。例如，当主设备100检测到从设备300后，主设备100可在上述第一用户界面显示从设备300。此时，若用户确认不需要检测从设备300的用户操作，则用户可以删除从设备300。响应于上述删除操作，主设备100可不显示从设备300。
[0101]
上述被检测的电子设备的动作类型为预设的设备动作，包括位移动作和转动动作。位移动作可包括左移、右移、上移、下移。同样的，转动动作可包括左转、右转、上转、下转。可以理解的，不限于上述例举的位移动作和转动动作，上述预设的设备动作还可以是其他动作，本技术实施例对此不做限制。
[0102]
上述可供用户选择的多个音乐素材是指预设的具备特定内容的音频，包括乐器声、动物声、环境声以及用户自定义的录音文件等等，这里不再赘述。
[0103]
在显示第一用户界面后，用户可设置哪一电子设备的哪一动作匹配哪一音乐素材。响应于上述用户操作，主设备100可记录动作与音乐素材的关联关系。
[0104]
结合图2，具体的，主设备100可包括音乐素材库221、个性化设置模块222。音乐素材库221中存储有多个可供选择的不同类型的音频数据，即音乐素材。个性化设置模块222可记录有预设的设备动作。首先，个性化设置模块222可将上述设备动作匹配一个默认音乐素材。上述默认音乐素材包括“无效果”、随机音乐素材。
[0105]
响应于作用在第一用户界面上的设置关联关系的用户操作，个性化设置模块222可将原来记录的与某一设备动作匹配的音乐素材修改为新的用户指定的音乐素材。参考表2，个性化设置模块222原来记录的与主设备100向左移动匹配的音乐素材为雨声。在用户将雨声修改为大鼓后，个性化设置模块222记录的与主设备100向左移动匹配的音乐素材可变更为大鼓。
[0106]
这样，当检测到某一设备动作后，查询个性化设置模块222中的记录，主设备100可确认与该动作匹配的音乐素材。
[0107]
s102：主设备100下载与设备动作关联的音乐素材。
[0108]
在用户设定与设备动作匹配的音乐素材后，主设备100可首先确定上述音乐素材是否已经存储在本地存储器中。上述本地存储器是指主设备100的存储器。
[0109]
若本地存储器已经存储有上述音乐素材，则在需要调用上述音乐素材的时候，主设备100可直接从该存储器获取。若本地存储器还未存储有上述音乐素材，则主设备100需要向提供上述音乐素材的服务器获取上述音乐素材，并将上述音乐素材存储在本地存储器中，以便于随时调用。
[0110]
这样，音乐素材库221可包括大量音乐素材，而主设备100中可根据实际需求获取部分音乐素材，从而降低对主设备100的存储能力的需求。进一步的，主设备100也可每次在实施本技术实施例提供的声音处理方法时下载需要的音乐素材，在不需要的时候，删除已下载的音乐素材。
[0111]
s102是可选的。若音乐素材库221中记录的音乐素材仅包括主设备100中存储的音乐素材，那么，主设备100也就无需从服务器音乐素材。反之，若音乐素材库221中记录的音乐素材为服务器提供的，则主设备100的本地存储器中可能仅包括部分音乐素材库221中记录的音乐素材。这时，主设备100需要确定用户指定的与设备动作匹配的音乐素材是否均可从本地存储器获取。若不能，则主设备100需要提前将未下载到本地存储器的音乐素材存下载到本地存储器。
[0112]
例如，在表2中记录了与主设备100向左移动匹配的音乐素材为大鼓后，若主设备100确定本地存储器中尚未存储有上述大鼓的音频数据，则主设备100需要从提供大鼓的服务器下载大鼓的音频数据。这样，当主设备100检测到主设备100做出向左移动的动作时，主设备100可直接从本地存储器中获取大鼓的音频数据。
[0113]
s103：响应于用户操作，主设备100播放音频。
[0114]
主设备100可检测到用户播放音频的操作，响应于上述播放操作，主设备100可开始播放原始音频。上述播放音频的操作可以是作用于第三方软件音频软件的操作，也可以是作用于主设备100的系统自带的音频软件的操作。
[0115]
具体的，当本技术实施例提供的声音处理方法作为一个系统应用时，主设备100的系统自带的音频软件或第三方软件音频软件均可利用该系统应用，为正在播放的音频附加娱乐性的互动音效。当然，上述方法也可是第三方音频软件提供的一个功能插件。这样，当使用上述第三方音频软件，且启用上述插件时，主设备100可以为正在播放的音频附加娱乐性的互动音效。
[0116]
主设备100可以根据预设的长度，对正在播放的音频数据进行分割。这样，正在播放的音频数据可被分割成若干数据段。其中，正在播放的数据段可被称为第一数据段。第一数据段之后，即将播放的数据段可被称为第二数据段。
[0117]
在主设备100播放第一数据段时，主设备100可检测到某一设备动作。在确定与上述设备动作对应的音乐素材，并对该素材进行处理后，主设备100可将处理后的音乐素材的音频数据(附加音频数据)与第二数据段进行融合，使第二数据段不仅包括原始音频的内容，还包括附加的音乐素材的内容。可以理解的，上述附加音频数据的数据长度与第二数据段的数据长度一致。
[0118]
s104：主设备100获取运动数据，并根据上述运动数据确定设备动作和与该动作关联的音频素材以及方位角。
[0119]
在开始播放原始音频后，主设备100可开始获取被检测的电子设备的运动数据。上述运动数据包括加速度传感器采集的数据(加速度数据)和陀螺仪传感器采集的数据(陀螺仪数据)。上述运动数据可指示上述被检测的电子设备是否做出了与预设动作匹配的动作。
[0120]
以被检测设备包括：主设备100、从设备200为例，主设备100可收到自身的加速度数据和陀螺仪数据。同时，主设备100还可收到从设备200的加速度数据和陀螺仪数据。其中，从设备200的加速度数据和陀螺仪数据可通过主设备100与从设备200之间的有线或无
线连接发送到主设备100。可以理解的，当被检测的电子设备增多或减少，则主设备100需要获取的运动数据相应增多或减少。
[0121]
在获取到电子设备的加速度数据和陀螺仪数据之后，主设备100可计算上述运动数据指示的设备动作。
[0122]
图4a示出了主设备100根据加速度数据确定设备动作的示意图。如图4a所示，加速度传感器可以以主设备100的中心点为原点建立空间直角坐标系。其中，坐标系x轴的正方向水平向右；坐标系y轴的正方向垂直向上；坐标系z轴的正方面对用户向前。因此，上述加速度数据具体包括：x轴加速度、y轴加速度和z轴加速度。
[0123]
x轴加速度的取值接近重力加速度g值(9.81)可说明主设备100的左侧边朝下。反之，x轴加速度的取值接近负的g值可说明主设备100的右侧边朝下。同理，y轴加速度的取值接近g值可说明主设备100的下侧边朝下；y轴加速度的取值接近负的g值可说明主设备100的上侧边朝下(倒置)；z轴加速度的取值接近g值可说明主设备100的屏幕朝上，即此时的z轴正方向与图中y轴正方向一致；z轴加速度的取值接近负的g值可说明主设备100的屏幕朝下，即此时的z轴正方向与图中y轴负方向一致。
[0124]
基于已确定的设备朝向，主设备100可进一步确定设备动作。具体的，以图4a所示的设备朝向为例(y轴朝上，x轴朝右)，如果x轴加速度的取值为正，则主设备100可确认自身做出了向右移动的动作；如果x轴加速度的取值为负，则主设备100可确认自身做出了向左移动的动作；如果y轴加速度取值等于a g，则主设备100正在以am/s2的加速度向上移动；如果y轴加速度取值等于
‑
a g，则主设备100正在以
‑
a m/s2的加速度向下移动。
[0125]
这样，当加速度传感器采集的数据符合上述预设条件时，主设备100可确定主设备100做出了与该预设条件对应的设备动作(位移动作)。进一步的，主设备100可确定与该位移动作匹配的音乐素材。
[0126]
图4b示出了主设备100根据陀螺仪数据确定设备动作的示意图。如图4b所示，陀螺仪传感器也可以以主设备100的中心点为原点建立空间直角坐标系，参考图4a的介绍，这里不再赘述。上述陀螺仪数据具体包括：x轴角速度、y轴角速度和z轴角速度。
[0127]
在主设备100发生移动时，主设备100还可能同时发生转动。在转动时，陀螺仪传感器建立的主设备100的中心点为原点空间直角坐标系也会发生变化。根据上述变化，主设备100可确定自身做出了转动动作。
[0128]
例如，主设备100可以以y轴为旋转中心，从右向左转动。上述动作可对应表1中的左转。在单位时间内，在左转的过程中，空间直角坐标系的x轴、z轴的正方向会发生变化。具体的，参考图4c，左转前，x轴的正方向可表示为x1所指的方向；z轴的正方向可表示为z1所示所指的方向。左转后，x轴的正方向可表示为x2所指的方向；z轴的正方向可表示为z2所示所指的方向。此时，x1与x2之间的转动角记为θ(角速度：θ/s)；z1与z2之间的转动角也为θ(角速度：θ/s)；y轴的转动角为0(角速度：0/s)。
[0129]
这样，当陀螺仪传感器采集的数据符合上述预设条件时，主设备100可确定主设备100做出了与该预设条件对应的设备动作(转动动作)。进一步的，主设备100可确定与该转动动作匹配的音乐素材。
[0130]
主设备100确定从设备200是否做出预设的设备动作的方法可参考前述介绍，这里不再赘述。
[0131]
在检测电子设备的设备动作的同时，主设备100还要确定主设备100相对于用户的方位角。具体的，主设备100可根据两次位置的变化确定主设备100在做出某一特定设备运动后的方位角。
[0132]
以主设备100做出左移动作为例，图4c示出了主设备100确定主设备100左移后的方位角的示意图。如图4c所示，图标41示出了左移前主设备100的位置。图标42示出了左移后主设备100的位置。
[0133]
首先，主设备100可将初始的方位(θ0)设置为0
°
、距离为d1，即默认主设备100在用户的正前方(图标41所示的位置)。这里的距离是指设备中心点距离听音者双耳连线中点的距离。这是因为用户在完成播放音频的操作时，通常会将手机放置在正对用户的前方，且距离通常在50cm以内(双臂长度)，以便于可以正视屏幕并完成作用于手机屏幕的播放操作。
[0134]
主设备100可通过左移从图标41所示的位置移动到图标42所示的位置。此时，主设备100可确定自身左移的距离，记为d2。这时，主设备100相对于用户的新的方位角θ1可通过上述d1、d2确定。同时，主设备100还可确定此时与用户的距离d3。
[0135]
依次类推，主设备100可通过运动的距离、方向与前一时刻的位置确定运动后的位置，从而确定与用户的方位角。基于上述方位角，主设备100可确定头函数滤波器使用的滤波系数。
[0136]
在其他实施例中，主设备100还可通过深感摄像头，直接检测主设备100与用户的距离。
[0137]
s105：将与设备动作匹配的音乐素材输入头函数滤波器进行3d空间渲染，使上述音乐素材的音频数据具备具有空间立体环绕效果。
[0138]
头函数滤波器是指利用头相关变换函数(hrtf)对音频数据进行处理的装置。头函数滤波器可以模拟声音信号在三维空间中的传播，使得用户双耳听到的声音不同，且具有空间立体环绕效果。
[0139]
参考s104，在根据电子设备的运动数据确定电子设备做出某一特定的设备动作后，主设备100可通过个性化设置模块222中记录的对应关系，确定与该设备动作匹配的音乐素材。在获取该音乐素材后，主设备100可首先使用头函数滤波器对该音乐素材的音频数据进行3d空间渲染，然后再将处理后的音频数据叠加到原始音频上，从而使用户听到的音频不仅附带互动音效，而且其互动音效还具备空间立体环绕效果。
[0140]
具体的，头函数滤波器对音乐素材的音频数据进行3d空间渲染的过程可如图5a所示：
[0141]
s201：将音乐素材的音频数据进行时频域转换。
[0142]
首先，主设备100可将上述音乐素材的音频数据进行时域转换或频域转换，得到时域音频数据或频域音频数据。
[0143]
s202：根据方位角度确定头函数滤波器的滤波系数。
[0144]
在使用头函数滤波器对选定的音乐素材的音频数据进行3d空间渲染之前，主设备100还需要确定头函数滤波器的滤波系数。滤波系数可影响3d空间渲染的渲染效果。如果滤波系数不合适甚至错误，则经过头函数滤波器处理后的声音与实际传播到用户双耳的声音会具有明显差别，从而影响用户的收听体验。
[0145]
滤波系数可通过方位角确定。具体的，头相关变换函数(hrtf)数据库中记录有方
位角与滤波器数据的映射关系。在确定方位角后，主设备100可通过查询hrtf数据库确定头函数滤波器的滤波系数。根据时域和频域的区分，同一方位角对应的滤波系数也相应地分为时域滤波系数和频域滤波系数。
[0146]
参考s201，若确定从频域上对音乐素材的音频数据进行3d空间渲染，则主设备100可确定频域滤波系数作为头函数滤波器的滤波系数。反之，若确定从时域上对音乐素材的音频数据进行3d空间渲染，则主设备100可确定时域滤波系数作为头函数滤波器的滤波系数。
[0147]
s203：将转换后的音乐素材的音频数据输入头函数滤波器进行过滤。
[0148]
在获得频域(或时域)音频数据、且确定滤波系数后，主设备100可将上述音频数据输入上述滤波系数对应的头函数滤波器。然后，头函数滤波器可将输入的频域(或时域)音频数据与对应地滤波系数相乘，得到渲染后的频域(或时域)音频数据。这时，渲染后的频域(或时域)音频数据可具备空间立体环绕效果。
[0149]
s204：进行反时频变换，获得经过头函数滤波器处理后的3d空间渲染信号。
[0150]
参考s201，在将音频数据输入头函数滤波器进行过滤之前(s203)，主设备100将该音频数据进行了时频域转换。因此，在完成过滤后，主设备100还需要将经过了时频域转换的音频数据进行反时频域变换，从而使得经过时频域转换的音频数据恢复成音频播放器可处理的数据格式。
[0151]
若s201中进行的是时域变换，则主设备100采用反时域变换对渲染后的音频数据进行转换；反之，若s201中进行的是频域变换，则主设备100采用反频域变换对渲染后的音频数据进行转换。
[0152]
以频域3d空间渲染为例，图5b示例性示出了头函数滤波器使用频域滤波系数对频域音频信号进行3d空间渲染的示意图。
[0153]
如图5b所示，图表511为某个音频素材的频域信号。其中，纵轴为样点幅度(db)，横轴为频率(hz)。图表511中的频域信号可作为s201中介绍的经过频域转换后的音乐素材的音频数据。图表512和图表513分别为头函数数据库中某一方位角对应的频域滤波系数。其中图表512为该方位角对应的左声道频域滤波系数；图表513为该方位角对应的右声道频域滤波系数。纵轴为头函数幅度(db)，横轴为频率(hz)。
[0154]
将图表511中的音频数据与图表512和图表513所示的频域滤波系数按频点相乘，主设备100可分别得到渲染后的左声道频域音频信号和右声道频域音频信号。图表514和图表515分别示出了左声道频域音频信号和右声道频域音频信号。
[0155]
然后，进行反频域转换，主设备100可得到渲染后的左声道音频信号和右声道音频信号。进一步的，从设备200的左耳设备可播放上述左声道音频信号；从设备200的右耳设备可播放上述右声道音频信号。这样，用户左右耳听到的附加音乐素材是不同的且具有空间立体环绕效果的。
[0156]
头函数滤波器也可使用时域滤波系数对时域音频信号进行3d空间渲染。参考图5c，图表521示出了某个音频素材的时域信号。其中，纵轴为样点幅度，横轴为按时间的样点序号。图表522和图表523分别为头函数数据库中某一方位角对应的时域滤波系数。其中，图表522为该方位角对应的左声道时域滤波系数；图表523为该方位角对应的右声道时域滤波系数。纵轴为样点幅度，横轴为按时间的样点序号。
[0157]
将上述时域信号(图表521)分别经过上述时域滤波系数(图表522、图表523)进行卷积(convolution)后，可以得到3d空间渲染后的左声道时域信号(图表524)和右声道时域信号(图表525)。
[0158]
基于时域的方法，在滤波器长度较长的情况，计算复杂度比基于频域的方法高。因此，在滤波器长度较长的情况，主设备100可优先采取基于频域的方法，对频域音频信号进行渲染，以降低时间复杂度，节省计算资源。
[0159]
s106：将经过空间渲染的音乐素材附加到主设备100正在播放的音频上。
[0160]
在得到经过3d空间渲染后的音乐素材后，主设备100可将上述音乐素材附加到主设备100正在播放的音频上。这样，用户便可以同时听到正在播放的音频和附加的音乐素材。
[0161]
一般的，主设备100可直接将音乐素材附加的到正在播放的音频上。若同时叠加的音频的数量过多，则容易出现叠加后信号过大，从而造成削波。因此，在附加音乐素材的过程中，主设备100还可加权的方法避免叠加后信号过大的情况。
[0162]
例如，需要附加的音乐素材包括n个，则每个音频素材的权重可以为：
[0163]
w
i
＝1/n
[0164]
因此，叠加音乐素材后的音频为：
[0165][0166]
其中soutput是叠加后的输出信号，sinput是原始播放的音乐信号，ri为第i个音乐素材，wi为第i个音乐素材的权重。
[0167]
另外，主设备100还可以给不同的电子设备设定不同的权重，但权重之和为1。例如，当被检测的电子设备数量为3时，包括主设备100、从设备200、从设备300，从设备200的权重w1可以为0.3、从设备300的权重w2可以为0.3、主设备100的权重w3可以为0.4。
[0168]
s107：对附加音频素材的原始音频进行基础音效处理，然后播放。
[0169]
在附加音乐素材后，主设备100还可对附加音乐素材后的音频进行基础音效处理。上述基础音效具体包括：均衡、动态范围控制、限幅以及低频增强等等。具体可参考图2的介绍，这里不再赘述。经过基础音效处理后的音频具备更好的品质。因此，用户可以获得更好的收听体验。
[0170]
然后，主设备100可播放上述音频。其中，将电信号转换为声音信号的过程由从设备200完成。此时，用户通过从设备200听到的声音既包括原本用户指定播放的音频，还包括根据设备运动产生的互动性音乐素材。
[0171]
实施图2所示的声音处理方法，主设备100可以在播放音乐等音频时，检测电子设备的运动状态。当检测到该电子设备做出与预设动作相符的动作时，主设备100可该与上述动作匹配的音乐素材附加到上述正在播放的音乐上。这样，用户可以在听音乐的同时，为该音乐添加互动效果，从而提高音乐播放过程的趣味性，满足用户与正在播放的音频的互动需求。
[0172]
进一步的，在附加音乐素材的过程中，主设备100还根据电子设备与用户之间的位置变化，对附加的音乐素材进行3d空间渲染，从而使用户听到的附加的音乐素材还具有空间立体环绕的效果。
[0173]
图6a
‑
图6j是本技术实施例提供的一组用户界面。下面结合图6a
‑
图6j介绍实施本
申请实施例提供的一种声音处理方法的用户界面示意图。
[0174]
图6a示出了主设备100显示第一用户界面示意图。如图6a所示，该第一用户界面包括状态栏601、区域602、区域603。其中，状态栏601具体包括：移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符、高保真无线通信(wi re less fide l ity，wi
‑
fi)信号的一个或多个信号强度指示符，电池状态指示符、时间指示符等。区域602可用于显示一些全局性的设置按钮。区域603可用于显示具体的与各个设备动作匹配的音乐素材。
[0175]
区域603中显示的“耳机a”、“手机b”、“手表c”是可选的。主设备100可检测到作用于某一电子设备的用户操作，响应于该操作，主设备100可设置不检测该电子设备的设备动作。上述用户操作例如是左滑删除操作等等，本技术实施例对此不作限制。
[0176]
区域602中可显示按钮611、按钮612。当检测到作用于按钮611的用户操作时，响应于上述操作，主设备100可以随机地匹配设备动作和音乐素材。这样，用户无需再一一地设置与各个设备动作匹配的音乐素材。此时，区域603中显示的与各个设备动作关联的音乐素材为“随机”。
[0177]
当检测到作用于按钮612的用户操作时，响应于上述操作，主设备100可显示图6b所示的用户界面。此时，用户可一一地设置与各个设备动作匹配的音乐素材。例如图6b中的区域603示出的“耳机a”的左转动作可匹配小鼓类型的音乐素材。
[0178]
图6a(或图6b)所示的第一用户界面还可包括按钮613、按钮614。按钮613可用于设置用户的心情。根据上述心情，主设备100可对音乐素材库221中提供的音乐素材进行筛选。对于明显不符合用户当前心情的音乐素材，主设备100可不显示出来。这样，用户可以通过按钮613过滤掉一部分自己不需要的音乐素材，从而降低用户指定音乐素材的操作复杂度。
[0179]
例如，主设备100可检测到作用于按钮613的用户操作，响应于上述操作，主设备100可显示图6c所示的用户界面。此时，主设备100可显示一系列可供用户选择的心情类型，包括喜悦、悲伤、愤怒、恐惧等等。当主设备100检测到作用于任意心情选项的用户操作后，主设备100可根据该心情类型筛选音乐素材库221中提供的所有类型的音乐素材。例如，当主设备100检测到作用于悲伤按钮631的用户操作后，主设备100可根据该悲伤的心情类型将音乐素材库221中提供的符合悲伤心情的音乐素材筛选出来。上述符合悲伤心情的音乐素材例如二胡、雨声等等。上述明显不符合悲伤心情的音乐素材例如唢呐、鸟鸣等等，主设备100可不显示。
[0180]
图6c所示的用户界面还包括随机按钮632、无效果按钮633。当检测到作用于随机按钮632的用户操作时，响应于上述操作，主设备100可随机地设置用户的心情类型，然后根据随机设置的心情类型筛选与该心情类型匹配的音乐素材。当检测到作用于无效果按钮633的用户操作时，响应于上述操作，主设备100可不执行从心情类型的角度对音乐素材库221中提供的音乐素材进行筛选的操作。
[0181]
在其他实施例中，上述心情也可以是主设备100自动感知的，即主设备100可通过获取用户的生理数据判断用户当前的心情。例如，图6c所示的用户界面可包括自感知按钮634。
[0182]
按钮614可用于设置整体的附加音乐素材的音乐风格。同理，根据选定的音乐风格，主设备100可对音乐素材库221中提供的音乐素材进行筛选。对于明显不符合用户当前音乐风格的音乐素材，主设备100可不显示出来。这样，用户可以通过按钮614过滤掉一部分
自己不需要的音乐素材，从而降低用户指定音乐素材的操作复杂度。
[0183]
响应于作用在按钮614的用户操作，主设备100可显示图6d所示的用户界面。此时，主设备100可显示一系列可供用户选择的音乐风格，包括流行、摇滚、电子、民谣、古典等等。例如，当主设备100检测到作用于摇滚按钮的用户操作后，主设备100可将音乐素材库221中提供的符合摇滚类型的音乐素材筛选出来。上述符合摇滚类型的音乐素材例如吉他、贝斯、架子鼓等等。上述明显不符合摇滚类型的音乐素材例如古筝、琵琶等等，主设备100可不显示。
[0184]
上述介绍的主设备100显示音乐素材库221中提供的音乐素材的界面可参考图6e
‑
图6j。在主设备100显示第一用户界面的过程中，当主设备100检测到作用于任一音乐素材按钮的用户操作时，主设备100可显示包括多种类型音乐素材的用户界面。
[0185]
例如，在图6b所示的用户界面中，当检测到作用于按钮621的用户操作时，主设备100可显示图6e所示的用户界面。该界面可显示有多个不同类型的选项按钮，例如按钮651、按钮652、按钮653、按钮654。其中，按钮651可用于展示乐器类型的音乐素材。按钮652可用于展示动物声类型的音乐素材；按钮653可用于展示环境类型的音乐素材；按钮654可用于展示用户的录音。
[0186]
响应于作用在按钮651的用户操作，主设备100可显示图6f所示的用户界面。该用户界面可显示有多个指示不同乐器类型按钮，例如小鼓、大鼓、砂槌、钢琴、手风琴等等。主设备100可检测到作用于任一按钮的用户操作，响应于该操作，主设备100可将该按钮对应的音乐素材匹配到按钮621对应的设备动作(左转)。这样，当检测到上述设备动作时，主设备100可将上述音乐素材添加到正在播放的音频上。
[0187]
响应于作用在按钮652的用户操作，主设备100可显示图6g所示的用户界面。该用户界面可显示有多个指示不同动物声类型按钮，例如鸟鸣、蛙鸣、虫鸣、猫叫、狗叫等等。响应于作用在按钮653的用户操作，主设备100可显示图6h所示的用户界面。该用户界面可显示有多个指示不同动物声类型按钮，例如风声、雨声、雷声、流水声等等。响应于作用在按钮654的用户操作，主设备100可显示图6i所示的用户界面。该用户界面可显示有多个指示用户自定义录音的按钮，例如hello、hi、加油等等。
[0188]
可以理解的，在选择某一类型的音乐素材后，若检测到作用于另一音乐素材的用户操作时，主设备100可将后一个音乐素材设置为用户选择的音乐素材，即一个设备动作匹配一个类型的音乐素材。例如，当用户在乐器声中选择了小鼓后，若用户又在环境声中选择雨声，此时，主设备100可确定上述雨声为用户选择的音乐素材。
[0189]
图6f
‑
图6g示出的用户界面还包括随机按钮和无效果按钮。上述随机按钮和无效果按钮可参考图6c的介绍，这里不再赘述。
[0190]
如图6e所示，主设备100还可在按钮651、按钮652、按钮653、按钮654的右边设置随机按钮。这样，用户可以直接在图6e所示用户界面设置随机音乐素材，从而减少用户操作，降低操作复杂度，提升用户体验。图6e所示的用户界面还可包括按钮655。参考上述随机按钮。按钮655可以在图6e所示的用户界面为用户提供设置无效果的功能，从而减少用户操作，降低操作复杂度，提升用户体验。
[0191]
此外，图6e所示的用户界面还可包括按钮655。当检测到作用于按钮656的用户操作后，响应于该操作，主设备可显示图6j所示的用户界面。如图6j所示，该界面可包括开始
录音按钮、录音试听按钮、保存录音按钮等等。
[0192]
在保存录音后，在主设备100再次显示图6i所示的用户界面时，该界面可包括指示用户新录制的录音文件的按钮。例如，在用户录制了一个文件名称为“欢迎光临”的录音后，在主设备100再次显示图6i所示的用户界面时，该界面可包括名称为“欢迎光临”的按钮。用户可点击该按钮，选择该音乐素材。
[0193]
图6i所示的用户界面也可包括新增录音的按钮，参考图6e所示的按钮656的介绍，这里不再赘述。
[0194]
实施图6a
‑
图6j所示的方法，用户可以自由地选择设置与设备动作匹配的音乐素材。这样，当检测到预设的设备动作时，通过查询用户预设的关联关系，主设备100可确定与上述设备动作关联的音乐素材。
[0195]
在本技术实施例中：
[0196]
图2所示的原始音频211可称为第一音频；为原始音频211附加风声、鼓声等音乐素材可称为第二音频；经过3d空间渲染模块225处理过的第二音频可称为具有可变立体声播放效果的第二音频。
[0197]
用户头部左移的动作可称为第一动作。从设备200左移的设备动作可反映上述用户头部左移的动作。第一动作还可以是组合动作，例如用户同时左移头部和左移手臂的动作可称为第一动作。其中，第一动作中，左移头部可称为一个第二动作；左移手臂可称为另一个第二动作。当第一动作为上述组合动作时，左移头部对应的音乐素材可称为一个第四音频；左移手臂对应的音乐素材可可称为另一个第四音频。此时，第二音频包括上述两个第四音频。
[0198]
图2所示的输出音频213可称为第三音频。
[0199]
图5a中根据方位角度确定的头函数滤波器的滤波系数可称为第一参数。
[0200]
参考s103的介绍，主设备100对正在播放的音频进行切分可得到若干段音频数据，其中即将播放的第二数据段可称为第一区间。第一区间的时长与附加的音乐素材的时长相等，即与第一时长的相等。
[0201]
图6a或图6b所示的用户界面可称为第一用户界面；图6a或图6b中，“耳机a”中表示“左转”动作的图标可称为第一图标、第一图标后用于选择音乐素材的控件621(图6a中控件621上显示的音乐素材的名称为随机，图6b中显示的音乐素材的名称为小鼓)可称为第一控件。
[0202]
表1所示的表可称为存储表。
[0203]
图7示例性示出了主设备100、从设备200、从设备300的硬件结构图。下面结合图7介绍本技术实施例涉及的电子设备的硬件结构。
[0204]
其中，主设备100的硬件模块包括：处理器701、存储器702、传感器703、触摸屏704、音频单元705。从设备200的硬件模块包括：处理器711、传感器712、发声单元713。从设备300的硬件模块包括：处理器721、传感器722。
[0205]
可以理解的是，本发明实施例示意的结构并不构成对上述电子设备的具体限定。在本技术另一些实施例中，上述电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0206]
相对于主设备100，从设备200和从设备300的硬件模块结构以及模块间的协作关系更加简单。因此，这里以主设备100为例，介绍主设备100的硬件结构。
[0207]
处理器701可以包括一个或多个处理单元，例如：处理器701可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural
‑
network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0208]
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0209]
处理器701中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器701中的存储器为高速缓冲存储器。该存储器可以保存处理器701刚用过或循环使用的指令或数据。如果处理器701需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器701的等待时间，因而提高了系统的效率。
[0210]
在一些实施例中，处理器701可以包括一个或多个接口。接口可以包括集成电路(inter
‑
integrated circuit，i2c)接口，集成电路内置音频(inter
‑
integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general
‑
purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0211]
i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器701可以包含多组i2c总线。处理器701可以通过不同的i2c总线接口分别耦合触摸传感器，充电器，闪光灯，摄像头等。例如：处理器701可以通过i2c接口耦合触摸传感器，使处理器701与触摸传感器通过i2c总线接口通信，实现主设备100的触摸功能。
[0212]
i2s接口可以用于音频通信。在一些实施例中，处理器701可以包含多组i2s总线。处理器701可以通过i2s总线与音频单元705耦合，实现处理器701与音频单元705之间的通信。在一些实施例中，音频单元705可以通过i2s接口向无线通信模块传递音频信号，实现通过蓝牙耳机接听电话的功能。
[0213]
pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频单元705与无线通信模块可以通过pcm总线接口耦合。在一些实施例中，音频单元705也可以通过pcm接口向无线通信模块传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
[0214]
uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器701与无线通信模块。例如：处理器701通过uart接口与无线通信模块中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频单元705可以通过uart接口向无线通信模块传递音频信号，实现通过蓝牙耳机播放音乐的功能。
[0215]
mipi接口可以被用于连接处理器701与触摸屏704，摄像头等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，触摸屏704串行接口(display serial interface，dsi)等。在一些实施例中，处理器701和摄像头通过csi接口通信，实现主设备100的拍摄功能。处理器701和触摸屏704通过dsi接口通信，实现主设备100的显示功能。
[0216]
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器701与摄像头，触摸屏704，无线通信模块，音频单元705，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
[0217]
usb接口是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口可以用于连接充电器为主设备100充电，也可以用于主设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
[0218]
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对主设备100的结构限定。在本技术另一些实施例中，主设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0219]
存储器702可以包括一个或多个随机存取存储器(random access memory，ram)和一个或多个非易失性存储器(non
‑
volatile memory，nvm)。
[0220]
随机存取存储器可以包括静态随机存储器(static random
‑
access memory，sram)、动态随机存储器(dynamic random access memory，dram)、同步动态随机存储器(synchronous dynamic random access memory,sdram)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,ddr sdram，例如第五代ddr sdram一般称为ddr5 sdram)等；
[0221]
非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。
[0222]
快闪存储器按照运作原理划分可以包括nor flash、nand flash、3d nand flash等，按照存储单元电位阶数划分可以包括单阶存储单元(single
‑
level cell,slc)、多阶存储单元(multi
‑
level cell,mlc)、三阶储存单元(triple
‑
level cell,tlc)、四阶储存单元(quad
‑
level cell,qlc)等，按照存储规范划分可以包括通用闪存存储(英文：universal flash storage，ufs)、嵌入式多媒体存储卡(embedded multi media card，emmc)等。
[0223]
随机存取存储器可以由处理器701直接进行读写，可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令)，还可以用于存储用户及应用程序的数据等。
[0224]
非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等，可以提前加载到随机存取存储器中，用于处理器701直接进行读写。
[0225]
主设备100还可包括外部存储器接口可以用于连接外部的非易失性存储器，实现扩展主设备100的存储能力。外部的非易失性存储器通过外部存储器接口与处理器701通信，实现数据存储功能。例如将音乐，视频等文件保存在外部的非易失性存储器中。
[0226]
在本技术实施例中，实现该声音处理方法的计算机程序可存储在存储器702中。
[0227]
传感器703包括多个传感器。在本技术实施例中，实施本技术实施例提供的方法主
要涉及加速度传感器和陀螺仪传感器。
[0228]
加速度传感器可检测主设备100在各个方向上(一般为三轴)加速度的大小。当主设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
[0229]
陀螺仪传感器可以用于确定主设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器确定主设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器检测主设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消主设备100的抖动，实现防抖。陀螺仪传感器还可以用于导航，体感游戏场景。
[0230]
在本技术实施例中，主设备100检测主设备100、从设备200(以及从设备300)的设备动作依赖于加速度传感器和陀螺仪传感器。主设备100确定自身与用户的方位角也依赖于上述传感器。
[0231]
传感器703还可包括其他传感器，例如压力传感器、气压传感器、磁传感器、距离传感器、接近光传感器、环境光传感器、指纹传感器、温度传感器、骨传导传感器等等。
[0232]
压力传感器用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器可以设置于触摸屏704。压力传感器的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器，电极之间的电容改变。主设备100根据电容的变化确定压力的强度。当有触摸操作作用于触摸屏704，主设备100根据压力传感器检测所述触摸操作强度。主设备100也可以根据压力传感器的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
[0233]
气压传感器用于测量气压。在一些实施例中，主设备100通过气压传感器测得的气压值计算海拔高度，辅助定位和导航。
[0234]
磁传感器包括霍尔传感器。主设备100可以利用磁传感器检测翻盖皮套的开合。在一些实施例中，当主设备100是翻盖机时，主设备100可以根据磁传感器检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
[0235]
距离传感器，用于测量距离。主设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，主设备100可以利用距离传感器测距以实现快速对焦。
[0236]
接近光传感器可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。主设备100通过发光二极管向外发射红外光。主设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定主设备100附近有物体。当检测到不充分的反射光时，主设备100可以确定主设备100附近没有物体。主设备100可以利用接近光传感器检测用户手持主设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器也可用于皮套模式，口袋模式自动解锁与锁屏。
[0237]
环境光传感器用于感知环境光亮度。主设备100可以根据感知的环境光亮度自适应调节触摸屏704亮度。环境光传感器也可用于拍照时自动调节白平衡。环境光传感器还可
terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0249]
除上述介绍的硬件模块外，主设备100还可包括其他硬件模块。
[0250]
主设备100还可包括通信模块。通信模块包括：天线，移动通信模块，无线通信模块，调制解调处理器以及基带处理器等。在本技术实施例中，主设备100可通过上述通信模块与从设备200之间建立无线连接。基于上述无线连接，主设备100可以通过从设备200的发声单元713将音频电信号转换为声音信号。同时，基于上述无线连接，主设备100可获取从设备200的传感器712采集的运动数据(加速度数据、陀螺仪数据)。
[0251]
天线用于发射和接收电磁波信号。主设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
[0252]
移动通信模块可以提供应用在主设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，移动通信模块的至少部分功能模块可以被设置于处理器701中。在一些实施例中，移动通信模块的至少部分功能模块可以与处理器701的至少部分模块被设置在同一个器件中。
[0253]
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器，受话器等)输出声音信号，或通过触摸屏704显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器701，与移动通信模块或其他功能模块设置在同一个器件中。
[0254]
无线通信模块可以提供应用在主设备100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi
‑
fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器701。无线通信模块还可以从处理器701接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。
[0255]
在一些实施例中，主设备100的天线和移动通信模块耦合，天线和无线通信模块耦合，使得主设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time
‑
division code division multiple access，td
‑
scdma)，长
期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi
‑
zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
[0256]
主设备100还包括gpu，触摸屏704，以及应用处理器等。上述硬件模块支持实现显示功能。gpu为图像处理的微处理器，连接触摸屏704和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器701可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0257]
触摸屏704用于显示图像，视频等。触摸屏704包括显示面板。显示面板可以采用液晶触摸屏704(liquid crystal display，lcd)，有机发光二极管(organic light
‑
emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active
‑
matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light
‑
emitting diode，fled)，miniled，microled，micro
‑
oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，主设备100可以包括1个或n个触摸屏704，n为大于1的正整数。
[0258]
主设备100可以通过isp，摄像头，视频编解码器，gpu，触摸屏704以及应用处理器等实现拍摄功能。
[0259]
isp用于处理摄像头反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头中。
[0260]
摄像头用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal
‑
oxide
‑
semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，主设备100可以包括1个或n个摄像头，n为大于1的正整数。
[0261]
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当主设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
[0262]
视频编解码器用于对数字视频压缩或解压缩。主设备100可以支持一种或多种视频编解码器。这样，主设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
[0263]
充电管理模块用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块可以通过usb接口接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块可以通过主设备100的无线充电线圈接收无线充电输入。充电管理模块为电池充电的同时，还可以通过电源管理模块为电子设备供电。
[0264]
电源管理模块用于连接电池，充电管理模块与处理器701。电源管理模块接收电池和/或充电管理模块的输入，为处理器701，存储器702，触摸屏704，摄像头，和无线通信模块等供电。电源管理模块还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块也可以设置于处理器701中。在另一些实施例中，电源管理模块和充电管理模块也可以设置于同一个器件中。
[0265]
npu为神经网络(neural
‑
network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现主设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0266]
按键包括开机键，音量键等。按键可以是机械按键。也可以是触摸式按键。主设备100可以接收按键输入，产生与主设备100的用户设置以及功能控制有关的键信号输入。
[0267]
马达可以产生振动提示。马达可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于触摸屏704不同区域的触摸操作，马达也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0268]
指示器可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0269]
sim卡接口用于连接sim卡。sim卡可以通过插入sim卡接口，或从sim卡接口拔出，实现和主设备100的接触和分离。主设备100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口也可以兼容不同类型的sim卡。sim卡接口也可以兼容外部存储卡。主设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，主设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在主设备100中，不能和主设备100分离。
[0270]
从设备200的处理器711、传感器712、发声单元713可参考上述处理器701、传感器703、音频单元705的介绍；从设备300的处理器721、传感器722可参考上述处理器701、传感器703的介绍，这里不再赘述。此外，从设备200、从设备300还可包括其他硬件模块，本技术实施例对此不做限制。
[0271]
实施本技术实施例提供的声音处理方法，用户可以在播放音频时，可以通过自身动作(例如摇头、晃手等)带动电子设备动作。电子设备可以通过运动检测识别上述动作，并根据预设的关联关系确定与上述动作匹配的音乐素材，从而为正在播放的音频附加娱乐性的互动效果，增加音频播放过程的趣味性，满足用户与正在播放的音频的互动需求。
[0272]
本技术的说明书和权利要求书及附图中的术语“用户界面(user interface，ui)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，xml)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图
片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如xml通过<textview>、<imgview>、<videoview>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hyper text markup language，gtml)，层叠样式表(cascading stylesheets，css)，java脚本(javascript，js)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如gtml通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
[0273]
用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素。
[0274]
在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本技术中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。上述实施例中所用，根据上下文，术语“当
…
时”可以被解释为意思是“如果
…”
或“在
…
后”或“响应于确定
…”
或“响应于检测到
…”
。类似地，根据上下文，短语“在确定
…
时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定
…”
或“响应于确定
…”
或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
[0275]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘)等。
[0276]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：rom或随机存储记忆体ram、磁碟或者光盘等各种可存储程序代码的介质。