页面呈现、移动端交互及音频编辑的方法与装置与流程

1.本公开涉及一种移动端交互领域，尤其涉及一种页面呈现、移动端交 互及音频编辑的方法与装置。


背景技术：

2.随着智能手机的普及，人们越来越多的使用手机录制音频作品(例如， 歌唱作品)，并期望为自己的音频作品自由添加各类音效。
3.数字音频工作站(digital audio workstation：一般简写作daw)也 称宿主软件，是一类集作曲、编曲、混音于一体的用来制作音乐用的电脑 软件。现有的daw通常需要在电脑端等配备大屏的终端安装。在具体操 作中，由于进度条和键盘区不在一个屏幕可视范围，需要多个界面来回切 换。另外，由于琴键布局按键众多，直接移植到移动端操作会因为点击位 置小容易造成误操作，并且通常需要使用者具备专业知识才能创作，使用 门槛较高。
4.因此，需要一种适于在移动端上使用的音频编辑方案。


技术实现要素：

5.本公开要解决的一个技术问题是提供一种页面呈现方案，该方案能够 同屏显示音频进度条和操作琴键区，由此方便用户自由添加乐器组合及声 音采样，达到制作完整编曲效果的音乐作品的效果。
6.根据本公开的第一个方面，提供了一种页面呈现方法，包括：显示包 括音频触发区域和音频节奏显示区域的音频编辑页面；以及所述音频节奏 显示区域响应于音频触发区域的触发信号进行显示。
7.根据本公开的第二个方面，提供了一种移动端交互方法，包括：获取 对音频编辑页面弹奏区域的输入；渲染所述输入的输入效果，及播放对应 的声音；依据所述输入效果及所述声音，完成音频编辑。
8.根据本公开的第三个方面，提供了一种音频编辑方法，包括：显示包 括音频节奏显示区域和音频触发区域的音频编辑页面；获取对所述音频触 发区域内声音触发按键的触发操作；以及播放对应于声音触发按键操作的 音效，并在所述音频节奏显示区域内显示对应于所述触发操作的播放显 示。
9.根据本公开的第四个方面，提供了一种音视频编辑方法，包括：显示 包括音频节奏显示区域、音频触发区域和视频展示区域的音频编辑页面； 获取对所述音频触发区域内声音触发按键的触发操作；以及播放对应于声 音触发按键操作的音效，并在所述音频节奏显示区域内显示对应于所述触 发操作的播放显示。其中，在所述视频展示区域内显示相应的视频内容。
10.根据本公开的第五个方面，提供了一种直播方法，包括：获取并显示 播主进行音频编辑的音频编辑页面，所述音频编辑页面包括音频节奏显示 区域和音频触发区域；获取
所述播主对所述音频触发区域内声音触发按键 的操作；以及播放对应于声音触发按键操作的音效，并在所述音频节奏显 示区域内显示行进的音频进度条。
11.根据本公开的第六个方面，提供了一种音频编辑共享方法，包括：向 多个用户同时显示包括音频节奏显示区域和音频触发区域的音频编辑页 面；在所述音频节奏显示区域内的音频进度条行进的情况下，获取当前操 作用户对所述音频触发区域内声音触发按键的操作；以及向所述多个用户 播放对应于声音触发按键操作的音效，并在所述音频节奏显示区域内显示 行进的音频进度条。
12.根据本公开的第七个方面，提供了一种音频制作方法，包括：获取用 户的音频表演作品；进入包括音频节奏显示区域和音频触发区域的音频编 辑页面；在所述音频节奏显示区域内的音频进度条行进的情况下，获取用 户对所述音频触发区域内声音触发按键的操作，其中，所述音频进度条对 应于所述音频表演作品；以及在所述音频表演作品上叠加播放对应于声音 触发按键操作的音效，并在所述音频节奏显示区域内显示对应于所述触发 操作的播放显示。
13.根据本公开的第八个方面，提供了一种页面呈现装置，包括：音频编 辑页面显示单元，用于显示包括音频节奏显示区域和音频触发区域的音频 编辑页面；以及音频编辑页面刷新单元，用于所述音频节奏显示区域响应 于音频触发区域的触发信号进行显示。
14.根据本公开的第九个方面，提供了一种移动端交互装置，包括：输入 页面获取单元，用于获取对音频编辑页面弹奏区域的输入；渲染和播放单 元，用于渲染所述输入的输入效果，及播放对应的声音；以及音频编辑单 元，用于依据所述输入效果及所述声音，完成音频编辑。
15.根据本公开的第十个方面，提供了一种音频编辑装置，包括：音频编 辑页面显示单元，显示包括音频节奏显示区域和音频触发区域的音频编辑 页面；声音触发按键选择单元，用于获取对所述音频触发区域内声音触发 按键的操作；以及播放和显示单元，用于播放对应于声音触发按键操作的 音效，并在所述音频节奏显示区域显示对应于所述触发操作的播放显示， 例如在音频进度条中显示对应的声音标记。
16.根据本公开的第十一个方面，提供了一种计算设备，包括：处理器； 以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使 处理器执行如上述第一至第七方面所述的方法。
17.根据本公开的第十二个方面，提供了一种非暂时性机器可读存储介 质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时， 使处理器执行如上述第一至第七方面所述的方法。
18.本发明的音频编辑方案通过在移动端同屏实现弹奏和编曲曲谱预览， 以及使用更适合手机操作的琴键布局(例如，12打击垫布局)，能够在移 动端上实现近似于电脑端数字音频工作站(daw)的音乐制作效果。该 方案还可以基于和弦曲谱生成旋律提示，降低用户创作旋律的门槛。
附图说明
19.通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的 上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性 实施方式中，相同的参考标
号通常代表相同部件。
20.图1示出了根据本发明一个实施例的页面呈现方法的示意性流程图。
21.图2示出了根据本发明一个实施例的音频编辑页面的布局示意图。
22.图3示出了根据本发明一个实施例的音频编辑页面的操作演示图。
23.图4示出了根据本发明的页面呈现的一个例子。
24.图5示出了根据本发明的页面呈现的另一个例子。
25.图6示出了根据本发明一个实施例的移动端交互方法的示意性流程 图。
26.图7a-b示出了根据本发明的音效编辑例。
27.图8示出了根据本发明的音频编辑方法的示意性流程图。
28.图9示出了根据本发明一个实施例的页面呈现装置的组成示意图。
29.图10示出了根据本发明一个实施例的移动端交互装置的组成示意图。
30.图11示出了根据本发明一个实施例的音频编辑装置的组成示意图。
31.图12示出了根据本发明一实施例可用于实现上述页面呈现、移动端 交以及音频编辑方法的计算设备的结构示意图。
具体实施方式
32.下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显 示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开 而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使 本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的 技术人员。
33.随着智能手机的普及，人们越来越多的使用手机录制音频作品(例如， 歌唱作品)，并期望为自己的音频作品自由添加各类音效。
34.数字音频工作站(digital audio workstation：一般简写作daw)也 称宿主软件，是一类集作曲、编曲、混音于一体的用来制作音乐用的电脑 软件。现有的daw通常需要在电脑端等配备大屏的终端安装。在具体操 作中，由于进度条和键盘区不在一个屏幕可视范围，需要多个界面来回切 换。另外，由于琴键布局按键众多，直接移植到移动端操作会因为点击位 置小容易造成误操作，并且通常需要使用者具备专业知识才能创作，使用 门槛较高。
35.本发明提供了一种在移动端实现的页面呈现和相应的移动端交互及 音频编辑方案，该方案能够同屏显示音频进度条和操作琴键区，由此方便 用户自由添加乐器组合及声音采样，达到制作完整编曲效果的音乐作品的 目的。进一步地，该方案还可以通过使用更适合手机操作的琴键布局(例 如，12打击垫布局)以及可自由插入和自定义的音效，在移动端上实现近 似于电脑端数字音频工作站(daw)的音乐制作效果。另外，该方案还 可以基于和弦曲谱生成旋律提示，降低用户创作旋律的门槛。
36.图1示出了根据本发明一个实施例的页面呈现方法的示意性流程图。 该页面呈现方法尤其适用于在终端设备上，例如，智能手机上，通过安装 的app实现。例如，本发明的方案可以实现为一种专用的音频编辑app， 或者实现作为弹唱app的一个音频编辑模块。
37.在步骤s110，显示包括音频节奏显示区域和音频触发区域的音频编辑 页面。在此，可以基于用户的音频编辑操作，进入相应的音频编辑页面。 例如，在弹唱或是卡拉ok场
景下，用户可以先录入一段音频，并在录入 完毕后点击触摸屏上显示的音频编辑按钮进入本发明的音频编辑页面。在 一个实施例中，用户可以载入例如手机本地存储的音频进行编辑。在另一 个实施例中，用户可以选择音频编辑页面下自带的音频旋律进行音效编 辑。在一个极端的实施例中，用户可以不载入任何音频，并直接在该音频 编辑页面中完成所有声音元素的输入和编辑。
38.在步骤s120，所述音频节奏显示区域响应于音频触发区域的触发信号 进行显示。
39.在本发明中，音频触发区域以及音频节奏显示区域可以同时在音频操 作页面中显示。音频触发区域内包括包括声音触发按键以供用户操作，并 且可以一直保持对声音触发按键的显示(虽然如下所述可以是对不同分类 的声音触发按键的显示)，而音频节奏显示区域内可以仅在特定操作下进 行对应显示，例如显示播放中的音频进度条。由于音频进度条是反映音频 播放进度的指示，因此可以在音频播放时显示，而在其他时期不显示。
40.通过在同一个音频编辑页面内同时显示音频触发区域和音频节奏显 示区域，避免了现有daw中由于进度条和键盘区不在一个屏幕可视范围， 需要多个界面来回切换的操作不便，提升了操作效率。
41.在此，音频节奏显示区域内响应于音频触发区域的触发信号进行的显 示可以具有各种各样的形态。具体地，响应于对所述音频触发区域内声音 触发按键的操作，所述音频节奏显示区域可以显示对应的声音标记。在此， 声音标记可以指代视觉上可感知的用于标记该触发输入的内容，上述视觉 上的感知需要与该触发输入所对应的声音输出相同步。例如，用户在钢琴 音色下输入一个特定音高的和弦，与此同时，移动端的音频电路输出该和 弦，并在音频节奏显示区域内给出相应的显示。上述显示，例如，声音标 记可以具有各种各样的形态，例如可以是彩色的气泡、跳舞的小人等，并 且优选可以是在音频进度条内显示的标记。举例来说，当与播放的声音同 步，因此各个声音标记可用动画进行显示，换句话说，在其所表示的对应 声音被播放时，该声音标记会有不同于其不被播放时的显示。例如，声音 标记可以在其对应声音被播放时才显示，被点亮，或是经过如下时间线等。
42.在一个实施例中，音频节奏显示区域内可以包括音频进度条，该音频 进度条可以指代根据时间线的移动展示音频内包含的至少部分声音信息 的进度条。音频触发区域内所显示的声音触发按键则可以在用户的操作下 为音频添加音效，同时将添加的音效能够以一定的形式，例如声音标记， 反映在音频节奏显示区域内的音频进度条中。
43.图2示出了根据本发明一个实施例的音频编辑页面的布局示意图。在 图2所示的音频编辑页面中，包括进度条11的音频节奏显示区域10可以 位于页面上部，包括声音触发按键21的音频触发区域20可以位于页面下 部。在其他实施例中，音频节奏显示区域和音频触发区域也可以位于页面 的不同位置，例如音频触发区域在上，音频节奏显示区域在下。
44.图2示出的是移动端，尤其是智能手机上的页面布局图。由于智能手 机通常配备有触摸屏，因此可以通过触摸屏幕显示对应位置上的虚拟按键 完成各类操作。为此，用户对所述音频触发区域内声音触发按键的操作可 以包括：用户对触摸屏中显示的所述音频触发区域内声音触发按键的触摸 操作。在某些实施例中，例如对使用了接近传感器的显示屏幕中，用户对 所述音频触发区域内声音触发按键的操作也可以包括：用户对触摸屏中显 示的所述音频触发区域内声音触发按键的接近操作，例如，在屏幕的对应 区域之上悬停。
45.由于现有惯例中通常使用水平方向来表征时间，为此本发明的音频进 度条优选
显示为在水平方向上延伸的进度条。相应地，声音标记也可以是 结合时间线一并显示的在水平方向延伸的、具有预定长度的线段。在此， 线段的长度通常用于表征该音效的持续时间。也可以是折线图显示，折线 图的密集度和高度可以用来表征该音效的特征。
46.在图2所示的实施例中，在所述音频节奏显示区域10内的音频进度 条可以包括：固定的时间线12，以及随时间移动的进度条。如图所示，在 进行音频播放时，记录了音频和/或音效信息的进度条可以从屏幕右侧朝向 屏幕左侧行进，并且当前正经过时间线12的进度条内容与当前正播放音 频的内容相对应。
47.图3示出了根据本发明一个实施例的音频编辑页面的操作演示图。如 图3所示，伴随着用户载入的背景音频的播放，进度条11如图3中的灰 色箭头所示从屏幕右侧朝向屏幕左侧行进。当用户在音频播放过程中的某 一时刻，点击了声音触发按键区的某一个声音触发按键(如图中灰标的按 键21)时，移动端的音频输入模块可以经由自带的扬声器或是与其连接的 耳机或音箱等设备播放与该声音触发按键相对应的音效(即，按键产生的 音效叠加正播放的背景音效)，并相应地，在行进中的音频进度条中生成 对应的线段13。可以将线段13经过时间线12的显示看作是该例中的声音 标记。为此，步骤s130可以包括响应于用户对所述音频触发区域内声音 触发按键的操作，在所述音频节奏显示区域内的音频进度条中同步显示对 应长度的线段。在一个实施例中，线段的长度可以对应于用户对相应按键 的按键时长。在其他实施例中，一次按键(一次点击)可以对应于一个标 准(或是说最短)长度的线段，并且系统可以识别用户的按压操作(区别 于点击)，并根据按压的时长生成相应长度的相等。
48.虽然在图2和图3中示出了位置固定的时间线12，但是在其他实施例 中，时间线12也可以采取其他形态，例如是时间点(例如，设置在进度 条11至少的小型倒三角)等。作为补充或是替换，音频节奏显示区域还 可以采取时间线或时间点随时间移动，进度条显示固定的可选布局方案。 该方案尤其适用于短音频编辑的预览或回放。此时，可以将进度条11在 音频节奏显示区域10内进行完整长度的显示，并且随着音频的播放，时 间线12从屏幕左侧向屏幕右侧滑动(即与图3中的灰色箭头方向相反)。
49.如图2和3所示，为了方便操作，可以在音频触发区域内同时显示多 个声音触发按键。在本发明中，“声音触发按键”也可被称为“琴键”， 或者如下结合交互方案所称为的“弹奏按键”。但是与单排显示的常规琴 键(例如，钢琴琴键)不同，本发明的声音触发按键的布局区别于原始乐 器的触发布局，尤其可以显示为多排多列的多个虚拟打击垫按键，如图示 的12键打击垫。音乐制作领域的打击垫(launchpad)类似于电子合成器， 可以配合音频编辑软件，对其进行编辑和操控，可以自定义每个垫片的音 色和乐句。
50.相比于现有技术中模拟实际乐器的琴键操作页面，本发明中多排多列 显示的声音触发按键更能够适应移动端屏幕显示区域有限的需求，在方便 按键的同时避免误操作。如图所示，现有音频编辑软件中的琴键操作页面 因为按键众多且仅在一个维度上排列，往往需要占据整个屏幕，因此需要 与可编辑的音频进度条区域在分开的页面显示。进度条和键盘区由于不在 一个屏幕可视范围，因此用户在进行音频编辑时需要多个界面来回切换， 造成编辑效率低下。另外，移动端由于受限于屏幕大小，无法直接移植模 拟直接钢琴黑白琴键的操作页面。
51.在其他的实施例中，音频触发区域内的按键也可以具有其他的显示形 式。例如，
可以单列显示的多个声音触发按键。例如，在新手模式等为用 户提供辅助提示的模式中，可以显示少量的按键，例如，单列四个按键， 以方便用户摸索。另外，系统可以分析待编辑的音频，并且可以判定该音 频所适于的音高输入范围，并由此提供范围之内的少量按键。而在打击乐 的情况下，可以只显示两个鼓声按键。另外，还可以环形显示的多个声音 触发按键；或是中心-环形显示的多个声音触发按键。例如，在打击乐编 辑的情况下，可以中间显示两个鼓声按键，围绕中间显示三角铁等其他打 击配乐声音。
52.在音频触发区域内同时显示多个声音触发按键可以是属于同一声音 分类。例如，可以在进度条区域和声音触发按键区域之间设置选项卡，以 方便用户对不同声音分类的切换。由此，本发明的页面呈现方法还可以包 括：响应于对相应声音选项卡的选择操作，切换显示属于不同声音分类的 多个声音触发按键。
53.具体地，不同的声音分类可以包括如下至少一项：不同的乐器分类； 以及不同的音效分类。为此，同时显示的多个声音触发按键可以各自对应 于不同音高或不同子音效。在一个实施例中，声音分类可以分为乐器分类 和音效分类两个大类，在各自的大类选项卡下，还可以包括细分的乐器和 音效的小类。在此，乐器分类下可以包括不同的乐器音效，例如钢琴、小 提琴、8bit(早期红白机游戏中的音乐效果)等。更广义的定义下，乐器 分类可以包括各种风格的乐器音效，只要该音效的每个按键对应于特定风 格下的一个特定音高即可(在其他实施例中，也可以一个按键对应一个和 弦，即，一个按键对应于一个固定音高组合)。在更广义的定义下，乐器 分类可以包括各种风格的乐器音效，只要该音效的每个按键对应于特定风 格下的固定的音高组合即可。相比之下，音效分类则可以模拟各种不基于 音高弹奏的场景，例如，本身作为一种声音素材的鸟叫声(例如，包括高 低变换的布谷鸟叫)、风声、雨声等。
54.图4示出了根据本发明的页面呈现的一个例子。图5示出了根据本发 明的页面呈现的另一个例子。在图4和图5的示例中，乐器分类被显示为
ꢀ“
旋律”选项卡，音效分类则被显示为“音效”选项卡。
55.在乐器分类下，可以选定特定的乐器。在同一乐器分类中，音频触发 区域内可以同时显示对应于该乐器不同音高的多个声音触发按键，如图4 所示的钢琴。在选定钢琴选项卡之后，则可以在音频触发区域内显示呈现 多行多列布置的多个声音触发按键(例如，图中所示的12个打击垫)。 可以在每个按键上标记其所代表的音高，以方便用户操作。不同音高的声 音标记可以在音频进度条中得到不同的显示。例如，可以在所述音频进度 条的不同高度显示对应于不同音高的声音标记。例如，垂直高度更高的声 音标记对应于更高的音高。
56.当用户按下音频触发区域内的声音触发按键时，除了输出相应的音频 并在音频节奏显示区域内进行显示，例如在音频进度条中显示相应的声音 标记之外，还可以同时变换被操作按键的显示，例如，改变颜色或形状或 填充。如图4所示，c、e和g三键在被按下时点亮，例如。从暗灰色变 为特定颜色(例如，红色)，以视觉提示用户上述三键正被按下。上述按 下操作导致新的声音标记在音频进度条中生成。在图4的示例中，可以规 定在乐器分类下，每个按键的单次点击(而非长时间按压)，都会导致特 定时长的音效播放以及对应于特定时长的固定长度的线段。这也是为什么 图4中完成了点击的c、e和g三键，会在时间线右侧形成预定长度的线 段的原因。即，当前的点击会导致长达一秒(例如，一分钟60拍时的
一 拍)的音效，即便在点击结束后，该音效及其对应线段也会比动作本身持 续更长的时间。
57.如图4所示，c、e和g三键被同时按下以实现和弦效果。而在音效 进度条区所显示的声音标记也是相应的和弦标记。相比于单个按键所对应 的单音，和弦能给出更为悦耳和圆润的声音效果。但上述和弦输入通常需 要用户具有一定的乐理知识。为了提升app的易用性，本方法还可以包括 变换所述音频触发区域内一个或多个声音触发按键的显示，以作为操作提 示。例如，可以同时变换所述音频触发区域内多个声音触发按键的显示， 作为向所述用户提供和弦输入操作的提示。
58.提示所呈现的显示变换通常与用户按键所呈现的变换不同，以方便用 户加以区分。同样如图4所示，当用户例如根据在前提示同时(或是接近 同时)点击了c、e和g之后，可以同时变换d、g和b的显示，例如在 这三个按键外面加框，以提示用户随后可以同时点击这三个键以输入另一 个和弦。用户可以基于上述提示进行点击，也可以完全无视上述提示。在 某些实施例中，系统可以在特定的提示模式下，或是在用户的新手期，为 用户提供和弦输入的提示。上述提示可以是随机的和弦提示，也可以是分 析载入音频后生成的与之相配的和弦提示。
59.在某些实施例中，不同音高的和弦可以具有不同的色彩，并且提示也 可以具有不同于简单加框的显示形态。在一个实施例中，和弦提示可以是 按键框内逐渐填满(例如，从上往下)的暗色调色块，用户的真实和弦点 击则可以是相同色调的亮色调的色块。和弦提示中按键框的逐渐填满还可 以暗示用户恰当的点击时机，例如在快要被填满时进行点击。
60.在音效分类场景中，在同一音效分类中包括对应于被归为同类音效中 的不同音效的声音触发按键。如图5所示，在“音效”选项卡所对应的音 效分类场景中，可以包括“最近”、“场景”、“电音”、“动物”等子 选项卡。在例如“动物”选项卡内，每个音效可以对应于某种动物的叫声 音效，例如猫叫、狗叫声等。在音效场景中，在所述音频节奏显示区域内 显示对应的声音标记则可以包括以不同的颜色和/或形状显示对应于不同 音效的声音标记。对比图4所示，图5中对应于音效按键的声音标记，由 于其音效相比于乐器和弦通常包括更多的声音信息，因此优选以更粗的线 条显示，并且各个线条之间能够以不同的颜色区分。
61.如图4和图5所示，在该音频编辑页面内，还可以直接包括“预览
”ꢀ
按键。换句话说，用户可以直接在音频编辑页面内实现预览，上述预览包 括经编辑音频的回放以及相应的音效进度条行进。为此，本发明的页面呈 现方法还可以包括：响应于用户的预览操作，直接在音频节奏显示区域内 播放在前生成的音效进度条，所述音效进度条中包括基于在前编辑生成的 声音标记。图5可以看作是预览操作下的页面呈现例。当播放在前生成的 音效进度条时对应线段经过时间线或时间点的情况下，还可以变换所述音 频触发区域中与所述线段相对应的声音触发按键的显示。例如，可以在某 一音效开始播放时，缩小显示、加亮或是变暗显示该音效按键。在一个实 施例中，音效按键的点击操作也可以对应一个特定长度的音效，而按键的 按压操作则对应与按压时长的音效。在其他实施例中，音效的播放长度可 以完全与按键长度同步。
62.另外，如图4所示，在进行旋律编辑或是回放时，可以在进度条区域 中显示如图2和3中标记11所指示的矩形进度条。该进度条由于在垂直 方向上具备一定的高度，由此方便在其内以不同的高度显示不同的音高， 例如，不同音高的和弦。相比之下，在图5所示的
音效(图示的音效选项 卡)编辑或是回放时，则可以不显示如图2和3中标记11所指示的矩形 进度条，而是直接以如图2和3中标记10所指示的整个区域代表进度条。 此时，可以在背景部分显示背景音频的波形(例如，以暗色或是灰度显示， 图中未示出)，并在前景显示对应于各个声音(包括旋律和音效)的声音 标记。
63.在某些实施例中，该所述音频编辑页面还可以包括视频展示区域，并 且所述方法还包括：在所述视频展示区域内显示视频内容。换句话说，本 发明的音频编辑页面可以是音视频编辑页面的一部分。在该页面中，可以 仅能编辑音频，并配合视频播放；也可以编辑视频和音频两者，并调整之 间的对齐关系。为此，在所述视频展示区域内显示视频内容可以包括：与 所述音频节奏显示区域内显示音频进度条同步显示视频内容。视频展示区 域例如可被布置在音频节奏显示区域之上，并例如相应缩小音频触发区域 所占据的屏幕面积。此时，可以同时显示音频触发区域、音频节奏显示区 域和视频展示区域，以进行音视频预览或是编辑。作为替换或者附加，在 所述视频展示区域内显示视频内容还可以包括：代替所述音频节奏显示区 域或音频触发区域，在所述视频展示区域内显示视频内容。此时，视频展 示区域的显示可以占据原来用于显示音频节奏显示区域或音频触发区域 的部分，或是页面其他区域的部分。另外，也可以在作为浮窗的所述视频 展示区域内显示视频内。
64.除了用户直接使用所述音频触发区域内声音触发按键进行音频编辑 操作，例如，进行触摸按键之外，还可以通过建立外部映射来进行声音触 发键入操作。为此，用户使用所述音频触发区域内声音触发按键进行音频 编辑操作可以包括：建立外部输入与所述音频触发区域内声音触发按键的 映射；以及使用所述外部输入对所述声音触发按键进行操作。外部输入可 以是来自外部输入装置的输入，移动端其他app的输入，联网用户的输入 等。例如，该方法可以包括建立外部输入装置与所述声音触发按键的映射； 使用所述外部输入装置对所述声音触发按键进行操作，以进行音频编辑操 作。作为替换或者附加，还可以包括建立外部输入动作和/或位置与所述声 音触发按键的映射；使用外部输入动作和/或位置对所述声音触发按键进行 操作，以进行音频编辑操作。
65.在利用外部输入装置时，可以首先建立该装置与移动端的映射操作， 以使得针对该装置的特定操作可以对应到声音触发按键上的操作。在一个 实施例中，可以利用一个物理的4x3打击垫与移动端建立映射(例如，经 由蓝牙)，随后用户可以通过对物理打击垫的操作来进行对应按键的声音 触发操作。在另一个实施例中，可以将物理键盘，例如数字输入小键盘的 一部分与移动端建立映射(例如，经由蓝牙或有线连接)，随后用户可以 通过对数字输入小键盘的操作来进行对应按键的声音触发操作。另外，用 户还可以通过建立映射的鼠标、触摸板，甚至是视觉识别的电视遥控器来 进行声音触发按键输入。
66.在利用外部输入动作和/或位置进行操作时，外部输入动作和/或位置 与所述声音触发按键的映射通常预先被建立，例如，系统预先知晓哪些动 作、手势或是哪些位置对应于哪些按键。当然也可以通过系统学习过程， 由用户手动建立。在映射建立之后，则可以使用外部输入动作和/或位置对 所述声音触发按键进行操作，以进行音频编辑操作。例如，在“非洲鼓
”ꢀ
选项卡中，仅包括两个声音触发按键，以对应于不同的鼓声。此时，可以 通过针对用户的图像识别或是3d信息识别，将用户左右手的空中拍击动 作分别对应于一种鼓声，由此用户可以通过空中拍击完成鼓声的编辑。
67.如上结合附图着重从页面呈现角度描述了本发明。在具体应用中，本 发明还可以
实现为一种移动端交互方法。图6示出了根据本发明一个实施 例的一种移动端交互方法的示意性流程图。该方法尤其可由诸如智能手机 等带有受限显示面积的触摸屏的移动端实现。该移动端具备音频输入功 能，包括可以安装包含有本发明的交互功能的音频编辑app或是弹唱 app。
68.在步骤s610，获取对音频编辑页面弹奏区域的输入。在步骤s620， 渲染所述输入的输入效果，及播放对应的声音。在步骤s630，可以依据所 述输入效果及所述声音，完成音频编辑。在本发明不同的场景中，“音频 编辑”可以具有不同的指代。在弹唱场景中，“音频编辑”可以对背景音 频进行旋律和音效上的编辑，以供用户发布最终的编辑成品。在直播场景 中，“音频编辑”可以是实时发布的，即用户的每一次编辑操作都可以是 被同时发布的。在合作场景中，上述“音频编辑”的完成可以是某一方用 户的“音频编辑”作品，该作品还需要后续的进一步编辑。另外，在音视 频编辑场景中，“音频编辑”也可以是视频编辑的一部分，并且还可以包 括音视频之间的同步和对齐等操作。
69.如前所述，可以获取用户输入的进入音频编辑页面的操作并显示包括 音频节奏显示区域和音频触发区域的音频编辑页面，由此向用户显示音频 编辑页面。
70.在此，进入音频编辑页面的操作可以是由用户输入的任何能够显示如 上图2-图5所示的音频编辑页面的操作。例如，可以基于用户的音频编辑 操作，进入相应的音频编辑页面。例如，在弹唱或是卡拉ok场景下，用 户可以先录入一段音频，并在录入完毕后点击音频编辑按键进入本发明的 音频编辑页面。在一个实施例中，用户可以载入例如手机本地存储的音频 进行编辑。在另一个实施例中，用户可以选择音频编辑页面下自带的音频 旋律进行音效编辑。在一个极端的实施例中，用户可以不载入任何音频， 并直接在该音频编辑页面中完成所有声音元素的输入和编辑。
71.响应于用户在弹奏区域的操作，移动端可以播放相应的音效，并在所 述音频节奏显示区域内显示相应的渲染效果，例如在所述音频节奏显示区 域内的音频进度条中显示对应的声音标记。
72.如前所述，伴随着用户载入的背景音频的播放，进度条可以从屏幕右 侧朝向屏幕左侧行进，并且移动端的音频输入模块可以经由自带的扬声器 或是与其连接的耳机或音箱等设备播放该背景音频。当用户在音频播放过 程中的某一时刻，点击了声音触发按键区的某一个声音触发按键时，移动 端的音频输入模块可以经由自带的扬声器或是与其连接的耳机或音箱等 设备则可播放与该声音触发按键相对应的音效(即，按键产生的音效叠加 正播放的背景音效)，并相应地，在行进中的音频进度条中生成对应的声 音标记。
73.当用户针对背景音频进行编辑时，该交互方法还可以包括：获取要播 放的音频；播放所述音频作为背景音频。为此，获取对音频编辑页面弹奏 区域的输入包括：在所述背景音频的播放过程中，获取用户对所述音频编 辑页面弹奏区域内弹奏按键的按键操作；而播放对应的声音包括：播放叠 加了所述相应的音效的所述背景音频。
74.进一步地，还可以在该音频编辑页面内进行预览操作。为此，该交互 方法还可以包括：获取所述用户的预览输入(例如，用户点击图4或图5 中的预览按钮)；在所述音频编辑页面中播放在前生成的音效进度条，所 述音效进度条中包括基于在前编辑生成的声音标记；以及与所述音效进度 条同步播放所述音效进度条对应的音频。
75.同样地，所述音频触发区域可以包括：同时显示的多个弹奏按键，所 述多个弹奏
按键属于同一声音分类。此时，交互方法还可以包括：获取用 户对相应音效选项卡的选择；切换显示属于不同声音分类的多个弹奏按 键，其中，所述不同的声音分类包括不同的乐器分类，也可以包括不同的 音效分类。
76.进一步地，用户还可以对音效进行自定义编辑。为此，该交互方法还 可以包括：获取所述用户输入的采样操作；显示采样页面；获取所述用户 在所述采样页面中的编辑操作；以及存储经编辑的所述采样并对应于一个 自定义弹奏按键。
77.进一步地，用户也可以对已有音效进行调整。为此，该交互方法还可 以包括：获取所述用户输入的音效调整操作；显示音效调整页面；获取所 述用户在所述音效调整页面中的编辑操作；以及在所述音频中并入经调整 的音效。
78.图7a-b示出了根据本发明的音效编辑例。用户例如可以点击图4或 图5所示音频编辑页面右上角的“采样”按钮，以进入如图7a所示的编 辑采样页面。用户可以在该页面中进行音量、速度和变调等的调整，在预 览满意后点击保存，并建立与音效分类例如“自定义”选项卡中一个自定 义声音触发按键的映射。另外，用户例如可以点击图4或图5所示音频编 辑页面中音效和旋律选项卡右侧的
“…”
按钮，并选择音效编辑以进入如 图7b所示的音效调整页面。用户可以调整某一音效(例如，海浪声)本 身的音量大小，并且微调其在音频中的位置，例如提前20ms，并在音频 中并入经调整的音效。
79.进一步地，本发明还可以实现为一种音频编辑方法。图8示出了根据 本发明的一种音频编辑方法的示意性流程图。该方法尤其可由诸如智能手 机等带有受限显示面积的触摸屏的移动端实现。该移动端具备音频输入功 能，包括可以安装包含有本发明的交互功能的音频编辑app或是弹唱 app。
80.在步骤s810，显示包括音频节奏显示区域和音频触发区域的音频编辑 页面。在步骤s820，获取对所述音频触发区域内声音触发按键的触发操作。 在步骤s830，播放对应于声音触发按键操作的音效，并在所述音频节奏显 示区域内显示对应于所述触发操作的播放显示。
81.具体地，可以在所述音频节奏显示区域内的音频进度条行进的情况 下，获取用户对所述音频触发区域内声音触发按键的操作。在播放对应于 声音触发按键操作的音效时，可以在所述音频节奏显示区域内显示行进的 音频进度条，例如所述音频节奏显示区域内的音频进度条中显示对应的声 音标记。
82.在针对背景音频进行编辑时，该方法还可以包括基于用户操作载入并 播放已有音频，其中，所述音频进度条用于表征所述已有音频。
83.进一步地，在所述音频触发区域内可以包括：多个声音触发按键，所 述多个声音触发按键属于同一声音分类，一个声音分类包括同一乐器的不 同音高或是同类音效中的不同音效。
84.本发明的音频编辑功能还适用于各种场景。在一个实施例中，本发明 还可以实现为一种音视频编辑方法，包括：显示包括音频节奏显示区域、 音频触发区域和视频展示区域的音频编辑页面；获取用户对所述音频触发 区域内声音触发按键的触发操作；以及播放对应于声音触发按键操作的音 效，并在所述音频节奏显示区域内显示对应于所述触发操作的播放显示。
85.具体地，可以在所述音频节奏显示区域内的音频进度条行进的情况 下，获取用户
对所述音频触发区域内声音触发按键的操作。在播放对应于 声音触发按键操作的音效的同时，在所述音频节奏显示区域内显示行进的 音频进度条。在此，视频展示区域是用于进行视频显示的区域。
86.视频显示可以与音频播放同步，于是该方法还可以包括：在所述音频 节奏显示区域内显示行进的音频进度条的同时，在所述视频展示区域内显 示相应的视频内容。
87.该音视频编辑方法可以是仅可以编辑音频的方法，也可以进一步包括 视频编辑功能。此时，音频触发区域内的选项卡除了声音选项卡之外，还 可以包括视频编辑，例如视频水印、文字输入选项卡。在点击上述选项卡 之后，音频触发区域内可以显示视频编辑按键。为此，该方法还可以包括： 获取用户对所述音频触发区域内视频编辑按键的操作。
88.本发明的音频编辑功能也可用于直播场景。为此，一种直播方法可以 包括：获取并显示播主进行音频编辑的音频编辑页面，所述音频编辑页面 包括音频节奏显示区域和音频触发区域；获取播主用户对所述音频触发区 域内声音触发按键的触发操作，例如在所述音频节奏显示区域内的音频进 度条行进的情况下，获取所述播主对所述音频触发区域内声音触发按键的 操作；以及播放对应于声音触发按键操作的音效，并在所述音频节奏显示 区域内显示对应于所述触发操作的播放显示，例如显示行进的音频进度条 和其中的声音标记。换句话说，播主可以直接将上述音频编辑页面作为直 播画面播出，并且可以通过开启互动功能接受观看者的声音触发操作。进 一步地，还可以获取并显示与所述播主相关的视频信息流。例如，当用户 使用大屏幕终端观看直播时，可以同屏显示播主自己的视频信息流和声 音。
89.本发明的音频编辑功能也可用于屏幕共享场景，例如，在线授课场景， 远程协助场景等。为此，一种音频编辑共享方法，包括：向多个用户同时 显示包括音频节奏显示区域和音频触发区域的音频编辑页面；获取当前操 作用户对所述音频触发区域内声音触发按键的触发操作，例如在所述音频 节奏显示区域内的音频进度条行进的情况下，获取当前操作用户对所述音 频触发区域内声音触发按键的操作；以及向所述多个用户播放对应于声音 触发按键操作的音效，并在所述音频节奏显示区域内显示对应于所述触发 操作的播放显示，例如显示行进的音频进度条和其中的声音标记。具体地， 用户可以通过选择“我来操作”功能，或者切换执行者身份，来成为能够 对页面进行操作的当前操作用户。
90.如前所述，本发明的音频编辑功能可以实现为弹唱app的一部分。于 是，本发明还可以实现为一种音频制作方法，包括：获取用户的音频表演 作品；进入包括音频节奏显示区域和音频触发区域的音频编辑页面；在所 述音频节奏显示区域内的音频进度条行进的情况下，获取用户对所述音频 触发区域内声音触发按键的触发操作，其中，所述音频进度条对应于所述 音频表演作品；以及在所述音频表演作品上叠加播放对应于声音触发按键 操作的音效，并在所述音频节奏显示区域内显示行进的音频进度条。获取 用户的音频表演作品可以包括：录入用户表演的音频。所述录入可以是视 频录入的一部分，也可以是单纯的音频录入，可以录入用户的弹唱(例如， 使用物理乐器或是app内的弹奏页面，该弹奏页面内也可以包括声音触发 按键)，也可以例如用户在背景音下的演唱(例如，卡拉ok)场景。
91.本发明的上述方法可以实现为对应的装置。图9示出了根据本发明一 个实施例的页面呈现装置的组成示意图。页面呈现装置900可以包括音频 编辑页面显示单元910和音频编辑页面刷新单元920。音频编辑页面显示 单元910用于显示包括音频节奏显示区域和
音频触发区域的音频编辑页 面。音频编辑页面刷新单元920则用于所述音频节奏显示区域响应于音频 触发区域的触发信号进行显示，例如可以响应于用户对所述音频触发区域 内声音触发按键的操作，在所述音频节奏显示区域内的音频进度条中显示 对应的声音标记。
92.图10示出了根据本发明一个实施例的移动端交互装置的组成示意图。 移动端交互装置1000可以包括输入页面获取单元1010、渲染和播放单元 1020和音频编辑单元1030。输入页面获取单元1010用于获取对音频编辑 页面弹奏区域的输入；渲染和播放单元1020用于渲染所述输入的输入效 果，及播放对应的声音；音频编辑单元1030则用于依据所述输入效果及 所述声音，完成音频编辑。
93.图11示出了根据本发明一个实施例的音频编辑装置的组成示意图。 音频编辑装置1100可以包括音频编辑页面显示单元1110、声音触发按键 选择单元1120和播放和显示单元1130。音频编辑页面显示单元1110用于 显示包括音频节奏显示区域和音频触发区域的音频编辑页面。声音触发按 键选择单元1120用于获取用户对所述音频触发区域内声音触发按键的触 发操作，例如在所述音频节奏显示区域内的音频进度条行进的情况下，获 取用户对所述音频触发区域内声音触发按键的操作。播放和显示单元1130 用于播放对应于声音触发按键操作的音效，并在所述音频节奏显示区域内 的音频进度条中显示对应于所述触发操作的播放显示，例如显示行进的音 频进度条和其中的声音标记。
94.上述装置都可以实现为app的虚拟装置，由于执行如上结合图1-8描 述的方法。具体地，页面呈现装置900可以结合移动端的页面渲染和刷新 功能实现，移动端交互装置1000和音频编辑装置1100则可实现为音频编 辑app或是弹唱app的一个功能模块。
95.图12示出了根据本发明一实施例可用于实现上述页面呈现、移动端 交以及音频编辑方法的计算设备的结构示意图。
96.参见图12，计算设备1200包括存储器1210和处理器1220。该计算 设备1200可以是配备有音频输出单元，例如自带扬声器或是经由有线无 线连接至耳机或是音箱进行音频输出的移动设备。例如，该计算设备可以 是配备有触摸屏的智能手机，该智能手机优选地具有录音功能，以实现例 如弹唱的录入。
97.处理器1220可以是一个多核的处理器，也可以包含多个处理器。在 一些实施例中，处理器1220可以包含一个通用的主处理器以及一个或多 个特殊的协处理器，例如图形处理器(gpu)、数字信号处理器(dsp) 等等。在一些实施例中，处理器1220可以使用定制的电路实现，例如特 定用途集成电路(asic，application specific integrated circuit)或者现场 可编程逻辑门阵列(fpga，field programmable gate arrays)。
98.存储器1210可以包括各种类型的存储单元，例如系统内存、只读存 储器(rom)，和永久存储装置。其中，rom可以存储处理器1220或者 计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写 的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指 令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用 大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实 施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。 系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随 机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令 和数据。此外，存储器1210可以包括任意计算机可读存储媒介的组合， 包括各种类型的半导体存储芯片(dram，sram，sdram，闪存，可编 程只读存储器)，
磁盘和/或光盘也可以采用。在一些实施方式中，存储器 1210可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、 只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光 盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等等)、 磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的 瞬间电子信号。
99.存储器1210上存储有可执行代码，当可执行代码被处理器1220处理 时，可以使处理器1220执行上文述及的页面呈现和移动端交互方法。
100.上文中已经参考附图详细描述了根据本发明的页面呈现和移动端交 互方案。本发明的音频编辑方案通过在移动端同屏实现弹奏和编曲曲谱预 览，以及使用更适合手机操作的琴键布局(例如，12打击垫布局)，能够 在移动端上实现近似于电脑端数字音频工作站(daw)的音乐制作效果。 该方案还可以基于和弦曲谱生成旋律提示，降低用户创作旋律的门槛。
101.此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序 产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中 限定的上述各步骤的计算机程序代码指令。
102.或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算 机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计 算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或 计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时， 使所述处理器执行根据本发明的上述方法的各个步骤。
103.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性 逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两 者的组合。
104.附图中的流程图和框图显示了根据本发明的多个实施例的系统和方 法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每 个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或 代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也 应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同 于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行 地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也 要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的 方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实 现，或者可以用专用硬件与计算机指令的组合来实现。
105.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽 性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范 围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更 都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原 理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技 术人员能理解本文披露的各实施例。