音频录制方法、装置以及存储介质与流程

1.本发明涉及音频技术领域，尤其涉及一种音频录制方法、装置以及存储介质。


背景技术：

2.随着音频技术的不断发展和人们娱乐生活的不断丰富，k歌成为人们娱乐生活中不可或缺的一种娱乐方式，同时k歌的应用场景日益增多，功能也日益丰富，人们对k歌体验的要求也就不断提高。
3.目前的k歌应用一般在点歌机、手机或者电脑上使用，如果有伴奏文件，可以实现播放伴奏的同时录制用户歌唱的音频，以及将录制的用户歌唱的音频和伴奏音频进行合成得到歌曲文件等功能。如果是混合音频文件，点歌机、手机或者电脑只能播放出混合音频文件。而且，目前音乐创作快速增长，创作出来的大量歌曲文件大多也是以混合音频文件的形式传播。
4.有一些软件，可以选择仅播放左声道或右声道。但很多原唱文件中的伴奏与歌手声音并不是按照声道划分的。另外有一些软件，可以从云端类似查找，找到与混合音频文件相符的伴奏文件，为用户播放。但这不仅需要云端有存储，而且需要较为复杂的查找算法，还有播放流量或下载流量等等限制。
5.但是，相比于听自己演唱的音频，与原唱合唱更受到用户的喜欢，更能提升用户的听歌、k歌与分享的体验。


技术实现要素：

6.本发明的一个主要优势在于提供一种音频录制方法、装置以及存储介质，通过在第一分段时间播放对应的伴奏音频，在第二分段时间播放对应的伴奏音频和原唱音频；获取用户音频，并同时播放用户音频；以及合成伴奏音频、用户音频和部分原唱音频，进而得到录制文件。从而实现可以播放伴奏和歌手声音不是按照左右声道划分的混合音频文件，不必从云端类似查找相应的伴奏文件，满足了用户与原唱合唱的要求，提升了用户的听歌、k歌与分享的体验。
7.本发明的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。
8.依本发明的一个方面，能够实现前述目的和其他目的和优势的本发明的音频录制方法。
9.根据本发明的一个实施例，该方法包括：按照录制模式，播放歌曲文件，其中歌曲文件为混合音频文件，包括伴奏音频和原唱音频，其中录制模式为：在第一分段时间播放对应的伴奏音频，在第二分段时间播放对应的伴奏音频和原唱音频；获取用户音频，并同时播放用户音频；以及合成伴奏音频、用户音频和部分原唱音频，进而得到录制文件。
10.依本发明的另一个方面，本发明进一步提供音频录制装置。
11.根据本发明的一个实施例，该装置包括：存储器；以及与所述存储器连接的处理
器，所述处理器被配置成：按照录制模式，播放歌曲文件，其中歌曲文件为混合音频文件，包括伴奏音频和原唱音频，其中录制模式为：在第一分段时间播放对应的伴奏音频，在第二分段时间播放对应的伴奏音频和原唱音频；获取用户音频，并同时播放用户音频；以及合成伴奏音频、用户音频和部分原唱音频，进而得到录制文件。
12.依本发明的另一个方面，本发明进一步提供计算机存储介质，其上存储有计算机程序，其中所述计算机程序被执行时实现如上所述的方法的步骤。
13.通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
14.本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
15.图1是根据本发明的一个优选实施例的音频录制方法的示意流程图；
16.图2是根据本发明的一个优选实施例的用于选择由用户演唱的歌词的一种示例性用户界面；
17.图3是根据本发明的一个优选实施例的用于选择由用户演唱的歌词的另一种示例性用户界面；
18.图4是根据本发明的另一个优选实施例的音频录制方法的示意流程图；
19.图5是根据本发明的另一个优选实施例的音频录制方法的示意流程图；
20.图6是根据本发明的一个优选实施例的音频录制装置的模块框图。
具体实施方式
21.以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
22.可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。在使用到的情况下，标志上、下、左、右、前、后、顶、底、正、反、顺时针和逆时针仅仅是出于方便的目的所使用的，而并不暗示任何具体的固定方向。事实上，它们被用于反映对象的各个部分之间的相对位置和/或方向。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
23.在以下详细描述中，阐述了许多特定细节以提供对本发明的更透彻理解。然而，对于本领域技术人员显而易见的是，本发明的实践可不必局限于这些具体细节。换言之，公知的结构和器件以框图形式示出而没有详细显示，以避免模糊本发明。
24.目前的一些音频录制软件，仅仅可以在播放伴奏和歌手声音按照左右声道划分的音频文件时，实现录制用户的音频，并且与部分原唱合成，从而实现用户与原唱合唱；另外有一些软件，可以从云端类似查找，找到与混合音频文件相符的伴奏文件，在此基础上合成用户的音频，实现用户与原唱合唱，但是，这样不仅需要云端有存储，而且需要较为复杂的查找算法，还有播放流量或下载流量等等限制。具体来说，当需要播放的歌曲文件为混合音
频文件时，无法在某一分段时间播放对应的伴奏音频，在另一分段时间播放对应的伴奏音频和原唱音频，合成获取的用户音频得到录制文件，因此无法实现用户与原唱合唱，从而降低了用户听歌、k歌与分享的体验。
25.为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本发明的实施方式提出了音频录制技术方案。以下将结合附图对本发明的各种实施方式进行详细描述。
26.本发明一实施例提供了一种音频录制方法。
27.图1是根据本发明一个优选实施例的音频录制方法的示意流程图，应当理解的是，该方法还可以包括未示出的附加框和/或可以省略所示出的框，本发明的范围在此方面不受限制。
28.在步骤101处，按照录制模式，播放歌曲文件，其中歌曲文件为混合音频文件，包括伴奏音频和原唱音频，其中录制模式为：在第一分段时间播放对应的伴奏音频，在第二分段时间播放对应的伴奏音频和原唱音频。
29.具体地，应用本方法的客户端可以包括点歌机、手机、电脑或者车载终端等设备。当用户想要进行k歌时，用户进行相应操作，前述客户端接收到用户的k歌请求，按照录制模式，播放用户选择的歌曲文件。
30.在本实施例中，歌曲文件为混合音频文件，包含了伴奏音频和原唱音频。在一些实施例中，原唱音频也可以包括多个歌手的原唱音频，比如男声原唱和女声原唱，或者一个乐队中的多个歌手的原唱。应当理解，当歌曲文件包括伴奏音频文件和原唱音频文件时，同样可以适用本方法。
31.在本实施例中，录制模式为在第一分段时间播放对应时间的伴奏音频，在第二分段时间播放对应时间的伴奏音频和对应时间段的原唱音频。比如，在开始播放歌曲至播放至46s的时间内，播放对应时间的伴奏音频；在所播放的歌曲的46s至56s时间内，播放对应时间的原唱音频和伴奏音频。如此，可以根据用户的指令，灵活选择播放哪一部分的原唱音频。
32.在一些实施例中，获取第一分段时间和第二分段时间的方法包括：接收用户的选择指令，其中基于选择指令，以得到由用户演唱的歌词；基于由用户演唱的歌词所对应的时间信息，划分歌曲的播放时间，得到第一分段时间和第二分段时间，其中，第一分段时间为所述由用户演唱的歌词所对应的播放时间。通过基于歌曲歌词的时间轴，给歌曲的播放时间分段，可以精确划分原唱音频的播放时间段，同时，可以使用户可以更直观地选择想要演唱的歌词。
33.具体地，在接收到k歌请求之后，基于选择指令，获取用户选择的由用户演唱的歌词，在一些实施例中，选择指令包括：选择至少一句歌词的选择指令；或者，选择特定歌手的歌词的选择指令。参考图2示出的用于选择由用户演唱的歌词的一种示例性用户界面，以歌曲《送别》为例，用户可以按照歌词选择，选择想要演唱的此歌曲的歌词；也可以按照歌曲的播放时间选择，基于所选的时间段，获取此时间段内的歌词，由用户来演唱所选时间内，此歌曲播放的歌词；也可以按照歌手选择，比如选择男歌手或者女歌手演唱的歌词，或者乐队中某位歌手演唱的歌词。在另外一些实施例中，参考图3示出的用于选择由用户演唱的歌词的另一种示例性用户界面，用户可以在播放歌曲的时候，选择演唱即将播放的下一句歌词，
选择方法可以是通过触摸客户端设备的屏幕，或者，在播放下一句歌词时，用户即开始演唱，则此句歌词被选择为由用户演唱的歌词。
34.基于由用户演唱的歌词所对应的时间信息，即基于与相应歌词的显示时间同步的歌曲文件的播放时间，将歌曲的播放时间进行划分，前述由用户演唱的歌词对应的播放时间段作为第一分段时间，以歌曲《送别》为例，当用户演唱的歌词为“长亭外”、“古道边”和“晚风拂柳笛声残”时，将这三句歌词在歌曲中对应的播放时间：25s-26s、27s-29s以及36s-42s，作为第一分段时间，本歌曲其余的播放时间作为第二分段时间。其中，第一分段时间与第二分段时间构成歌曲的完整播放时间。需要说明的是，歌词可以是基于lrc歌词文件所获得，通过lrc文件包含的时间标签来获取歌词显示时间以及对应的歌曲播放时间。
35.在一些实施例中，参考图4示出的音频录制方法的示意流程图，在步骤202处，在第一分段时间开始之前，分离出第一分段时间对应的原唱音频。
36.具体地，当在一个第一分段时间对应的歌词开始播放之前，分离出此歌词对应的播放时间的原唱音频，从而在此第一分段时间内只播放对应的伴奏音频，同样的，在另一个第一分段时间对应的歌词开始播放之前进行同样的步骤。而在第二分段时间内，播放对应的伴奏音频和原唱音频，应当理解，在第二分段时间内播放的是对于时间的完整音频，无需分离原唱音频和伴奏音频。在图4所示的实施例中，步骤201、步骤203和步骤204分别与图1所示实施例中的步骤101至103相同，此处不再赘述。
37.在另一些实施例中，参考图5示出的音频录制方法的示意流程图，在步骤301处，在播放歌曲文件之前，分离出歌曲文件的伴奏音频和原唱音频。
38.具体地，可以在开始录制模式播放歌曲之前，就对歌曲文件的原唱音频和伴奏音频进行分离。在第一分段时间内只播放对应的伴奏音频，而在第二分段时间内，播放对应的分离后的伴奏音频和原唱音频，应当理解，此时既播放对应的伴奏音频也同时播放对应的原唱音频。如此，不必在每个第一分段时间开始之前都进行一次分离处理，可以提高分离处理的效率。在图5所示的实施例中，步骤302至304分别与图1所示实施例中的步骤101至103相同，此处不再赘述。
39.通过上述实施例中分离出混合音频文件的原唱音频和伴奏音频的方法，可以播放伴奏和歌手声音不是按照左右声道划分的音频文件，也不必从云端类似查找相应的伴奏文件，避免了当需要播放的歌曲文件为混合音频文件时，无法在某一分段时间播放对应的伴奏音频，在另一分段时间播放对应的伴奏音频和原唱音频，合成获取的用户音频得到录制文件，从而可以实现用户与原唱合唱的要求，提升了用户听歌、k歌与分享的体验。
40.在一些实施例中，前述分离步骤采用傅里叶变换法和/或多声道分离法。分离处理可以在电脑或者车载终端等设备上进行，也可以在相应的云端处理后发送给终端设备。当歌曲为伴奏音频在不同声道中的强度有明显不同的特点，而原唱音频在不同声道中的强度相似时，可以采用多声道分离法。具体地，在立体声模式下，将左右声道信息相减(即将其中一个声道做反相后左右叠加)。可获得去除原唱的音频部分；在环绕声模式下，可以直接剔除中央声道以获得立体声伴奏音频，单独取中央声道可获得原唱音频。当歌曲不适用多声道分离法时，比如单声道歌曲，此时可以采用傅里叶变换法。具体地，对混合音频进行傅里叶变换，得到混合音频的频谱图，将频谱图输入到神经网络，得到伴奏音频对应的频谱图和原唱音频对应的频谱图，根据混合音频的频谱图，分别对伴奏音频和原唱音频对应的频谱
图进行傅里叶反变换，得到伴奏音频和原唱音频。
41.在步骤102处，获取用户音频，并同时播放用户音频。
42.具体地，可以通过麦克风采集用户的音频数据。在一些实施例中，在第一分段时间，获取用户演唱的音频数据，记录并且同时播放出来，在第二分段时间不对获取的音频数据进行记录，只是进行播放。如此，可以避免在第二分段时间获取并记录到不相关的音频数据，保证了后续合成的录制文件的质量。应当理解，考虑到用户演唱相应歌词时会有少许时间偏差，获取用户演唱的音频数据的时间区间可以比第一分段时间的时间区间稍宽。如此可以照顾到不同用户不同的演唱水平，提升了用户听歌、k歌与分享的体验。
43.在一些实施例中，对在第一分段时间获取的用户音频和对应的伴奏音频进行混音处理，得到包括用户音频和第一分段时间对应的伴奏音频的音频文件。
44.在步骤103处，合成伴奏音频、用户音频和部分原唱音频，进而得到录制文件。
45.在一些实施例中，将在第一分段时间获取并记录的用户音频、第二分段时间对应的原唱音频以及第一分段时间与第二分段时间的伴奏音频进行合成处理，得到录制文件。
46.在一些实施例中，第二分段时间播放的是对应的分离后的伴奏音频和原唱音频，需要先对二者进行混音处理，得到包括第二分段时间对应的伴奏音频和原唱音频的音频文件，然后再与第一分段时间对应的伴奏音频与用户音频进行合成。
47.在一些实施例中，在所述合成第一音频伴奏音频、用户音频和部分第二音频原唱音频，进而得到录制文件之后，还包括：将录制文件上传至云端。将用户与明星合唱的录制文件上传至网络，以便于与其他人分享。
48.本发明一实施例提供了一种音频录制装置，该音频录制装置可以用于执行本发明实施例的音频录制方法。
49.图6是根据本发明的一个优选实施例的音频录制装置的模块框图，该装置包括：
50.存储器401；以及与所述存储器401连接的处理器402，所述处理器402被配置成：按照录制模式，播放歌曲文件，其中歌曲文件为混合音频文件，包括伴奏音频和原唱音频，其中录制模式为：在第一分段时间播放对应的伴奏音频，在第二分段时间播放对应的伴奏音频和原唱音频；获取用户音频，并同时播放用户音频；以及合成伴奏音频、用户音频和部分原唱音频，进而得到录制文件。
51.在一些实施例中，处理器402还被配置成：接收用户的选择指令，其中基于选择指令，以得到由用户演唱的歌词；基于由用户演唱的歌词所对应的时间信息，划分歌曲的播放时间，得到第一分段时间和第二分段时间，所述第一分段时间为由用户演唱的歌词所对应的播放时间。
52.在一些实施例中，处理器402还被配置成：在第一分段时间开始之前，分离出第一分段时间对应的原唱音频；或者，在播放歌曲文件之前，分离出歌曲文件的伴奏音频和原唱音频。分离步骤选自傅里叶变换法和/或多声道分离法。
53.具体实现方法参考前述方法实施例，此处不再赘述。
54.通过根据本发明的各种实施方式，通过在第一分段时间播放对应的伴奏音频，在第二分段时间播放对应的伴奏音频和原唱音频；获取用户音频，并同时播放用户音频；以及合成伴奏音频、用户音频和部分原唱音频，进而得到录制文件。从而实现可以播放伴奏和歌手声音不是按照左右声道划分的混合音频文件，不必从云端类似查找相应的伴奏文件，满
足了用户与原唱合唱的要求，提升了用户的听歌、k歌与分享的体验。
55.本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
56.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
57.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
58.用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c 等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
59.这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
60.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指
令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
61.也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
62.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
63.注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
64.本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。