合唱混音方法、装置、电子设备和存储介质与流程

1.本公开涉及音视频技术领域，尤其涉及一种用于合唱混音的方法、装置、电子设备和存储介质。


背景技术：

2.随着互联网和智能设备技术的提升，手机k歌软件的使用已经非常普及，其中利用软件进行合唱就是一种常用的k歌作品制作方法。在使用智能设备(如手机、电脑等)中的软件进行合唱音频的录制过程中，由于外放状态下系统播放的主唱音频到达扬声器的激励存在一定的延迟，且该延迟会发生变化和抖动。在这种情况下，如果唱歌者根据扬声器实际播放的主唱音频进行歌唱，在混音时则会出现主唱音频与合唱音频出现明显错位的现象，非常影响最终合唱作品的质量。同时，由于在播放主唱音频的过程中，设备的传声器会采集到扬声器播放的主唱音频，在以上提到的系统延迟的影响下，最终的作品中会出现多个错位的主唱音频的情况。
3.在相关技术中，可在录制完歌曲后，通过显示一个对齐主唱音频和合唱音频的时间滑块来让录制者能够对错位的音频进行调整。然而该方法需要用户手动操作，不方便的同时难以做到精确此外，该方法不能解决录制的音频中存在主唱的音频的问题。
4.另外，在相关技术中，可基于音频音调和音乐数字接口乐谱的对齐，对比音频信号的音调和乐谱的相关性，找到对齐的时间点。然而，该方法需要依赖准确的音调检测，实时性较低。另外，该方法一般需要音频信号具有高信噪比，因此限制了用户在无耳机情况下的使用。


技术实现要素：

5.本公开提供一种用于合唱混音的方法、装置、电子设备和存储介质，以至少解决相关技术中主唱音频和合唱音频错位的问题，也可不解决任何上述问题。
6.根据本公开的第一方面，提供了一种合唱混音方法，其特征在于，包括：将主唱音频信号和包含外放主唱音频的合唱音频信号分别转换为频域信号；基于主唱音频信号的频域信号和合唱音频信号的频域信号所包含的外放主唱音频的频域信号来确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的延迟；基于确定的延迟将合唱音频信号与主唱音频信号对齐；针对对齐后的合唱音频信号执行回声消除；对主唱音频信号和执行了回声消除的合唱音频信号进行混音。
7.根据本公开的第一方面，确定延迟包括：确定所述合唱音频信号的频域信号所包含的外放主唱音频的频域信号与主唱音频信号的频域信号之间的相对偏移帧数，并根据所述相对偏移帧数来确定延迟。
8.根据本公开的第一方面，基于确定的延迟将合唱音频信号与对主唱音频信号对齐包括：确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差；响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的
当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间；响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围，基于当前时刻的延迟来调整合唱音频信号的时间。
9.根据本公开的第一方面，基于确定的延迟将合唱音频信号与主唱音频信号对齐还包括：对调整后的合唱音频信号的重叠和断裂执行平滑处理。
10.根据本公开的第一方面，针对对齐后的合唱音频信号执行回声消除包括：以主唱音频信号作为参考信号针对对齐后的合唱音频信号执行回声消除以减弱合唱音频信号中的残留的主唱音频信号。
11.根据本公开的第一方面，对主唱音频信号和执行了回声消除的合唱音频信号进行混音包括：对主唱音频信号和执行了回声消除的合唱音频信号执行幅度控制。
12.根据本公开的第二方面，提供了一种合唱混音方法，包括：从带有伴奏的主唱音频信号分离得到纯净的主唱音频信号；检测纯净的主唱音频信号和合唱音频信号的频率信息；基于合唱音频信号的频率信息的时间序列与纯净的主唱音频信号的频率信息的时间序列来确定主唱音频信号和合唱音频信号之间的延迟；基于确定的延迟将合唱音频信号与主唱音频信号进行对齐；对主唱音频信号和对齐后的合唱音频信号进行混音。
13.根据本公开的第二方面，确定延迟的步骤包括：根据基于合唱音频信号的频率信息的时间序列与纯净的主唱音频信号的频率信息的时间序列之间的相关性或最小差值来确定合唱音频信号和纯净的主唱音频信号之间的延迟。
14.根据本公开的第二方面，基于确定的延迟将合唱音频信号与对主唱音频信号对齐的步骤包括：确定纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差；响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间；响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围，基于当前时刻的延迟来调整合唱音频信号的时间。
15.根据本公开的第二方面，基于确定的延迟将合唱音频信号与对主唱音频信号对齐还包括：对调整后的合唱音频信号的重叠和断裂执行平滑处理。
16.根据本公开的第二方面，对主唱音频信号和对齐后的合唱音频信号进行混音包括：对主唱音频信号和对齐后的合唱音频信号执行幅度控制。
17.根据本公开的第三方面，提供了一种合唱混音方法，包括：确定主唱音频信号的输出模式；响应于确定主唱音频信号的输出模式为外放模式，通过使用如上的根据本公开的第一方面的用于外放模式混音方法来对合唱音频信号和主唱音频信号进行混音；响应于确定主唱音频信号的输出模式为耳机模式，通过使用如上所述的根据本公开的第二方面的用于耳机模式的混音方法来对合唱音频信号和主唱音频信号进行混音。
18.根据本公开的第四方面，提供了一种合唱混音装置，包括：转换模块，被配置为将主唱音频信号和包含外放主唱音频的合唱音频信号分别转换为频域信号；延迟确定模块，被配置为基于主唱音频信号的频域信号和合唱音频信号的频域信号所包含的外放主唱音频的频域信号来确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的延迟；对齐模块，被配置为基于确定的延迟将合唱音频信号与对主唱音频信号对齐；回声消除模块，被
配置为针对对齐后的合唱音频信号执行回声消除；混音模块，被配置为对主唱音频信号和执行了回声消除的合唱音频信号进行混音。
19.根据本公开的第四方面，所述延迟确定模块被配置为：确定所述合唱音频信号的频域信号所包含的外放主唱音频的频域信号与主唱音频信号的频域信号之间的相对偏移帧数，并根据所述相对偏移帧数确定延迟。
20.根据本公开的第四方面，所述对齐模块被配置为：确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差；响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间；响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围，基于当前时刻的延迟来调整合唱音频信号的时间。
21.根据本公开的第四方面，所述对齐模块还被配置为：对调整后的合唱音频信号的重叠和断裂执行平滑处理。
22.根据本公开的第四方面，所述回声消除模块被配置为：以主唱音频信号作为参考信号针对对齐后的合唱音频信号执行回声消除以减弱合唱音频信号中的残留的主唱音频信号。
23.根据本公开的第四方面，所述混音模块被配置为：对主唱音频信号和执行了回声消除的合唱音频信号执行幅度控制。
24.根据本公开的第五方面，提供了一种合唱混音装置，包括：分离模块，被配置为从带有伴奏的主唱音频信号分离得到纯净的主唱音频信号；频率检测模块，被配置为检测纯净的主唱音频信号和合唱音频信号的频率信息；延迟确定模块，被配置为基于合唱音频信号的频率信息的时间序列与纯净的主唱音频信号的频率信息的时间序列来确定主唱音频信号和合唱音频信号之间的延迟；对齐模块，被配置为基于确定的延迟将合唱音频信号与主唱音频信号进行对齐；混音模块，被配置为对主唱音频信号和对齐后的合唱音频信号进行混音。
25.根据本公开的第五方面，所述延迟确定模块被配置为：根据基于合唱音频信号的频率信息的时间序列与纯净的主唱音频信号的频率信息的时间序列之间的相关性或最小差值来确定合唱音频信号和纯净的主唱音频信号之间的延迟。
26.根据本公开的第五方面，所述对齐模块被配置为：确定纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差；响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间；响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围，基于当前时刻的延迟来调整合唱音频信号的时间。
27.根据本公开的第五方面，所述对齐模块还被配置为：对调整后的合唱音频信号的重叠和断裂执行平滑处理。
28.根据本公开的第五方面，所述混音模块被配置为：对主唱音频信号和对齐后的合唱音频信号执行幅度控制。
29.根据本公开的第六方面，提供了一种电子设备，包括：至少一个处理器；至少一个
存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的根据本公开的第一方面、第二方面和第三方面的合唱混音方法。
30.根据本公开的第七方面，提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的根据本公开的第一方面、第二方面和第三方面的合唱混音方法。
31.根据本公开的第八方面，提供了一种计算机程序产品，所述计算机程序产品中的指令被电子设备中的至少一个处理器运行以执行如上所述的根据本公开的第一方面、第二方面和第三方面的合唱混音方法。
32.本公开的实施例提供的技术方案至少带来以下有益效果：能够自动地解决合唱中多个错位的主唱音频的问题以及合唱音频与主唱错位的问题，无需人工干预并且实现方式简单可靠，能够保证合唱作品的质量。
附图说明
33.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
34.图1是示出应用根据本公开的示例性实施例的合唱混音的方法和装置的系统环境的示图。
35.图2是示出根据本公开的示例性实施例的合唱混音方法的流程图。
36.图3是示出根据本公开的另一示例性实施例的合唱混音方法的流程图。
37.图4是示出根据本公开的另一示例性实施例的合唱混音方法的流程图。
38.图5是示出根据本公开的示例性实施例的合唱混音装置的框图。
39.图6是示出根据本公开的另一示例性实施例的合唱混音装置的框图。
40.图7是示出根据本公开的用于合唱混音的电子设备的框图。
具体实施方式
41.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
42.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
43.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
44.在进行以下说明之前，首先对本公开中使用的一些术语和原理进行说明。
45.声学回声消除(acoustic echo cancellation，aec)：通过自适应算法来调整滤波器的迭代更新系数估计出一个期望信号，使得该期望信号逼近经过实际回声路径的回声信号，然后从麦克风采集的混合信号中减去这个模拟回声，达到回声抵消的功能。
46.短时傅里叶变换(short time fourier transform，stft)：stft是一个用于语音信号处理的通用工具，它定义了一个非常有用的时间和频率分布类，指定了任意信号随时间和频率变化的复数幅度。计算短时傅里叶变换的过程是把一个较长的时间信号分成相同长度的更短的段,在每个更短的段上计算傅里叶变换，即傅里叶频谱。
47.图1示出了应用根据本公开的示例性实施例的合唱混音的方法和装置的系统环境的示图。
48.如图1所示，本公开所提供的合唱混音的方法可以应用于如图1所示的应用环境中。其中，终端102和终端104与服务器106通过网络进行通信，当终端102为本地终端时，终端104则为远端终端，而当终端104为本地终端时，终端102则为远端终端。具体的，终端102和终端104可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、上网本、个人数字助理(personal digital assistant，pda)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备等具有音频播放功能的设备中的至少一种，服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
49.根据本公开的示例性实施例的估计回声延迟的方法，以直播连麦的场景中终端102为本地终端(即主唱终端)、终端104为远端终端(即合唱终端)为例进行说明。通过主唱终端102的音频模块(例如，包括麦克风、音频处理芯片和/或处理器的对应功能部分)可产生主唱音频信号。合唱终端104可通过服务器106接收到来自主唱终端102的主唱音频信号，合唱终端104的用户可在播放主唱音频信号的同时与主唱的音频进行合唱从而可在合唱终端104处产生合唱音频信号，然后可在合唱终端104处对主唱音频信号和接收到的合唱音频信号进行混音录制。这里，合唱终端104可以通过扬声器以外放模式播放主唱的音频信号，也可以通过耳机模式通过与终端104连接的耳机来输出主唱的音频信号，同时通过麦克风等音频输入设备来产生合唱音频信号。因此，在外放模式下，合唱音频信号会包含外放主唱音频的信号，而在耳机模式下，合唱音频信号仅包含合唱者的音频信号。应理解，主唱音频信号也可以是从服务器106直接发送到合唱终端104的信号，本公开对主唱音频信号的产生方式不做限制。
50.下面将参照图2
‑
图3来分别说明在两种模式下进行合唱混音的方法。
51.图2是示出根据本公开的示例性实施例的合唱混音方法的流程图。
52.首先，在步骤s210，将主唱音频信号和包含外放主唱音频的合唱音频信号分别转换为频域信号。
53.这里，可将主唱音频信号和包含外放主唱音频的合唱音频信号进行短时傅里叶变换(stft)以生成各自对应的频域信号：
54.main(n)＝stft(main(t))，
55.chorus(n)＝stft(chorus(t))，
56.其中，main(t)和chorus(t)分别表示主唱音频信号和含有外放主唱音频的合唱音频信号的时域音频信号，main(n)表示主唱音频信号的频域信号，chorus(n)表示合唱音频
信号的频域信号，其中，n为帧序列编号，0＜n≤n，n为总帧数。需注意，由于本公开在音频的各个频段的处理均相同，因此频域信号中不体现指示频带信息的符号。另外，chorus(t)和chorus(n)信号可分别表示为：
57.chorus(t)＝cleanchorus(t) spkmain(t)，
58.chorus(n)＝cleanchorus(n) spkmain(n)，
59.其中，cleanchorus(t)和spkmain(t)分别表示纯净的合唱音频信号和外放主唱音频的时域音频信号，而cleanchorus(n)和spkmain(n)分别表示纯净的合唱音频信号的频域信号和外放主唱音频信号的频域信号。
60.接下来，在步骤s220，基于主唱音频信号的频域信号和合唱音频信号的频域信号所包含的外放主唱音频的频域信号来确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的延迟。
61.这里，步骤s220可确定所述合唱音频信号的频域信号所包含的外放主唱音频的频域信号与主唱音频信号的频域信号之间的相对偏移帧数，并根据所述相对偏移帧数确定所述延迟。也就是说，可将main(n)和chorus(n)信号输入到延迟估计模块，估计chorus(n)中的spkmain(n)信号分量相对于main(n)的延迟。根据本公开的示例性实施例的延迟估计模块例如可基于相关性的延迟估计、给予频谱能量相似性的延迟估计等来执行延迟估计，对此不进行限制。经过延迟估计处理后得到当前时刻n的估计的延迟结果delay(n)，该结果表示main(n)和chorus(n)信号之间的相对偏移帧数。
62.接下来，在步骤s230，基于确定的延迟将合唱音频信号与主唱音频信号对齐。
63.根据本公开的示例性实施例，可根据合唱音频信号与主唱音频信号之间的延迟变化来动态地调整对齐。例如，可确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差，响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间，响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围内，基于当前时刻的延迟来调整合唱音频信号的时间。
64.具体地，对于如上的合唱音频信号的频域信号chorus(n)和主唱音频信号的频域信号main(n)可设置一个最大容忍延迟帧数tolerance，例如，tolerance可以为30毫秒音频所对应的帧数。当delay(n
‑
1)≤delay(n) tolerance且delay(n
‑
1)≥delay(n)
‑
tolerance，则以前一时刻的延迟帧数为基准获得延迟的样点数delaysamples(n)＝framelen*delay(n
‑
1)，其中，framelen为一帧音频数据对应的样点数；如果delay(n
‑
1)＜delay(n)
‑
tolerance或delay(n
‑
1)＞delay(n) tolerance，则可使用当前时刻的延迟帧数来获得与延迟对应的延迟样点数delaysamples(n)＝framelen*delay(n)。然后，可根据延迟样点数对合唱音频信号进行时间调整，即chorusaligned(t
‑
delaysamplesn＝chorus(t)。
65.也就是说，当主唱音频信号与合唱音频信号之间的在某些时刻的延迟变化不大时，人耳不能感知出延迟变化，因此可不进行调整。通过上述的延迟调整方式，可以在延迟变化较小的时候不频繁地引入时间序列的对齐调整，从而可以减少由于对齐调整引入的不连续而产生的伪影。
66.此外，在通过如上所述的延迟调整之后，还可对由于延迟变化而产生的信号重叠或断裂进行平滑处理，使得调整后的信号具有更好的连贯性。
67.接下来，在步骤s240，针对对齐后的合唱音频信号执行回声消除以削弱合唱音频信号中的主唱音频。
68.根据本公开的示例性实施例，可使用初始的主唱音频信号作为参考信号来对对齐后的合唱音频信号中的残留的主唱音频信号进行回声消除。
69.具体地，可将延迟对齐后的含有外放主唱音频的合唱音频信号chorusaligned(t)以及主唱音频信号main(t)输入到回声消除模块中，这里，chorusaligned(t)可由如下等式表示：
70.chorusaligned(t)＝cleanchorusaligned(t) spkmainaligned(t)，
71.其中，
72.cleanchorusaligned(t
‑
delaysamples(n))＝cleanchorus(t)，
73.spkmainaligned(t
‑
delaysamples(n))＝spkmain(t)，
74.以main(t)作为参考信号对chorusaligned(t)中残留的spkmainaligned(t)信号进行消除。根据本公开的示例性实施例，例如可使用基于归一化最小均方的时域自适应滤波的回声消除、基于分块频域自适应滤波的回声消除、基于自带分解的回声消除等，本公开对此不进行限制。回声消除可以大大减弱spkmainaligned(t)分量，一般可达10
‑
20db的减弱量。经过该模块的输出信号可表示为：
75.chorusalignedaecout(t)＝cleanchorusaligned(t) spkmainalignedattenuate(t)，
76.其中，spkmainalignedattenuate(t)为削弱后的外放主唱音频信号。
77.最后，在步骤s250，对主唱音频信号和执行了回声消除的合唱音频信号进行混音，从而得到最终的混音音频信号。
78.这里，可对主唱音频信号和执行了回声消除的合唱音频信号执行幅度控制，从而防止出现截波失真。
79.具体地，将在步骤s240输出的调整后的合唱音频信号chorusalignedaecout(t)和原始的主唱歌声信号main(t)进行混音得到最终的合唱音频信号music(t)：
80.music(t)＝limitation(main(t) chorusalignedaecout(t))
81.其中，limitation(*)表示对信号进行幅度控制。
82.通过如上所述的合唱混音方法，可以减弱由于设备本身播放并采集到的主唱歌声，并且将合唱歌声和主唱歌声进行自动对齐，避免最终作品出现多个错位的主唱歌声和合唱歌声与主唱歌声出现错位的问题。
83.下面将参照图3来说明根据本公开的另一示例性实施例的合唱混音方法。该方法适用于在耳机模式下的混音。如前所述，在耳机模式下，采集到的是纯净的合唱声音，不包含外放的主唱音频的声音。
84.首先，在步骤s310，从带有伴奏的主唱音频信号分离得到纯净的主唱音频信号。用公式表示如下：
85.mainvocal(t)＝spleeter[main(t)]，
[0086]
其中，spleeter[*]代表声伴分离处理。这里，可采用任何相关技术的声音和伴奏
分离方法来提取纯净的主唱音频信号。
[0087]
接下来，在步骤s320，检测纯净的主唱音频信号和合唱音频信号的频率信息。这里，可通过相关技术的频率检测方法来分别得到主唱音频信号mainvocal(t)和合唱音频信号cleanchorus(t)在不同时刻下的频率信息，从而形成合唱音频信号的频率信息的时间序列pitchchorus(t)和纯净的主唱音频信号的频率信息的时间序列pitchmainvocal(t)，用公式表示如下：
[0088]
pitchchorus(t)＝pitch[cleanchorus(t)]，
[0089]
pitchmainvocal(t)＝pitch[mainvocal(t)]，
[0090]
其中，pitch[*]表示频率检测处理。
[0091]
然后，在步骤s330，基于合唱音频信号的频率信息的时间序列与纯净的主唱音频信号的频率信息的时间序列来确定主唱音频信号和合唱音频信号之间的延迟。
[0092]
根据本公开的示例性实施例，可根据基于合唱音频信号的频率信息的时间序列与纯净的主唱音频信号的频率信息的时间序列之间的相关性或最小差值来确定合唱音频信号和纯净的主唱音频信号之间的延迟。
[0093]
接下来，在步骤s340，基于确定的延迟将合唱音频信号与主唱音频信号进行对齐。
[0094]
根据本公开的示例性示例，可采用与步骤s230类似的方式来进行对齐。也就是说，基于确定的延迟将合唱音频信号与对主唱音频信号对齐的步骤可包括：确定纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差；响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间；响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围内，基于当前时刻的延迟来调整合唱音频信号的时间。同样地，在对齐之后，可以对调整后的合唱音频信号的重叠和断裂执行平滑处理。
[0095]
最后，在步骤s350，对主唱音频信号和对齐后的合唱音频信号进行混音。这里，可以对主唱音频信号和对齐后的合唱音频信号执行幅度控制以防止出现截波失真。
[0096]
通过以上的方案，可以实现合唱歌声和主唱歌声的自动对齐发，防止出现主唱歌声和合唱歌声错位的现象。
[0097]
图4是示出根据本公开的另一示例性实施例的合唱混音方法的流程图。
[0098]
首先，在步骤s410，确定主唱音频信号的输出模式。可根据执行合唱混音的设备的音频输出状态来确定输出模式。例如，当确定没有耳机连接到设备时，可确定输出模式为外放模式，当确定耳机连接到设备时，可确定输出模式为耳机模式。
[0099]
接下来，在步骤s420，响应于确定主唱音频信号的输出模式为外放模式，通过使用参照图2描述的用于外放模式的合唱混音方法来对合唱音频信号和主唱音频信号进行混音。响应于确定主唱音频信号的输出模式为耳机模式，可通过使用参照图3描述的用于耳机模式的合唱混音方法来对合唱音频信号和主唱音频信号进行混音。
[0100]
以上已经参照图2和图3分别对外放模式下的混音方法和耳机模式下的混音方法进行了描述，在此不再重复说明。
[0101]
图5是示出根据本公开的示例性实施例的合唱混音装置500的框图。合唱混音装置500可被用于在外放模式下对合唱音频信号和主唱音频信号进行混音。应理解，图5中的各
个模块可根据需要被进一步划分为更多的模块或者集成为更少的模块。
[0102]
如图5所示，合唱混音装置500可包括转换模块510、延迟确定模块520、对齐模块530、回声消除模块540和混音模块550。
[0103]
转换模块510被配置为将主唱音频信号和包含外放主唱音频的合唱音频信号分别转换为频域信号。如以上参照图2所述，转换模块510可通过stft将主唱音频信号和包含外放主唱音频的合唱音频信号转换为各自对应的频域信号。
[0104]
延迟确定模块520被配置为基于主唱音频信号的频域信号和合唱音频信号的频域信号所包含的外放主唱音频的频域信号来确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的延迟。
[0105]
对齐模块530被配置为基于确定的延迟将合唱音频信号与对主唱音频信号对齐。
[0106]
回声消除模块540被配置为针对对齐后的合唱音频信号执行回声消除以削弱合唱音频信号中的主唱音频信号。
[0107]
混音模块550被配置为对主唱音频信号和执行了回声消除的合唱音频信号进行混音。
[0108]
根据本公开的示例性实施例，延迟确定模块520被配置为确定所述合唱音频信号的频域信号所包含的外放主唱音频的频域信号与主唱音频信号的频域信号之间的相对偏移帧数，并根据所述相对偏移帧数来确定延迟。
[0109]
根据本公开的示例性实施例，对齐模块530被配置为确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差，响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间，响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围，基于当前时刻的延迟来调整合唱音频信号的时间。
[0110]
根据本公开的示例性实施例，对齐模块530还被配置为对调整后的合唱音频信号的重叠和断裂执行平滑处理。
[0111]
根据本公开的示例性实施例，回声消除模块540被配置为以主唱音频信号作为参考信号针对对齐后的合唱音频信号执行回声消除以减弱合唱音频信号中的残留的主唱音频信号。
[0112]
根据本公开的示例性实施例，混音模块550被配置为对主唱音频信号和执行了回声消除的合唱音频信号执行幅度控制。
[0113]
应理解，合唱混音装置500的各个模块所执行的操作与如上参照图2说明的合唱混音方法的各个操作对应，在此不再重复说明。
[0114]
图6是根据本公开的另一示例性实施例的合唱混音装置的框图。
[0115]
合唱混音装置600可被用于在耳机模式下对合唱音频信号和主唱音频信号进行混音。应理解，图6中的各个模块可根据需要被进一步划分为更多的模块或者集成为更少的模块。
[0116]
如图6所示，合唱混音装置600可包括分离模块610、频率信息监测模块620、延迟确定模块630、对齐模块640和混音模块650。
[0117]
分离模块610被配置为从带有伴奏的主唱音频信号分离得到纯净的主唱音频信
号。
[0118]
频率检测模块520被配置为检测纯净的主唱音频信号和合唱音频信号的频率信息。
[0119]
延迟确定模块630被配置为基于合唱音频信号的频率信息的时间序列与纯净的主唱音频信号的频率信息的时间序列来确定主唱音频信号和合唱音频信号之间的延迟。
[0120]
对齐模块640被配置为基于确定的延迟将合唱音频信号与主唱音频信号进行对齐。
[0121]
混音模块650被配置为对主唱音频信号和对齐后的合唱音频信号进行混音。
[0122]
根据本公开的示例性实施例，延迟确定模块620被配置为根据基于合唱音频信号的频率信息的时间序列与纯净的主唱音频信号的频率信息的时间序列之间的相关性或最小差值来确定合唱音频信号和纯净的主唱音频信号之间的延迟。
[0123]
根据本公开的示例性实施例，对齐模块630被配置为确定纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差，响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间，并且响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围，基于当前时刻的延迟来调整合唱音频信号的时间。
[0124]
根据本公开的示例性实施例，对齐模块630还被配置为对调整后的合唱音频信号的重叠和断裂执行平滑处理。
[0125]
根据本公开的示例性实施例，混音模块640被配置为对主唱音频信号和对齐后的合唱音频信号执行幅度控制。
[0126]
应理解，合唱混音装置600的各个模块所执行的操作与如上参照图3说明的合唱混音方法的各个操作对应，在此不再重复说明。
[0127]
应理解，根据本公开的示例性实施例的合唱混音装置500和合唱混音装置600可以在一个电子设备中实现，从而该电子设备可以根据主唱音频信号的输出方式来选择使用合唱混音装置500和600中的一个，从而可以适应于各种合唱混音场景，保证合唱混音的质量。
[0128]
图7是示出根据本公开的示例性实施例的一种用于合唱混音的电子设备的结构框图。该电子设备700例如可以是：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0129]
通常，电子设备700包括有：处理器701和存储器702。
[0130]
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用dsp(digital signal processing，数字信号处理)、fpga(field programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在
一些实施例中，处理器701可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0131]
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本公开的如图2
‑
图4所示的方法实施例提供的方法。
[0132]
在一些实施例中，电子设备700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709。
[0133]
外围设备接口703可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0134]
射频电路704用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括nfc(near field communication，近距离无线通信)有关的电路，本公开对此不加以限定。
[0135]
显示屏705用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置在电子设备700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light
‑
emitting diode,有机发光二极管)等材质制备。
[0136]
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一
些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0137]
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
[0138]
定位组件708用于定位电子设备700的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件708可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
[0139]
电源709用于为电子设备700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
[0140]
在一些实施例中，电子设备700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
[0141]
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
[0142]
陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3d动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0143]
压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对ui上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0144]
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的
指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置电子设备700的正面、背面或侧面。当电子设备700上设置有物理按键或厂商logo时，指纹传感器714可以与物理按键或厂商logo集成在一起。
[0145]
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
[0146]
接近传感器716，也称距离传感器，通常设置在电子设备700的前面板。接近传感器716用于采集用户与电子设备700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与电子设备700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。
[0147]
本领域技术人员可以理解，图7中示出的结构并不构成对电子设备700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0148]
根据本公开的实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的合唱混音的方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd
‑
rom、cd
‑
r、cd r、cd
‑
rw、cd rw、dvd
‑
rom、dvd
‑
r、dvd r、dvd
‑
rw、dvd rw、dvd
‑
ram、bd
‑
rom、bd
‑
r、bd
‑
r lth、bd
‑
re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
[0149]
根据本公开的实施例中，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成合唱混音方法。
[0150]
根据本公开的实施例的用于合唱混音的方法、装置、电子设备、计算机可读存储介质能够自动地解决合唱中多个错位的主唱音频的问题以及合唱音频与主唱错位的问题，无需人工干预并且实现方式简单可靠，能够保证合唱作品的质量。
[0151]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或
者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0152]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。