歌唱声音优化方法、装置、设备和计算机可读存储介质与流程

1.本发明涉及语音处理领域，特别涉及一种歌唱声音优化方法、装置、设备和计算机可读存储介质。


背景技术：

2.随着人们生活水平的提升，去ktv等娱乐场所一展歌喉成为越来越多的人休闲放松的一种方式。一般而言，去这些娱乐场所唱歌的都是若干朋友一起。在这种场合下，若有些五音不全的歌唱者在歌唱时走调，会是一件比较尴尬的事情。针对这种尴尬场景，现有一种解决方案是对这类歌唱者使用的麦克风进行了修音，使得从麦克风发出来的声音比较悦耳动听。然而，每个人的音色不一样，现有技术这种对麦克风进行的修音功能，使得从麦克风出来的声音并不能体现出每个人的歌唱特点。


技术实现要素：

3.本技术提供一种歌唱声音优化方法、装置、设备和计算机可读存储介质，不仅使得歌唱者的歌声动听，而且还能保持歌唱者个人声音特点。
4.一方面，本技术提供了一种歌唱声音优化方法，包括：
5.获取目标歌曲的原声音频数据f1(t)，所述目标歌曲为歌唱者当前所唱歌曲；
6.同步采集麦克风音频数据f2(t)，所述麦克风音频数据f2(t)对应于所述歌唱者在歌唱所述目标歌曲时所用麦克风发出的声音；
7.基于所述原声音频数据f1(t)对所述麦克风音频数据f2(t)进行处理后，得到处理后音频数据；
8.播放所述处理后音频数据。
9.另一方面，本技术提供了一种歌唱声音优化装置，包括：
10.获取模块，用于获取目标歌曲的原声音频数据f1(t)，所述目标歌曲为歌唱者当前所唱歌曲；
11.采集模块，用于同步采集麦克风音频数据f2(t)，所述麦克风音频数据f2(t)对应于所述歌唱者在歌唱所述目标歌曲时所用麦克风发出的声音；
12.调整模块，用于基于所述原声音频数据f1(t)对所述麦克风音频数据f2(t)进行处理后，得到处理后音频数据；
13.播放模块，用于播放所述处理后音频数据。
14.第三方面，本技术提供了一种设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述歌唱声音优化方法的技术方案的步骤。
15.第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述歌唱声音优化方法的技术方案的步骤。
16.从上述本技术提供的技术方案可知，在获取目标歌曲的原声音频数据f1(t)和同步采集麦克风音频数据f2(t)之后，基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理而得到处理后音频数据，相对于现有技术只是对歌唱者的麦克风音频数据进行修正，由于本技术是基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理，因此处理后音频数据在播放后，不仅使得歌唱者的歌声动听，而且还能保持歌唱者个人声音特点。
附图说明
17.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本技术实施例提供的歌唱声音优化方法的流程图；
19.图2是本技术实施例提供的歌唱声音优化装置的结构示意图；
20.图3是本技术实施例提供的设备的结构示意图。
具体实施方式
21.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
22.在本说明书中，诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分，而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下，参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个，而可以是元素、部件、或步骤中的一个或多个等。
23.在本说明书中，为了便于描述，附图中所示的各个部分的尺寸并不是按照实际的比例关系绘制的。
24.如附图1所示，是本技术提出了一种歌唱声音优化方法流程图，主要包括步骤s101至s104，详述如下：
25.步骤s101：获取目标歌曲的原声音频数据f1(t)，其中，目标歌曲为歌唱者当前所唱歌曲。
26.此处的目标歌曲即歌唱者当前所唱歌曲，目标歌曲的原声音频数据f1(t)即歌唱者当前所唱歌曲的原唱对应发声的数据，其可以是目标歌曲的原声强度，例如生音的幅值等。需要说明的是，此处的“原唱”可以做广义理解，除了首次歌唱目标歌曲的歌手或歌星在录音棚制录制的成品歌曲可以作为原唱之外，一些歌唱水准与原唱水准相当的翻唱歌曲，亦可以作为此处的原唱。原则上，只要歌唱水准不在狭义的原唱的水准之下，都可以本技术实施例的原唱。
27.步骤s102：同步采集麦克风音频数据f2(t)，其中，麦克风音频数据f2(t)对应于歌唱者在歌唱目标歌曲时所用麦克风发出的声音。
28.此处，麦克风音频数据f2(t)对应于歌唱者在歌唱目标歌曲时所用麦克风发出的
声音，所谓同步采集麦克风音频数据f2(t)，是指在时间轴上，采集麦克风音频数据f2(t)的时刻与获取目标歌曲的原声音频数据f1(t)的时刻相同。
29.步骤s103：基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理后，得到处理后音频数据。
30.由于既要使歌唱者最后唱出的歌声动听，又要一定程度上保持歌唱者的声音特点，因此，基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理后，得到处理后音频数据可以是对麦克风音频数据f2(t)和原声音频数据f1(t)动态赋予相应权重后合并，得到处理后音频数据。具体地，作为本技术一个实施例，对麦克风音频数据f2(t)和原声音频数据f1(t)动态赋予相应权重后合并，得到处理后音频数据可以是：求取麦克风音频数据f2(t)和原声音频数据f1(t)的平均值，得到理想音频数据f(t)＝[f1(t) f2(t)]/2；在初始阶段，对麦克风音频数据f2(t)和理想音频数据f(t)各赋予相等的权重；在初始阶段结束之后，对原声音频数据f1(t)赋予权重ω1，对理想音频数据f(t)赋予权重ω，其中，ω1 ω＝1；执行ω1*f1(t) ω*f(t)，将ω1*f1(t) ω*f(t)作为处理后音频数据。上述实施例中，初始阶段可以是从歌唱者开始唱响目标歌曲这一刻至预定时刻的一段时间。至于ω1与ω的大小关系，可以根据需要而定，例如，若需要更大程度上保持原唱效果，则可以取ω1大于ω，反之，若需要更大程度上保持歌唱者的生音特点，则可以取ω1小于ω。
[0031]
作为本技术一个实施例，对麦克风音频数据f2(t)和原声音频数据f1(t)动态赋予相应权重后合并，得到处理后音频数据可以是：将麦克风音频数据f2(t)和原声音频数据f1(t)进行实时对比，确定歌唱者的歌唱水平；若歌唱者的歌唱水平在预设水准以上，则对原声音频数据f1(t)赋予权重ω3，对麦克风音频数据f2(t)赋予权重ω4，其中，ω3小于ω4，且ω3 ω4＝1；若歌唱者的歌唱水平在预设水准以下，则对原声音频数据f1(t)赋予权重ω'3，对麦克风音频数据f2(t)赋予权重ω'4，其中，ω'3大于ω'4，且ω'3 ω'4＝1；执行ω3*f1(t) ω4*f2(t)或ω'3*f1(t) ω'4*f2(t)，将ω3*f1(t) ω4*f2(t)或ω'3*f1(t) ω'4*f2(t)作为处理后音频数据。上述实施例中，将麦克风音频数据f2(t)和原声音频数据f1(t)进行实时对比，确定歌唱者的歌唱水平具体可以是将麦克风音频数据f2(t)的强度与原声音频数据f1(t)的强度进行实时对比，来确定歌唱者的歌唱水平。若歌唱者的歌唱水平在预设水准以上，说明歌唱者的歌唱水平较强，为了较大程度上保持歌唱者的声音特点，可以对原声音频数据f1(t)赋予较小的权重ω3而对麦克风音频数据f2(t)赋予较大的权重ω4，反之，若歌唱者的歌唱水平在预设水准以下，说明歌唱者的歌唱水平较差，为了避免尴尬，可以对原声音频数据f1(t)赋予较大的权重ω'3而对麦克风音频数据f2(t)赋予较小的权重ω
′4。
[0032]
作为本技术另一实施例，基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理后，得到处理后音频数据还可以是：对麦克风音频数据f2(t)和原声音频数据f1(t)进行发音匹配检测，得到发声差异结果；基于发声差异结果，利用原声音频数据f1(t)的发声修正麦克风音频数据f2(t)的发声，得到处理后音频数据。上述实施例中，发声差异结果表征了麦克风音频数据f2(t)和原声音频数据f1(t)在发声上的差异程度，而对麦克风音频数据f2(t)和原声音频数据f1(t)进行发音匹配检测，得到发声差异结果，一种方式可以是将麦克风音频数据f2(t)作为一个待检测整体，直接与原声音频数据f1(t)进行发声匹配检测，得到发声差异结果。由于是将麦克风音频数据f2(t)作为一个待检测整体对比，因此，在与原声音频数据f1(t)进行发声匹配检测时匹配检测效率较高。对麦克风音频数据f2(t)和原声音
频数据f1(t)进行发音匹配检测，得到发声差异结果的另一种方式可以是：对麦克风音频数据f2(t)和原声音频数据f1(t)进行切割后，再进行发声匹配检测，得到发声差异结果。由于对麦克风音频数据f2(t)和原声音频数据f1(t)进行切割后，得到的是数据片段，后续发声匹配检测的粒度更小，因此，所得到的发声差异结果相对前一种方式，其准确度更高。
[0033]
至于基于发声差异结果，利用原声音频数据f1(t)的发声修正麦克风音频数据f2(t)的发声，得到处理后音频数据，在本技术一个实施例中，具体可以是：从麦克风音频数据f2(t)的至少一个歌唱者发声字符中，挑选出发声差异结果表征存在差异的待修正发声字符；从原声音频数据f1(t)的发声字符中提取出与待修正发声字符相对应的标准发声字符；将标准发声字符替换待修正发声字符，得到已修正发声字符；利用已修正发声字符和至少一个歌唱者发声字符中除待修正发声字符之外的发声字符，合成出处理后音频数据。
[0034]
步骤s104：播放处理后音频数据。
[0035]
具体地，可以将处理后音频数据进行解码处理，还原成声音信号即歌曲。
[0036]
从上述附图1示例的歌唱声音优化方法可知，在获取目标歌曲的原声音频数据f1(t)和同步采集麦克风音频数据f2(t)之后，基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理而得到处理后音频数据，相对于现有技术只是对歌唱者的麦克风音频数据进行修正，由于本技术是基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理，因此处理后音频数据在播放后，不仅使得歌唱者的歌声动听，而且还能保持歌唱者个人声音特点。
[0037]
请参阅附图2，是本技术实施例提供的一种歌唱声音优化装置，可以包括获取模块201、采集模块202、调整模块203和播放模块204，详述如下：
[0038]
获取模块201，用于获取目标歌曲的原声音频数据f1(t)，其中，目标歌曲为歌唱者当前所唱歌曲；
[0039]
采集模块202，用于同步采集麦克风音频数据f2(t)，其中，麦克风音频数据f2(t)对应于歌唱者在歌唱目标歌曲时所用麦克风发出的声音；
[0040]
调整模块203，用于基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理后，得到处理后音频数据；
[0041]
播放模块204，用于播放处理后音频数据。
[0042]
从以上技术方案的描述中可知，在获取目标歌曲的原声音频数据f1(t)和同步采集麦克风音频数据f2(t)之后，基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理而得到处理后音频数据，相对于现有技术只是对歌唱者的麦克风音频数据进行修正，由于本技术是基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理，因此处理后音频数据在播放后，不仅使得歌唱者的歌声动听，而且还能保持歌唱者个人声音特点。
[0043]
可选地，上述图2示例的调整模块203可以包括合并单元，用于对麦克风音频数据f2(t)和原声音频数据f1(t)动态赋予相应权重后合并，得到处理后音频数据。
[0044]
可选地，上述图2示例的合并单元可以包括平均值计算单元、第一权重赋予单元、第二权重赋予单元和第一求和单元，其中：
[0045]
平均值计算单元，用于求取麦克风音频数据f2(t)和原声音频数据f1(t)的平均值，得到理想音频数据f(t)＝[f1(t) f2(t)]/2；
[0046]
第一权重赋予单元，用于在初始阶段，对麦克风音频数据f2(t)和理想音频数据f(t)各赋予相等的权重；
[0047]
第二权重赋予单元，用于在所述初始阶段结束之后，对原声音频数据f1(t)赋予权重ω1，对理想音频数据f(t)赋予权重ω，其中，ω1 ω＝1；
[0048]
第一求和单元，用于执行ω1*f1(t) ω*f(t)，将ω1*f1(t) ω*f(t)作为处理后音频数据。
[0049]
可选地，上述图2示例的合并单元可以包括确定单元、第三权重赋予单元、第四权重赋予单元和第二求和单元，其中：
[0050]
确定单元，用于将麦克风音频数据f2(t)和原声音频数据f1(t)进行实时对比，确定歌唱者的歌唱水平；
[0051]
第三权重赋予单元，用于若歌唱者的歌唱水平在预设水准以上，则对原声音频数据f1(t)赋予权重ω3，对麦克风音频数据f2(t)赋予权重ω4，其中，ω3小于ω4，且ω3 ω4＝1；
[0052]
第四权重赋予单元，用于若歌唱者的歌唱水平在预设水准以下，则对原声音频数据f1(t)赋予权重ω'3，对麦克风音频数据f2(t)赋予权重ω'4，其中，ω'3大于ω'4，且ω'3 ω'4＝1；
[0053]
第二求和单元，用于执行ω3*f1(t) ω4*f2(t)或ω'3*f1(t) ω'4*f2(t)，将ω3*f1(t) ω4*f2(t)或ω'3*f1(t) ω'4*f2(t)作为处理后音频数据。
[0054]
可选地，上述图2示例的调整模块203可以包括检测单元和修正单元，其中：
[0055]
检测单元，用于对所述麦克风音频数据f2(t)和所述原声音频数据f1(t)进行发音匹配检测，得到发声差异结果；
[0056]
修正单元，用于基于发声差异结果，利用原声音频数据f1(t)的发声修正麦克风音频数据f2(t)的发声，得到处理后音频数据。
[0057]
可选地，上述示例的检测单元可以包括第一匹配检测单元或第二匹配检测单元，其中：
[0058]
第一匹配检测单元，用于将麦克风音频数据f2(t)作为一个待检测整体，直接与原声音频数据f1(t)进行发声匹配检测，得到发声差异结果；
[0059]
第二匹配检测单元，用于对麦克风音频数据f2(t)和原声音频数据f1(t)进行切割后，再进行发声匹配检测，得到发声差异结果。
[0060]
可选地，上述示例的修正单元可以包括挑选单元、提取单元、替换单元和合成单元，其中：
[0061]
挑选单元，用于从麦克风音频数据f2(t)的至少一个歌唱者发声字符中，挑选出发声差异结果表征存在差异的待修正发声字符；
[0062]
提取单元，用于从原声音频数据f1(t)的发声字符中提取出与待修正发声字符相对应的标准发声字符；
[0063]
替换单元，用于将标准发声字符替换待修正发声字符，得到已修正发声字符；
[0064]
合成单元，用于利用已修正发声字符和至少一个歌唱者发声字符中除待修正发声字符之外的发声字符，合成出处理后音频数据。
[0065]
图3是本技术一实施例提供的设备的结构示意图。如图3所示，该实施例的设备3主要包括：处理器30、存储器31以及存储在存储器31中并可在处理器30上运行的计算机程序32，例如歌唱声音优化方法的程序。处理器30执行计算机程序32时实现上述歌唱声音优化
方法实施例中的步骤，例如图1所示的步骤s101至s104。或者，处理器30执行计算机程序32时实现上述各装置实施例中各模块/单元的功能，例如图2所示获取模块201、采集模块202、调整模块203和播放模块204的功能。
[0066]
示例性地，歌唱声音优化方法的计算机程序32主要包括：获取目标歌曲的原声音频数据f1(t)，其中，目标歌曲为歌唱者当前所唱歌曲；同步采集麦克风音频数据f2(t)，其中，麦克风音频数据f2(t)对应于歌唱者在歌唱目标歌曲时所用麦克风发出的声音；基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理后，得到处理后音频数据；播放处理后音频数据。计算机程序32可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器31中，并由处理器30执行，以完成本技术。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序32在设备3中的执行过程。例如，计算机程序32可以被分割成获取模块201、采集模块202、调整模块203和播放模块204(虚拟装置中的模块)的功能，各模块具体功能如下：获取模块201，用于获取目标歌曲的原声音频数据f1(t)，其中，目标歌曲为歌唱者当前所唱歌曲；采集模块202，用于同步采集麦克风音频数据f2(t)，其中，麦克风音频数据f2(t)对应于歌唱者在歌唱目标歌曲时所用麦克风发出的声音；调整模块203，用于基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理后，得到处理后音频数据；播放模块204，用于播放处理后音频数据。
[0067]
设备3可包括但不仅限于处理器30、存储器31。本领域技术人员可以理解，图3仅仅是设备3的示例，并不构成对设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算设备还可以包括输入输出设备、网络接入设备、总线等。
[0068]
所称处理器30可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0069]
存储器31可以是设备3的内部存储单元，例如设备3的硬盘或内存。存储器31也可以是设备3的外部存储设备，例如设备3上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器31还可以既包括设备3的内部存储单元也包括外部存储设备。存储器31用于存储计算机程序以及设备所需的其他程序和数据。存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
[0070]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即，将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0071]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0072]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0073]
在本技术所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0074]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0075]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0076]
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非临时性计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，歌唱声音优化方法的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤，即，获取目标歌曲的原声音频数据f1(t)，其中，目标歌曲为歌唱者当前所唱歌曲；同步采集麦克风音频数据f2(t)，其中，麦克风音频数据f2(t)对应于歌唱者在歌唱目标歌曲时所用麦克风发出的声音；基于原声音频数据f1(t)对麦克风音频数据f2(t)进行处理后，得到处理后音频数据；播放处理后音频数据。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。非临时性计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存(rom，read-only memory)、随机存取存储器(ram，randomaccess memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，非临时性计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，非临时性计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。以上所述的具体实施方式，对本技术的目的、技术方案和有益效果进行了进一步详细说明，所应理
解的是，以上所述仅为本技术的具体实施方式而已，并不用于限定本技术的保护范围，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。