本公开涉及声音处理领域，尤其涉及一种语音增强方法、装置和存储介质。
背景技术：
目前，各种产品设备大多采用麦克风阵列进行声音拾取，应用麦克风波束形成技术或者盲源分离技术提高语音信号处理质量，提高真实环境下的语音识别率。
然而，设备在录制的同时播放声音的场景时，设备播放的声音也会被自身的麦克风拾取形成回声。回声会对用户发出的控制命令等声音信号形成干扰，降低设备的语音识别率，降低交互体验。并且，在实际生活环境中由于墙、家具等的反射，声音存在混响现象。混响会导致波束形成和分离效果的恶化。
目前的语音增强系统通常由回声抵消模块、去混响模块、盲源分离模块的串联构成，各个模块彼此独立，各自分工，分别优化。因此虽然各个模块能达到各自的优化效果，但整个链路的效果却无法保证最优。
技术实现要素：
为克服相关技术中存在的问题，本公开提供一种语音增强方法、装置和存储介质。
根据本公开实施例的第一方面，提供一种语音增强方法，包括：获取声音信号；将所述声音信号中的各信号帧输入解混模型，其中，所述解混模型是将信号帧中的直达声、混响与回声作为独立声源进行设定的用于去除信号帧中的混响与回声的计算模型，针对所述声音信号中的任一非首个信号帧，所述解混模型根据当前信号帧的信号值序列以及在所述当前信号帧之前的历史信号帧的信号值序列计算出对所述当前信号帧去除混响和回声后的信号帧序列。
可选的，所述解混模型通过以下方式获得所述目标声音信号：基于上一信号帧对应的解混矩阵求取当前信号帧的第一期望信号序列；基于所述第一期望信号序列更新解混矩阵；基于更新后的所述解混矩阵计算第二期望信号序列，并将所述第二期望信号序列作为所述目标声音信号。。
可选的，所述基于上一信号帧对应的解混矩阵求取当前信号帧的第一期望信号序列，包括：根据当前信号帧的信号值序列、当前信号帧的回声参考信号值序列、历史信号帧的信号值序列以及上一信号帧对应的解混矩阵求取所述第一期望信号序列。
可选的，所述基于所述第一期望信号序列更新所述解混矩阵，包括：通过所述第一期望信号值更新加权协方差矩阵；基于更新后的所述加权协方差矩阵更新所述解混矩阵。。
可选的，所述基于更新后的所述解混矩阵计算第二期望信号序列，包括：根据当前信号帧的信号值序列、当前信号帧的回声参考信号值序列、历史信号帧的信号值序列以及更新后的所述解混矩阵求取所述第一期望信号序列。
可选的，所述解混矩阵是预设的用于建立信号帧的信号值序列、在该信号帧之前的历史信号帧的信号值序列以及该信号帧中的目标声音信号的期望信号值序列三者之间的映射关系的矩阵，所述映射关系为：
可选的，在所述基于更新后的所述解混矩阵计算第二期望信号序列之前，所述方法还包括：对更新后的所述解混矩阵进行去幅度模糊。
根据本公开实施例的第二方面，提供一种语音增强装置，包括：获取模块，被配置为获取声音信号；处理模块，被配置为将所述声音信号中的各信号帧输入解混模型，其中，所述解混模型是将信号帧中的直达声、混响与回声作为独立声源进行设定的用于去除信号帧中的混响与回声的计算模型，针对所述声音信号中的任一非首个信号帧，所述解混模型根据当前信号帧的信号值序列以及在所述当前信号帧之前的历史信号帧的信号值序列计算出对所述当前信号帧去除混响和回声后的信号帧序列；输出模块，被配置为获得所述解混模型输出的去除混响和回声后的目标声音信号。
可选的，所述解混模型被配置为通过以下方式获得所述目标声音信号：基于上一信号帧对应的解混矩阵求取当前信号帧的第一期望信号序列；基于所述第一期望信号序列更新解混矩阵；基于更新后的所述解混矩阵计算第二期望信号序列，并将所述第二期望信号序列作为所述目标声音信号。
可选的，所述解混模型还被配置为，根据当前信号帧的信号值序列、当前信号帧的回声参考信号值序列、历史信号帧的信号值序列以及上一信号帧对应的解混矩阵求取所述第一期望信号序列。
可选的，所述解混模型还被配置为，通过所述第一期望信号值更新加权协方差矩阵；基于更新后的所述加权协方差矩阵更新所述解混矩阵。
可选的，所述解混模型还被配置为，根据当前信号帧的信号值序列、当前信号帧的回声参考信号值序列、历史信号帧的信号值序列以及更新后的所述解混矩阵求取所述第一期望信号序列。
可选的，解混矩阵是预设的用于建立信号帧的信号值序列、在该信号帧之前的历史信号帧的信号值序列以及该信号帧中的目标声音信号的期望信号值序列三者之间的映射关系的矩阵，所述映射关系为：
可选的，所述解混模型还被配置为，对更新后的所述解混矩阵进行去幅度模糊。
根据本公开实施例的第三方面，提供一种语音增强装置，包括：获取模块，被配置为获取声音信号；处理模块，被配置为将所述声音信号中的各信号帧输入解混模型，其中，所述解混模型是将信号帧中的直达声、混响与回声作为独立声源进行设定的用于去除信号帧中的混响与回声的计算模型，针对所述声音信号中的任一非首个信号帧，所述解混模型根据当前信号帧的信号值序列以及在所述当前信号帧之前的历史信号帧的信号值序列计算出对所述当前信号帧去除混响和回声后的信号帧序列；输出模块，被配置为获得所述解混模型输出的去除混响和回声后的目标声音信号。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的语音增强方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：通过将混响和回声分别作为独立声源并与直达声进行区分的解混模型对获取得到的声音信号进行处理，将声音信号中的混响及回声进行分离，得到直达声信号，使得语音增强更高效便捷且效果更好。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种语音增强方法的流程图。
图2是根据一示例性实施例示出的一种语音增强的流程的示意图。
图3是根据一示例性实施例示出的一种语音增强装置的框图。
图4是根据一示例性实施例示出的一种装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种语音增强方法的流程图，如图1所示，该语音增强方法可以应用于各类电子设备中，例如，手机、电脑、平板电脑、穿戴式终端、录音笔、录音机等。本方法包括以下步骤。
在步骤s11中，获取声音信号。
在步骤s12中，将所述声音信号中的各信号帧输入解混模型。
其中，所述解混模型是将信号帧中的直达声、混响与回声作为独立声源进行设定的用于去除信号帧中的混响与回声的计算模型，针对所述声音信号中的任一非首个信号帧，所述解混模型根据当前信号帧的信号值序列以及在所述当前信号帧之前的历史信号帧的信号值序列计算出对所述当前信号帧去除混响和回声后的信号帧序列。
在步骤s13中，获得所述解混模型输出的去除混响和回声后的目标声音信号。
在步骤s11中，获取声音信号可以通过麦克风阵列进行，麦克风阵列中包括多个麦克风，各麦克风独立获取有声音信号，可以将麦克风阵列获取的声音信号的序列作为步骤s11中的声音信号。
例如，设备具有m个麦克风，每一信号帧中的声音信号的表达式可以为x(k,τ)＝[x1(k,τ),……,xm(k,τ)]，其中，k为频率索引，τ为帧号索引。
由于任意信号帧中出现的混响值的来源是该信号帧之前的信号帧中的直达声被反射后收录的，因此，当前信号帧中的直达声的信号值可以通过对当前帧的信号值和该帧之前的信号帧中的信号值进行对比后处理得到，因此，在步骤s12中，可以将当前处理的信号帧的信号值序列、该信号帧之前的信号帧的信号值序列以及该信号帧中的直达声的信号值序列之间的映射关系描述为以下的表达式：
值得说明的是，由于回声是设备收录其播放的声音而产生的，因此，回声参考信号值序列可以由设备根据正在播放的音频所生成，或者通过获取设备正在播放的文件中的信号值序列而得到，在上述表达式中，回声参考信号值序列可以作为已知的序列值用于求取直达声信号。本公开对回声参考信号值序列的获取方式不做限定。
上述表达式是对声音观测模型进行处理后得到的，声音观测模型的表达式为：
对上述声音观测模型进行改写，可以得到矩阵形式的声音观测模型：
基于上述的声音观测模型和混合矩阵，可以通过解混矩阵将直达声、混响、回声进行分离，得到各个成分的估计值，其中，z(k,τ)为对s(k,τ)进行估计得到的目标声音信号。
在一种可能的实施方式中，解混矩阵w(k)的表达式为：
去除回声和混响后的目标声音信号可以包括m个子信号序列，每一个子信号序列包括了一个独立声源的声音信号，例如，麦克风进行收录时，可以有人物a、人物b、人物c、人物d、环境音a、环境音b、环境音c、环境音d的声音信号同时被收录，在进行分离后，目标声音信号的第一个子信号序列可以为人物a去混响和回声后的声音信号，第二个子信号序列可以为人物b去混响和回声后的声音信号，第三个子信号序列可以为人物c去混响和回声后的声音信号，第四个子信号序列可以为人物d去混响和回声后的声音信号，第五个子信号序列可以为环境音a去混响和回声后的声音信号，第六个子信号序列可以为环境音b去混响和回声后的声音信号，第七个子信号序列可以为环境音c去混响和回声后的声音信号，第八个子信号序列可以为环境音d去混响和回声后的声音信号。
因此，目标声音信号z(k,τ)也包括了m行，而解混模型除了前m行以外的部分不对目标声音信号的求取造成影响，因此，在求取目标声音信号时，可以通过对解混模型的前m行进行求取和更新而实现。
在一种可能的实施方式中，解混模型是通过以下方式对期望信号值进行估算的：
基于上一信号帧对应的解混矩阵求取当前信号帧的第一期望信号序列，基于所述第一期望信号序列更新所述解混矩阵，并基于更新后的所述解混矩阵计算第二期望信号序列，并将所述第二期望信号序列作为所述目标声音信号。
也就是说，可以通过上一信号帧的解混矩阵的值估算当前帧的第一期望信号序列，并通过估算得到的第一期望信号序列进行加权计算，可以更新当前帧的解混矩阵，而当前帧的解混矩阵可以用于计算当前帧的第二期望信号序列，并估算下一帧的第一期望信号序列，从而经过不断迭代，得到所有信号帧的第二期望信号序列。其中，第一期望信号序列为通过上一帧的解混矩阵估算得到的期望信号序列，估算结果可能出现较大偏差，而第二期望信号序列为通过当前帧的解混矩阵计算得到的期望信号序列，得到的计算结果较真实的直达声信号值的偏差较小。
对第一帧的声音信号序列而言，不存在更早的信号帧，因此，在对第一帧的信号进行求解时，可以将解混矩阵初始化为单位矩阵，以便进行迭代运算。
在一种可能的实施方式中，根据当前信号帧的信号值序列、当前信号帧的回声参考信号值序列、历史信号帧的信号值序列以及上一信号帧对应的解混矩阵求取所述第一期望信号序列。
例如，可以通过以下公式对第一期望信号序列y′(k,τ)进行估算：y′(k,τ)＝w(k,τ-1)x(k,τ)，其中，w(k,τ-1)为第τ-1帧第k频率索引对应的解混矩阵，
在得到第一期望信号值之后，可以通过得到的第一期望信号值更新解混矩阵，在更新时，可以对解混矩阵的前m行进行更新，而不对解混矩阵的所有行进行更新，从而提升模型的迭代效率。
在一种可能的实施方式中，可以通过所述第一期望信号值更新加权协方差矩阵，并基于更新后的所述加权协方差矩阵更新所述解混矩阵。
例如，通过以下矩阵进行解混矩阵的更新：wm(k,τ)＝[w(k,τ-1cm(k,τ)]-1im，wmk,τ为解混矩阵w(k,τ)的第m行，m为1至m的任意自然数，通过对m进行遍历，可以实现对解混矩阵w(k,τ)的前m行进行遍历。
cm(k,τ)为第τ帧第k频率索引的加权矩阵的第m行，im为单位矩阵的第m列，cm(k,τ)＝αcm(k,τ-1) βm(τ)x(k,τ)xh(k,τ)，βm(τ)为加权平滑系数，
在实践中，α可以设置为0.99，γ可以根据声源的分布情况进行手动调整，以提高解混模型的准确度。在解混模型得到的期望信号值与真实的直达声信号值的差异较大的情况下，可以通过调整γ的值从而调整模型中的声源分布情况。在本公开中，可以将γ的初始值设置为0.2。
在进行解混矩阵初始化的同时，也可以对加权矩阵进行初始化，其中，加权矩阵可以初始化为任意设置的初始矩阵，也可以初始化为零矩阵。
在一种可能的实施方式中，可以将第0帧对应的解混矩阵wk(0)初始化为单位矩阵i，将加权矩阵cm(k,0)初始化为零矩阵0。
在更新当前帧的解混矩阵矩阵后，可以通过较准确的解混矩阵计算出相较第一期望信号序列更准确的期望信号序列，即第二期望信号序列。根据当前信号帧的信号值序列、当前信号帧的回声参考信号值序列、历史信号帧的信号值序列以及更新后的所述解混矩阵求取所述第一期望信号序列。在一种可能的实施方式中，可以通过以下公式计算第二期望信号序列：y″(k,τ)＝w(k,τ)x(k,τ)。其中，w(k,τ)为更新后的解混矩阵。
在进行第二期望信号序列的计算之前，可以对更新后的解混矩阵进行去幅度模糊处理，在本公开中，可以通过mdp(minimaldistortionprinciple，最小畸变准则)进行去幅度模糊处理，即，通过以下公式进行去幅度模糊：w(k,τ)＝diag(w-1(k,τ))w(k,τ)。
在盲源分离中，通常假设声源的数量与麦克风的数量相等，由于估计的声源的信号的线性变换也有可能被认为是信号源中的另一个信号，因此，得到的结果可能出现不确定性。通过去幅度模糊，可以减少上述问题对解混矩阵的影响。
在获得目标声音信号之后，可以将该目标声音信号发送至语音处理单元，以便语音处理单元将目标声音信号转换为操作指令，例如，该语音处理单元可以对应设备中的语音助手程序等。还可以将该目标声音信号发送至语音识别单元，以便语音识别单元将目标声音信号转换为文本内容。在进行去混响和回声之后，声音信号中的杂音较少，更有利于声音的提取和处理。
图2是根据一示例性公开实施例示出的一种语音增强的流程的示意图。
在步骤s21中，将解混矩阵初始化为单位矩阵，并将加权矩阵初始化为零矩阵。
在步骤s22中，通过第τ-1帧对应的解混矩阵估算第τ帧的第一期望信号序列。
在步骤s23中，更新第τ帧对应的加权矩阵。
在步骤s24中，更新第τ帧对应的解混矩阵。
在步骤s25中，利用mdp幅度去模糊对第τ帧对应的解混矩阵进行处理。
在步骤s26中，通过去模糊处理后的解混矩阵计算第τ帧对应的第二期望信号序列。
其中，步骤s22到步骤s26为循环执行的步骤，直至各待处理的信号帧对应的第二期望信号序列求取完毕。
通过以上的技术方案，至少可以达到以下技术效果：
通过将混响和回声分别作为独立声源并与直达声进行区分的解混模型对获取得到的声音信号进行处理，将声音信号中的混响及回声进行分离，得到直达声信号，使得语音增强更高效便捷且效果更好。
图3是根据一示例性实施例示出的一种语音增强装置框图。参照图3，该装置包括获取模块310，处理模块320和输出模块330。
该获取模块310被配置为获取声音信号。
该处理模块320被配置为将所述声音信号中的各信号帧输入解混模型，其中，所述解混模型是将信号帧中的直达声、混响与回声作为独立声源进行设定的用于去除信号帧中的混响与回声的计算模型，针对所述声音信号中的任一非首个信号帧，所述解混模型根据当前信号帧的信号值序列以及在所述当前信号帧之前的历史信号帧的信号值序列计算出对所述当前信号帧去除混响和回声后的信号帧序列。
该输出模块330被配置为获得所述解混模型输出的去除混响和回声后的目标声音信号。
可选的，所述解混模型被配置为通过以下方式获得所述目标声音信号：基于上一信号帧对应的解混矩阵求取当前信号帧的第一期望信号序列；基于所述第一期望信号序列更新解混矩阵；基于更新后的所述解混矩阵计算第二期望信号序列，并将所述第二期望信号序列作为所述目标声音信号。
可选的，所述解混模型还被配置为，根据当前信号帧的信号值序列、当前信号帧的回声参考信号值序列、历史信号帧的信号值序列以及上一信号帧对应的解混矩阵求取所述第一期望信号序列。
可选的，所述解混模型还被配置为，通过所述第一期望信号值更新加权协方差矩阵；基于更新后的所述加权协方差矩阵更新所述解混矩阵。
可选的，所述解混模型还被配置为，根据当前信号帧的信号值序列、当前信号帧的回声参考信号值序列、历史信号帧的信号值序列以及更新后的所述解混矩阵求取所述第一期望信号序列。
可选的，解混矩阵是预设的用于建立信号帧的信号值序列、在该信号帧之前的历史信号帧的信号值序列以及该信号帧中的目标声音信号的期望信号值序列三者之间的映射关系的矩阵，所述映射关系为：，其中，x(k,τ)为第τ帧第k频率索引的信号值序列，z(k,τ)为第τ帧第k频率索引的直达声信号值序列，r(k,τ)为第τ帧第k频率索引的回声参考信号值序列，
可选的，所述解混模型还被配置为，对更新后的所述解混矩阵进行去幅度模糊。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
通过以上的技术方案，至少可以达到以下技术效果：
通过将混响和回声分别作为独立声源并与直达声进行区分的解混模型对获取得到的声音信号进行处理，将声音信号中的混响及回声进行分离，得到直达声信号，使得语音增强更高效便捷且效果更好。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的语音增强方法的步骤。
图4是根据一示例性实施例示出的一种用于语音增强的装置400的框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电力组件406，多媒体组件408，音频组件410，输入/输出(i/o)的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述语音增强方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
电力组件406为装置400的各种组件提供电力。电力组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。
多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(mic)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
i/o接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到装置400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
在示例性实施例中，装置400可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述语音增强方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述语音增强方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的语音增强方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
