语音重建方法以及语音重建系统与流程

本说明书实施例涉及语音信号处理，特别涉及一种语音重建方法，一种语音重建系统。

背景技术：

1、随着智能语音交互与在线音视频通信的快速发展，依据目标对象的身份从包含多种声源的混合语音中提取其语音的技术，已广泛应用于在线会议、远程通话、语音助手以及内容制作等场景，并对实时性与提取精度提出了更高的要求。

2、目前，针对此类目标语音的提取需求，通常先获取目标对象的参考语音，从中提取用于表征目标对象声学身份的条件信息，再将条件信息与混合语音的声学特征进行融合，并送入时序建模网络以获得目标对象的语音；其中，条件信息通常以拼接、逐元素相乘、加法偏置或特征调制等方式与声学特征融合，时序建模网络通常采用循环网络、时域卷积网络或自注意力网络实现。

3、然而，上述技术方案在音色相近、语音重叠以及通道条件不一致等情况下，提取结果中容易残留干扰成分，目标语音的提取准确度与重建质量难以满足要求；同时，为维持目标判别能力，此类方案往往需要较大的计算量与存储开销，难以兼顾实时处理与低成本部署。因此，亟须一种准确度更高、更适配实时处理的语音重建方法。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种语音重建方法。本说明书一个或者多个实施例同时涉及一种语音重建系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决上述技术问题。

2、根据本说明书实施例的第一方面，提供了一种语音重建方法，包括：

3、获取包含目标对象及其他声源的混合语音，以及目标对象的参考语音；

4、对混合语音的混合频谱特征和参考语音的参考频谱特征进行频带划分，获得混合频带特征和参考频带特征，并从参考频带特征中提取用于表征目标对象声学身份的目标对象条件；

5、针对混合语音的任一时间帧，基于混合频带特征与目标对象条件，确定状态空间模型在该时间帧的递推参数，并按照递推参数递推确定该时间帧的输出特征；

6、基于各时间帧的输出特征对混合频谱特征进行信号重建，获得目标对象的目标语音。

7、根据本说明书实施例的第二方面，提供了一种语音重建系统，包括：

8、获取模块，用于获取包含目标对象及其他声源的混合语音，以及目标对象的参考语音；

9、条件确定模块，用于对混合语音的混合频谱特征和参考语音的参考频谱特征进行频带划分，获得混合频带特征和参考频带特征，并从参考频带特征中提取用于表征目标对象声学身份的目标对象条件；

10、递推确定模块，用于针对混合语音的任一时间帧，基于混合频带特征与目标对象条件，确定状态空间模型在该时间帧的递推参数，并按照递推参数递推确定该时间帧的输出特征；

11、重建模块，用于基于各时间帧的输出特征对混合频谱特征进行信号重建，获得目标对象的目标语音。

12、根据本说明书实施例的第三方面，提供了一种计算设备，包括：

13、存储器和处理器；

14、存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，该计算机可执行指令被处理器执行时实现上述语音重建方法的步骤。

15、根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述语音重建方法的步骤。

16、根据本说明书实施例的第五方面，提供了一种计算机程序产品，包括计算机可执行指令，该计算机可执行指令被处理器执行时实现上述语音重建方法的步骤。

17、本说明书一个实施例实现了一种语音重建方法，包括：获取包含目标对象及其他声源的混合语音，以及目标对象的参考语音；对混合语音的混合频谱特征和参考语音的参考频谱特征进行频带划分，获得混合频带特征和参考频带特征，并从参考频带特征中提取用于表征目标对象声学身份的目标对象条件；针对混合语音的任一时间帧，基于混合频带特征与目标对象条件，确定状态空间模型在该时间帧的递推参数，并按照递推参数递推确定该时间帧的输出特征；基于各时间帧的输出特征对混合频谱特征进行信号重建，获得目标对象的目标语音。

18、通过获取包含目标对象及其他声源的混合语音以及目标对象的参考语音，为后续处理提供统一的输入基础；通过对混合频谱特征与参考频谱特征分别进行频带划分，使两路特征在同一频带结构下对齐，为条件信息的提取和逐频带处理提供依据；通过从参考频带特征中提取用于表征目标对象声学身份的目标对象条件，使目标对象的身份信息以频带级形式予以保留；通过针对任一时间帧、基于混合频带特征与目标对象条件确定状态空间在该时间帧的递推参数，并按照递推参数递推确定该时间帧的输出特征，使目标对象条件参与逐帧的递推过程，从而持续强化与目标对象相关的成分并抑制干扰成分，提高目标语音的提取准确度与重建质量；通过基于各时间帧的输出特征对混合频谱特征进行信号重建，获得目标对象的目标语音，整个处理过程逐帧进行且不依赖未来帧，所维护的状态规模固定，便于适配实时处理与低成本部署的应用场景；基于重建获得的目标语音，能够为后续的语音识别提供干扰更少、质量更高的语音输入，从而使语音识别的准确度更高。

1.一种语音重建方法，包括：

2.根据权利要求1所述的方法，在所述获取包含目标对象及其他声源的混合语音，以及所述目标对象的参考语音之后，还包括：

3.根据权利要求1所述的方法，所述对所述混合语音的混合频谱特征和所述参考语音的参考频谱特征进行频带划分，获得混合频带特征和参考频带特征，包括：

4.根据权利要求3所述的方法，在基于所述混合频谱特征在不同频率区域的信息密度，将所述混合语音的混合频谱特征划分成多个频带，获得所述混合频带特征之后，还包括：

5.根据权利要求3所述的方法，所述对所述参考频带特征沿频带维与时间维进行池化，获得所述目标对象条件，包括：

6.根据权利要求5所述的方法，所述状态空间模型的隐状态在多个串联的双路径块中按频带分别维护；

7.根据权利要求5所述的方法，其中，所述帧级参考记忆的记忆条目数为预设常数；

8.根据权利要求1至7任意一项所述的方法，所述针对所述混合语音的任一时间帧，基于所述混合频带特征与所述目标对象条件，确定状态空间模型在该时间帧的递推参数，包括：

9.根据权利要求8所述的方法，所述递推参数包括输入矩阵、输出矩阵与离散化步长；

10.根据权利要求1所述的方法，所述基于各时间帧的输出特征对所述混合频谱特征进行信号重建，获得所述目标对象的目标语音，包括：

11.根据权利要求1所述的方法，在所述目标对象为多个的情况下，所述方法还包括：

12.一种语音重建系统，包括：

13.一种计算设备，包括：

14.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。

15.一种计算机程序产品，包括计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。