可分离循环注意力的语音增强方法及装置与流程

技术特征：
1.一种可分离循环注意力的语音增强方法，其特征在于，包括：步骤1：将语音信号输入至前置网络单元进行傅里叶变换，输出第一幅度流信号和第一相位流信号；步骤2：将所述第一幅度流信号和第一相位流信号输入注意力网络单元进行降噪，输出第二幅度流信号和第二相位流信号；所述注意力网络单元包括串联的多级极坐标注意力模块，每级极坐标注意力模块包括幅度注意力模块、相位自调节模块、相位它调节模块，其中所述幅度注意力模块进一步包括两个时频可分离循环网模块和一个独立同分布卷积模块；或者包括两个通道置换变换模块、两个时频可分离循环网模块和一个独立同分布卷积模块；步骤3：将所述第二幅度流信号和第二相位流信号输入至后置网络单元进行逆傅里叶变换，输出增强后的语音信号。2.根据权利要求1所述的可分离循环注意力的语音增强方法，其特征在于：步骤2中，每级极坐标注意力模块用于执行如下步骤：步骤2.1：利用幅度注意力模块对输入的幅度流信号进行处理，将调节后的幅度流信号输入到相位它调节模块；步骤2.2：利用相位自调节模块对输入的相位流信号进行处理，将处理后得到的自调节相位流信号输入到相位它调节模块；步骤2.3：利用相位它调节模块基于所述调节后的幅度流信号对所述自调节相位流信号进行它调节，输出调节后的相位流信号；步骤2.4：输出所述调节后的幅度流信号和调节后的相位流信号。3.根据权利要求2所述的可分离循环注意力的语音增强方法，其特征在于：所述相位自调节模块由一层或多层二维卷积构成；所述相位它调节模块包含一个或多个幅度感知相位变换，每个幅度感知相位变换利用幅度流信号对相位流信号进行调节，变换公式如下：p
o
＝conv(a
o
)o p
i
式中，conv表示卷积，o表示点乘，p
i
表示幅度流输出作为相位它调节输入，p
o
表示相位流输出，a
o
表示幅度流输出作为相位它调节输入。4.根据权利要求2所述的可分离循环注意力的语音增强方法，其特征在于，幅度注意力模块包括两个通道置换变换模块、两个时频可分离循环网模块和一个独立同分布卷积模块情况下，所述步骤2.1包括如下步骤：步骤2.1.1：将输入的幅度流信号分别输入至第一通道置换变换模块和第一时频可分离循环网模块，得到第一置换变换信号和第一循环信号；步骤2.1.2：将第一置换变换信号输入至第二通道置换变换模块，输出第二置换变换信号；将第一置换变换信号、第一循环信号相乘后输入至所述第二时频可分离循环网模块，输出第二循环信号；步骤2.1.3：将第二置换变换信号、第二循环信号拼接后输入至独立同分布卷积模块，输出所述调节后的幅度流信号。5.根据权利要求1所述的可分离循环注意力的语音增强方法，其特征在于：所述时频可分离循环网模块采用以下循环方式中的一种：单用时间循环、单用频率循
环、先时间循环再频率循环、先频率循环再时间循环、时间和频率并行循环；所述循环包括前向循环、后向循环、双向循环中的一种。6.根据权利要求1所述的可分离循环注意力的语音增强方法，其特征在于：所述独立同分布卷积模块由分布归一化层、二维卷积层、gelu层构成。7.根据权利要求1所述的可分离循环注意力的语音增强方法，其特征在于：所述前置网络单元包括短时傅里叶变换模块、幅度卷积模块和相位卷积模块，所述短时傅里叶变换模块用于将语音信号变换成短时傅里叶系数；所述幅度卷积模块用于对所述短时傅里叶变换模块输出的信号进行幅度卷积，输出第一幅度流信号；所述相位卷积模块用于对所述短时傅里叶变换模块输出的信号进行相位卷积，输出第一相位流信号。8.根据权利要求1所述的可分离循环注意力的语音增强方法，其特征在于：所述后置网络单元包括幅度掩膜生成器、相位掩膜生成器、傅里叶系数生成器和逆短时傅里叶变换模块，所述幅度掩膜生成器用于将第二幅度流信号生成单通道幅度信号；所述相位掩膜生成器用于将第二相位流信号生成双通道相位信号；所述傅里叶系数生成器用于根据所述单通道幅度信号和双通道相位信号生成傅里叶系数；所述逆短时傅里叶变换模块用于根据所述生成的傅里叶系数，输出增强后的语音信号。9.一种可分离循环注意力的语音增强方法，其特征在于，包括：步骤1：将语音信号输入至前置网络单元进行傅里叶变换，输出第一幅度流信号；步骤2：将所述第一幅度流信号输入注意力网络单元进行降噪，输出第二幅度流信号；所述注意力网络单元包括串联的多级极坐标注意力模块，每级极坐标注意力模块包括幅度注意力模块、相位自调节模块、相位它调节模块，其中所述幅度注意力模块进一步包括两个时频可分离循环网模块和一个独立同分布卷积模块；或者包括两个通道置换变换模块、两个时频可分离循环网模块和一个独立同分布卷积模块；步骤3：基于所述第二幅度流信号，通过后置网络单元进行逆傅里叶变换，输出增强后的语音信号。10.一种可分离循环注意力的语音增强装置，其特征在于，包括：前置网络单元，用于对输入的语音信号进行傅里叶变换，输出第一幅度流信号和第一相位流信号；注意力网络单元，用于对所述第一幅度流信号和第一相位流信号进行降噪，输出第二幅度流信号和第二相位流信号；和后置网络单元，用于对所述第二幅度流信号和第二相位流信号进行逆傅里叶变换，输出增强后的语音信号；其中，所述注意力网络单元包括串联的多级极坐标注意力模块，每级极坐标注意力模块包括幅度注意力模块、相位自调节模块、相位它调节模块，其中所述幅度注意力模块进一步包括两个通道置换变换模块、两个时频可分离循环网模块和一个独立同分布卷积模块。

技术总结
本发明涉及一种可分离循环注意力的语音增强方法，包括步骤1：将语音信号输入至前置网络单元进行傅里叶变换，输出第一幅度流信号和第一相位流信号；步骤2：将所述第一幅度流信号和第一相位流信号输入注意力网络单元进行降噪，输出第二幅度流信号和第二相位流信号；所述注意力网络单元包括串联的多级极坐标注意力模块，每级极坐标注意力模块包括幅度注意力模块、相位自调节模块、相位它调节模块；步骤3：将所述第二幅度流信号和第二相位流信号输入至后置网络单元进行逆傅里叶变换，输出增强后的语音信号。本发明计算量小，能够有效保证语音降噪效果。音降噪效果。音降噪效果。


技术研发人员：柯登峰 张劲松 解焱陆
受保护的技术使用者：北京语言大学
技术研发日：2021.11.01
技术公布日：2022/2/8