基于生成对抗网络的语音增强方法及系统与流程

技术特征：
1.基于生成对抗网络的语音增强方法，其特征是，包括：获取带噪声语音信号；将带噪声语音信号，输入到训练后的生成对抗网络中，输出增强后的语音信号；其中，所述生成对抗网络，包括两个生成器和两个判别器；所述生成对抗网络，训练过程中通过对两个生成器与两个判别器的相互博弈，提升生成器逼近目标信号的能力。2.如权利要求1所述的基于生成对抗网络的语音增强方法，其特征是，所述生成对抗网络，包括：第一生成器、第二生成器、第一判别器和第二判别器；第一生成器的输入端用于输入带噪声语音信号；第一生成器的输出端输出第一增强语音信号；第二生成器的输入端用于输入第一增强语音信号；第二生成器的输出端用于输出第二增强语音信号；第一判别器的输入端用于输入第二增强语音信号和无噪声语音信号；第一判别器输出无噪声语音信号或带噪声语音信号的识别结果；第二判别器的输入端用于输入第二增强语音信号和无噪声语音信号；第二判别器输出无噪声语音信号或带噪声语音信号的识别结果。3.如权利要求2所述的基于生成对抗网络的语音增强方法，其特征是，所述第一生成器，包括相互连接的编码器和解码器；所述编码器，包括：多个卷积层和一个注意力机制层；所述解码器，包括：多个反卷积层和一个注意力机制层；其中，编码器的卷积层与解码器的反卷积层添加残差连接。4.如权利要求2所述的基于生成对抗网络的语音增强方法，其特征是，所述第一判别器，包括：多个卷积层、gru层、多头注意力机制层和softmax激活函数层。5.如权利要求1所述的基于生成对抗网络的语音增强方法，其特征是，训练后的生成对抗网络；训练过程包括：构建训练集；将带噪声语音输入到第一生成器中，第一生成器生成第一增强语音信号；第一增强语音信号输入到第二生成器中，第二生成器生成第二增强语音信号；将第二增强语音信号和无噪声信号输入到第一判别器中进行判别，输出第一判别结果；将第二增强语音信号和无噪声信号输入到第二判别器中进行判别，输出第二判别结果；当第一、二判别结果的准确率达到50％时，停止训练，得到训练后的生成对抗网络。6.如权利要求1所述的基于生成对抗网络的语音增强方法，其特征是，两个生成器的训练过程为最小化以下损失函数：两个判别器的训练过程为最小化以下损失函数：
在训练过程中，生成器的训练输入是带噪语音信号z为隐藏层随机噪声，n为2，g1表示第一生成器；g2表示第二生成器；d1表示第一判别器；d2表示第二判别器；λ为l1损失的超参数。7.如权利要求3所述的基于生成对抗网络的语音增强方法，其特征是，所述编码器的工作原理是：分析输入的语音信号序列；使用多头注意力机制层从不同方面进行语音特征的学习，特别是对于噪声的处理，以提高生成语音的质量；所述解码器的工作原理是：生成输出的语音信号序列，其中使用多头注意力机制层从不同方面进行语音特征的学习，特别是对于噪声的处理，以提高生成语音的质量。8.基于生成对抗网络的语音增强系统，其特征是，包括：获取模块，其被配置为：获取带噪声语音信号；语音增强模块，其被配置为：将带噪声语音信号，输入到训练后的生成对抗网络中，输出增强后的语音信号；其中，所述生成对抗网络，包括两个生成器和两个判别器；所述生成对抗网络，训练过程中通过对两个生成器与两个判别器的相互博弈，提升生成器逼近干净语音目标信号的能力。9.一种电子设备，其特征是，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。

技术总结
本发明公开了基于生成对抗网络的语音增强方法及系统，包括：获取带噪声语音信号；将带噪声语音信号，输入到训练后的生成对抗网络中，输出增强后的语音信号；其中，所述生成对抗网络，包括两个生成器和两个判别器；所述生成对抗网络，训练过程中通过对两个生成器与两个判别器的相互博弈，提升生成器逼近目标信号的能力。本发明充分考虑了语音信号的时序关系，改进了先前的生成器与判别器的全卷积的设计，生成器中添加使用多头注意力机制，并将多生成器多阶段增强与注意力机制相结合，充分利用了多头注意力机制与生成对抗网络博弈思想。本方法能够是增强后的语音具有更高的质量与可懂度。度。度。


技术研发人员：汪付强 袁从刚 夏源 张鹏 吴晓明 张建强 刘祥志 郝秋赟 马晓凤
受保护的技术使用者：山东省计算中心（国家超级计算济南中心）
技术研发日：2022.03.25
技术公布日：2022/6/24