一种基于矢量量化变分自编码器的超低码率音频通信方法及系统

本发明涉及语音编码，尤其涉及一种基于矢量量化变分自编码器的超低码率音频通信方法及系统。

背景技术：

1、超低码率语音编码是卫星通信、应急通信及水下通信等场景的核心技术，能够在极窄带宽条件下实现语音信息传输，具有通信成本低、隐蔽性好、终端功耗低等优点。为在有限码率下保持可接受的语音质量，现代低码率声码器，如混合激励线性预测增强声码器（mixed excitation linear prediction enhanced，melpe）和线性预测编码网络（linearpredictive coding network，lpcnet）通常采用参数化编码框架，对语音谱包络、基音周期、清浊音标志等参数进行高效压缩。其中，谱包络参数直接决定了重建语音的清晰度与自然度，其量化精度和时序稳定性是声码器性能的关键瓶颈。

2、神经声码器系统，通常采用多级矢量量化方式对语音的谱包络参数，如梅尔频率倒谱系数（mel-frequency cepstral coefficients，mfcc）、bfcc等进行编码。其中，bfcc具有独特优势：它基于bark听觉尺度设计，更贴合人耳感知特性，且天然适配带宽扩展任务，能在超低码率下更高效地利用有限带宽重建高频成分，从而提升语音的自然度。然而在码率进一步降低至1kbps以下时，多级矢量量化方式重建误差急剧增大，参数帧间连续性差，导致合成语音出现“金属味”或断续感。根本原因在于：现有技术通常采用多级矢量量化直接对bfcc实施量化处理。但bfcc作为特征参数，其设计初衷并非服务于量化场景，因此直接量化难以获得最优的量化效率或精度；同时，多级残差量化存在误差传递与累积，且逐帧独立量化未能有效利用相邻帧间的时序相关性。

技术实现思路

1、鉴于此，本发明实施例提供了一种基于矢量量化变分自编码器的超低码率音频通信方法及系统，以消除或改善现有技术中存在的一个或更多个缺陷。

2、本发明的一个方面提供了一种基于矢量量化变分自编码器的超低码率音频通信方法，该方法的步骤包括编码处理和解码处理，所述编码处理的步骤包括：

3、抽取每帧语音数据中的巴克频率倒谱系数特征，将连续多帧语音数据中的巴克频率倒谱系数特征构建为一个二维时频特征块；

4、将所述二维时频特征块输入到预设的二维卷积编码器，所述二维卷积编码器输出连续潜在表示，所述二维卷积编码器包括多个卷积层；

5、将所述连续潜在表示输入到预设的taem模块，通过taem模块得到增强潜在表示，所述taem模块采用自注意力机制，用于进行全局上下文增强；

6、基于所述增强潜在表示和预设的码本构建输出码流；

7、所述解码处理的步骤包括：

8、获取所述输出码流，基于所述输出码流得到量化潜在表示，将所述量化潜在表示输入到二维卷积解码器，得到巴克频率倒谱系数特征块；

9、将所述巴克频率倒谱系数特征块输入到预设的tspn模块，所述tspn模块包括多个一维卷积层，所述tspn模块用于以残差方式对重建的参数进行帧间平滑优化，得到重建巴克频率倒谱系数参数序列。

10、采用上述方案，本方案将bfcc参数先组织为二维时频特征块，使一个输入块同时覆盖连续多个语音帧和多个bfcc特征维；二维卷积编码器在时间维和特征维上提取联合特征，生成连续潜在表示；taem模块对连续潜在表示中的空间位置潜在向量进行全局上下文增强，使后续码字选择能够结合整个bfcc块内的时频关联；接收端通过相同码本恢复量化潜在表示，由二维卷积解码器重建巴克频率倒谱系数特征块，再通过tspn模块时序平滑后处理网络对时间维局部跳变进行残差精炼，由此，本方案在保证索引码流适合窄带链路传输的同时，降低超低码率下bfcc参数量化失真，避免多级残差量化存在的误差传递与累积，并增强重建bfcc参数序列的帧间时序关联性。

11、在本发明的一些实施方式中，所述解码处理的步骤还包括：

12、将所述重建巴克频率倒谱系数参数序列输入到预设的神经声码器合成网络，得到最终的重建语音信号。

13、在本发明的一些实施方式中，在将所述二维时频特征块输入到预设的二维卷积编码器的步骤中，对所述二维时频特征块进行归一化，将归一化的二维时频特征块输入到预设的二维卷积编码器。

14、在本发明的一些实施方式中，在将所述二维时频特征块输入到预设的二维卷积编码器的步骤中，所述二维卷积编码器包括顺序设置的第一二维卷积层、第二二维卷积层、第三二维卷积层、多个二维残差块和第四二维卷积层，每个所述二维残差块设置有两个卷积层。

15、在本发明的一些实施方式中，在将所述连续潜在表示输入到预设的taem模块，通过taem模块得到增强潜在表示的步骤中：

16、将连续潜在表示的二维时频空间展平为预设长度的特征序列，所述特征序列的每个位置对应预设维度数量的第一潜在向量，然后计算缩放点积自注意力，得到注意力输出；

17、将所述注意力输出与展平的预设长度的特征序列进行残差连接，得到所述增强潜在表示。

18、在本发明的一些实施方式中，在基于所述增强潜在表示和预设的码本构建输出码流的步骤中：

19、对于所述增强潜在表示中每个位置的第二潜在向量，计算与每个码字的欧氏距离，将欧氏距离最小的码字的索引作为该第二潜在向量所对应的索引；

20、组合全部的第二潜在向量所对应的索引，封装为输出码流。

21、在本发明的一些实施方式中，在获取所述输出码流，基于所述输出码流得到量化潜在表示，将所述量化潜在表示输入到二维卷积解码器，得到巴克频率倒谱系数特征块的步骤中，对应码本基于所述输出码流中索引确定对应的第二潜在向量，得到量化潜在表示，并输入到二维卷积解码器中，所述二维卷积解码器包括顺序设置的第一二维解码卷积层、多个二维残差块、第一二维转置卷积层和第二二维转置卷积层，得到巴克频率倒谱系数特征块。

22、在本发明的一些实施方式中，在将所述巴克频率倒谱系数特征块输入到预设的tspn模块，所述tspn模块包括多个一维卷积层，所述tspn模块用于以残差方式对重建的参数进行帧间平滑优化，得到重建巴克频率倒谱系数参数序列的步骤中，所述tspn模块包括顺序设置的三个一维卷积层，三个一维卷积层的卷积核大小顺序为5、5和3。

23、在本发明的一些实施方式中，在将所述重建巴克频率倒谱系数参数序列输入到预设的神经声码器合成网络，得到最终的重建语音信号的步骤中，将所述重建巴克频率倒谱系数参数序列与解码参数进行组合，并输入到神经声码器合成网络，所述解码参数包括基音和增益，所述神经声码器合成网络采用lpcnet类结构或卷积递归混合结构。

24、本发明的第二方面还提供一种基于矢量量化变分自编码器的超低码率音频通信系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如前所述方法所实现的步骤。

25、本发明的第三方面还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于矢量量化变分自编码器的超低码率音频通信方法所实现的步骤。

26、本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。

27、本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。