一种面向多级应急广播与通信的语音熵编码方法及系统与流程

本发明是应急管理，特别是关于一种面向多级应急广播与通信的语音熵编码方法及系统。

背景技术：

1、在地震、洪水、台风、重大事故等极端灾害场景下，地面基站、光纤链路和供电设施可能受到破坏，应急通信链路通常存在带宽受限、网络拥塞以及通信资源不稳定等问题。同时，现场语音还需要与人员定位、遥测、图像、文字以及设备状态等数据共享有限的通信资源。因此，降低语音业务所占用的传输带宽，对于保障灾情上报和调度指令的及时传输具有重要意义。

2、现有低码率语音编码技术主要包括传统参数语音编码和神经语音编码两类。传统方法通常提取基频、谱包络、线谱频率和激励参数等声学参数进行编码，在极低码率条件下容易出现自然度下降、机械感增强以及说话人特征减弱等问题。

3、近年来，神经语音编码方法通过将语音波形转换为离散token，再利用神经网络根据token重建语音，在较低码率条件下取得了较好的语音重建质量。例如，部分神经音频编码器采用残差向量量化（residual vector quantization，rvq），通过多个码本逐级量化语音表示，但每个时间帧通常需要传输多个码本索引，并存在不同量化级之间的依赖关系。

4、另一类方法采用有限标量量化（finite scalar quantization，fsq）生成低帧率离散语音token。以现有fsq语音编码方式为例，每个token可以由多个有限标量量化维度共同确定，从而形成一个离散token词表。对于词表大小为6561的fsq token，如果直接采用定长编码，每个token至少需要13 bit进行表示。在token速率约为25 token/s时，对应token载荷码率约为325 bit/s。现有fsq token在直接传输时通常按照词表规模分配固定比特数，不论某个token出现概率高低均使用相同码长，因此仍然存在效率低下的问题。而且fsqtoken实际由多个标量量化坐标组合形成，如果直接将一个token作为一个无结构类别编号作为普通离散编号输入概率模型，则共享部分量化坐标的不同token之间难以充分共享统计信息。

5、此外，可以根据训练数据中各token的出现频率建立单一边缘概率分布，并基于该概率分布进行熵编码。该方式虽然能够利用不同token出现概率不均匀的特点，但对不同时间位置使用相同概率分布，不能利用相邻语音token之间的时间相关性，也没有显式利用fsq token内部多个标量量化坐标所具有的组合结构。而语音是具有连续时间结构的信号，当前语音token与此前已经出现的token之间通常具有较强相关性。仅根据整个训练集统计一个固定token概率分布，无法根据当前上下文动态调整token的编码概率。

6、进一步地，在已经部署tokenizer和detokenizer的情况下，重新训练甚至重新替换整个语音编解码系统，会增加模型训练、验证、部署和终端升级成本，不利于已有应急广播与通信调度系统进行增量式升级。

7、因此，需要能够在不重新训练原有tokenizer和detokenizer的情况下，充分利用fsq token的内部结构及其时间相关性，对语音token进行低码率无损压缩。

技术实现思路

1、本发明的目的在于提供一种面向多级应急广播与通信的语音熵编码方法及系统。

2、为实现上述目的，第一方面，本发明提供了一种面向多级应急广播与通信的语音熵编码方法，所述方法包括:

3、s1、获取待传输的输入语音，通过有限标量量化tokenizer将所述输入语音编码为离散语音token序列，所述语音token序列中每个token由多个标量量化维度的量化坐标组合确定，每个标量量化维度具有多个有限量化电平；

4、s2、基于历史token的多维标量量化坐标的结构化表示进行自回归建模，通过乘积类别分布混合模型计算当前token的联合条件概率，预测所述当前token的条件概率分布；

5、s3、将所述条件概率分布量化为整数频数，构造第一整数累计频数表；根据所述第一整数累计频数表对所述当前token执行熵编码；

6、s4、对所述语音token序列依次完成熵编码后，输出压缩token载荷；将所述压缩token载荷通过传输链路发送至接收端，以使接收端恢复原始语音token序列，并通过detokenizer重建语音。

7、其中，采用单向长短期记忆网络建立历史token之间的时间依赖关系，以前一token对应的结构化输入表示及隐藏状态和细胞状态作为输入，输出当前token的隐藏状态和细胞状态。

8、其中，所述乘积类别分布混合模型基于所述自回归建模得到的当前上下文表示输出多个混合分量，每个混合分量内各量化坐标分别采用类别分布建模，以各量化坐标的类别概率之积计算该混合分量的联合概率，再以各混合分量的权重对各混合分量的联合概率加权求和，得到所述当前token的联合条件概率。

9、其中，前一token的多维标量量化坐标经全连接投影和层归一化处理后转换为低维特征向量，作为所述时序概率模型的输入表示。

10、其中，所述第一整数累计频数表中每个所述token的整数频数不小于1，使每个所述token均对应有效的熵编码区间。

11、其中，编码器根据所述token对应的累计频数区间递归更新熵编码区间，对整条所述离散语音token序列完成熵编码并编码序列结束符后，形成所述压缩token载荷。

12、其中，每条语音编码开始前，将编码器恢复至预设初始区间，将时序概率模型的隐藏状态和细胞状态初始化为零，使用序列起始符作为时序概率模型的初始输入；不同语音之间不继承编码器状态和时序概率模型状态。

13、其中，条件熵模型采用教师强制方式训练，训练目标为最小化所述语音token序列的负对数似然；所述有限标量量化tokenizer的参数在训练过程中保持冻结。

14、第二方面，本发明提供了一种面向多级应急广播与通信的语音熵解码方法，所述方法包括：

15、r1、接收发送端输出的压缩token载荷；

16、r2、根据已恢复的历史token的多维标量量化坐标的结构化表示，利用与发送端一致的条件熵模型重新生成当前token的联合条件概率，并将所述联合条件概率量化为整数频数，按照与发送端一致的规则将序列结束符纳入第二整数累计频数表，构造所述第二整数累计频数表；

17、r3、根据所述第二整数累计频数表对所述压缩token载荷执行熵解码，逐步恢复当前token，并将恢复的当前token加入所述历史token，直至恢复序列结束符；

18、r4、将恢复的原始语音token序列输入detokenizer，得到重建语音。

19、第三方面，本发明提供了一种面向多级应急广播与通信的语音熵编码系统，包括：发送侧处理模块和接收侧处理模块，所述发送侧处理模块与所述接收侧处理模块通过传输链路进行数据连接，用于交换压缩token载荷；

20、所述发送侧处理模块包括：token生成模块，用于通过有限标量量化tokenizer将输入语音转换为离散语音token序列，所述语音token序列中每个token由多个标量量化维度的量化坐标组合确定，每个标量量化维度具有多个有限量化电平；

21、条件概率建模模块，与所述token生成模块连接，用于基于历史token的多维标量量化坐标的结构化表示进行自回归建模，通过乘积类别分布混合模型计算当前token的联合条件概率，预测所述当前token的条件概率分布；

22、熵编码模块，与所述条件概率建模模块连接，用于将所述条件概率分布量化为整数频数，构造第一整数累计频数表；根据所述第一整数累计频数表对所述当前token执行熵编码，生成所述压缩token载荷；

23、所述接收侧处理模块包括：条件概率重建模块，用于根据已恢复历史token，重新生成当前token的联合条件概率及第二整数累计频数表；

24、熵解码模块，与所述条件概率重建模块连接，用于根据所述第二整数累计频数表对所述压缩token载荷执行熵解码，逐步恢复原始语音token序列，直至恢复序列结束符；

25、语音重建模块，与所述熵解码模块连接，用于将所述原始token序列输入detokenizer，得到重建语音；

26、所述发送侧处理模块与所述接收侧处理模块采用相同的条件熵模型参数、模型初始化规则、概率量化规则、整数累计频数表构造规则、序列终止规则以及熵编解码规则。

27、与现有技术相比，根据本发明的面向多级应急广播与通信的语音熵编码方法及系统，通过显式利用fsq token内部的多维标量量化结构，并利用历史token建立当前token的条件概率分布，再结合熵编码对语音token序列进行后置式无损压缩，从而降低语音token在应急通信链路中的传输载荷。