基于语义锚定键值缓存压缩的长上下文音频推理方法和系统

本发明涉及语音处理与自然语言处理，特别是涉及一种基于语义锚定键值缓存压缩的长上下文音频推理方法和系统。

背景技术：

1、近年来，语音大语言模型（sllm）在长篇会议纪要总结、多轮对话及长音频逻辑推理等任务中展现出卓越能力。现代模型多采用统一的端到端架构，直接对音频特征进行感知与推理，从而能更精准地捕捉语音内容、韵律及情感等复杂多维度信息。

2、然而，在处理长上下文音频推理时，模型面临严峻的计算与显存挑战。由于transformer 架构中自注意力机制的二次复杂度，以及预填充与解码阶段键值缓存（kvcache）的线性增长，使得长序列音频处理的显存开销巨大，严重制约了模型的实时部署与长音频场景的应用扩展。

3、现有技术主要通过压缩文本模态的键值缓存（kv cache）来缓解压力，但直接应用于语音模态时效果受限。一方面，语音输入具有极高的时序冗余和极低的单位信息密度，原始音频特征在注意力矩阵中存在严重分布弥散，导致传统驱逐方法难以准确识别语义锚点，易引发语义漂移；另一方面，现有方法缺乏解码阶段的动态压缩机制，无法高效过滤无意义背景令牌，造成了大量的显存浪费。

4、因此，如何有效实现语音模态下的 kv cache 动态压缩，在降低计算资源消耗的同时，保持长音频推理的保真度与语义理解深度，是当前领域亟待解决的关键难题。

技术实现思路

1、本发明所要解决的技术问题是克服现有技术在处理长上下文音频推理时，因键值缓存（kv cache）显存占用过高、音频特征信息密度低导致推理效率低下且语义理解失真的困难，提供一种基于语义锚定键值缓存压缩的长上下文音频推理方法和系统。

2、为此，本发明采用的技术方案如下：

3、第一方面，本发明提出了一种基于语义锚定键值缓存压缩的长上下文音频推理方法，包括如下步骤：

4、s1、获取长上下文原始音频数据，所述原始音频数据包含用户指令的语音部分及待处理音频内容；对原始音频数据进行文字识别，生成带时间戳的转录片段并映射为转录文本嵌入，以及将原始音频数据编码为初始音频嵌入；

5、s2、基于所述时间戳边界，将初始音频嵌入划分为语义音频区间特征切片与背景音频区间特征切片；对语义音频区间特征切片执行池化聚合操作，得到汇聚音频嵌入，将汇聚音频嵌入与对应的转录文本嵌入进行融合，生成语义锚定嵌入；

6、s3、将语义锚定嵌入与背景音频区间特征切片按时间顺序拼接形成压缩输入序列，将压缩输入序列输入大模型基座，经预填充阶段构建初始键值缓存；

7、s4、在自回归解码阶段，利用预设的时间衰减系数更新各键值对的累积注意力分数；当键值缓存达到存储预算上限时，保留累积分数排名靠前的键值对及最新的若干键值对，驱逐其余键值对，以更新后的键值缓存继续解码，直至输出针对用户指令的推理结果。

8、进一步地，s2中，各转录片段携带的时间戳包含起始时间和结束时间，所述语义音频区间特征切片为各转录片段的起始时间与结束时间所覆盖的嵌入帧区间；所述背景音频区间特征切片为相邻两个语义音频区间特征切片之间的时间间隙对应的嵌入帧区间；当相邻转录片段的时间戳存在边界相接时，判定其间不存在背景音频区间特征切片。

9、进一步地，s2中，所述融合具体为：将对应于同一转录片段的汇聚音频嵌入与转录文本嵌入进行逐元素相加；遍历全部转录片段生成完整的语义锚定嵌入序列。

10、进一步地，所述压缩输入序列的长度小于初始音频嵌入的长度；所述预填充阶段对压缩输入序列中的所有词元并行计算自注意力，生成初始键值缓存。

11、进一步地，s4中，在每一解码步，根据当前生成词元的查询向量与键值缓存中所有键向量计算单步注意力分数；将前一解码步的累积注意力分数向量乘以时间衰减系数后，与单步注意力分数相加，得到当前解码步的累积注意力分数向量；所述时间衰减系数介于0与1之间。

12、进一步地，所述最新的若干键值对不参与排名靠前的筛选排序，所述存储预算上限为初始键值缓存长度的预设比例。

13、进一步地，s1中所述转录文本嵌入由文本嵌入层对各转录片段映射得到，所述初始音频嵌入由预训练的音频编码器对原始音频数据编码得到。

14、进一步地，所述池化聚合操作将各语义音频区间特征切片的序列长度压缩至与对应的转录文本嵌入的序列长度一致。

15、第二方面，本发明提出了一种基于语义锚定键值缓存压缩的长上下文音频推理系统，用于实现上述的基于语义锚定键值缓存压缩的长上下文音频推理方法。

16、本发明具有的有益效果为：

17、本发明通过引入语义锚定机制，实现了将冗余的语音模态信息压缩至与文本对齐的高密度语义表示，从源头上减少了预填充阶段的缓存压力；同时，通过结合时间衰减与动态注意力评价机制，在解码阶段实现了对长时历史信息的自适应驱逐，极大地降低了显存开销与计算复杂度，并在长上下文音频推理任务中有效保留了关键声学特征与语义逻辑，显著提升了模型的推理速度与处理长序列的能力。

1.一种基于语义锚定键值缓存压缩的长上下文音频推理方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于语义锚定键值缓存压缩的长上下文音频推理方法，其特征在于，s2中，各转录片段携带的时间戳包含起始时间和结束时间，所述语义音频区间特征切片为各转录片段的起始时间与结束时间所覆盖的嵌入帧区间；所述背景音频区间特征切片为相邻两个语义音频区间特征切片之间的时间间隙对应的嵌入帧区间；当相邻转录片段的时间戳存在边界相接时，判定其间不存在背景音频区间特征切片。

3.根据权利要求1所述的基于语义锚定键值缓存压缩的长上下文音频推理方法，其特征在于，s2中，所述融合具体为：将对应于同一转录片段的汇聚音频嵌入与转录文本嵌入进行逐元素相加；遍历全部转录片段生成完整的语义锚定嵌入序列。

4.根据权利要求1所述的基于语义锚定键值缓存压缩的长上下文音频推理方法，其特征在于，所述压缩输入序列的长度小于初始音频嵌入的长度；所述预填充阶段对压缩输入序列中的所有词元并行计算自注意力，生成初始键值缓存。

5.根据权利要求1所述的基于语义锚定键值缓存压缩的长上下文音频推理方法，其特征在于，s4中，在每一解码步，根据当前生成词元的查询向量与键值缓存中所有键向量计算单步注意力分数；将前一解码步的累积注意力分数向量乘以时间衰减系数后，与单步注意力分数相加，得到当前解码步的累积注意力分数向量；所述时间衰减系数介于0与1之间。

6.根据权利要求1所述的基于语义锚定键值缓存压缩的长上下文音频推理方法，其特征在于，所述最新的若干键值对不参与排名靠前的筛选排序，所述存储预算上限为初始键值缓存长度的预设比例。

7.根据权利要求1所述的基于语义锚定键值缓存压缩的长上下文音频推理方法，其特征在于，所述池化聚合操作将各语义音频区间特征切片的序列长度调整至与对应的转录文本嵌入的序列长度一致。

8.一种基于语义锚定键值缓存压缩的长上下文音频推理系统，用于实现权利要求1所述的基于语义锚定键值缓存压缩的长上下文音频推理方法，其特征在于，系统包括：

9.根据权利要求8所述的基于语义锚定键值缓存压缩的长上下文音频推理系统，其特征在于，所述语义锚定嵌入生成模块中，将所述汇聚音频嵌入与对应的所述转录文本嵌入进行融合，具体为：将对应于同一转录片段的所述汇聚音频嵌入与所述转录文本嵌入进行逐元素相加，生成所述语义锚定嵌入。