一种时序新颖性引导的视觉词元压缩方法及系统

本发明涉及计算机模型领域，具体涉及一种时序新颖性引导的视觉词元压缩方法及系统。

背景技术：

1、现有的视频大语言模型通常采用视觉编码器、视觉投影模块和大语言模型组成的多模态推理架构。具体而言，视频被采样为若干帧图像后，每一帧经视觉编码器转换为一组视觉词元（token）；视觉投影模块再将这些视觉词元映射到大语言模型可接收的特征空间；最后，大语言模型结合文本指令和视频视觉词元生成视频问答、视频描述、动作识别或事件理解结果。在该架构中，视觉词元是连接视频内容与语言模型推理过程的中间表示，其数量直接影响后续大语言模型的输入序列长度、注意力计算量和显存占用。由于视频输入包含时间维度，若每帧产生 n 个视觉词元，t 帧视频通常会产生约 t×n 个视觉词元。随着视频帧数、采样密度或图像分辨率增加，输入大语言模型的视觉词元数量会快速增长，从而显著增加长视频理解和多帧视频推理的计算开销。

2、为了降低视觉词元数量，现有技术通常采用减少视频采样帧数、降低输入分辨率、固定比例裁剪视觉词元、基于单帧显著性或词元相似度进行剪枝合并，以及引入可训练压缩器等方式。上述方式虽然能够在一定程度上减少输入长度，但仍存在以下不足：

3、减少帧数或分辨率发生在视觉编码之前，容易直接丢失短时事件、局部动作或细粒度视觉证据；固定比例压缩通常为不同帧分配相同或近似相同的词元预算，难以区分静态重复帧和动态关键帧；基于单帧显著性或相似度的压缩主要关注当前帧内部的重要性或冗余性，难以判断某个视觉词元相对于历史视频内容是否提供了新的时间信息；训练式压缩器则通常依赖额外训练数据和特定模型特征空间，跨视觉编码器、视觉投影模块或视频大语言模型迁移时部署成本较高。

4、对于视频理解任务而言，关键视觉证据往往来自跨帧变化，而不一定来自单帧中最显著的区域。例如，目标的出现或消失、位置移动、姿态变化、人与物体的交互变化、物体状态变化以及事件顺序变化，均可能体现为当前帧相对于历史帧的新增信息。若压缩策略不能显式区分时间维度上的新增信息和重复信息，就可能保留大量静态背景、重复物体外观或重复局部纹理对应的视觉词元，同时删除对事件变化具有指示意义的视觉词元，导致压缩率和任务性能难以平衡。

5、因此，有必要在视觉编码器或视觉投影模块产生视觉词元之后，引入一种能够刻画当前视觉词元相对于历史视频内容的新颖程度的压缩机制，根据时序新颖性对不同帧和不同视觉词元进行筛选，以在减少冗余视觉词元的同时提高动态事件证据的保留概率。

技术实现思路

1、本发明是为了解决上述问题而进行的，目的在于提供一种时序新颖性引导的视觉词元压缩方法及系统，旨在通过建模视频帧之间的时间冗余与新增信息，对输入大语言模型的视觉词元进行压缩，从而在降低推理计算开销的同时尽可能保留与视频动态变化、事件发生和跨帧推理相关的关键视觉证据。

2、本发明提供了一种时序新颖性引导的视觉词元压缩方法，具有这样的特征，用于对输入视频大语言模型的视觉词元进行压缩，视频大语言模型包括视觉编码器、视觉词元压缩模块、视觉投影模块和大语言模型，该方法包括以下步骤：输入采样步骤，将视频采样为若干帧图像，采用视觉编码器将每一帧图像转换为一组视觉词元，所有帧的视觉词元共同组成视频视觉词元序列；视觉词元压缩步骤，通过视觉词元压缩模块对视频视觉词元序列压缩，得到压缩后的视频视觉词元序列；结果输出步骤，采用视觉投影模块将压缩后的视频视觉词元序列输入到大语言模型中，生成视频问答、视频描述、动作识别或事件理解结果，其中，视觉词元压缩步骤包括：帧级特征统计子步骤，根据压缩比例确定总保留词元预算，并对每一帧视觉词元进行统计，计算该帧的帧级预算分数；帧级预算分配子步骤，根据各帧的帧级预算分数分配视觉词元的保留数量，并进行预算校正；历史词元池维护子步骤，将已经处理过的视觉词元记为历史帧词元，存入预设的历史词元池，根据历史词元池得到历史预测分布；mahalanobis 新颖性评分子步骤，基于历史预测分布，计算当前帧的候选视觉词元的 mahalanobis 距离，选择数值最大的指定数量个视觉词元作为该帧的保留词元集合；压缩词元序列生成子步骤，将各帧的保留词元集合按照原始视频时间顺序进行拼接，得到压缩后的视频视觉词元序列。

3、在本发明提供的时序新颖性引导的视觉词元压缩方法中，还可以具有这样的特征：在帧级特征统计子步骤中，计算该帧的帧级预算分数包括：计算当前帧视觉词元的帧级原型、语义一致性分数和特征离散度分数，将语义一致性分数和特征离散度分数结合，得到该帧的帧级预算分数。

4、在本发明提供的时序新颖性引导的视觉词元压缩方法中，还可以具有这样的特征：其中，在帧级预算分配子步骤中，进行预算校正时，若初步分配后的视觉词元总数小于预设预算，则按照分配过程中的小数部分大小依次增加部分帧的保留数量；若初步分配后的视觉词元总数大于预设预算，则减少部分帧的保留数量，直至保留数量与预设预算一致。

5、在本发明提供的时序新颖性引导的视觉词元压缩方法中，还可以具有这样的特征：在mahalanobis 新颖性评分子步骤中，除了第一帧以外，对于当前帧的候选视觉词元b，根据历史词元池得到其历史预测分布，公式为：，其中， 表示当前帧之前的历史视觉词元， 表示由历史词元池得到的预测均值， 表示对应的预测协方差，历史预测分布用于判断前帧的候选视觉词元是否可由历史视频内容解释，从而决定该视觉词元是否保留，若某一视觉词元与历史词元池中已经出现过的视觉词元高度相似，则该视觉词元被降低保留优先级；若某一视觉词元相对于历史预测分布具有较大偏离，则该视觉词元被优先保留。

6、在本发明提供的时序新颖性引导的视觉词元压缩方法中，还可以具有这样的特征：在mahalanobis 新颖性评分子步骤中，对第一帧采用初始化策略，包括：计算第一帧的平均原型；计算第一帧中每个视觉词元与该平均原型之间的余弦相似度；根据余弦相似度对第一帧的视觉词元进行排序，保留余弦相似度最低的指定数量个视觉词元作为第一帧的保留词元集合。

7、本发明还提供了一种时序新颖性引导的视觉词元压缩系统，用于进行上述时序新颖性引导的视觉词元压缩方法，具有这样的特征，包括视频大语言模型，包括视觉编码器、视觉词元压缩模块、视觉投影模块和大语言模型；输入采样模块，用于将视频采样为若干帧图像，通过视觉编码器将每一帧图像转换为一组视觉词元，所有帧的视觉词元共同组成视频视觉词元序列；结果输出模块，通过视觉投影模块将压缩后的视频视觉词元序列输入到大语言模型中，用于生成视频问答、视频描述、动作识别或事件理解结果，其中，视觉词元压缩模块设置在输入采样模块和结果输出模块之间，用于对视频视觉词元序列压缩，包括：帧级特征统计单元，用于根据压缩比例确定总保留词元预算，并对每一帧视觉词元进行统计，计算该帧的帧级预算分数；帧级预算分配单元，根据各帧的帧级预算分数分配视觉词元的保留数量，并进行预算校正；历史词元池维护单元，用于将已经处理过的视觉词元记为历史帧词元，存入预设的历史词元池，根据历史词元池得到历史预测分布；mahalanobis 新颖性评分单元，基于历史预测分布，计算当前帧的候选视觉词元的 mahalanobis 距离，选择数值最大的指定数量个视觉词元作为该帧的保留词元集合；压缩词元序列生成单元，用于将各帧的保留词元集合按照原始视频时间顺序进行拼接，得到压缩后的视频视觉词元序列。

8、与现有技术相比，本发明的作用与效果包括：

9、本发明的方法中，通过视觉词元压缩步骤，将视频帧之间的时间差异显式引入视觉词元压缩过程，实现了一种面向视频动态信息的词元保留机制，其中，历史词元池维护子步骤利用历史词元池刻画已经出现过的视频内容， mahalanobis 新颖性评分子步骤中通过判断当前视觉词元是否偏离历史分布，从而使系统能够优先保留那些难以由历史内容解释、具有时序新增信息的视觉词元，该机制有助于保留目标出现、位置变化、姿态变化、交互变化和状态转移等视频理解任务中的关键证据，使压缩后的视觉词元序列更贴合视频问答、事件理解和长视频推理等任务需求。

10、此外，本发明提出的帧级特征统计子步骤和帧级预算分配子步骤进一步提高了压缩过程的针对性和稳定性。视频中不同帧的信息量并不相同，部分帧可能包含明显动作、场景变化或交互事件，部分帧则可能主要是重复背景或低纹理内容。若对所有帧采用相同保留比例，会导致词元预算在时间维度上分配不合理。因此，本发明的帧级特征统计子步骤中，通过帧内语义一致性和特征离散度共同衡量一帧的可靠性与信息丰富度，使得视觉词元预算能够更多分配给结构更清晰、信息更充分的视频帧。该方式从理论上减少了对低信息量重复帧的无效计算，同时提高了动态关键帧中的视觉证据被保留的概率，从而提升压缩后视觉表示的有效性和鲁棒性。

11、在实际应用与计算成本方面，本发明无需重新训练视频大语言模型，也无需引入额外可训练压缩器，仅在推理阶段基于已有视觉词元进行统计计算和排序筛选，因此能够以较低成本集成到现有视频大语言模型中。