一种基于语义引导的时空标记合并方法、装置、设备及介质与流程

本技术涉及计算机，特别涉及一种基于语义引导的时空标记合并方法、装置、设备及介质。

背景技术：

1、当前视频大语言模型在视频理解与视频问答任务中表现出色，这类模型通常将大量视频帧经视觉编码后生成的高维长序列标记作为输入数据。高维长序列标记输入语言模型后，会带来显著的计算与存储开销，使得视频大语言模型在实际部署过程中，会面临推理时延高、长视频前缀构建成本大以及同一视频多轮提问时重复计算问题严重等限制。尤其在长视频多轮问答场景下，由于该场景不仅需要为第一轮问题构建完整的视频上下文，还需要满足后续多轮问题的重复调用需求，而导致上述问题更为突出。

2、在利用视频大语言模型执行视频理解与视频问答任务时，通常会在预填充阶段对视频编码器输出的视觉标记进行压缩以缩减计算与存储开销。目前常用的压缩方法主要分为两类：一类是面向单问题的查询感知压缩方法，另一类是纯视觉、与问题无关的压缩方法。其中，面向单问题的查询感知压缩方法需要针对每个问题重新计算保留或合并策略，会导致视频前缀表示不稳定，不利于键值缓存跨轮次复用；纯视觉、与问题无关的压缩方法虽然能产生更稳定的压缩结果并天然支持复用，但仅依赖视觉冗余进行压缩判断，容易在高压缩率下损失对下游推理有关键作用的语义证据。

3、因而现有技术还有待改进和提高。

技术实现思路

1、本技术要解决的技术问题在于，针对现有技术的不足，提供一种基于语义引导的时空标记合并方法、装置、设备及介质。

2、为了解决上述技术问题，本技术第一方面提供了一种基于语义引导的时空标记合并方法，其中，所述的基于语义引导的时空标记合并方法具体包括：

3、获取原始视频的视觉标记网格和视频级语义描述符；

4、获取所述视觉标记网格与所述视频级语义描述符的语义相关性；

5、获取所述语义相关性相对于所述视觉标记网格中的每个视觉标记的梯度向量，并基于所述梯度向量确定视觉标记对原始视频的语义贡献；

6、基于所述语义贡献和视觉冗余性在空间维度对所述视觉标记网格进行合并，以得到空间视觉标记；

7、获取所述原始视频的语义稳定窗口，并在所述语义稳定窗口对所述空间视觉标记进行有向合并，以确定时空合并后的视觉标记。

8、所述的基于语义引导的时空标记合并方法，其中，所述视频级语义描述符的获取过程具体包括：

9、将所述原始视频输入视频大语言模型，通过所述视频大语言模型对所述原始视频进行轻量级语义概括以得到视频级语义描述符，其中，所述视频级语义描述符用于反映所述原始视频的视频内容概况。

10、所述的基于语义引导的时空标记合并方法，其中，所述获取所述视觉标记网格与所述视频级语义描述符的语义相关性具体包括：

11、将所述视频级语义描述符编码为语义嵌入，基于所述视觉标记网格生成视频级视觉特征；

12、获取所述语义嵌入与所述视频级视觉特征间的语义相似度，以得到语义相关性。

13、所述的基于语义引导的时空标记合并方法，其中，所述基于所述梯度向量确定视觉标记对原始视频的语义贡献具体包括：

14、基于所有视觉标记的梯度向量确定通道重要性向量；

15、将视觉标记与所述通道重要性向量进行内积，以得到视觉标记沿视频通道方向的响应值；

16、依据所述响应值确定视觉标记对原始视频的语义贡献。

17、所述的基于语义引导的时空标记合并方法，其中，所述基于所述语义贡献和视觉冗余性在空间维度对所述视觉标记网格进行合并具体包括：

18、将四叉树中的根节点作为父节点，获取所述父节点对应的各子节点的语义相关性分数，所述语义相关性分数为基于子节点对应的空间区域内的所有视觉标记的语义贡献确定的；

19、获取所述父节点与所述父节点对应的各子节点间的视觉冗余性；

20、依据各子节点的语义相关性分数和各子节点与父节点间的视觉冗余性，确定各子节点的联合判定分数；

21、依据各子节点的联合判定分数确定所述父节点是否满足预设细化条件；

22、若父节点不满足预设细化条件，则将停止对所述父节点细化，保留所述父节点为其对应空间区域的视觉标记；

23、若父节点满足预设细化条件，则将父节点细化为其对应的四个子节点，并将每个子节点作为父节点，继续执行获取所述父节点对应的各子节点的语义相关性分数的步骤，直至四叉树中的所有四叉树分支均满足预设细化条件或者达到四叉树最细层。

24、所述的基于语义引导的时空标记合并方法，其中，所述依据各子节点的语义相关性分数和各子节点与父节点间的视觉冗余性，确定各子节点的联合判定分数具体包括：

25、获取所述语义相关性分数对应的语义权重系数以及所述视觉冗余性确定的冗余权重系数；

26、基于所述语义权重系数和所述语义相关性分数确定第一判定分数，并利用所述冗余权重系数和所述视觉冗余性确定第二判定分数；

27、获取所述第一判定分数和所述第二判定分数的差值，以得到联合判定分数。

28、所述的基于语义引导的时空标记合并方法，其中，所述依据各子节点的联合判定分数确定所述父节点是否满足预设细化条件具体包括：

29、将各子节点的联合判定分数与空间细化阈值进行比较；

30、若所有子节点的联合判定分数均小于或等于空间细化阈值，判定不满足预设细化条件；

31、若至少存在一个子节点的联合判定分数大于空间细化阈值，判定满足预设细化条件。

32、所述的基于语义引导的时空标记合并方法，其中，所述获取所述原始视频的语义稳定窗口具体包括：

33、对所述原始视频中的每帧视频帧的全局视觉嵌入；

34、获取所述全局视觉嵌入与所述视频级语义描述符间的余弦相关性分数，以形成按时间排列的帧级相关性序列；

35、基于所述帧级相关性序列确定相邻视频帧间的语义相关分数，并依据所述语义相关分数将所述原始视频划分为若干连续的语义稳定窗口。

36、所述的基于语义引导的时空标记合并方法，其中，所述在所述语义稳定窗口对所述空间视觉标记进行有向合并具体包括：

37、对于所述语义稳定窗口中两帧相邻视频帧，获取两帧相邻视频帧中均有重叠空间区域的空间视觉标记对；

38、获取空间视觉标记对的视觉相似度，并依据所述视觉相似度在所述空间视觉标记对中的两个空间视觉标记间建立有向链接；

39、将通过有向链接形成的空间视觉标记归为同一空间视觉标记组，以得到若干空间视觉标记组；

40、将所述各空间视觉标记组中时间最早的空间视觉标记作为代表标记，并将各空间视觉标记组中的其他空间视觉标记合并至各空间视觉标记组的代表标记。

41、本技术第二方面提供了一种基于语义引导的时空标记合并装置，其中，所述的基于语义引导的时空标记合并装置具体包括：

42、获取模块。用于获取原始视频的视觉标记网格和视频级语义描述符；

43、语义相关性获取模块，用于获取所述视觉标记网格与所述视频级语义描述符的语义相关性；

44、语义贡献确定模块，用于获取所述语义相关性相对于所述视觉标记网格中的每个视觉标记的梯度向量，并基于所述梯度向量确定视觉标记对原始视频的语义贡献；

45、空间合并模块，用于基于所述语义贡献和视觉冗余性在空间维度对所述视觉标记网格进行合并，以得到空间视觉标记；

46、时间合并模块，用于获取所述原始视频的语义稳定窗口，并在所述语义稳定窗口对所述空间视觉标记进行有向合并，以确定时空合并后的视觉标记。

47、本技术第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于语义引导的时空标记合并方法中的步骤。

48、本技术第四方面提供了一种终端设备，其包括：处理器和存储器；

49、所述存储器上存储有可被所述处理器执行的计算机可读程序；

50、所述处理器执行所述计算机可读程序时实现如上任一所述的基于语义引导的时空标记合并方法中的步骤。

51、有益效果：

52、1、本技术利用原始视频的视频级语义描述符确定视觉标记对原始视频的语义贡献，并依据语义贡献和视觉冗余性进行空间合并，然后在语义稳定窗口内进行跨帧有向合并，使所得压缩表示既能显著降低长视频预填充开销，又可保留对多轮问答有价值的关键语义证据，同时保障压缩表示在同一视频上的稳定性与确定性，让第一轮预填充得到的压缩视频前缀能够被后续多轮问题直接复用，降低了重复预填充计算量与多轮交互时延。

53、2、本技术中的视频级语义描述符为原始视频的整体描述，可以表征原始视频的视频整体主题、主要对象、关键动作、事件阶段、显著文字信息以及潜在问题分布，在保持同一视频压缩结果稳定、支持缓存复用的同时，引入与下游问答证据相关的全局语义先验，避免了仅依赖视觉冗余判断造成的语义信息损失，能够在高压缩率下仍保留对下游推理任务有价值的关键语义信息，显著提升了压缩后视觉标记的可用性。

54、3、本技术通过四叉树分层空间合并策略，结合语义贡献与视觉冗余两个维度对空间视觉标记进行合并判定，在合并过程中可以自适应保留语义信息丰富的精细区域，简化视觉冗余度高且语义贡献低的区域，在压缩输入长度的同时避免关键语义信息大量流失。

55、4、本技术在时间维度以语义稳定窗口为单位进行有向合并，仅对语义内容稳定的连续窗口内对视觉相似度高的重叠空间标记进行合并，既能够进一步缩减视觉标记长度，又可以保证语义阶段转换处的关键标记能够完整保留，进一步提升了压缩结果的语义完整性。