一种基于语义锚点定位与时序片段扩展的视频关键帧选择方法
本发明涉及视频数据处理、计算机视觉及多模态信息处理,尤其涉及一种基于语义锚点定位与时序片段扩展的视频关键帧选择方法、系统、电子设备及计算机可读存储介质。
背景技术:
1、在长视频处理中,原始视频通常包含大量时间相邻且内容重复的帧。若按固定间隔直接取帧,容易遗漏持续时间较短但与目标语义高度相关的事件;若提高采样密度,又会显著增加后续视觉特征计算、存储和传输开销。因此,需要在有限帧预算内定位关键事件,并生成能够保持事件时间连续性的关键帧集合。
2、现有关键帧选择方法通常采用均匀采样、单帧相关性排序、聚类压缩或分层检索。均匀采样未利用目标语义,单帧排序容易在同一局部事件区域重复选帧,聚类或分层检索则可能弱化事件边界附近的连续变化,均难以同时兼顾语义相关性、时间覆盖范围和帧间连续性。
3、对于包含动作演化、因果联系或先后顺序的视频片段,仅选取孤立高分帧不能完整表示事件的开始、过程和结束。关键帧生成不仅需要确定高相关位置,还需要由该位置向相邻时段扩展,并在跨镜头、跨场景或语义偏离时及时停止。
4、此外,单一文本查询可能造成相关性评价偏差:仅使用整体事件语义时容易忽略局部实体,过度依赖实体词又可能遗漏事件关系。如何结合事件级语义与实体级语义稳定确定锚点,并在锚点分布稀疏区域进行补偿,是影响关键帧生成质量的重要因素。
5、因此,现有技术至少存在如下问题:一是语义锚点定位容易受单一查询或局部高分聚集影响;二是锚点去重与未覆盖区间补偿不足,难以兼顾稀疏性和覆盖性;三是由锚点生成连续关键帧片段时缺少全局语义与局部连续性的联合控制;四是在固定帧预算下难以保留完整事件并减少冗余帧。
技术实现思路
1、本发明的目的在于提供一种基于语义锚点定位与时序片段扩展的视频关键帧选择方法,通过双层语义相关性评价确定候选锚点,利用时间间隔约束和锚点补偿形成覆盖充分的语义锚点集合,再以语义锚点为种子生成连续证据片段,并在帧数量预算约束下输出关键帧集合,从而减少重复帧、补足未覆盖区间并保持关键事件的时间连续性。
2、为实现上述目的,本发明提供一种基于语义锚点定位与时序片段扩展的视频关键帧选择方法,包括以下步骤:
3、s1、获取目标视频、自然语言问题以及可选的候选答案信息;对目标视频进行采样和视觉特征编码,得到具有时间位置的帧特征序列;根据自然语言问题构建事件语义查询和实体级查询。
4、s2、对帧特征序列中的相邻帧特征进行局部时序聚合,计算聚合后的帧特征与事件语义查询、实体级查询之间的相关性,并融合得到每一视频帧的语义相关性分数。
5、s3、根据语义相关性分数的分布特征确定候选锚点,并通过时间间隔约束降低候选锚点在同一局部事件区域内的密集程度;对于相邻锚点之间满足预设间隔条件的未覆盖区间,选择补偿锚点,得到语义锚点集合。
6、s4、以语义锚点为种子,沿时间轴向前和向后迭代选择候选边界帧;对候选边界帧执行全局语义条件判定和局部时序连续性条件判定,仅在两项判定均满足时将候选边界帧加入证据片段,并更新局部参考窗口;满足扩展终止条件时停止对应方向的扩展。
7、s5、对具有重叠区间或相邻区间的证据片段进行合并,并重复执行扩展和合并,直至不存在新增视频帧或达到最大迭代轮数,得到候选证据片段集合。
8、s6、可选地,识别自然语言语义信息对应的问题类型,并根据问题类型对候选证据片段集合进行辅助性补帧;该步骤位于语义锚点定位和证据片段扩展之后,不改变锚点选定与片段生成的主体流程。
9、s7、在预设关键帧数量预算约束下,根据候选证据片段的语义相关性,对候选证据片段进行排序、保留或下采样,输出按原始时间位置排序的关键帧集合。
10、进一步地,事件语义查询用于描述待定位内容对应的整体事件或动作关系,实体级查询用于描述其中的人物、物体、动作或场景对象;二者共同用于降低单一查询造成的锚点定位偏差。
11、进一步地,视觉特征编码器可以采用能够将图像与文本映射到同一或可对齐特征空间的视觉语言预训练模型;当帧特征和查询特征维度不一致时,通过线性变换、投影网络或其他特征适配器将二者转换到统一特征维度。
12、进一步地,高相关性阈值、最小时间间隔、补偿间隔、全局语义阈值、局部时序连续性阈值、扩展步长和终止条件均可根据视频帧数量、相关性分数分布或局部相似度分布自适应确定,而不限定为固定数值。
13、进一步地,证据片段的相关性分数可以由片段内视频帧的语义相关性分数的最大值、平均值、加权平均值或其组合确定;当候选证据片段包含的视频帧数量超过预算时,优先保留高相关性片段,对低相关性片段执行均匀下采样或基于分数的选择。
14、进一步地,本发明还提供一种视频问答关键帧选择系统,包括输入与特征编码模块、语义查询构建模块、锚点定位模块、片段扩展模块、证据增强模块以及预算控制与关键帧输出模块,各模块被配置为执行上述方法的相应步骤。
15、进一步地,本发明还提供一种电子设备,包括处理器和存储器,存储器中存储有计算机程序,计算机程序被处理器执行时实现上述方法;本发明还提供一种存储有计算机程序的计算机可读存储介质。
16、与现有技术相比,本发明具有以下有益效果:利用事件语义查询和实体级查询进行双通道相关性评估,使帧级定位同时受到整体事件语义和局部目标信息的约束,有利于提高语义锚点的定位准确性。
17、通过相关性分布阈值、时间间隔约束和锚点补偿构建分散且覆盖充分的语义锚点集合,能够降低同一局部事件中的锚点冗余,并减少长时间未覆盖区间中的关键证据遗漏。
18、通过全局语义条件和局部时序连续性条件共同控制双向片段扩展,使加入证据片段的视频帧既与问题保持语义一致,又与当前事件片段保持视觉连续,从而降低跨镜头或跨事件错误扩展的可能性。
19、通过预算约束对扩展后片段进行排序、保留和下采样,使最终生成的关键帧集合在数量受限的情况下仍覆盖高相关事件及其时间邻域;问题类型感知的补帧可作为可选辅助方式使用。
20、本发明输出的关键帧集合可作为独立的视频前处理结果,供视频检索、事件定位、视频理解或视频问答等下游任务使用,锚点选定与片段生成过程不依赖特定下游模型结构
1.一种基于语义锚点定位与时序片段扩展的视频关键帧选择方法,其特征在于,由电子设备执行并包括以下步骤:
2.根据权利要求1所述的视频问答关键帧选择方法,其特征在于,步骤s1中,对所述目标视频进行均匀采样得到n个视频帧,利用视觉编码器提取各视频帧的视觉特征;利用文本语义处理模型将所述自然语言问题分别与各候选答案融合,生成描述不同潜在事件的多个事件语义查询,并从所述自然语言问题和/或所述候选答案中提取人物、物体、动作或场景实体,生成实体级查询集合;当未提供候选答案时,根据所述自然语言问题生成至少一个潜在事件描述;步骤s2中,以当前视频帧为中心构建大小根据n自适应确定的局部聚合窗口,对所述局部聚合窗口内的帧特征进行平均或加权聚合,并将聚合结果分别与各事件语义查询和各实体级查询计算相似度,取各类查询对应相似度的最大值后进行加权融合,得到所述语义相关性分数。
3.根据权利要求1所述的视频问答关键帧选择方法,其特征在于,步骤s3中,根据全部视频帧的语义相关性分数的均值和标准差确定高相关性阈值,将语义相关性分数不低于所述高相关性阈值的视频帧确定为候选锚点,并按照语义相关性分数由高到低的顺序对所述候选锚点执行时间非极大值抑制,使保留的任意两个候选锚点之间满足最小时间间隔;当时间顺序相邻的两个候选锚点之间的帧数大于补偿间隔阈值时,在两个候选锚点之间选取语义相关性分数最高的视频帧作为补偿锚点,其中,所述补偿间隔阈值根据所述帧特征序列的长度自适应确定。
4.根据权利要求1所述的视频问答关键帧选择方法,其特征在于,步骤s4中,所述全局语义条件根据候选边界帧的语义相关性分数与由全部视频帧的语义相关性分数的统计量确定的全局阈值之间的比较结果进行判定,所述局部时序连续性条件根据候选边界帧的视觉特征与局部参考窗口的聚合视觉特征之间的相似度以及由所述局部参考窗口内相邻帧相似度的统计量确定的局部阈值之间的比较结果进行判定;在扩展初始阶段采用第一步长选取候选边界帧,在候选边界帧被加入证据片段后将扩展步长调整为小于所述第一步长的第二步长,并在连续预设数量的候选边界帧未同时满足所述全局语义条件和所述局部时序连续性条件时终止相应时间方向上的扩展;步骤s5中,每完成一轮双向扩展即对证据片段执行区间合并,并将合并后的区间边界作为下一轮扩展的起始边界,直至不存在新增视频帧或达到最大迭代轮数。
5.根据权利要求1所述的视频问答关键帧选择方法,其特征在于,步骤s6中,将问题类型至少划分为描述类、推理类和时序类;对于描述类问题,保留所述候选证据片段集合中的核心证据片段;对于推理类问题,从未被选中的视频帧中补充语义相关性分数较高的视频帧;对于时序类问题,在所述核心证据片段未覆盖的时间区间内进行均匀补帧。
6.根据权利要求1所述的视频问答关键帧选择方法,其特征在于,步骤s7中,根据各候选证据片段内视频帧的语义相关性分数确定片段相关性分数,优先完整保留片段相关性分数较高的候选证据片段,并对片段相关性分数较低的候选证据片段进行均匀下采样或按分数筛选,使关键帧总数不超过所述预设关键帧数量预算;将得到的关键帧集合输入视频问答模型,以生成预测答案或输出问题相关的视频证据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com