基于层级语义与主题约束的免训练视频摘要方法及系统与流程

摘要: 本发明属于人工智能与计算机视觉,具体涉及一种基于层级语义与主题约束的免训练视频摘要方法及系统。背景技术:1、视频摘要(videosummarization)是计...
基于层级语义与主题约束的免训练视频摘要方法及系统与流程

本发明属于人工智能与计算机视觉,具体涉及一种基于层级语义与主题约束的免训练视频摘要方法及系统。

背景技术:

1、视频摘要(video summarization)是计算机视觉领域的重要研究方向,其目标是在严格的长度约束下,从原始长视频中筛选出能够表征主要事件与核心叙事的视频子集,从而在保留关键语义信息的同时大幅压缩视频数据量,便于用户快速浏览和检索视频内容。

2、现有的视频摘要方法主要可分为基于底层视觉特征的方法和基于监督学习的方法,但这两类方法在实际应用中均存在明显的技术缺陷。

3、第一类是基于底层视觉特征的方法。此类方法通常依赖颜色直方图、光流、显著度图等底层视觉特征来衡量帧或片段的重要性,进而通过聚类、稀疏重构或代表性筛选等方式生成摘要。然而,对于开放域视频而言,场景类别、拍摄视角、运动方式和事件结构变化较大,仅依赖底层视觉特征往往难以准确把握视频真正的高层语义重点。特别是对于“事件是否关键”、“场景是否承载主题推进”等高层语义判断,底层视觉特征缺乏直接的刻画与洞察能力,导致生成的摘要结果容易偏离视频的真实叙事主线。

4、第二类是基于监督学习的方法。此类方法通过在大规模人工标注的视频摘要数据集上训练深度学习模型,来学习帧或片段的重要性映射关系。然而,人工标注的视频摘要数据标注成本高昂,且具有较强的主观性,同一视频在不同标注者之间往往存在明显偏差,标注一致性难以保证。更为关键的是,当测试视频的内容分布与训练数据存在显著偏移时,模型性能通常会急剧下降,跨域泛化能力严重不足。

5、此外,现有方法普遍忽视了视频的层级结构。视频内容并非简单的帧序列堆叠,而是具有帧(frame)、场景(scene)和视频(video)的自然层级组织形式。一个高质量的摘要生成过程,不仅需要判断单帧是否视觉显著,还需要判断该帧所在场景是否承载了关键事件的表达,以及该场景与整段视频的主题是否一致。现有方法大多仅在帧级或固定长度片段级进行建模,忽略了帧、场景与视频之间的层级依赖关系,这导致容易出现两种典型缺陷:一是保留了视觉上突出但与主题语义无关的片段,二是遗漏了持续时间较短但叙事价值较高的关键瞬间。

技术实现思路

1、为了克服上述现有技术的缺点,本发明的目的在于提供一种基于层级语义与主题约束的免训练视频摘要方法及系统。

2、为了达到上述目的,本发明采用以下技术方案予以实现:

3、第一方面,本发明提供了一种基于层级语义与主题约束的免训练视频摘要方法,包括以下步骤:

4、s1、获取输入视频,利用时序分割算法将所述输入视频划分为多个语义连贯的场景单元,并从各所述场景单元中提取采样帧;

5、s2、将各所述采样帧映射为帧级自然语言描述;将同一所述场景单元内的多个所述帧级自然语言描述聚合为场景级语义描述;将所有所述场景级语义描述归纳为视频级全局语义摘要;

6、s3、将所述视频级全局语义摘要与各所述场景单元的场景级语义描述分别构造为评分提示词,并对所述评分提示词进行零样本推理,得到各所述场景单元的场景重要性先验分数;

7、s4、利用共享文本编码器将所述帧级自然语言描述、所述场景级语义描述和所述视频级全局语义摘要映射至同一语义空间,得到对应的文本嵌入向量;基于所述文本嵌入向量,计算各所述采样帧与所属场景单元之间的局部语义相似度,以及各所述采样帧与所述视频级全局语义摘要之间的全局语义相似度;

8、s5、基于所述场景重要性先验分数、所述局部语义相似度和所述全局语义相似度,计算各所述采样帧的最终重要性分数;

9、s6、在预设的摘要长度约束下,按照所述最终重要性分数降序从所述输入视频中选取关键帧,并将所述关键帧按照时间顺序进行拼接,生成视频摘要。

10、进一步地,所述s1包括:

11、对所述输入视频进行时间下采样,提取候选帧;

12、利用预训练视觉编码器提取所述候选帧的帧级视觉特征,并基于核函数构建帧间核矩阵;

13、基于所述帧间核矩阵,以段内方差最小化为准则,通过最小化包含场景内部特征离散程度和正则化系数的目标函数,利用动态规划求解全局最优边界集合,将所述输入视频划分为多个语义连贯的场景单元,各所述场景单元内的所述候选帧作为所述采样帧。

14、进一步地,所述s2具体包括:

15、采用零样本形式构造提示词,利用视觉语言模型将各所述采样帧的图像输入映射为自然语言文本,生成所述帧级自然语言描述;

16、将同一所述场景单元内的多个所述帧级自然语言描述按时间顺序组织为描述序列,输入大语言模型进行聚合,生成对应的场景级语义描述;

17、将所有所述场景级语义描述输入所述大语言模型进行全局归纳,生成视频级全局语义摘要;

18、其中,在生成所述帧级自然语言描述、所述场景级语义描述和所述视频级全局语义摘要的过程中,所述视觉语言模型和所述大语言模型的参数均处于冻结状态。

19、进一步地,所述s3具体包括:

20、针对各所述场景单元,将所述视频级全局语义摘要与对应的所述场景级语义描述按照预设模板组织为所述评分提示词;其中,所述评分提示词设定评估角色,并要求大语言模型以所述视频级全局语义摘要为参照,输出表征当前场景对保持视频主题与叙事完整性贡献程度的原始分值;

21、对所述大语言模型输出的所述原始分值进行正则匹配提取数值,将其截断至预设区间后,映射至归一化区间,得到各所述场景单元的场景重要性先验分数。

22、进一步地,所述s4具体包括:

23、利用所述共享文本编码器提取所述帧级自然语言描述、所述场景级语义描述和所述视频级全局语义摘要的特征向量,并对所述特征向量进行l2归一化处理,得到所述文本嵌入向量;

24、计算各所述采样帧的文本嵌入向量与所属场景单元的文本嵌入向量的点积,作为所述局部语义相似度;

25、计算各所述采样帧的文本嵌入向量与所述视频级全局语义摘要的文本嵌入向量的点积,作为所述全局语义相似度。

26、进一步地,所述s5包括:

27、获取场景先验调节系数和场景重要性先验分数;

28、将所述场景重要性先验分数与所述局部语义相似度相乘,计算得到局部贡献项;

29、将所述全局语义相似度作为加性项,计算得到全局补偿项;

30、基于所述场景先验调节系数,对所述局部贡献项和所述全局补偿项进行加权融合,得到所述采样帧的最终重要性分数。

31、进一步地,所述s5包括:

32、采用乘法融合方式,将所述场景重要性先验分数、所述局部语义相似度和所述全局语义相似度进行连乘,得到所述最终重要性分数;或者,

33、采用对数融合方式,对所述场景重要性先验分数、所述局部语义相似度和所述全局语义相似度取对数后进行加权求和,得到所述最终重要性分数。

34、进一步地,所述s6包括:

35、按照所述最终重要性分数从高到低排序,选取前预设个数采样帧作为关键帧,其中所述预设个数根据预设的摘要长度约束确定;

36、将所述关键帧按照在所述输入视频中的时间顺序进行排列,拼接生成所述视频摘要。

37、进一步地,对所述大语言模型输出的所述原始分值进行正则匹配提取数值,将其截断至预设区间后,映射至归一化区间,具体包括:

38、利用正则表达式从所述大语言模型输出的文本中匹配提取数字字符串,并转换为所述原始分值;

39、若所述原始分值小于所述预设区间的下限,则将其截断为所述下限;若所述原始分值大于所述预设区间的上限,则将其截断为所述上限;

40、将截断后的所述原始分值除以所述上限,映射至归一化区间,得到所述场景重要性先验分数。

41、第二方面,本发明提供了一种基于层级语义与主题约束的免训练视频摘要系统,包括:

42、视频场景划分模块,用于获取输入视频,利用时序分割算法将所述输入视频划分为多个语义连贯的场景单元,并从各所述场景单元中提取采样帧;

43、多级语义描述生成模块,用于将各所述采样帧映射为帧级自然语言描述;将同一所述场景单元内的多个所述帧级自然语言描述聚合为场景级语义描述;将所有所述场景级语义描述归纳为视频级全局语义摘要;

44、场景语义评分模块,用于将所述视频级全局语义摘要与各所述场景单元的场景级语义描述分别构造为评分提示词,并对所述评分提示词进行零样本推理,得到各所述场景单元的场景重要性先验分数;

45、帧级分数增强模块,用于利用共享文本编码器将所述帧级自然语言描述、所述场景级语义描述和所述视频级全局语义摘要映射至同一语义空间,得到对应的文本嵌入向量;基于所述文本嵌入向量,计算各所述采样帧与所属场景单元之间的局部语义相似度,以及各所述采样帧与所述视频级全局语义摘要之间的全局语义相似度;基于所述场景重要性先验分数、所述局部语义相似度和所述全局语义相似度,计算各所述采样帧的最终重要性分数;在预设的摘要长度约束下,按照所述最终重要性分数降序从所述输入视频中选取关键帧,并将所述关键帧按照时间顺序进行拼接,生成视频摘要。

46、与现有技术相比,本发明具有以下有益效果:

47、(1)通过时序分割算法将视频划分为语义连贯的场景单元,并构建帧级、场景级、视频级的三级层级语义表示链路,充分利用了视频的层级结构,保持了视频内容由局部到整体的时序组织关系,有效避免了忽略层级结构导致的“保留视觉显著但语义无关片段”和“遗漏叙事价值高但持续时间短的关键瞬间”两种典型缺陷;

48、(2)通过将帧级视觉内容转化为自然语言描述,再进行场景级和视频级的语义聚合与推理,将视频摘要从视觉代表性筛选转化为语义一致性建模,从根本上解决了底层视觉特征难以表征高层语义的问题;

49、(3)以视频全局语义摘要为参照,通过对评分提示词进行零样本推理对各场景进行语义相关性评分,能够在开放域视频中有效区分“视觉上显著但与主题无关”的片段和“视觉变化有限但对叙事不可或缺”的片段,使摘要结果保持与视频叙事主线的高度一致性;

50、(4)通过共享文本编码器计算帧与场景的局部语义相似度和帧与视频的全局语义相似度,结合场景重要性先验分数进行融合,实现了局部细化结合全局补偿的帧级精细化建模,既抑制了场景内部与主要语义偏离的低质量帧,又为持续时间短暂但语义密度较高的关键帧提供了额外补偿;

51、(5)整个方法在预设摘要长度约束下按最终重要性分数降序选取关键帧并时序拼接,无需任何训练和人工标注数据,可直接部署于开放域视频摘要任务,避免了监督学习方法对大规模人工标注的依赖以及跨域场景下的泛化性能下降问题。