一种多模态视频标注与跨模态检索方法、系统及存储介质与流程

摘要: 本发明涉及人工智能,特别是涉及一种多模态视频标注与跨模态检索方法、系统及存储介质。背景技术:1、本部分旨在为本发明实施例提供背景或上下文。此处的描述不因为包括在...
一种多模态视频标注与跨模态检索方法、系统及存储介质与流程

本发明涉及人工智能,特别是涉及一种多模态视频标注与跨模态检索方法、系统及存储介质。

背景技术:

1、本部分旨在为本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、随着人工智能生成内容(aigc)技术的快速发展及短视频、直播平台的爆发式增长,视频数据呈指数级激增,海量视频内容的自动化理解、精准标注与高效跨模态检索需求日益迫切。如何对海量视频内容进行高效标注与精准检索已成为计算机视觉与人工智能领域的重要课题。

3、现有视频管理与检索主要依赖人工标注或元数据浅层索引,存在以下缺陷:

4、1、标注效率低:人工标注消耗大量人力,质量受主观因素影响,面对海量视频库成本不可承受。

5、2、检索维度单一:传统系统依赖关键词匹配,无法理解视频实际内容语义。

6、3、多模态信息割裂:视觉、音频、文本等模态分开处理,缺乏统一语义空间进行融合比对。

7、4、跨模态检索能力缺失:无法支持以文本搜视频、以图搜视频的需求。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够将视频的多种模态特征映射至统一语义空间,进而实现自动化语义标注与跨模态精准检索的多模态视频标注与跨模态检索方法、系统及存储介质。

2、第一方面,本发明提供了一种多模态视频标注与跨模态检索方法。所述方法包括:

3、对输入视频进行多维度特征提取,获取所述视频所包含的多种模态的特征,并生成对应的多种模态特征向量;

4、利用多模态神经网络模型将所述多种模态特征向量映射至统一的高维向量空间,得到视频片段的统一特征向量;

5、在所述统一的高维向量空间中,计算所述视频片段的统一特征向量与预定义语义标签向量集合中各标签向量的相似度,将相似度超过第一预设阈值的标签作为所述视频片段的自动标注结果;

6、基于所述统一特征向量进行跨模态检索,所述跨模态检索包括接收查询信息并将其映射为查询向量,在所述统一的高维向量空间中检索与所述查询向量之间的相似度超过第二预设阈值的视频片段。

7、可选地,所述多种模态的特征包括视觉模态、音频模态和文本模态。

8、可选地,所述视觉模态的提取包括:对所述输入视频进行关键帧抽样获取图像,利用图像特征提取模型对所述图像进行编码,生成视觉特征向量;

9、所述音频模态的提取包括:分离所述输入视频的音频轨道,提取声学特征,生成音频特征向量;

10、所述文本模态的提取包括:提取所述输入视频中的字幕信息和/或标题描述信息,生成文本特征向量。

11、可选地,所述利用多模态神经网络模型将所述多种模态特征向量映射至统一的高维向量空间具体包括:

12、利用预训练的多模态神经网络模型,将所述多种模态特征向量映射至同一高维向量空间,使不同模态的特征向量能够基于语义相似度进行直接比对。

13、可选地,所述得到视频片段的统一特征向量具体包括:

14、将所述多种模态特征向量进行特征融合,得到统一维度的特征向量作为所述视频片段的统一特征向量。

15、可选地,所述预定义语义标签向量集合包括商品类别标签向量、品牌标签向量、场景类型标签向量和营销活动标签向量中的至少一种;

16、所述相似度的计算采用余弦相似度方法计算。

17、可选地,基于所述统一特征向量进行跨模态检索具体包括:

18、文本到视频检索模式,将用户输入的文本查询映射为查询向量,在所述统一的高维向量空间中检索相似度超过所述第二预设阈值的视频片段;

19、和/或,视觉到视频检索模式,将用户上传的图像或视频片段映射为查询向量,在所述统一的高维向量空间中检索相似度超过所述第二预设阈值的视频片段。

20、可选地,所述跨模态检索还包括:

21、将各视频片段的统一特征向量构建为近似最近邻索引;

22、基于所述近似最近邻索引执行所述相似度超过第二预设阈值的检索。

23、第二方面,本发明还提供了一种多模态视频标注与跨模态检索系统。包括:

24、多维度特征提取模块,用于对输入视频进行多维度特征提取,获取所述视频所包含的多种模态的特征,并生成对应的多种模态特征向量;

25、多模态映射模块,用于利用多模态神经网络模型将所述多种模态特征向量映射至统一的高维向量空间,得到视频片段的统一特征向量;

26、自动标注模块,用于在所述统一的高维向量空间中,计算所述视频片段的统一特征向量与预定义语义标签向量集合中各标签向量的相似度,将相似度超过第一预设阈值的标签作为所述视频片段的自动标注结果;

27、跨模态检索模块,用于基于所述统一特征向量进行跨模态检索,包括接收查询信息并将其映射为查询向量,在所述统一的高维向量空间中检索与所述查询向量之间的相似度超过第二预设阈值的视频片段;

28、存储管理模块,用于存储所述多种模态特征向量、所述统一特征向量、所述语义标签向量集合及检索索引。

29、第三方面,本发明还提供了一种存储介质,所述存储介质包括存储程序,其中,在所述程序运行时控制所述存储介质所在设备执行如上所述的多模态视频标注与跨模态检索方法。

30、上述多模态视频标注与跨模态检索方法、系统及存储介质,通过对输入视频进行多维度拆解,提取多种模态特征并生成对应的特征向量,进而利用多模态神经网络模型将多种模态特征向量映射至统一的高维向量空间,使视觉、音频和文本等不同模态信息在相同语义空间内形成可度量的关联关系,实现了多模态信息的深度融合,显著提升了视频语义理解的完整性与准确性。本发明在统一的高维向量空间中,通过计算视频片段的统一特征向量与预定义语义标签向量集合的相似度,自动筛选出超过预设阈值的标签作为标注结果,无需人工逐帧观看与标注,大幅提升了标注效率,同时避免了人工标注的主观性差异,保证了标注结果的一致性与可扩展性。

31、另外,本发明基于视频片段的统一特征向量进行跨模态检索,通过将用户输入的文本查询或上传的图像、视频片段映射为查询向量,在统一的高维向量空间中检索相似度满足条件的视频片段,打破了传统关键词检索的模态壁垒,实现了文本到视频、视觉到视频检索的双向跨模态检索,显著拓宽了检索维度并提升了检索结果的语义相关性。

1.一种多模态视频标注与跨模态检索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述多种模态的特征包括视觉模态、音频模态和文本模态。

3.根据权利要求2所述的方法,其特征在于,

4.根据权利要求1所述的方法,其特征在于,所述利用多模态神经网络模型将所述多种模态特征向量映射至统一的高维向量空间具体包括:

5.根据权利要求1所述的方法,其特征在于,所述得到视频片段的统一特征向量具体包括:

6.根据权利要求1所述的方法,其特征在于,所述预定义语义标签向量集合包括商品类别标签向量、品牌标签向量、场景类型标签向量和营销活动标签向量中的至少一种;

7.根据权利要求1所述的方法,其特征在于,基于所述统一特征向量进行跨模态检索具体包括:

8.根据权利要求1所述的方法,其特征在于,所述跨模态检索还包括:

9.一种多模态视频标注与跨模态检索系统,其特征在于,包括:

10.一种存储介质,其特征在于,所述存储介质包括存储程序,其中,在所述程序运行时控制所述存储介质所在设备执行如权利要求1至8中任一项所述的多模态视频标注与跨模态检索方法。