一种视频描述生成方法、装置、设备、存储介质及产品与流程
本发明涉及人工智能,尤其涉及一种视频描述生成方法、装置、设备、存储介质及产品。
背景技术:
1、视觉语言模型(visual language model,vlm)是一种结合视觉(图像/视频)和语言(文本)处理能力的多模态人工智能模型,能够理解并生成与视觉内容相关的自然语言。
2、现有的视觉语言模型在处理长视频时的性能优化普遍通过优化注意力机制来缓解长序列处理中的计算瓶颈,但受限于视频数据的时空连续性和多模态交互复杂性,现有方法难以兼顾效率与精度。
技术实现思路
1、本发明提供了一种视频描述生成方法、装置、设备、存储介质及产品,以解决现有的视觉语言模型在处理长视频时难以兼顾效率与精度的问题。
2、第一方面,本发明实施例提供了一种视频描述生成方法,包括:
3、对输入视频和对应的提示信息进行特征提取和拼接,获得嵌入标记序列;
4、按照嵌入标记类型对所述嵌入标记序列中的嵌入标记进行分块,获得嵌入块;
5、对所述嵌入标记序列中各所述嵌入块中的嵌入标记进行位置感知编码和基于自注意力机制的解码处理,获得解码标记序列;
6、对所述解码标记序列进行输出映射,获得所述输入视频的描述信息。
7、第二方面,本发明实施例提供了一种视频描述生成装置,包括:
8、特征提取模块,用于对输入视频和对应的提示信息进行特征提取和拼接,获得嵌入标记序列;
9、分块模块,用于按照嵌入标记类型对所述嵌入标记序列中的嵌入标记进行分块,获得嵌入块;
10、解码模块,用于对所述嵌入标记序列中各所述嵌入块中的嵌入标记进行位置感知编码和基于自注意力机制的解码处理,获得解码标记序列;
11、描述信息生成模块,用于对所述解码标记序列进行输出映射,获得所述输入视频的描述信息。
12、第三方面,本发明实施例提供了一种电子设备,所述电子设备包括:
13、至少一个处理器;以及
14、与所述至少一个处理器通信连接的存储器;其中,
15、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的视频描述生成方法。
16、第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的视频描述生成方法。
17、第五方面,本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现本发明任一实施例所述的视频描述生成方法。
18、本发明实施例的技术方案,通过对输入视频和对应的提示信息进行特征提取和拼接,获得嵌入标记序列;按照嵌入标记类型对嵌入标记序列中的嵌入标记进行分块,获得嵌入块;对嵌入标记序列中各嵌入块中的嵌入标记进行位置感知编码和基于自注意力机制的解码处理,获得解码标记序列;对解码标记序列进行输出映射,获得视频描述信息。通过对嵌入标记进行分块能够降低计算复杂度和计算开销,从而提高计算效率;并按照时空位置对嵌入标记序列中各嵌入块中的嵌入标记进行位置感知编码,能够在解码过程中维护不同嵌入块之间的时空关系,提高视频处理的时序连贯性,解决了现有的视觉语言模型在处理长视频时难以兼顾效率与精度的问题,达到在处理长视频时提高精度并兼顾效率的有益效果。
19、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种视频描述生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对输入视频和对应的提示信息进行特征提取和拼接,获得嵌入标记序列,包括:
3.根据权利要求1-2中任一项所述的方法,其特征在于,所述按照嵌入标记类型对所述嵌入标记序列中的嵌入标记进行分块,获得嵌入块,包括:
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述对所述嵌入标记序列中各所述嵌入块中的嵌入标记进行位置感知编码和基于自注意力机制的解码处理,获得解码标记序列,包括:
5.根据权利要求4所述的方法,其特征在于,所述根据所述位置编号对所述嵌入标记序列中各所述嵌入块中的嵌入标记进行预设次数的基于自注意力机制的解码处理,获得解码标记序列,包括:
6.根据权利要求5所述的方法,其特征在于,所述嵌入块包括系统提示嵌入块、至少一个视频嵌入块和问题提示嵌入块;计算各所述嵌入块的自注意力,包括:
7.根据权利要求6所述的方法,其特征在于,所述对于每个视频嵌入块,根据所述系统提示嵌入块的注意力三元组和所述视频嵌入块的注意力三元组计算所述视频嵌入块的自注意力,包括:
8.根据权利要求6-7中任一项所述的方法,其特征在于,所述根据所述系统提示嵌入块的注意力三元组、各所述视频嵌入块的注意力三元组和所述问题提示嵌入块的注意力三元组计算所述问题提示嵌入块的自注意力,包括:
9.一种视频描述生成装置,其特征在于,包括:
10.一种电子设备,其特征在于,所述电子设备包括:
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的视频描述生成方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1-8中任一项所述的视频描述生成方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com