视频描述文本生成方法及装置、电子设备和可读介质与流程

摘要: 本公开涉及计算机,具体涉及一种视频描述文本生成方法、视频描述文本生成装置、电子设备和计算机可读存储介质。背景技术:1、视频描述(videocaption)指通过...
视频描述文本生成方法及装置、电子设备和可读介质与流程

本公开涉及计算机,具体涉及一种视频描述文本生成方法、视频描述文本生成装置、电子设备和计算机可读存储介质。

背景技术:

1、视频描述(video caption)指通过摘要文本对视频内容进行概括描述或总结,以辅助用户快速了解视频内容的技术,还可以应用于静音环境或用户存在听力障碍的场景中。视频描述技术的核心在于将视频内容转换为自然语言描述文本,结合了计算机视觉领域与自然语言处理领域的技术成果,如视觉特征提取、循环神经网络、注意力机制、序列到序列模型、多模特融合、预训练模型等等。

2、目前,不同的视频描述文本生成方案存在各自的局限性,如采用传统深度学习模型可能存在视频描述细节缺漏,文本内容简略,对视频内容的提取不够充分全面的问题;采用大模型又受限于幻觉,可能导致文本内容存在偏差和错误,信息可靠性低。

3、需要说明的是,在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的目的在于提供一种视频描述文本生成方法、视频描述文本生成装置、电子设备和计算机可读存储介质,能够结合多种描述文本生成大模型输出的初始描述文本,充分挖掘视频内容细节信息,避免遗漏;由一个目标文本生成大模型在已获得多种初始描述文本的基础上进行融合,能够有效缓解推理幻觉的问题,提高目标文本的可靠性。

2、根据本公开的第一方面,提供一种视频描述文本生成方法,该方法可以包括:获取目标视频的初始描述文本,初始描述文本由多种描述文本生成大模型基于目标视频输出获得;基于初始描述文本构建第一提示文本;将初始描述文本与第一提示文本输入目标文本生成大模型,以使目标文本生成大模型在初始描述文本的基础上基于第一提示文本进行融合,获得输出的目标文本。

3、在一示例性实施例中,描述文本生成大模型包括视频描述文本生成大模型,获取目标视频的初始描述文本,包括:基于目标视频构建第二提示文本;将第二提示文本与目标视频输入视频描述文本生成大模型中,以使视频描述文本生成大模型在目标视频的基础上基于第二提示文本输出初始描述文本。

4、在一示例性实施例中,基于目标视频构建第二提示文本,包括:获取至少一个历史视频的描述文本示例;基于目标视频与描述文本示例构建第二提示文本。

5、在一示例性实施例中,描述文本生成大模型包括图像描述文本生成大模型,获取目标视频的初始描述文本,包括:在目标视频中抽取关键帧;基于关键帧构建第三提示文本;将第三提示文本与关键帧输入图像描述文本生成大模型中,以使图像描述文本生成大模型在关键帧的基础上基于第三提示文本输出初始描述文本。

6、在一示例性实施例中,基于关键帧构建第三提示文本,包括:获取至少一个历史视频中关键帧的描述文本示例;基于关键帧与关键帧的描述文本示例构建第三提示文本。

7、在一示例性实施例中,描述文本生成大模型包括视频视觉问答vqa大模型,获取目标视频的初始描述文本,包括:基于目标视频构建第一问题文本;将第一问题文本与目标视频输入视频vqa大模型中,以使视频vqa大模型在目标视频的基础上基于第一问题文本输出对应的第一答案文本,并将第一答案文本作为视频vqa大模型对应的初始描述文本。

8、在一示例性实施例中,描述文本生成大模型包括图像vqa大模型,获取目标视频的初始描述文本,包括:在目标视频中抽取关键帧;基于关键帧构建第二问题文本;将第二问题文本与关键帧输入图像vqa大模型中,以使图像vqa大模型在关键帧的基础上基于第二问题文本输出对应的第二答案文本,并将第二答案文本作为图像vqa大模型对应的初始描述文本。

9、根据本公开的第二方面,提供一种视频描述文本生成装置,该装置可以包括:初始文本获取模块,用于获取目标视频的初始描述文本,初始描述文本由多种描述文本生成大模型基于目标视频输出获得;提示文本构建模块,用于基于初始描述文本构建第一提示文本;目标文本融合模块,用于将初始描述文本与第一提示文本输入目标文本生成大模型,以使目标文本生成大模型在初始描述文本的基础上基于第一提示文本进行融合,获得输出的目标文本。

10、根据本公开的第三方面,提供一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来实现上述的方法。

11、根据本公开的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法。

12、本公开实施例所提供的视频描述文本生成方法,可以获取目标视频的初始描述文本,该初始描述文本由多种描述文本生成大模型基于该目标视频输出获得;在此基础上,基于初始描述文本构建第一提示文本,并将初始描述文本与第一提示文本输入目标文本生成大模型,以使目标文本生成大模型在初始描述文本的基础上基于第一提示文本进行融合,获得输出的目标文本。该方法可以结合多种描述文本生成大模型输出的初始描述文本,充分挖掘视频内容细节信息,避免遗漏;由一个目标文本生成大模型在已获得多种初始描述文本的基础上进行融合,能够有效缓解推理幻觉的问题,提高目标文本的可靠性。

13、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

1.一种视频描述文本生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述描述文本生成大模型包括视频描述文本生成大模型,所述获取目标视频的初始描述文本,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述目标视频构建第二提示文本,包括:

4.根据权利要求1所述的方法,其特征在于,所述描述文本生成大模型包括图像描述文本生成大模型,所述获取目标视频的初始描述文本,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述关键帧构建第三提示文本,包括:

6.根据权利要求1所述的方法,其特征在于,所述描述文本生成大模型包括视频视觉问答vqa大模型,所述获取目标视频的初始描述文本,包括:

7.根据权利要求1所述的方法,其特征在于,所述描述文本生成大模型包括图像vqa大模型,所述获取目标视频的初始描述文本,包括:

8.一种视频描述文本生成装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。