一种基于多模态大模型的视频理解方法、装置及相关产品与流程

摘要: 本技术涉及数据处理,尤其涉及一种基于多模态大模型的视频理解方法、装置及相关产品。背景技术:1、随着信息技术的迅猛发展,视频内容生产和消费呈现爆炸式增长,已成为现...
一种基于多模态大模型的视频理解方法、装置及相关产品与流程

本技术涉及数据处理,尤其涉及一种基于多模态大模型的视频理解方法、装置及相关产品。

背景技术:

1、随着信息技术的迅猛发展,视频内容生产和消费呈现爆炸式增长,已成为现代社会主要的信息传播方式之一。为了更好地从海量视频数据中提取有用信息,视频理解技术应运而生,极大地促进了信息的加工和关键知识的抽取。例如在保险直播场景下,从长视频中提取直播话术技巧、高光时刻引导经验等任务在视频理解技术的支持下,可以大大提效。

2、然而,当前视频理解技术普遍依赖于复杂的大模型,这些模型在进行高精度分析时通常需要消耗大量的计算资源和能源,这极大地限制了其在长视频中的应用。现有的视频前处理方法,例如对视频进行抽帧、压缩处理,在压缩后进行视频理解,存在损失信息的风险,导致视频理解结果不准确,出现信息偏差以及信息缺失。

3、因此,亟需开发一种在不显著降低准确率的前提下,能显著减少计算资源消耗和能源使用的视频理解解决方案。

技术实现思路

1、鉴于上述问题,提出了本技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于多模态大模型的视频理解方法、装置及相关产品。所述技术方案如下:

2、第一方面,提供了一种基于多模态大模型的视频理解方法,所述方法包括:

3、获取待理解视频,将待理解视频的音频数据转换为文本内容;

4、将文本内容拆分为多个文本片段,并记录每个文本片段在待理解视频中对应的起始时间戳和结束时间戳;

5、针对每个文本片段,根据文本片段的起始时间戳和结束时间戳,从待理解视频中抽取一个图像帧;

6、针对每个文本片段,从待理解视频的音频数据中获取与文本片段对应的音频片段,获取音频片段的音量信息,并根据音量信息,确定文本片段对应的字幕显示参数;

7、根据字幕显示参数,将文本片段作为字幕叠加到对应的图像帧上,生成多个叠加字幕的图像帧;

8、将多个叠加字幕的图像帧按照时间顺序拼接为处理后视频;

9、将处理后视频和预设的提示词指令输入多模态大模型,获取多模态大模型输出的视频理解结果。

10、在一种可能的实现方式中,根据文本片段的起始时间戳和结束时间戳,从待理解视频中抽取一个图像帧,包括:

11、计算文本片段的起始时间戳和结束时间戳的中间时间点;

12、从待理解视频中抽取中间时间点所对应的一个图像帧。

13、在一种可能的实现方式中,根据音量信息,确定文本片段对应的字幕显示参数,包括:

14、将音量信息按照音量数值大小划分到预设的多个音量等级区间中的一个音量等级区间;

15、根据划分到的音量等级区间,从预设的多个字幕显示参数中选取一个对应的字幕显示参数;其中,预设的多个字幕显示参数与预设的多个音量等级区间一一对应,且字幕显示参数包括字幕的字号大小。

16、在一种可能的实现方式中,预设的多个音量等级区间的数量为十个,并且按照音量数值从小到大排列;预设的多个字幕的字号大小的数量为十个,并且按照字号从小到大排列;音量最小的等级区间对应字号最小的字幕显示参数。

17、在一种可能的实现方式中,预设的提示词指令包含以下内容:

18、处理后视频中的每个叠加字幕的图像帧是根据对应的文本片段的起始时间戳和结束时间戳抽取的;

19、处理后视频中的每个叠加字幕的图像帧上的字幕的字号大小反映了对应的文本片段所处音频片段的音量大小;

20、多模态大模型需要结合每个叠加字幕的图像帧的画面内容、字幕的文本片段内容、字幕的字号大小,生成视频理解结果。

21、在一种可能的实现方式中,将文本内容拆分为多个文本片段,包括:

22、以标点符号为分隔符,将文本内容拆分为多个文本片段;其中,标点符号包括句号、逗号、分号、冒号、感叹号中的至少一种。

23、第二方面,提供了一种基于多模态大模型的视频理解装置,所述装置包括:

24、转换单元,用于获取待理解视频,将待理解视频的音频数据转换为文本内容;

25、拆分单元,用于将文本内容拆分为多个文本片段,并记录每个文本片段在待理解视频中对应的起始时间戳和结束时间戳;

26、抽取单元,用于针对每个文本片段,根据文本片段的起始时间戳和结束时间戳,从待理解视频中抽取一个图像帧;

27、确定单元,用于针对每个文本片段,从待理解视频的音频数据中获取与文本片段对应的音频片段,获取音频片段的音量信息,并根据音量信息,确定文本片段对应的字幕显示参数;

28、生成单元,用于根据字幕显示参数,将文本片段作为字幕叠加到对应的图像帧上,生成多个叠加字幕的图像帧;

29、拼接单元,用于将多个叠加字幕的图像帧按照时间顺序拼接为处理后视频;

30、理解单元,用于将处理后视频和预设的提示词指令输入多模态大模型,获取多模态大模型输出的视频理解结果。

31、在一种可能的实现方式中,抽取单元还用于:

32、计算文本片段的起始时间戳和结束时间戳的中间时间点;

33、从待理解视频中抽取中间时间点所对应的一个图像帧。

34、在一种可能的实现方式中,确定单元还用于:

35、将音量信息按照音量数值大小划分到预设的多个音量等级区间中的一个音量等级区间;

36、根据划分到的音量等级区间,从预设的多个字幕显示参数中选取一个对应的字幕显示参数;其中,预设的多个字幕显示参数与预设的多个音量等级区间一一对应,且字幕显示参数包括字幕的字号大小。

37、在一种可能的实现方式中,预设的多个音量等级区间的数量为十个,并且按照音量数值从小到大排列;预设的多个字幕的字号大小的数量为十个,并且按照字号从小到大排列;音量最小的等级区间对应字号最小的字幕显示参数。

38、在一种可能的实现方式中,预设的提示词指令包含以下内容:

39、处理后视频中的每个叠加字幕的图像帧是根据对应的文本片段的起始时间戳和结束时间戳抽取的;

40、处理后视频中的每个叠加字幕的图像帧上的字幕的字号大小反映了对应的文本片段所处音频片段的音量大小;

41、多模态大模型需要结合每个叠加字幕的图像帧的画面内容、字幕的文本片段内容、字幕的字号大小,生成视频理解结果。

42、在一种可能的实现方式中,拆分单元还用于:

43、以标点符号为分隔符,将文本内容拆分为多个文本片段;其中,标点符号包括句号、逗号、分号、冒号、感叹号中的至少一种。

44、第三方面,提供了一种电子设备,该电子设备包括处理器和存储器,其中,所述存储器中存储有计算机程序,所述处理器被配置为运行所述计算机程序以执行上述任一项所述的基于多模态大模型的视频理解方法。

45、第四方面,提供了一种存储介质,所述存储介质存储有计算机程序,其中,所述计算机程序被配置为运行时执行上述任一项所述的基于多模态大模型的视频理解方法。

46、第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被配置为运行时执行上述任一项所述的基于多模态大模型的视频理解方法。

47、借由上述技术方案,本技术提供的基于多模态大模型的视频理解方法、装置及相关产品,该基于多模态大模型的视频理解方法通过将视频音频转译为文本并基于文本片段进行智能抽帧,在极度压缩视频数据量的同时,最均匀、丰富地保留了原视频的核心内容;同时将音频音量信息映射为字幕显示参数,与文本内容一同叠加到图像帧上,最大力度地保留了原始视频不同维度的信息,在不显著降低视频理解准确率的前提下,显著减少了多模态大模型的计算资源消耗和能源使用,实现了低能耗的长视频完整理解。