一种视频查询证据生成方法、装置、电子设备和存储介质与流程

本发明涉及多媒体检索与自然语言生成交叉，尤其涉及一种视频查询证据生成方法、装置、电子设备和存储介质。

背景技术：

1、如今，家庭监控视频在家庭安防、老人幼儿看护等场景中具有广泛的应用需求。基于家庭监控视频的家庭视频查询与证据生成方法主要分为三类：第一类是基于通用视觉问答的方法，该类方法通过视觉语言模型对用户提出的自然语言问题直接生成文本回答，输出纯文本形式的答案；第二类是基于检索增强生成的方法，该类方案从视频库中检索与查询相关的视频片段，输出带检索的文本回复；第三类是基于视频摘要的方案，该类方案通过对长时监控视频进行镜头分割、关键帧提取，生成视频内容的摘要，输出代表性帧序列。

2、然而，上述现有技术方案均存在显著的缺陷：第一类方案仅输出纯文本答案，用户无法验证回答的真实性，可信度不足；第二类方案虽检索相关视频，但检索到的视频片段通常不向用户展示，信息密度低；第三类方案面向通用视频摘要，缺乏对家庭场景的隐私保护以及对成员权限的控制。因此，如何对家庭视频进行多维度查询，提升证据质量，已成为本领域亟待解决的关键技术问题。

技术实现思路

1、本发明提供了一种视频查询证据生成方法、装置、电子设备和存储介质，以解决现有家庭视频查询系统缺乏多维度查询机制，导致证据质量低，易误导用户的问题。

2、根据本发明的一方面，提供了一种视频查询证据生成方法，该方法包括：

3、根据用户查询请求确定目标范围监控视频和查询意图；

4、基于所述查询意图在所述目标范围监控视频确定关键帧序列；

5、生成所述关键帧序列的多维评估信息，其中，所述多维评估信息包括视频质量评分、时间相关性评分、视觉清晰度评分和多证据一致性评分；

6、按照所述多维评估信息和所述关键帧序列生成所述用户查询请求对应的查询回复信息，其中，所述查询回复信息至少包括语义回复描述和图像证据。

7、根据本发明的另一方面，提供了一种视频查询证据生成装置，所述装置包括：

8、请求响应模块，用于根据用户查询请求确定目标范围监控视频和查询意图；

9、序列查询模块，用于基于所述查询意图在所述目标范围监控视频确定关键帧序列；

10、评估信息模块，用于生成所述关键帧序列的多维评估信息，其中，所述多维评估信息包括视频质量评分、时间相关性评分、视觉清晰度评分和多证据一致性评分；

11、回复生成模块，用于按照所述多维评估信息和所述关键帧序列生成所述用户查询请求对应的查询回复信息，其中，所述查询回复信息至少包括语义回复描述和图像证据。

12、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的视频查询证据生成方法。

16、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行实现本发明任一实施例所述的视频查询证据生成方法。

17、本发明实施例的技术方案，根据用户查询请求确定目标范围监控视频和查询意图；进而基于查询意图在目标范围监控视频确定关键帧序列；进而生成关键帧序列的多维评估信息，其中，多维评估信息包括视频质量评分、时间相关性评分、视觉清晰度评分和多证据一致性评分；进而按照多维评估信息和关键帧序列生成用户查询请求对应的查询回复信息，其中，查询回复信息至少包括语义回复描述和图像证据。上述技术方案，通过用户查询请求确定目标范围监控视频和查询意图，可以将查询意图和家庭监控视频进行精准关联，提高目标范围监控视频和用户查询请求之间的相关性；通过查询意图在目标范围监控视频确定关键帧序列，可以缩小相关监控视频的范围，实现轻量化；通过生成关键帧序列的多维评估信息，可以使评估信息更全面，提升用户的使用体验。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种视频查询证据生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述方法，其特征在于，所述根据用户查询请求确定目标范围监控视频和查询意图，包括：

3.根据权利要求1所述方法，其特征在于，所述基于所述查询意图在所述目标范围监控视频确定关键帧序列，包括：

4.根据权利要求3所述方法，其特征在于，所述获取所述镜头的各视频帧内与所述查询意图匹配的关键视频帧，包括：

5.根据权利要求1所述方法，其特征在于，所述生成所述关键帧序列的多维评估信息，包括：

6.根据权利要求1所述方法，其特征在于，所述按照所述多维评估信息和所述关键帧序列生成所述用户查询请求对应的查询回复信息，包括以下至少之一：

7.根据权利要求1所述方法，其特征在于，还包括：

8.一种视频查询证据生成装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行实现权利要求1-7中任一项所述的视频查询证据生成方法。