一种视频问答方法、装置、电子设备及存储介质与流程

摘要: 本发明涉及问答系统,尤其涉及一种视频问答方法、装置、电子设备及存储介质。背景技术:1、随着智能家居摄像头、全屋监控设备的普及,家庭场景下海量监控视频存储、语义化...
一种视频问答方法、装置、电子设备及存储介质与流程

本发明涉及问答系统,尤其涉及一种视频问答方法、装置、电子设备及存储介质。

背景技术:

1、随着智能家居摄像头、全屋监控设备的普及,家庭场景下海量监控视频存储、语义化查询和隐私安全管控成为行业刚需。目前行业内针对视频检索、知识问答和数据访问控制形成三类主流现有技术方案,各自存在固有缺陷,无法适配家庭视频问答的综合业务需求。

2、视频问答技术近年来在家庭安防、智能看护等场景中得到广泛应用,用户期望通过自然语言查询信息快速获取家庭视频中的特定事件信息,而非浏览海量原始视频数据。然而,现有通用视频问答系统主要针对开放域或服务机器人场景设计,难以直接适配家庭场景特有的实体类型、成员关系和隐私保护需求。故,亟需一种面向家庭场景的多模态视频问答方法,以解决当前家庭监控视频查询、隐私保护以及多模态证据输出的问题。

技术实现思路

1、本发明提供了一种视频问答方法、装置、电子设备及存储介质,以解决现有技术中的视频问法方法无法直接适配家庭场景特有的实体类型、成员关系和隐私保护需求的问题。

2、根据本发明的一方面,提供了一种视频问答方法,其中,该方法包括:

3、获取用户输入的自然语言查询信息和对应用户的查询者信息,对所述自然语言查询信息解析得到查询文本和查询意图;

4、根据所述查询文本确定家庭场景实体和时间戳区间,按照所述查询意图和所述家庭场景实体确定查询对象标识;

5、基于预设家庭知识图谱确定所述查询者信息对应的查询者角色和所述查询对象标识对应的被查询者角色,基于所述查询者角色、所述被查询者角色、所述家庭场景实体和所述时间戳区间执行隐私授权决策;

6、当所述隐私授权决策为授权通过时,对所述查询意图执行多维度查询粒度解析得到多维查询粒度,按照所述多维查询粒度、所述预设知识图谱和视频片段元数据确定候选视频片段集合;

7、确定所述候选视频片段集合对应的原始视频数据,基于所述候选视频片段和所述原始视频数据生成匹配所述自然语言查询信息的多模态证据链。

8、根据本发明的另一方面,提供了一种视频问答装置,其中,该装置包括:

9、数据解析模块,用于获取用户输入的自然语言查询信息和对应用户的查询者信息,对所述自然语言查询信息解析得到查询文本和查询意图;

10、信息查询模块,用于根据所述查询文本确定家庭场景实体和时间戳区间,按照所述查询意图和所述家庭场景实体确定查询对象标识;

11、授权决策模块,用于基于预设家庭知识图谱确定所述查询者信息对应的查询者角色和所述查询对象标识对应的被查询者角色,基于所述查询者角色、所述被查询者角色、所述家庭场景实体和所述时间戳区间执行隐私授权决策;

12、视频识别模块,用于当所述隐私授权决策为授权通过时,对所述查询意图执行多维度查询粒度解析得到多维查询粒度,按照所述多维查询粒度、所述预设知识图谱和视频片段元数据确定候选视频片段集合;

13、问答反馈模块,用于确定所述候选视频片段集合对应的原始视频数据,基于所述候选视频片段和所述原始视频数据生成匹配所述自然语言查询信息的多模态证据链。

14、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:

15、至少一个处理器;以及

16、与所述至少一个处理器通信连接的存储器;其中,

17、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的视频问答方法。

18、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的视频问答方法。

19、根据本发明的另一方面,本发明实施例还提供了一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序在被处理器执行时实现本发明任一实施例的视频问答方法。

20、本发明实施例的技术方案,通过获取用户输入的自然语言查询信息和对应用户的查询者信息,对自然语言查询信息解析得到查询文本和查询意图,根据查询文本确定家庭场景实体和时间戳区间,按照查询意图和家庭场景实体确定查询对象标识,基于预设家庭知识图谱确定查询者信息对应的查询者角色和查询对象标识对应的被查询者角色,基于查询者角色、被查询者角色、家庭场景实体和时间戳区间执行隐私授权决策,解决家庭视频隐私泄露风险,适配家庭差异化权限体系;通过当隐私授权决策为授权通过时,对查询意图执行多维度查询粒度解析得到多维查询粒度,按照多维查询粒度、预设知识图谱和视频片段元数据确定候选视频片段集合,大幅提升复杂家庭查询的匹配精度,通过确定候选视频片段集合对应的原始视频数据,基于候选视频片段和原始视频数据生成匹配自然语言查询信息的多模态证据链,仅对合规查询启动深度检索与证据生成流程。有效减少无效计算与视频解析开销,在保障查询精度的同时,提升系统整体运行效率,更适配家庭终端轻量化部署需求。

21、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种视频问答方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取用户输入的自然语言查询信息和对应用户的查询者信息,对所述自然语言查询信息解析得到查询文本和查询意图,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述查询文本确定家庭场景实体和时间戳区间,按照所述查询意图和所述家庭场景实体确定查询对象标识,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于预设家庭知识图谱确定所述查询者信息对应的查询者角色和所述查询对象标识对应的被查询者角色,基于所述查询者角色、所述被查询者角色、所述家庭场景实体和所述时间戳区间执行隐私授权决策,包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述查询意图执行多维度查询粒度解析得到多维查询粒度,按照所述多维查询粒度、所述预设知识图谱和视频片段元数据确定候选视频片段集合,包括:

6.根据权利要求1所述的方法,其特征在于,所述确定所述候选视频片段集合对应的原始视频数据,基于所述候选视频片段和所述原始视频数据生成匹配所述自然语言查询信息的多模态证据链,包括:

7.根据权利要求1所述的方法,其特征在于,在所述基于预设家庭知识图谱确定所述查询者信息对应的查询者角色和所述查询对象标识对应的被查询者角色,基于所述查询者角色、所述被查询者角色、所述家庭场景实体和所述时间戳区间执行隐私授权决策之后,还包括:

8.一种视频问答装置,其特征在于,包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的视频问答方法。