视频问答方法及装置与流程

本公开涉及人工智能领域，具体涉及大模型、智能体、自然语言理解、计算机视觉、多模态信息处理等，尤其涉及一种视频问答方法、装置、电子设备、存储介质以及计算机程序产品，可应用于视频问答场景下。

背景技术：

1、随着教学、监控、影视、体育赛事、直播回放及车载记录等场景中长视频数据的快速增长，长视频问答成为多模态智能的重要应用需求。由于长视频通常包含大量视觉帧和连续语音信息，而回答具体问题往往仅依赖其中少量关键证据，现有方法通常采用统一的检索策略从视频中获取候选片段。然而，不同问题所需的证据结构存在明显差异，统一的检索策略容易导致证据覆盖不足、候选片段时间分布过于集中或候选答案之间证据不均衡等问题。

技术实现思路

1、本公开提供了一种视频问答方法、装置、电子设备、存储介质以及计算机程序产品。

2、根据第一方面，提供了一种视频问答方法，包括：确定针对视频的问题的应答证据在视频中的组织模式；采用组织模式对应的检索策略，从包括视频中场景的表征数据的场景表征库中确定出问题的候选应答证据；根据候选应答证据，生成问题的应答数据。

3、根据第二方面，提供了一种视频问答装置，包括：模式确定单元，被配置成确定针对视频的问题的应答证据在视频中的组织模式；证据确定单元，被配置成采用组织模式对应的检索策略，从包括视频中场景的表征数据的场景表征库中确定出问题的候选应答证据；应答单元，被配置成根据候选应答证据，生成问题的应答数据。

4、根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面任一实现方式描述的方法。

5、根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面任一实现方式描述的方法。

6、根据第五方面，提供了一种计算机程序产品，包括：计算机程序，计算机程序在被处理器执行时实现如第一方面任一实现方式描述的方法。

7、根据本公开的技术，提供了一种视频问答方法及装置，通过确定针对视频的问题的应答证据在视频中的组织模式；采用组织模式对应的检索策略，从包括视频中场景的表征数据的场景表征库中确定出问题的候选应答证据；根据候选应答证据，生成问题的应答数据，从而针对性分析问题所需的应答证据在视频中的组织模式，并选择相应的证据检索策略获取候选应答证据进行应答，提高了候选应答证据的准确度和全面性，以及候选应答证据与问题之间的适配度，进而提高了应答数据的准确度和全面性。

8、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种视频问答方法，包括：

2.根据权利要求1所述的方法，其中，所述根据所述候选应答证据，生成所述问题的应答数据，包括：

3.根据权利要求2所述的方法，其中，所述根据所述候选应答证据，生成所述问题的应答数据，还包括：

4.根据权利要求2所述的方法，其中，所述根据所述候选应答证据关于全面性和可信度的评估结果，从操作集合中确定并执行目标证据处理操作，包括：

5.根据权利要求4所述的方法，其中，所述根据所述问题和所述应答数据的生成过程中历史证据处理操作的操作结果，确定所述候选应答证据关于全面性和可信度的评估结果，包括：

6.根据权利要求5所述的方法，其中，所述确定针对视频的问题的应答证据在所述视频中的组织模式，包括：

7.根据权利要求6所述的方法，其中，所述确定所述问题的应答证据在所述视频中的组织模式和所述时序证据摘要的证据编排模式，包括：

8.根据权利要求7所述的方法，其中，所述确定所述问题的应答证据在所述视频中的组织模式和所述时序证据摘要的证据编排模式，还包括：

9.根据权利要求1所述的方法，其中，所述采用所述组织模式对应的检索策略，从包括所述视频中场景的表征数据的场景表征库中确定出所述问题的候选应答证据，包括：

10.根据权利要求1所述的方法，其中，所述采用所述组织模式对应的检索策略，从包括所述视频中场景的表征数据的场景表征库中确定出所述问题的候选应答证据，包括：

11.根据权利要求1所述的方法，其中，所述采用所述组织模式对应的检索策略，从包括所述视频中场景的表征数据的场景表征库中确定出所述问题的候选应答证据，包括：

12.根据权利要求1所述的方法，其中，在所述采用所述组织模式对应的检索策略，从包括所述视频中场景的表征数据的场景表征库中确定出所述问题的候选应答证据之前，还包括：

13.一种视频问答装置，包括：

14.一种电子设备，其特征在于，包括：

15.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的方法。

16.一种计算机程序产品，包括：计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-12中任一项所述的方法。