基于视频的推理方法、装置、计算机设备及存储介质与流程

本技术涉及人工智能和多模态视频理解，涉及金融保险与医疗业务场景，尤其涉及基于视频的推理方法、装置、计算机设备及存储介质。

背景技术：

1、在金融领域，长视频推理技术正将过去需要人工审核的漫长视频，转化为可被ai分析、理解和决策的结构化信息。它在以下核心业务环节的应用尤其突出。例如，在金融的智能面审与面签场景中：在贷款审核中，ai面审官能对录制或实时的视频进行分析，通过识别微表情、语音情感和回答内容来评估欺诈风险。同时，系统还能实时检测视频中的活体和证件真伪，并结合声纹、人脸等多模态信息交叉验证，彻底封堵ai换脸或语音克隆等欺诈手段。在医疗领域，长视频推理技术正将海量的医学影像和操作记录，转化为辅助诊断、手术导航和医学教育的智能决策支持。例如，进行手术技能评估与客观反馈，系统能自动将手术视频分解为标准化步骤，量化分析时长、器械使用轨迹等指标，为受训者生成客观评分报告，并用于监测器械使用情况。

2、然而，在现有技术中，对长时、多事件视频进行推理时，随着视频数据规模与时长不断增长，传统视频理解方法面临一些问题。现有多模态大模型主要依赖视频细节特征的统一编码方式，将整段视频输入模型进行一次性推理。当视频长度达到数小时到数十小时后，编码过程会导致大量关键事件细节丢失，造成推理错误。即长时间跨度推理能力不足。因此，现有技术中存在基于长视频进行推理时推理正确率不高的问题。

技术实现思路

1、本技术实施例提供了基于视频的推理方法、装置、计算机设备及存储介质，可以解决基于长视频进行推理时推理正确率不高的问题。

2、第一方面，本技术实施例提供了一种基于视频的推理方法，其包括：

3、获取用户提问以及待推理的目标视频；

4、将所述目标视频以不同时间粒度进行划分，并构建得到时间图结构，其中，所述时间图结构中包括多个事件节点，每个所述事件节点包括对应的时间索引、事件描述以及关联的视觉细节特征；

5、从所述时间图结构中提取语义关系，并构建得到语义知识图谱；

6、基于所述时间图结构中事件节点关联的视觉细节特征，构建视觉细节库，其中，库中的每个事件节点关联有视频细节特征；

7、基于所述用户提问在所述时间图结构、所述语义知识图谱以及所述视觉细节库中进行检索推理，得到推理答案。

8、在一些实施例中，所述将所述目标视频以不同时间粒度进行划分，并构建得到时间图结构，包括：

9、确定待划分的多个不同的时间粒度，不同时间粒度对应不同的固定时间间隔；

10、以各自时间粒度对应的固定时间间隔对所述目标视频进行划分，得到不同时间粒度的多个视频片段，其中，每个时间片段对应有唯一的时间索引；

11、分别从每个所述视频片段提取多模态的特征，得到多模态特征；

12、基于所述视频片段以及所述多模态特征，按照不同时间粒度构建事件节点，其中，所述事件节点包括对应的所述时间索引、事件描述以及关联的视觉细节特征；

13、基于时间顺序将所述事件节点构建图谱，得到时间图结构。

14、在一些实施例中，所述基于所述视频片段以及所述多模态特征，按照不同时间粒度构建事件节点，包括：

15、基于当前视频片段对应的相邻视频细节特征之间的第一相似度以及相邻音频特征之间的第二相似度，确定事件边界；

16、基于相邻的事件边界之间的区间，确定当前事件节点对应的时间索引；

17、对所述视频细节特征和所述音频特征进行投影映射，得到当前事件节点对应的事件描述；

18、基于所述事件描述从当前视频片段中筛选得到关键帧；

19、将所述关键帧对应的视频细节特征作为关联的视觉细节特征；

20、将所述多模态特征中的视频细节特征和音频特征按照时间片段进行时间对齐处理；

21、基于当前视频片段、所述时间索引、所述事件描述以及所述关联的视觉细节特征构建事件节点，得到不同时间粒度的事件节点。

22、在一些实施例中，所述基于所述用户提问在所述时间图结构、所述语义知识图谱以及所述视觉细节库中进行检索推理，得到推理答案，包括：

23、基于所述用户提问在所述时间图结构和/或所述视觉细节库中进行检索，得到当前检索证据；

24、若确定所述当前检索证据不符合预设的检索标准，则基于所述用户提问以及所述当前检索证据进行二次检索，并对所述当前检索证据进行更新，其中，当前检索的检索范围小于上一次检索的检索范围；

25、若所述当前检索证据符合预设的检索标准，则基于所述语义知识图谱对所述当前检索证据进行语义推理，得到所述推理答案。

26、在一些实施例中，所述若确定所述当前检索证据不符合预设的检索标准，则基于所述用户提问以及所述当前检索证据进行二次检索，并对所述当前检索证据进行更新，包括：

27、若确定所述当前检索证据不符合预设的检索标准，则将所述当前检索证据对应的检索范围缩小至目标检索范围，将所述目标检索范围作为当前检索范围；

28、基于所述用户提问按照所述当前检索范围从所述时间图结构中筛选，得到关联的第一事件节点；

29、在所述视觉细节库中检索与所述第一事件节点关联的事件节点，得到第二事件节点；

30、将所述第二事件节点关联的视觉细节特征，作为当前检索证据。

31、在一些实施例中，所述若所述当前检索证据符合预设的检索标准，则基于所述语义知识图谱对所述当前检索证据进行语义推理，得到所述推理答案，包括：

32、若所述当前检索证据符合预设的检索标准，则基于所述当前检索证据的视频片段，确定对应的第一视频细节特征；

33、将所述第一视频细节特征在所述语义知识图谱上进行映射，得到所述语义知识图谱中涉及的第三事件节点以及涉及的实体节点；

34、基于所述第三事件节点以及所述涉及的实体节点，在所述语义知识图谱中查找得到关联的第四事件节点；

35、基于第二视频细节特征与所述第一视频细节特征，确定置信度，其中，所述第二视频细节特征是所述第四事件节点对应的视频细节特征；

36、基于所述第四事件节点，生成对应的文本描述，将所述文本描述以及所述置信度作为所述推理答案。

37、在一些实施例中，所述从所述时间图结构中提取语义关系，并构建得到语义知识图谱，包括：

38、基于所述时间图结构中的不同事件节点，建立跨时间窗口的实体链接；

39、基于所述时间图结构中的不同事件节点，提取因果关系、时序邻接关系和主题聚类关系；

40、基于跨时间窗口的实体链接、所述因果关系、所述时序邻接关系和所述主题聚类关系，抽象出三元组，其中，所述三元组中包括主体、谓语以及客体；

41、基于所述三元组，构建得到语义知识图谱。

42、第二方面，本技术实施例还提供了一种基于视频的推理装置，其包括：

43、获取单元，用于获取参考图像以及参考视频，其中，所述参考图像中包含有目标对象，所述参考视频中包含有参考对象的目标动作；

44、生成视频单元，用于将所述参考图像以及所述参考视频输入至预训练的视频生成模型中，基于所述视频生成模型进行扩展编码处理以及词元交叉处理，生成所述目标对象对应的目标运动视频，其中，在生成视频时以所述参考视频为约束条件，所述目标运动视频中目标对象的动作与所述参考视频中参考对象的动作一致。

45、第三方面，本技术实施例还提供了一种基于视频的推理计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

46、第四方面，本技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。

47、本技术实施例提供了基于视频的推理方法、装置、计算机设备及存储介质。其中，所述方法包括：获取用户提问以及待推理的目标视频；将所述目标视频以不同时间粒度进行划分，并构建得到时间图结构，其中，所述时间图结构中包括多个事件节点，每个所述事件节点包括对应的时间索引、事件描述以及关联的视觉细节特征；从所述时间图结构中提取语义关系，并构建得到语义知识图谱；基于所述时间图结构中事件节点关联的视觉细节特征，构建视觉细节库，其中，库中的每个事件节点关联有视频细节特征；基于所述用户提问在所述时间图结构、所述语义知识图谱以及所述视觉细节库中进行检索推理，得到推理答案。区别于现有技术的视频细节特征的统一编码方式，本技术构建多粒度的时间图结构以及视觉细节库等多尺度的事件记忆，方便定位具体粒度的相关事件，可以提高基于长视频进行推理时的推理正确率。