一种视频理解方法及相关设备与流程

本技术实施例涉及人工智能领域，尤其涉及一种视频理解方法及相关设备。

背景技术：

1、人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，ai基础理论等。

2、由于大语言模型(large language model，llm)具有强大的分析和推理能力，因此出现了利用大语言模型进行视频理解的技术。视频理解的场景包括对视频终端平台的长视频进行审核与监管、对安防视频进行异常事件检测等。视频理解的处理流程包括：将整个视频压缩为固定数量的token，用于一次性读完整个视频并提取特征，大语言模型再根据token进行视频理解处理，最终得到理解结果。然而，随着token数量的增加，大语言模型的计算负担加重，从而影响视频理解性能。

技术实现思路

1、本技术提供一种视频理解方法及相关设备，可以有效提升视频理解性能。

2、第一方面，提供一种视频理解方法，该方法可以由视频理解设备来执行，或者由视频理解设备中的芯片来执行。

3、上述视频理解方法包括以下步骤：对第一视频进行处理以得到第一信息。基于第一输入信息进行视频理解处理，得到第一视频的第一理解信息。其中，第一信息与第一视频的内容相映射。第一输入信息包括上述第一信息、对第一视频的询问和第一思维链提示信息。

4、可选地，上述第一视频可以为社交软件中用户创作的短视频，影视视频，安防摄像头拍摄的长视频等各种类型的视频。

5、可理解，上述视频理解处理是指对第一视频的内容进行自动化理解，通俗讲就是“看懂”第一视频。上述第一理解信息为针对上述询问得到的自动化理解结果。

6、可选地，可以利用第一模型对第一输入信息进行处理，以得到第一视频的第一理解信息。第一模型可以为大语言模型或其他ai模型来实现。

7、本技术实施例中，在获得第一视频的第一信息之后，基于该第一信息、关于第一视频的询问以及第一思维链提示信息进行视频理解处理，得到第一视频的第一理解信息。可见，本技术实施例没有直接基于第一视频进行视频理解，而是基于第一信息对第一视频进行理解，视频理解所需的计算量较小，可以提升视频理解的速度；另外，将思维链技术应用到基于大语言模型的视频理解中，有效提升大语言模型的推理能力，由此可以提升视频理解性能。

8、在第一方面的一种可能的实施方式中，上述第一理解信息包括第一视频的第一理解结果和第一理解结果的置信度。上述视频理解方法还包括以下步骤：第一理解结果的置信度小于置信度阈值，调用视频处理工具对第一视频进行处理以获取第一辅助信息；以及基于第一输入信息和第一辅助信息进行视频理解处理，得到第一视频的第二理解信息。

9、而第一理解结果的置信度大于等于置信度阈值，输出第一理解信息或执行第一操作。

10、可选地，上述第一辅助信息包括利用视频处理工具对第一视频进行处理得到的处理结果以及处理结果的置信度。上述第一操作可以为响应第一理解信息的相关操作，例如输出警报等。

11、本技术实施例中，当第一理解结果的置信度小于置信度阈值时，即第一理解结果不满足理解信息的输出条件，需要获取用于理解第一视频的辅助信息来辅助获得第一视频新的理解结果，例如第二理解信息。相反，当第一理解结果的置信度大于或等于上述置信度阈值时，可以将第一理解信息作为上述询问最终的理解信息进行输出或者执行第一操作。通过引入置信度考核，有效降低视频理解的噪声，提升视频理解的准确率。

12、在第一方面的一种可能的实施方式中，上述调用视频处理工具对第一视频进行处理以获取第一辅助信息，具体包括以下步骤：基于第二输入信息获取辅助信息获取方案。基于辅助信息获取方案调用视频处理工具对第一视频进行处理，得到处理结果以及处理结果的置信度。上述第二输入信息包括第一信息和第二思维链提示信息。

13、本技术实施例中，在思维链提示下制定辅助信息获取方案，可以充分释放本方法的全局感知和规划能力；再基于辅助信息获取方案去调用视频处理工具获得辅助信息。实现快速准确获得辅助信息，进而提升视频理解效率。

14、在第一方面的一种可能的实施方式中，上述第二理解信息包括第一视频的第二理解结果和第二理解结果的置信度。上述视频理解方法还包括以下步骤：第二理解结果的置信度小于置信度阈值，基于所述第一辅助信息和第三思维链提示信息调整所述辅助信息获取方案以获取第二辅助信息；以及基于第一输入信息和第二辅助信息进行视频理解处理，得到第一视频的第三理解信息。

15、本技术实施例中，当基于第一辅助信息和第一输入信息获得的第二理解信息不满足理解信息的输出条件(如置信度小于置信度阈值)时，利用第三思维链提示信息和第一辅助信息来获得新的辅助信息，即第二辅助信息，本技术实施例基于第一辅助信息和第三思维链提示信息来获得第二辅助信息，可以提升第二辅助信息的准确度。

16、在第一方面的一种可能的实施方式中，上述对第一视频进行处理以得到第一信息，具体包括以下步骤：通过视频描述模型获取第一视频的多条描述。基于多条描述和第四思维链提示信息处理得到第一信息。

17、本技术实施例中，第一视频的多条描述中每条描述可以为针对第一视频的全部或部分内容的描述。利用思维链技术，对多条描述进行总结得到上述第一信息，可以提升第一视频的第一信息的准确度，进而提升视频理解的准确率。

18、在第一方面的一种可能的实施方式中，上述视频理解方法还包括以下步骤:根据多条描述获取与询问相关的图像帧，以及调用视频处理工具对图像帧进行处理，以得到第三辅助信息。基于第一输入信息和第三辅助信息进行视频理解处理，得到第一视频的第四理解信息。

19、本技术实施例中，当利用上述第一信息无法得到第一视频的理解信息时，可以利用第一视频的多条描述来获得第一视频的理解信息，提升视频理解的鲁棒性。

20、在第一方面的一种可能的实施方式中，上述视频处理工具包括以下至少一项：视频帧检索工具、语义追踪物体工具或指定区域目标检测工具。本技术实施例中，可以通过调用视频处理工具来获得辅助信息，可以有效拓展了视频理解的应用场景和性能。

21、第二方面，本技术还提供一种视频理解设备，包括用于执行第一方面所述的视频理解方法的单元或模块。

22、第三方面，本技术还提供一种视频理解设备，包括处理器和存储器，其中，所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如第一方面所述的视频理解方法。

23、第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面所述的视频理解方法。

24、第五方面，本技术还提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行第一方面所述的视频理解方法。

25、第六方面，本技术还提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面所述的视频理解方法。

26、可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面所述的视频理解方法。