告警信息处理方法、装置、电子装置和存储介质与流程

本技术涉及数据处理领域，特别是涉及告警信息处理方法、装置、电子装置和存储介质。

背景技术：

1、在安防监控领域，基于计算机视觉的行为识别算法被广泛应用于各类异常事件的实时检测。这些算法通过对视频流进行目标检测与行为分类，输出包括事件类型、目标位置、时间戳在内的初级告警信息。然而，此类算法在复杂场景下面临高误报率的挑战，需要进一步优化。

2、目前虽然存在利用多模态大模型进行二次验证的技术，然而相关技术中存在诸多不足：首先，让大模型同时处理从目标识别、场景理解到行为判断的全流程任务，导致大模型认知负荷过重，效率低下、推理速度慢、资源消耗大，其次，信息输入过于原始，缺乏有效引导，如直接将高清原图和模糊的自然语言问题输入大模型，当场景中存在多个类似目标时，大模型容易产生困惑，不知道应该关注哪个具体目标，造成指代不清的问题，再次，采用"一次问答定结果"的模式，对于需要多角度、多证据综合判断的复杂场景，缺乏逐步深入的分析机制，容易产生误判，缺乏渐进式分析能力，难以处理复杂情境，最后，研判结果单一，缺乏决策支持深度，主要聚焦于"是否误报"的二元判断，对于确认真实的事件，无法进一步评估风险等级、提供处置建议，难以满足现代安防系统精细化管理需求。可见，相关技术将低级感知结果与高级推理任务直接耦合，但缺乏将领域先验知识和中间层语义信息结构化地注入到推理过程中的机制，大模型被迫在每一次推理中重新从像素级原始数据中挖掘这些信息，导致推理路径不透明、效率低下，且在复杂情况下不可靠。

3、目前针对相关技术中如何构建融合结构化信息处理能力与深度语义理解能力的多层级研判推理框架，以减少安防事件告警误报率的问题，尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种告警信息处理方法、装置、电子装置和存储介质，以至少解决相关技术中如何构建融合结构化信息处理能力与深度语义理解能力的多层级研判推理框架的问题。

2、第一方面，本技术实施例提供了一种告警信息处理方法。

3、在其中一些实施例中，该告警信息处理方法包括：

4、获取待分析告警图像对应的初级告警信息，根据所述初级告警信息，确定所述待分析告警图像对应的目标子图数据和压缩整图数据；

5、将所述目标子图数据和所述压缩整图数据输入轻量级图像描述模型，以使所述轻量级图像描述模型根据所述目标子图数据和所述压缩整图数据，输出元数据信息，根据所述元数据信息和所述初级告警信息确定研判线索元数据；

6、根据所述初级告警信息确定事件类型信息，根据所述事件类型信息和所述研判线索元数据，确定事件动态提示词；

7、将所述目标子图数据和所述事件动态提示词输入目标多模态大模型，以使所述目标多模态大模型根据所述目标子图数据和所述事件动态提示词，输出初阶研判结果；

8、根据所述初阶研判结果和所述压缩整图数据，确定所述目标多模态大模型输出的目标分级信息和目标建议信息。

9、在其中一些实施例中，所述将所述目标子图数据和所述压缩整图数据输入轻量级图像描述模型，以使所述轻量级图像描述模型根据所述目标子图数据和所述压缩整图数据，输出元数据信息，根据所述元数据信息和所述初级告警信息确定研判线索元数据包括：

10、将所述目标子图数据输入所述轻量级图像描述模型以确定文本描述信息，将所述压缩整图数据输入所述轻量级图像描述模型以确定场景标签信息，所述元数据信息包括所述文本描述信息及所述场景标签信息；

11、根据所述文本描述信息、所述场景标签信息和所述初级告警信息，确定研判线索元数据。

12、在其中一些实施例中，所述根据所述初级告警信息确定事件类型信息，根据所述事件类型信息和所述研判线索元数据，确定事件动态提示词包括：

13、根据所述初级告警信息确定事件类型信息，根据所述事件类型信息确定所述待分析告警图像对应的基础提示词骨架；

14、将所述研判线索元数据填充至所述基础提示词骨架的变量插槽中，以确定事件动态提示词。

15、在其中一些实施例中，所述根据所述初阶研判结果和所述压缩整图数据，确定所述目标多模态大模型输出的目标分级信息和目标建议信息包括：

16、根据所述初阶研判结果确定误报置信度结果，并在根据所述误报置信度结果，确定所述待分析告警图像为非高置信度误报的情况下，根据所述事件类型确定所述待分析告警图像对应的信息分级处置提示词模板；

17、将所述压缩整图数据和所述信息分级处置提示词模板输入所述目标多模态大模型，以确定所述目标多模态大模型输出的目标分级信息和目标建议信息。

18、在其中一些实施例中，所述获取待分析告警图像对应的初级告警信息，根据所述初级告警信息，确定所述待分析告警图像对应的目标子图数据和压缩整图数据包括：

19、获取待分析告警图像对应的初级告警信息，根据所述初级告警信息包括的目标边界框坐标信息，在所述待分析告警图像中绘制目标矩形框，以确定包括所述目标矩形框的告警标注原图；

20、根据所述目标矩形框所对应的区域，对所述告警标注原图进行裁剪以确定目标子图数据，对所述告警标注原图进行压缩以确定压缩整图数据。

21、在其中一些实施例中，所述根据所述目标矩形框所对应的区域，对所述告警标注原图进行裁剪以确定目标子图数据，对所述告警标注原图进行压缩以确定压缩整图数据包括：

22、根据所述事件类型信息，确定所述待分析告警图像对应的告警事件类型；

23、在所述告警事件类型为静态事件类型的情况下，确定单帧所述待分析告警图像及其对应的单帧所述告警标注原图，对单帧所述告警标注原图进行裁剪以确定单帧目标子图，将所述单帧目标子图确定为所述目标子图数据；对单帧所述告警标注原图进行压缩以确定单帧压缩整图，将所述单帧压缩整图确定为所述压缩整图数据；

24、在所述告警事件类型为动态事件类型的情况下，确定多帧所述待分析告警图像及其对应的多帧所述告警标注原图，对多帧所述告警标注原图进行裁剪以确定目标子图序列，将所述目标子图序列确定为所述目标子图数据；对多帧所述告警标注原图进行压缩以确定压缩整图序列，将所述压缩整图序列确定为所述压缩整图数据。

25、在其中一些实施例中，所述在所述告警事件类型为动态事件类型的情况下，确定多帧所述待分析告警图像及其对应的多帧所述告警标注原图包括：

26、在所述告警事件类型为动态事件类型的情况下，获取所述初级告警信息中包含的时间戳信息和摄像机标识信息，并根据所述时间戳信息，从所述摄像机标识信息对应的摄像机中获取多帧原始视频帧图像；

27、根据所述多帧原始视频帧图像及预设关键帧选取算法，确定多帧所述待分析告警图像及其对应的多帧所述告警标注原图。

28、第二方面，本技术实施例提供了一种告警信息处理装置。

29、在其中一些实施例中，该告警信息处理装置包括初始数据确定模块、研判线索生成模块、动态提示词确定模块、初阶结果输出模块和进阶结果输出模块：

30、所述初始数据确定模块，用于获取待分析告警图像对应的初级告警信息，根据所述初级告警信息，确定所述待分析告警图像对应的目标子图数据和压缩整图数据；

31、所述研判线索生成模块，用于将所述目标子图数据和所述压缩整图数据输入轻量级图像描述模型，以使所述轻量级图像描述模型根据所述目标子图数据和所述压缩整图数据，输出元数据信息，根据所述元数据信息和所述初级告警信息确定研判线索元数据；

32、所述动态提示词确定模块，用于根据所述初级告警信息确定事件类型信息，根据所述事件类型信息和所述研判线索元数据，确定事件动态提示词；

33、所述初阶结果输出模块，用于将所述目标子图数据和所述事件动态提示词输入目标多模态大模型，以使所述目标多模态大模型根据所述目标子图数据和所述事件动态提示词，输出初阶研判结果；

34、所述进阶结果输出模块，用于根据所述初阶研判结果和所述压缩整图数据，确定所述目标多模态大模型输出的目标分级信息和目标建议信息。

35、第三方面，本技术实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的告警信息处理方法。

36、第四方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的告警信息处理方法。

37、相比于相关技术，本技术实施例提供的告警信息处理方法、装置、电子装置和存储介质，通过获取待分析告警图像对应的初级告警信息，根据初级告警信息，确定待分析告警图像对应的目标子图数据和压缩整图数据；将目标子图数据和压缩整图数据输入轻量级图像描述模型，以使轻量级图像描述模型根据目标子图数据和压缩整图数据，输出元数据信息，根据元数据信息和初级告警信息确定研判线索元数据；根据初级告警信息确定事件类型信息，根据事件类型信息和研判线索元数据，确定事件动态提示词；将目标子图数据和事件动态提示词输入目标多模态大模型，以使目标多模态大模型根据目标子图数据和事件动态提示词，输出初阶研判结果；根据初阶研判结果和压缩整图数据，确定目标多模态大模型输出的目标分级信息和目标建议信息，解决了相关技术中如何构建融合结构化信息处理能力与深度语义理解能力的多层级研判推理框架的问题，能够减少安防事件告警误报率，提升大模型推理速度和效率，减少资源消耗，提高复杂场景下告警准确性，满足现代安防系统精细化管理需求。

38、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。