一种基于视觉语言模型的分级告警处置系统及方法与流程

本发明涉及系统监控，尤其涉及一种基于视觉语言模型的分级告警处置系统及方法。

背景技术：

1、随着深度学习与计算机视觉技术的快速发展，智能视频监控系统已在校园、交通、工业等安防场景中得到广泛应用。现有的智能视频告警处置系统通常采用“目标检测+告警触发”的基本架构：前端摄像头采集视频流，部署于边缘端或服务器端的目标检测模型（如yolo系列算法）对视频画面进行实时分析，识别出打架斗殴、人员入侵、异常聚集等安全事件，并触发相应的告警。

2、随着多模态大模型技术的兴起，近年来部分改进方案开始在传统目标检测的基础上引入大模型进行二次验证。例如，有方案采用“小模型初检+多模态大模型复判”的两级架构，即由目标检测模型完成初步异常行为识别后，将检测结果和图像输入qwen-vl等多模态大模型进行二次验证。此外，在告警定级方面，有方案开始进行简单的告警分级。

3、但这些现有方案仍存在以下缺点：（1）缺乏对安全事件发生原因的深度语义理解；（2）缺乏对安全事件历史背景与演变规律的追溯分析；（3）告警分级依据单一，缺乏多维度综合研判能力。

4、因此，有必要对现有技术进行改进。

技术实现思路

1、本发明旨在至少在一定程度上解决现有相关技术中存在的问题之一，为此，本发明提出的一种基于视觉语言模型的分级告警处置系统及方法，其可对事件发生原因进行深度语义理解与历史脉络追溯，从而实现全链路智能化告警处置闭环。

2、上述目的是通过如下技术方案来实现的：

3、一种基于视觉语言模型的分级告警处置系统，包括：

4、视频流媒体的目标检测模块，其进行视频解码和目标检测推理，检测到目标则生成安全事件，并从视频缓存中提取触发时刻的前n秒连续视频片段，在视频片段中抽取m张关键帧图像组装成事件包，最后生成视频流媒体的目标检测模块的输出数据并输出；

5、vlm因果分析模块，其接收来自视频流媒体的目标检测模块输出的数据，随即结合“角色定义”规则和“包含事件信息的分析指令”规则进行数据分析，最后生成vlm因果分析模块的输出数据并输出；

6、历史追溯模块，其接收来自视频流媒体的目标检测模块和vlm因果分析模块所输出的数据，然后进行逻辑分析，逻辑分析后的数据通过llm模型输出风险累计评估描述；

7、告警等级分析模块，其接收来自视频流媒体的目标检测模块、vlm因果分析模块和历史追溯模块所输出的数据，然后将所接收的信息与相关项的权重整理后再次输入到“包含事件信息的分析指令”规则中，最终由llm模型输出数据。

8、在一些实施例中，视频流媒体的目标检测模块的输出数据包括：

9、安全事件类型，包括检测目标是否有打架斗殴、人员入侵、异常聚集或跌倒的安全事件；

10、触发时间戳，用于判断安全事件触发的时刻；

11、摄像头描述，包括摄像头所在的位置信息、摄像头id；

12、前序视频片段，包括触发时刻前n秒的连续视频片段；

13、关键帧图像集，包括从前序视频中抽取的m张关键帧图像；

14、检测结果明细，包括各个关键帧检测到的目标列表；

15、事件置信度，发生该安全事件的置信度。

16、在一些实施例中，vlm因果分析模块的输出数据包括：

17、事件语义描述，包括自然语言描述安全事件的全过程；

18、直接原因，导致安全事件发生的直接诱因；

19、环境因素，可能促成安全事件的外部环境条件；

20、情境因素，安全事件发生的情境背景；

21、触发事件链，安全事件演变的关键步骤；

22、涉及的检测目标，直接参与安全事件的目标数量；

23、严重程度，vlm初步判断的严重性；

24、分析置信度，vlm对自身分析结果的自信程度。

25、在一些实施例中，历史追溯模块接收到的数据包括：

26、安全事件类型，来源于视频流媒体的目标检测模块；

27、发生地点，来源于视频流媒体的目标检测模块；

28、事件语义描述，来源于vlm因果分析模块；

29、追溯时间范围，通过系统配置，可根据系统反馈动态调整。

30、在一些实施例中，历史追溯模块的数据处理逻辑包括：

31、把安全事件类型、发生地点和事件语义描述共同构建成多维检索条件后通过事件数据库查询，获取事件完整性列表，然后通过时序趋势分析和特征向量库检索，整合生成历史痕迹报告。

32、在一些实施例中，历史追溯模块的输出数据包括：

33、历史总次数，该地点发生该安全事件类型的历史总次数；

34、7日频次，7天内发送的次数；

35、30日频次，30天内发生的次数；

36、首次发生时间，该地点、安全事件类型首次发生时间；

37、最近发生时间，该地点、安全事件类型最近发生时间；

38、频次变化趋势，基于历史数据的趋势判断；

39、周期性规律，识别出高发时间段规律；

40、相似事件列表，top-k相似的历史事件；

41、风险累计评估，综合判断的定向描述。

42、在一些实施例中，告警等级分析模块接收到的数据包括：

43、安全事件类型，来源于视频流媒体的目标检测模块；

44、发生地点，来源于视频流媒体的目标检测模块；

45、目标检测事件置信度，来源于视频流媒体的目标检测模块；

46、事件语义描述，来源于vlm因果分析模块；

47、严重程度倾向，来源于vlm因果分析模块；

48、vlm分析置信度，来源于vlm因果分析模块；

49、历史30日频次，来源于历史追溯模块；

50、频次变化趋势，来源于历史追溯模块；

51、相似事件平均严重程度，来源于历史追溯模块；

52、风险累计评估，来源于历史追溯模块。

53、在一些实施例中，告警等级分析模块接收到的数据的权重包括：安全事件类型0.20、发生地点0.15、目标检测事件置信度0.12、事件语义描述0.12、严重程度倾向0.08、vlm分析置信度0.08、历史30日频次0.05、频次变化趋势0.05；相似事件平均严重程度0.05、风险累计评估0.10。

54、在一些实施例中，llm模型输出数据包括：

55、告警等级，形成最终判定的告警等级；

56、综合风险分，形成定级的量化评分依据；

57、定级依据，形成等级判定的简要理由；

58、处置建议，该等级对应的差异化的处置操作列表；

59、处置截止时间，根据等级设定的响应时限。

60、一种基于视觉语言模型的分级告警处置方法，适用于上述的一种基于视觉语言模型的分级告警处置系统，包括：

61、步骤1：视频流媒体的目标检测模块，进行视频解码和目标检测推理，检测到目标则生成安全事件，同时把事件包传送给vlm因果分析模块和把安全事件输出给历史追溯模块；

62、步骤2：vlm因果分析模块，接收来自视频流媒体的目标检测模块输出的数据，随即进行数据分析，然后把分析数据分别输出给历史追溯模块和告警等级分析模块；

63、步骤3：历史追溯模块，接收来自视频流媒体的目标检测模块和vlm因果分析模块所输出的数据，随即进行数据分析，然后把分析数据输出给告警等级分析模块；

64、步骤4：告警等级分析模块，接收来自视频流媒体的目标检测模块、vlm因果分析模块和历史追溯模块所输出的数据，随即进行数据分析，最终由llm模型产生并输出告警等级和处置建议。

65、与现有技术相比，本发明至少包括以下有益效果：

66、本发明提出的一种基于视觉语言模型的分级告警处置系统及方法，其不仅对事件发生原因进行深度语义理解与历史脉络追溯，还将告警精准区分为多个等级，从而实现全链路智能化告警处置闭环。