基于双重去重与一致性校验的智慧工地违章识别报警方法及系统与流程

本发明涉及智慧工地安全管理，具体涉及一种基于双重去重与一致性校验的智慧工地违章识别报警方法及系统。

背景技术：

1、随着我国基础设施建设规模的持续扩大，建筑工地施工安全管理面临着作业人员多、施工环境复杂、安全隐患分散等挑战。传统依赖安全员现场巡查的方式存在人力有限、巡查频次不足、难以全天候覆盖等固有局限。近年来，随着计算机视觉和深度学习技术的快速发展，基于视频分析的智慧工地违章智能识别系统逐步成为施工现场安全管理的重要手段。

2、目前，主流智慧工地违章识别系统普遍采用在边缘ai计算设备上部署轻量化目标检测模型的方案。该方案通过对摄像头采集的实时视频流进行逐帧推理，识别未佩戴安全帽、未穿反光衣、吸烟等不安全行为，并实时触发告警，是目前工业视觉检测领域应用最为广泛的技术路径。然而，边缘小模型受限于模型参数量和训练数据分布，在光照剧烈变化、人员密集遮挡、远距离目标等复杂施工场景下，特征提取能力显著不足，易产生大量误报。更为关键的是，单次检测独立决策、缺乏复核机制，当模型检测到疑似违章但置信度偏低、画面模糊或目标被遮挡时，系统无法主动获取更高清晰度的图像或更丰富的视角信息来辅助判定，导致大量模糊告警被直接推送，增加了安全员的审核负担。

3、为解决边缘小模型精度不足的问题，业界提出了轻量化小模型实时检测与多模态大模型深度分析相结合的协同方案，但均侧重于优化小模型的检测能力与大模型的分析能力，小模型检测结果和大模型复判结果之间缺乏结构化的比较与决策机制，同一违章行为在短时间内的连续视频帧中被多次检测，产生大量冗余告警，导致安全员告警疲劳而忽视真正重要的违规事件。

技术实现思路

1、本技术为了解决上述技术问题，提出了如下技术方案：

2、第一方面，本技术实施例提供了一种基于双重去重与一致性校验的智慧工地违章识别报警方法，包括：

3、获取实时视频流并进行预处理，将预处理后的图像帧输入至预先构建的轻量化目标检测模型中进行实时推理，输出初步检测结果，并在满足触发条件时生成原始违章结构化告警数据；

4、对所述原始违章结构化告警数据执行双重去重判定，统计经双重去重后剩余的有效告警数据；

5、通过云端多模态大模型对所述有效告警数据进行二次复判，输出结构化复判结果；

6、将所述复判结果与所述初步检测结果进行一致性校验，根据一致性校验结果确认违章并推送报警。

7、在一种可能的实现方式中，所述获取实时视频流并进行预处理，将预处理后的图像帧输入至预先构建的轻量化目标检测模型中进行实时推理，输出初步检测结果，并在满足触发条件时生成原始违章结构化告警数据，包括：

8、通过rtsp/onvif协议持续拉取工地监控摄像头实时视频流，以预设帧率解码获取连续图像帧；

9、将所述图像帧统一缩放至输入标准尺寸后，对图像像素值进行归一化处理，同时完成色域转换、随机裁剪和翻转降噪预处理，计算公式为：

10、

11、其中，为原始图像像素值，为归一化后像素值；

12、将预处理后的图像帧输入至轻量化目标检测模型中，输出包含目标检测框、违章目标类别和预测置信度的初步检测结果；

13、根据预设的类别置信度阈值对所述初步检测结果进行违章判定，生成原始违章结构化告警数据。

14、在一种可能的实现方式中，所述将预处理后的图像帧输入至轻量化目标检测模型中，输出包含目标检测框、违章目标类别和预测置信度的初步检测结果，包括：

15、将预处理后的图像帧输入至所述轻量化目标检测模型，经模型主干网络和特征金字塔网络完成多尺度特征提取，输出图像中各目标的检测框坐标、类别预测分值和目标类别；

16、对模型输出的所有检测框执行非极大值抑制处理，设定交并比阈值，计算任意两个检测框的交并比，剔除重叠度超过所述交并比阈值的冗余检测框，保留最优检测框，计算公式为：

17、；

18、其中，为两个待比对检测框，为检测框交集面积，为检测框并集面积，为两个检测框的交并比；

19、对经非极大值抑制后保留的各检测框，采用sigmoid激活函数对模型输出的类别预测分值进行归一化转换，得到每一违章类别的预测置信度；

20、输出包含目标检测框坐标、违章目标类别及对应预测置信度的初步检测结果。

21、在一种可能的实现方式中，所述根据预设的类别置信度阈值对所述初步检测结果进行违章判定，生成原始违章结构化告警数据，包括：

22、设定不同类别置信度阈值，将所述初步检测结果中的预测置信度与预设的类别置信度阈值进行比较；

23、当所述预测置信度大于或等于预设的类别置信度阈值时，判定为疑似违章；

24、当所述预测置信度小于预设的类别置信度阈值时，判定为无违章，计算公式为：

25、

26、

27、其中，为输出的类别预测分值，为sigmoid激活函数，为对应违章类别c的预测置信度，为类别c对应的预设置信度阈值，表示判定为疑似违章，表示无违章；

28、判定疑似违章后，截取当前有效视频帧作为告警图片，同步生成包含设备ip、告警时间戳、违章类型、检测置信度、检测框坐标、工地位置的原始违章结构化告警数据。

29、在一种可能的实现方式中，对所述原始违章结构化告警数据执行双重去重判定，统计经双重去重后剩余的有效告警数据，包括：

30、获取所述原始违章结构化告警数据中各条告警的结构化字段，根据设备标识、违章类型及位置信息构建缓存key，计算公式为：

31、

32、其中，为摄像头设备ip地址，为违章告警类型，为工地逻辑区域位置标识，为哈希摘要算法，为缓存唯一键；

33、在预设时间窗口内对相同缓存key的历史告警记录进行检索，当在预设时间窗口内存在相同缓存key的历史告警记录，则判定为物理空间重复命中，否则为物理空间未命中，计算公式为：

34、

35、其中，为当前告警时间戳，为同key历史最近告警时间戳，为物理去重时间窗口，为物理空间重复命中，为物理空间未命中；

36、仅在物理空间重复命中的前提下，提取当前告警图片的视觉特征向量；

37、根据所述视觉特征向量与预设时间窗口内的历史告警图片的特征向量对余弦相似度进行计算；

38、当最大相似度超过预设相似度阈值时，则判定为语义重复命中；

39、仅当物理空间重复命中与语义重复命中同时成立时，将当前告警判定为重复告警并予以过滤剔除；否则将当前告警判定为有效告警数据并保留。

40、在一种可能的实现方式中，仅当物理空间重复命中与语义重复命中同时成立时，将当前告警判定为重复告警并予以过滤剔除；否则将当前告警判定为有效告警数据并保留的计算公式为：

41、

42、

43、

44、其中，为物理空间重复命中标记，为图像语义重复命中标记，为重复告警总标记，为两条告警图片的归一化特征向量，为l2范数对特征向量做归一化处理，表示当前告警图片与时间窗口内所有历史告警图片余弦相似度的最大值，为语义相似度预设阈值。

45、在一种可能的实现方式中，所述通过云端多模态大模型对所述有效告警数据进行二次复判，输出结构化复判结果，包括：

46、将所述有效告警数据中的告警图片及预置的与违章类型对应的动态场景提示词封装为复判请求，通过边侧大模型调用代理发送至云端多模态大模型服务接口；

47、所述云端多模态大模型接收所述复判请求后，通过视觉编码器提取告警图片的高维语义特征，通过文本编码器对所述提示词进行语义编码，并完成图文跨模态对齐，计算公式为：

48、；

49、其中，为图像语义特征向量，为提示词语义特征向量，函数为余弦相似度计算，为图文对齐得分；

50、所述云端多模态大模型结合工地场景先验知识进行多维度违章语义推理，输出每一违章类别的复判置信度及无违章置信度，计算公式为：

51、

52、其中，为对应违章类别c的预测置信度；为第个违章类别的原始推理分值，为第类违章的大模型复判置信度；

53、将上述输出按预设格式组织为结构化复判结果。

54、在一种可能的实现方式中，将所述复判结果与所述初步检测结果进行一致性校验，根据一致性校验结果确认违章并推送报警，包括：

55、提取所述复判结果中的复判违章存在性标签、复判违章类别、复判置信度及语义解释文本，与所述初步检测结果中的违章目标类别及预测置信度进行多维度一一比对；

56、若所有维度比对结果均为一致，则判定为一致性校验通过，将当前告警确认为真实违章并自动推送报警；

57、若任一维度比对结果为不一致，则判定为一致性校验不通过，将当前告警及全链路决策数据转入人工复核队列进行人工判定。

58、在一种可能的实现方式中，所述若任一维度比对结果为不一致，则判定为一致性校验不通过，将当前告警及全链路决策数据转入人工复核队列进行人工判定，包括：

59、将一致性校验不通过的告警及全链路决策数据推送至人工复核界面集中展示；

60、通过所述人工复核界面接收安全员输入的最终判定结果；

61、当所述最终判定结果为误报时，将对应告警的告警证据及全链路决策数据关联存储至难例库；

62、当所述难例库积累量达到触发条件时，自动启动训练流程对轻量化目标检测模型进行增量更新；

63、当所述最终判定结果为真实违章时，将对应告警进行推送并予以发布确认；

64、当所述最终判定结果为不确定时，将对应告警标记为待定状态，留存完整决策链路数据供后续追溯复核。

65、第二方面，本技术实施例提供了一种基于双重去重与一致性校验的智慧工地违章识别报警系统，包括：

66、获取模块，用于获取实时视频流并进行预处理，将预处理后的图像帧输入至预先构建的轻量化目标检测模型中进行实时推理，输出初步检测结果，并在满足触发条件时生成原始违章结构化告警数据；

67、双重去重判定模块，用于对所述原始违章结构化告警数据执行双重去重判定，统计经双重去重后剩余的有效告警数据；

68、复判模块，用于通过云端多模态大模型对所述有效告警数据进行二次复判，输出结构化复判结果；

69、违章确认与报警模块，用于将所述复判结果与所述初步检测结果进行一致性校验，根据一致性校验结果确认违章并推送报警。

70、与现有技术相比，本技术的有益效果为：

71、本技术通过构建四级递进判定架构，逐级引入新信息维度，使告警量逐级收敛，第一级容忍误报以追求零漏报，第二级消除时空冗余而不引入假阴性，第三级利用语义理解提升精度，第四级利用人类经验兜底，各级信息增益确保判断确定性逐级提升。同时，采用物理去重与语义去重的严格and耦合逻辑，仅当两者同时命中才判定重复，有效避免了单一维度导致的误过滤或遗漏问题，重复告警过滤率达30%～50%，大幅减少云端大模型调用频次。在一致性校验环节，本技术将模型比较从简单布尔判定扩展为四维度结构化校验，自动确认告警直接推送、不一致告警转入人工复核且误报数据自动归集难例库，最大化自动化处理效率。最终，难例库累积触发增量训练后，模型经灰度验证与无损热加载完成迭代，沿级联传导公式逐级放大优化收益，使人工复核量持续下降，形成检测精度与自动化率同步提升的自增强闭环。