一种智能施工安全隐患AI视觉识别与预警系统的制作方法

本发明涉及计算机视觉，尤其涉及一种智能施工安全隐患ai视觉识别与预警系统。

背景技术：

1、现有施工安全监控系统通常利用摄像机采集施工现场视频，并通过目标检测、图像分割、人体姿态识别及目标跟踪等计算机视觉技术，对施工人员、施工设备、吊物、车辆、临边构筑物和施工孔洞进行识别，根据人员与危险对象之间的距离、运动方向或危险区域重叠关系判断安全隐患。当施工人员持续处于视频可见范围内时，该类系统能够根据人员运动轨迹和危险对象运动状态进行接近判断，并输出人员提醒、设备降速或停止运行等预警控制结果。

2、然而，在施工人员接近施工设备、吊物、车辆或其他危险对象的过程中，危险对象本身可能遮挡施工人员，使人员部分或完全退出当前摄像机的可见范围。此时，现有视觉系统通常将人员未被检测到处理为跟踪中断、目标离开或识别置信度降低，难以区分施工人员已经离开危险区域与仍停留在危险对象后方两种状态；尤其当危险对象继续运动时，人员面临的碰撞、挤压或打击风险可能持续增大，而能够用于风险判断的视觉证据反而减少。现有技术还难以利用遮挡区域重新变为可见后的图像识别结果排除人员离开假设，也难以根据不同潜伏状态对预警控制结果的影响选择有效复核视角，导致系统可能过早解除预警，或者只能等待人员重新出现后再作出判断，难以满足施工现场实时安全预警的要求。

3、因此，有必要设计一种智能施工安全隐患ai视觉识别与预警系统，用以解决上述技术问题。

技术实现思路

1、本发明克服了现有技术的不足，提供一种智能施工安全隐患ai视觉识别与预警系统。

2、为达到上述目的，本发明采用的技术方案为：一种智能施工安全隐患ai视觉识别与预警系统，包括：

3、图像采集模块，获取施工现场视频图像、摄像机参数及活动危险对象运动状态；

4、视觉识别模块，识别施工人员、活动危险对象及二者空间关系，确定施工人员在接近同一活动危险对象过程中被遮挡的危险因果遮挡事件；

5、潜伏风险推演模块，基于活动危险对象的共享预测位姿序列成对生成危险作用域和视觉遮挡域，生成多个潜伏状态假设及其预测人员占用区域、预计揭露时间窗和预计揭露区域，并根据实际位姿形成实际揭露区域；

6、当实际揭露时刻、实际揭露区域对对应预测人员占用区域的覆盖程度及有效可见性均满足预设条件且未识别到施工人员时，降低对应潜伏状态假设的可信程度，否则不降低；

7、复核决策模块，从对应不同安全预警或设备控制动作的潜伏状态假设中确定控制分歧状态，并选择能够区分控制分歧状态且改变设备控制动作的目标复核视角；以及

8、预警控制模块，根据预测人员占用区域与危险作用域的时空关系确定预计致害剩余时间，并依据复核及控制总时间与安全裕量之和同预计致害剩余时间的关系，执行先复核后控制或先控制并行复核，并根据控制回执同步重算前述危险作用域、视觉遮挡域、预计揭露信息及预计致害剩余时间。

9、本发明一个较佳实施例中，所述视觉识别模块包括共享特征提取与多尺度融合网络、目标检测分支、实例分割分支、人体姿态分支、深度序关系与时序关联分支及遮挡因果判定分支；

10、所述活动危险对象包括挖掘机、装载机、叉车、施工车辆、吊钩、吊物及移动式起重设备中的至少一种，并同时具备形成碰撞、挤压、打击、卷入或压覆危险的运动属性以及相对于至少一个图像采集视角遮挡施工人员的遮挡属性。

11、本发明一个较佳实施例中，所述视觉识别模块根据施工人员与活动危险对象之间的接近趋势、二者图像区域的重叠变化、人体关键点沿活动危险对象轮廓的连续消失过程、二者的前后深度关系以及施工人员是否经过有效可见出口区域，确定所述危险因果遮挡事件；

12、所述危险因果遮挡事件至少记录人员匿名编号、活动危险对象编号、开始接近时刻、进入遮挡时刻、完全不可见时刻、最后可见位置、速度、人体朝向、遮挡进入边界段及出口有效状态。

13、本发明一个较佳实施例中，所述潜伏风险推演模块在同一预测时间节点，根据所述活动危险对象的几何模型、预测位姿、停止性能及安全膨胀距离生成危险作用域，并根据同一预测位姿、摄像机光心、活动危险对象可见轮廓和施工表面生成视觉遮挡域；

14、同一预测时间节点的危险作用域和视觉遮挡域绑定相同的对象编号、预测时刻、预测位姿、坐标系和不确定度等级，二者均生成成功时进入潜伏状态传播和负检测判断。

15、本发明一个较佳实施例中，多个所述潜伏状态假设至少包括施工人员沿安全通道离开危险作用域的离开状态假设、施工人员停留于活动危险对象后方或视觉遮挡域内的停留状态假设以及施工人员继续向危险作用域移动的接近状态假设；

16、各所述潜伏状态假设的初始可信程度根据人员最后可见运动方向、人体朝向、遮挡进入边界法向、状态路径与可通行区域的一致程度、状态路径与活动危险对象实体及未来扫掠区域的冲突程度以及有效出口连续性确定，并在多个潜伏状态假设之间归一化。

17、本发明一个较佳实施例中，所述潜伏风险推演模块根据相邻预测时刻的预测视觉遮挡域确定预测揭露区域，并逐预测时刻计算所述预测揭露区域对潜伏状态假设的预测人员占用区域的预测覆盖比例、预测有效可见性及预测人员成像尺寸；

18、将所述预测覆盖比例、预测有效可见性和预测人员成像尺寸均满足对应阈值的最早预测时刻确定为对应潜伏状态假设的预计首次揭露时刻，并基于位姿预测误差和视频帧率确定预计揭露时间窗。

19、本发明一个较佳实施例中，所述实际揭露区域为前一实际采样时刻属于实际视觉遮挡域、当前实际采样时刻因活动危险对象运动而脱离实际视觉遮挡域的空间区域；

20、所述潜伏风险推演模块基于潜伏状态假设编号、摄像机编号和预计揭露时间窗，将所述实际揭露区域与对应潜伏状态假设的预计揭露区域进行匹配，并计算所述实际揭露区域对对应预测人员占用区域的实际覆盖比例。

21、本发明一个较佳实施例中，所述有效可见性根据对应图像区域的无遮挡程度、人员预计成像尺寸、局部亮度、对比度、清晰度、运动模糊及视觉识别模型在相似成像条件下的验证召回率确定；

22、当实际揭露时刻落入对应潜伏状态假设的预计揭露时间窗、实际覆盖比例满足预设覆盖条件、有效可见性满足预设可见条件且连续未识别到施工人员时，使用与有效可见性和验证召回率对应的状态专属衰减系数降低对应潜伏状态假设的可信程度，并对保留的潜伏状态假设重新归一化。

23、本发明一个较佳实施例中，所述复核决策模块针对任一控制分歧状态对，分别计算候选复核视角下两个潜伏状态假设对应预测人员区域的投影分离程度、各预测人员区域的有效可见性、人员预计成像尺寸及视觉识别模型在相似条件下的验证召回率；

24、当候选复核视角能够在允许复核时限内排除至少一个潜伏状态假设且排除结果使安全预警或设备控制动作发生改变时，将所述候选复核视角确定为有效复核视角，并从有效复核视角中选择取得复核结果所需时间较短的视角作为目标复核视角。

25、本发明一个较佳实施例中，所述预警控制模块取得复核结果并完成设备控制所需总时间包括视角切换时间、成像稳定时间、连续复核图像采集时间、图像传输时间、模型推理时间、控制指令传输时间和活动危险对象响应时间；

26、当所述总时间与安全裕量之和小于预计致害剩余时间时，先获取复核结果再确定控制动作，当所述总时间与安全裕量之和不小于预计致害剩余时间时，在获得复核结果之前先执行设备降速、运动方向限制、暂停或停止中的至少一种动作；

27、发生视频断流、时间戳异常、摄像机外参失效、模型推理异常、设备状态缺失或控制回执缺失时，系统保持已有危险因果遮挡事件和潜伏状态假设，不使用持续负检测结果解除风险。

28、本发明解决了背景技术中存在的缺陷，本发明具备以下有益效果：

29、（1）本发明通过图像采集模块、视觉识别模块、潜伏风险推演模块、复核决策模块和预警控制模块的协同处理，将施工人员由危险对象遮挡后的不可见状态纳入持续风险判断过程，使得不再以施工人员是否持续出现在视频图像中作为解除风险的唯一依据，并能够在施工人员尚未重新显现时完成潜伏风险推演、复核视角选择以及预警控制，从而提高挖掘机、施工车辆和吊物等活动危险对象场景下安全隐患识别的连续性和及时性。

30、（2）本发明识别施工人员在接近危险对象过程中由同一危险对象造成的危险因果遮挡事件，并针对人员离开危险区域、停留于危险对象后方以及继续向危险作用域移动等状态建立多个潜伏状态假设；进一步根据假设对应空间区域的有效可见性解释人员未被识别的图像识别结果，使视觉遮挡区域内的未识别结果不直接作为人员离开的依据，相较于目标丢失后降低跟踪置信度或直接删除人员轨迹的处理方式，本发明能够避免将人员被危险源遮挡误判为人员已经远离危险源，进而减少人员仍处于设备后方、吊物下方或车辆盲区时的风险漏判。

31、（3）本发明根据危险对象运动前后视觉遮挡域的变化确定揭露区域，并利用揭露区域内的图像识别结果对潜伏状态假设进行反证更新，当离开状态假设预测人员应当出现在已经恢复可见的区域，而该区域内未识别到施工人员时，降低所述离开状态假设的可信程度，并提高停留状态假设或接近状态假设的相对可信程度，在没有重新获取施工人员的正向图像，仍能通过排除安全离开路径获得新的风险判断依据，克服风险越高、人员越容易被危险对象遮挡、可用视觉证据反而越少的识别障碍，提高潜伏隐患判断的可靠性。

32、（4）本发明根据潜伏状态假设之间的预警分歧确定复核目标区域，并结合候选视角的区分能力及复核耗时选择目标复核视角；同时，根据复核及控制所需时间与预计致害剩余时间之间的关系，确定先行复核或提前实施预警控制，从而提高复核有效性和安全处置及时性。