基于多源视频AI分析的工厂安全巡检系统及方法与流程

本发明属于人工智能与计算机视觉，具体来说，特别涉及基于多源视频ai分析的工厂安全巡检系统及方法。

背景技术：

1、随着工业智能制造的深入推进，工厂安全生产已成为企业发展的生命线。特别是在玻璃制造、冶金等重工业领域，厂区内存在高温熔炉、高压气体管道以及密集的重型自动化搬运设备。复杂的作业环境要求必须建立全天候、无死角的安全巡检机制，以及时发现人员违规操作、设备漏料起火等潜在隐患，从而保障生命财产安全。

2、现有的工厂安全巡检主要依赖人工定时巡逻与基于固定摄像头的传统ai视频监控。在实际应用中，传统ai视频监控通常采用“端到云”的简单架构，即在厂区各个角落安装固定视角的网络摄像机，将全量视频流实时传输至中心机房或云端服务器，再利用常规的目标检测算法进行人员未戴安全帽、烟雾火焰等事件的单帧图像识别，一旦发现目标即触发弹窗报警。然而，这种技术方案在复杂的玻璃工厂环境中面临巨大挑战：首先，玻璃原片具有强烈的反光特性，且厂区内钢结构立柱密集，固定摄像机的单一视角易受到光学折射干扰或物理实体遮挡；其次，传统算法仅能输出二维图像上的边界框像素坐标，缺乏现实世界的三维深度信息，系统无法感知报警事件所处的具体空间位置，更无法判断其距离周边的天然气阀门等高危设备有多远；最后，将成百上千路高清视频全量无差别地上传至云端，不仅占用海量网络带宽，且大量静态、绝对安全的无效画面造成了云端算力资源的严重浪费。

3、由此可以看出，现有技术存在以下问题：1.受限于固定单一视角与光学干扰，视觉盲区大，易产生误报与漏报；2.端云算力分配不合理，缺乏筛选机制的全量上云导致带宽与算力浪费严重；3.各监控设备的识别结果仅停留在二维平面，缺乏三维空间感知能力，无法实现量化风险评估与设备联动闭环。

技术实现思路

1、（一）解决的技术问题

2、针对相关技术中的问题，本发明提供基于多源视频ai分析的工厂安全巡检系统及方法，以克服现有相关技术所存在的上述技术问题。

3、（二）技术方案

4、为解决上述技术问题，本发明是通过以下技术方案实现的：

5、s1、为工厂内的多源视频流打上全局时间戳，并通过工厂三维bim模型，将多源视频流的空间视角映射至统一的工厂三维物理坐标系中，得到时空对齐的多源视频数据；

6、s2、使用轻量级目标检测模型对时空对齐后的多源视频流进行实时初筛，得到安全事件的初始类别及置信度得分；

7、设定安全阈值与报警阈值；若置信度得分介于安全阈值与报警阈值之间，则判定为疑似异常事件；

8、s3、提取所述疑似异常事件在第一视频源中的二维像素坐标，并利用透视变换矩阵转换为工厂三维物理坐标系下的三维空间坐标；

9、基于所述三维空间坐标及三维bim模型中的遮挡关系，计算周边候选视频源的协同调度代价函数；调度代价函数最小的第二视频源对所述三维空间坐标进行交叉视角验证拍摄；

10、s4、将第一视频源的疑似异常视频切片与第二视频源的交叉视角验证视频切片进行空间对齐与拼接，并输入至视觉大模型进行二次推理，输出安全事件的最终判定结果；

11、s5、基于所述最终判定结果，结合安全事件所在的三维空间坐标与工厂高危区域的距离计算静态风险指数，触发对应的声光报警和设备联动指令。

12、优选地，所述s1包括以下步骤：

13、s11、接入工厂内的多源视频采集设备；所述多源视频采集设备包括固定云台摄像机、移动巡检agv自带的摄像机以及无人机挂载的摄像机；

14、通过网络时间协议ntp对所有多源视频采集设备进行时钟同步，并为每一帧图像分配全局时间戳；

15、s12、获取工厂三维bim模型，提取工厂三维bim模型中的几何拓扑结构数据与空间坐标数据；

16、s13、标定每一个多源视频采集设备的相机内参矩阵与初始外参矩阵；基于相机内参矩阵、外参矩阵以及工厂三维bim模型，建立二维图像像素坐标系与三维物理坐标系之间的映射关系矩阵，得到时空对齐的多源视频数据；

17、优选地，所述s2包括以下步骤：

18、s21、将时空对齐后的多源视频流输入至部署在边缘计算节点的轻量级目标检测模型中；所述轻量级目标检测模型通过卷积神经网络提取图像多尺度特征，利用检测头输出包含目标位置信息、类别概率及置信度得分的预测张量；

19、s22、解析预测张量，提取安全事件的初始类别向量及其对应的置信度得分；

20、s23、设定安全阈值和报警阈值，且安全阈值＜报警阈值；

21、s24、若置信度得分≥报警阈值，判定为确信异常事件，直接触发步骤s5；若置信度得分≤安全阈值，判定为安全，丢弃该帧数据并释放边缘算力；若安全阈值<置信度得分<报警阈值，判定为疑似异常事件，触发步骤s3；

22、优选地，所述s21中的边缘轻量级目标检测模型还具备自适应帧率调节功能：

23、s211、边缘计算节点通过计算当前视频帧与上一视频帧之间的稠密光流场，求取画面全局运动矢量的平均幅值；

24、s212、若平均幅值小于预设静止阈值，边缘计算节点将视频流的采样推理帧率降至第一采样推理帧率；

25、若平均幅值大于或等于预设静止阈值，边缘计算节点立即将采样推理帧率恢复至第二采样推理帧率；

26、优选地，所述s3包括以下步骤：

27、s31、提取判定为疑似异常事件的目标在第一视频源二维图像中的中心点像素坐标，得到疑似异常事件目标中心点像素坐标；

28、s32、基于疑似异常事件目标中心点像素坐标，结合第一视频源的相机内参矩阵、旋转矩阵和平移向量，以及疑似异常事件的目标在图像中的深度估计值，计算得到目标在工厂三维物理坐标系下的三维空间坐标；

29、s33、以所述三维空间坐标为球心，预设调度半径为半径，在工厂三维bim模型中检索所有可用的候选视频源集合；

30、s34、构建协同调度代价函数；计算候选视频源集合中的每一个候选视频源移动/旋转至对准坐标所需的时间代价、距离代价以及视线遮挡代价，通过协同调度代价函数计算综合代价值；

31、s35、选取综合代价值最小的候选视频源作为第二视频源，下发控制指令使其云台转向或移动至最佳观测位，对所述三维空间坐标进行持续设定时长的交叉视角验证拍摄，获取交叉视角验证视频切片；

32、优选地，所述s4以下步骤：

33、s41、提取第一视频源触发疑似异常事件前后的n帧图像作为第一视频切片，提取第二视频源拍摄的m帧图像作为第二视频切片；将第一视频切片与第二视频切片连同对应的相机位姿参数同步上传至云端服务器；

34、s42、云端服务器利用多视角特征融合网络分别提取第一视频切片和第二视频切片的深度空间特征图；

35、s43、利用相机位姿参数计算单应性矩阵，通过单应性矩阵将第二视频切片的特征图重投影至第一视频切片的视角空间下，实现特征图的空间对齐；

36、s44、将对齐后的两组特征图在通道维度进行拼接，输入至基于transformer架构的云端高精度视觉大模型中；利用多头注意力机制对拼接后的特征进行全局上下文交互，输出安全事件的最终判定结果；

37、s45、基于最终判定结果对视觉大模型和轻量级目标检测模型进行动态反馈更新；

38、优选地，所述s45包括以下步骤：

39、s451、云端服务器将最终判定结果与边缘计算节点输出的初始类别进行比对；若两者不一致，则将该组第一视频切片、第二视频切片及最终判定结果作为难例样本存入云端难例数据库；

40、s452、当云端难例数据库中的样本数量达到预设更新阈值时，利用难例样本对云端高精度视觉大模型进行微调训练；

41、云端高精度视觉大模型微调完成后，通过知识蒸馏技术生成新的轻量级目标检测模型权重，并将轻量级目标检测模型权重下发至边缘计算节点进行热更新；

42、优选地，所述s452中的对云端高精度视觉大模型进行微调训练和通过知识蒸馏技术生成新的轻量级目标检测模型权重包括以下步骤：

43、s4521、当云端难例数据库中的难例样本数量达到预设更新阈值nupdate时，提取难例样本的图像数据及最终判定结果作为伪标签，构建微调训练集；

44、s4522、冻结云端高精度视觉大模型的底层特征提取层参数，仅对顶层的注意力编码器与分类头使用微调训练集进行微调训练，更新大模型权重；

45、s4523、将微调后的云端高精度视觉大模型作为教师模型，将轻量级目标检测模型作为学生模型；利用无标签的工厂实景视频流作为输入，通过计算教师模型与学生模型输出特征图之间的kl散度损失进行知识蒸馏，生成新的轻量级模型权重并下发至边缘节点进行热更新；

46、优选地，所述s5包括以下步骤：

47、s51、接收s4输出的最终判定结果，确认安全事件的类型及目标的三维空间坐标；

48、s52、在工厂三维bim模型中，调取距离三维空间坐标最近的预设高危源设备的坐标；所述预设高危源设备包括高温熔炉、高压气罐；

49、s53、基于三维空间坐标和最近的预设高危源设备的坐标，通过静态风险指数公式计算静态风险指数；

50、s54、基于计算得到的静态风险指数，匹配预设的应急响应策略库，触发对应的声光报警级别，并向事故区域的关联自动化设备发送急停或断电指令；

51、s55、通过websocket协议将事件类型、坐标及静态风险指数推送至工厂数字孪生三维大屏；在三维大屏的对应坐标处生成动态警示标识，并自动弹出第一视频源与第二视频源的实时监控画面。

52、优选地，基于多源视频ai分析的工厂安全巡检系统，实现所述基于多源视频ai分析的工厂安全巡检方法，所述系统包括：

53、多源时空对齐模块：用于接入固定摄像机、agv及无人机的多源视频流，利用全局时间戳与三维bim模型实现视频数据的时空对齐与坐标系映射；

54、边缘端自适应初筛模块：部署于边缘计算节点，利用轻量级模型对视频流进行推理，基于双层置信度阈值输出确信异常、安全或疑似异常的初筛结果；

55、空间视角动态协同模块：响应于疑似异常结果，通过计算协同调度代价函数，在三维bim空间中动态寻找并调度无遮挡的第二视频源进行交叉视角验证；

56、云端多源特征融合模块：接收多视角视频切片，利用单应性矩阵对齐特征图，通过高精度视觉大模型进行二次推理输出最终判定结果；

57、数字孪生与闭环联动模块：基于最终判定结果与空间距离计算静态风险指数，执行设备联动断电、声光报警，并在数字孪生大屏进行三维可视化渲染。

58、（三）有益效果

59、本发明具有以下有益效果：

60、本发明引入了基于三维bim模型的空间视角动态协同验证机制，实现了固定监控与移动agv的空间协同；当边缘端固定监控因玻璃反光或实体设备遮挡产生疑似报警时，系统能够自动将二维像素转化为三维物理坐标，并基于代价函数动态调度周边的移动agv或云台摄像机进行无遮挡的最优的交叉视角拍摄；并利用多视图几何约束修正深度误差，消除了单视角下的识别盲区与三维定位失真，实现了从单点被动抓拍到多源主动协同判定的跨越，解决了复杂重工业场景下因光学干扰引发的机器视觉识别难题。

61、本发明设计了边缘初筛结合云端再次审核的端云协同架构；在边缘端，轻量级模型结合光流自适应帧率调节与安全、报警双层置信度阈值机制，过滤了海量静态与确信安全的画面，仅将少量的疑似异常视频切片上传云端；不仅节省了网络带宽，避免了云端算力浪费；同时，通过云端难例挖掘与知识蒸馏的闭环反馈，使边缘模型能够不断自动学习工厂特有特征并优化，提升了系统的长效运行效能与泛化能力。

62、本发明通过结合环境因子与空间衰减的量化风险模型，将ai识别转化为可量化的风险评分；通过引入多源一致性逻辑判定、任务优先级抢占及人工二级确认机制，确保了plc联动控制的安全性与可靠性；实现了从识别到处置的智能闭环，规避了因ai误报导致的生产中断风险，符合工业安全的设计原则。

63、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。