厂区场景起吊物下方人员滞留检测方法、装置和电子设备与流程

1.本发明属于模式识别和人工智能应用技术领域，具体涉及厂区场景起吊物下方人员滞留检测方法、装置和电子设备。


背景技术：

2.随着国民经济发展，生产企业厂区中影响人员与生产安全的因素日益增多，其中起重作业场景下的吊物下方人员安全尤为值得关注。安全监管以往人工的方式，一方面人工监管的效率低下，无法满足现代企业生产发展的需求；另一方面安全隐患对监管人员的人身安全亦会造成威胁。急需要一种厂区场景起吊物下方人员滞留检测方法和装置，实现对起吊物场景下人员安全的实时管控。
3.随着传感器技术、人工智能、模式识别技术和嵌入式处理技术的发展，使用先进的计算机视觉技术对起吊现场的实时图像进行高精度分析，并将报警信息和数据及时发送到监控中心，使得全天候、实时的本质安全管控成为现实。
4.因此，基于上述问题，本发明提供厂区场景起吊物下方人员滞留检测方法、装置和电子设备。


技术实现要素：

5.发明目的：本发明的目的是提供厂区场景起吊物下方人员滞留检测方法、装置和电子设备，以实现对厂区起吊场景下的全天候、实时人身安全管控。
6.技术方案：本发明的第一方面提供一种厂区场景起吊物下方人员滞留检测方法，包括以下步骤，包括以下步骤，步骤1、通过双目深度估计算法处理双目相机左、右目视频数据，以得到起吊场景中的全局深度信息。步骤2、构建起吊物场景下的目标检测数据集。步骤3、用此数据集训练通用目标检测算法。步骤4、用训练好的算法分析处理摄像机右目视频数据，以得到人员和起吊物的精确定位检测框。步骤5、结合深度信息和目标定位检测框，判断人员与起吊物的空间关系，若人员在起吊物下方滞留则保存图片。步骤6、将报警信息通过网络发送到远程监控中心。
7.本技术方案的，所述步骤1包括：计算左右目各自相机内参，解算相机坐标系到图像坐标系之间的投影关系；计算相机外参，得到左右目之间的位置坐标关系；利用相机内参进行畸变校正，利用相机外参进行极线校正；使用双目深度估计算法计算左右目图像之间的视差信息；利用相机内参和外参数据，将视差信息转换为深度信息。
8.本技术方案的，所述步骤2包括：采集起吊物场景下的图像数据，并手工标注出人员和重物的检测框；按照8:1:1的比例随机划分训练集和测试集。
9.本技术方案的，所述步骤3包括：对数据集检测框进行k-means聚类分析，得到更有针对性检测参考框的尺寸和长宽比例；将多张输入图像按照一定权重合并成一张图像，使用这种合成图像进行训练；将输入图像上的随机矩形区域的像素值置为随机置，来模拟物体遮挡情况；将图像输入算法网络，利用反向传播算法迭代更新参数数值，完成检测算法训
练。
10.本技术方案的，所述步骤4，包括：使用boosting方法，用训练所得的多个不同epoch的高精度权重，检测同一测试视频帧，得到多个检测框，再对这些检测框一起进行nms非极大值抑制，得到最终检测结果。
11.本技术方案的，所述步骤5，包括：根据检测框中的定位信息，在全局深度图中读取人员和起吊物的三维深度信息；若人员和起吊物的深度数值处于一定预设范围内，则认为人员正在起吊物下方滞留，保存当前场景图片。
12.本技术方案的，所述步骤6，包括：将保存的人员滞留图片存储地址链接、目标检测框坐标、目标检测置信度和目标深度估计数值打包作为报警信息，发送至远程监控中心；远程监控中心通过报警信息中的图片地址链接读取报警图片，并显示在前端监控界面上。
13.本发明的第二方面提供一种厂区场景起吊物下方人员滞留检测装置，包括深度估计模块、目标检测模块、滞留判断模块和报警模块；所述深度估计模块：用于从双目视频图像数据中获取画面全局深度信息；所述目标检测模块：用于获取人员和起吊物的空间坐标位置；所述滞留判断模块：用于判断人员是否滞留与起吊物下方；所述报警模块：用于将报警信息通过网络发送到远程监控中心。
14.本发明的第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7中任一所述的厂区场景异常检测方法，该电子设备包括但不限于计算机、嵌入式移动计算设备、平板电脑、服务器等。
15.与现有技术相比，本发明的厂区场景起吊物下方人员滞留检测方法、装置和电子设备的有益效果在于：以实现对厂区起吊场景下的全天候、实时人身安全管控，作业安全、可靠和稳定。
附图说明
16.图1是本发明的厂区场景起吊物下方人员滞留检测方法的流程示意图；图2是本发明的厂区场景起吊物下方人员滞留检测的模块及作业流程示意图。
具体实施方式
17.下面结合附图和具体实施例，进一步阐明本发明。
18.实施例一图1为本发明的一种厂区场景起吊物下方人员滞留检测方法的流程示意图，该方法可以由本发明实施例提供的厂区场景起吊物下方人员滞留检测装置来执行，且该装置可配置于本发明实施例提供的电子设备中。该方法具体包括如下步骤：1、通过双目深度估计算法处理双目相机左、右目视频数据，以得到起吊场景中的全局深度信息。
19.包括：计算左右目各自相机内参，解算相机坐标系到图像坐标系之间的投影关系；计算相机外参，得到左右目之间的位置坐标关系；利用相机内参进行畸变校正，利用相机外参进行极线校正；使用双目深度估计算法计算左右目图像之间的视差信息；
利用相机内参和外参数据，将视差信息转换为深度信息。
20.其中，镜头的畸变包括径向畸变和切向畸变，畸变校正是为了解决由于透镜精度和工艺会导致的失真。
21.其中，极线校正是为了使得两个相机的光轴完全平行，便于将复杂的立体匹配简化为在同一行上搜索左右像平面的匹配点，大大减少了计算量。
22.其中，双目深度估计算法用于从左、右目图像视频中获取场景深度信息，可以是基于手工特征的双目深度估计算法，也可以是基于深度学习的双目深度估计算法，包括但不限于sad算法、bm算法、sgbm算法、gc算法、psmnet算法等。
23.2、构建起吊物场景下的目标检测数据集。
24.其中，构建的目标检测数据集的数据来源包括但不限于现场拍摄、开源数据集和互联网爬取。
25.3、用构建的数据集训练通用目标检测算法。包括：对数据集检测框进行k-means聚类分析，得到更有针对性检测参考框的尺寸和长宽比例；将多张输入图像按照一定权重合并成一张图像，使用这种合成图像进行训练；将输入图像上的随机矩形区域的像素值置为随机置，来模拟物体遮挡情况；将图像输入算法网络，利用反向传播算法迭代更新参数数值，完成检测算法训练。
26.其中，参考框又叫锚框，是目标检测算法中以锚点为中心，由算法预定义的多个不同长宽比的先验框。能够解决传统目标检测算法中一个窗口只能检测一个目标和多尺度不敏感问题。
27.其中，算法训练时将多张输入图像按照一定权重合并成一张图像、将输入图像上的随机矩形区域的像素值置为随机置，都是为了提高训练样本的多样性和复杂度，以提高算法的鲁棒性。
28.其中，训练算法使用的深度学习框架包括但不限于pytorch、tensorflow、caffe、darknet等。
29.其中，所使用的通用目标检测算法包括但不限于yolo v1、yolo v2、yolo v3、yolo v 4、yolo v5、rcnn、fast rcnn、faster rcnn、mask rcnn等。
30.其中，网络反向传播时使用的优化器包括但不限于sgd、momentum、rmsprop、adam等。
31.4、用训练好的目标检测算法分析处理摄像机右目视频数据，以得到人员和起吊物的精确定位检测框。
32.包括：使用boosting方法，用训练所得的多个不同epoch的高精度权重，检测同一测试视频帧，得到多个检测框，再对这些检测框一起进行nms非极大值抑制，得到最终检测结果。
33.其中，boosting方法是一种可以用来减小监督学习中偏差的机器学习算法。主要是学习一系列弱分类器，并将其组合为一个强分类器。此处所有boosting方法包括但不限于adaboost、rankboost、gradient boosting等。
34.5、结合深度信息和目标定位检测框，判断人员与起吊物的空间关系，若人员在起吊物下方滞留则保存图片。
35.6、实施例二图2是本发明实施例二提供的一种厂区场景起吊物下方人员滞留检测装置的结构示意图。该装置包括：1、深度估计模块210：用于从双目视频图像数据中获取画面全局深度信息。其中，主要包括：计算左右目各自相机内参，解算相机坐标系到图像坐标系之间的投影关系。计算相机外参，得到左右目之间的位置坐标关系；利用相机内参进行畸变校正，利用相机外参进行极线校正；使用双目深度估计算法计算左右目图像之间的视差信息；利用相机内参和外参数据，将视差信息转换为深度信息。
36.2、目标检测模块220：用于获取人员和起吊物的空间坐标位置。其中，主要包括：使用boosting方法，用训练所得的多个不同epoch的高精度权重，检测同一测试视频帧，得到多个检测框，再对这些检测框一起进行nms非极大值抑制，得到最终检测结果。
37.3、滞留判断模块230：用于判断人员是否滞留与起吊物下方。其中，主要包括：根据检测框中的定位信息，在全局深度图中读取人员和起吊物的三维深度信息；若人员和起吊物的深度数值处于一定预设范围内，则认为人员正在起吊物下方滞留，保存当前场景图片。
38.4、报警模块240：用于将报警信息通过网络发送到远程监控中心。其中，使用python内置的request模块发送http请求。
39.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。