高空作业安全带挂绳高挂低用识别方法、装置和电子设备与流程

1.本发明属于模式识别和人工智能应用技术领域，具体涉及一种高空作业安全带挂绳高挂低用识别方法、装置和电子设备。


背景技术：

2.高空作业人员施工检修时必须佩戴安全带，安全带挂位有高挂低用和低挂高用两种。前者将安全带挂于腰部以上，有助于减少意外坠落事故发生时的冲击距离，而后者则增加了冲击距离。故而对高空作业人员安全带挂绳的挂位进行监测十分必要，实时识别并保证挂绳始终高挂低用意义重大。
3.随着传感器技术、人工智能、模式识别技术和嵌入式处理技术的发展，使用先进的计算机视觉技术对高空作业场景的实时图像进行高精度分析，判断安全带挂绳的挂位是否正确高挂，并将报警信息和数据及时发送到监控中心，使得全天候、实时的高空作业人员本质安全管控成为现实。
4.因此，基于上述问题，本发明提供一种高空作业安全带挂绳高挂低用识别方法、装置和电子设备。


技术实现要素：

5.发明目的：本发明的目的是提供一种高空作业安全带挂绳高挂低用识别方法、装置和电子设备，以实现对高空作业人员的全天候、实时本质安全管控。
6.技术方案：本发明的第一方面提供一种高空作业安全带挂绳高挂低用识别方法，包括以下步骤，步骤1、构建高空作业人体关键点检测数据集，并用此数据集训练通用人体关键点检测算法。步骤2、构建安全带挂绳检测数据集，并用此数据集训练通用目标检测算法。步骤3、通过训练好人体关键点检测算法处理监控视频帧，以得到高空作业场景中人员的骨骼关键点位置。步骤4、基于人体关键点位置，得到腰部以上区域图像块。步骤5、通过训练好的安全带挂绳检测算法处理腰部以上区域图像块，判断安全带高挂低用情况。步骤6、若作业人员安全带未高挂低用，则将报警信息和报警图片通过网络发送到远程监控中心。
7.本技术方案的，所述步骤1包括：采集高空作业场景下的图像数据，并手工标注出作业人员的人体关键点；手工标注的关键点包括鼻子、左右眼、左右耳、左右肩、左右肘、左右腕、左右臀、左右膝和左右脚踝；按照8：1：1的比例随机划分训练集和测试集；对训练集图像中的人体部分施加随机变换，以扩增训练集；计算预测值与标签真值之间的偏差，再利用反向传播算法迭代更新参数数值，完成算法训练。
8.本技术方案的，所述的步骤2包括：采集高空作业场景下的图像数据，并手工标注出安全带挂绳的检测框标签；按照8：1：1的比例随机划分训练集和测试集；对训练集图像中的安全带挂绳部分施加随机变换，以扩增训练集；在训练集图像上随机生成大小不一的黑色矩形块，来模拟物体遮挡情况；计算网络最终预测值与标签真值之间的偏差loss_1，计算网络中间预测值与标签真值之间的偏差loss_2；结合loss_1和loss_2，利用反向传播算法
迭代更新网络参数数值，完成算法训练。
9.本技术方案的，所述的步骤3，包括：将原尺寸、1/2尺寸和1/4尺寸三种尺寸图像分别输入训练好的人体关键点检测算法，得到同一视频帧在三种输入尺寸下的三种预测响应结果图；综合考虑三种响应结果图，以得到最终关键点的预测结果。
10.本技术方案的，所述的步骤4包括：根据预测所得的人体关键点结果，在腰部以上区域裁剪出图像块，作为安全带挂绳高挂低用的候选区域。
11.本技术方案的，所述的步骤5包括：在腰部以上区域图像框中对安全带挂绳目标进行检测；若检测出安全带挂绳，则代表正常使用安全带，即高挂低用；若未检测出安全带挂绳，则代表异常使用安全带。
12.本技术方案的，所述的步骤6包括：将保存的报警图片存储地址链接、人体关键点坐标、安全带挂绳高挂低用的候选位置坐标一起打包作为报警信息，发送至远程监控中心；远程监控中心通过报警信息中的图片地址链接读取报警图片，并显示在前端监控界面上。
13.本发明的第二方面提供一种高空作业安全带挂绳高挂低用识别装置，包括人体关键点检测模块、安全带挂绳检测模块、高挂低用判断模块和报警模块：所述人体关键点检测模块：用于获得人体关键点的坐标，并基于腰部关键点位置得到安全带挂绳高挂低用的候选区域；所述安全带挂绳检测模块：用于在安全带挂绳高挂低用的候选区域中对安全带挂绳进行目标检测；所述高挂低用判断模块：用于判断安全带挂绳是否正确高挂低用；所述报警模块：用于将报警信息通过网络发送到远程监控中心。
14.本发明的第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7中任一所述的高空作业安全带挂绳高挂低用识别方法，该电子设备包括但不限于计算机、嵌入式移动计算设备、平板电脑、服务器等。
15.与现有技术相比，本发明的一种高空作业安全带挂绳高挂低用识别方法、装置和电子设备的有益效果在于：实现对高空作业人员的全天候、实时本质安全管控，识别作业安全、可靠和稳定。
附图说明
16.图1是本发明的一种高空作业安全带挂绳高挂低用识别方法的流程示意图；图2和图3是本发明的一种高空作业安全带挂绳高挂低用识别的模块及作业流程示意图。
具体实施方式
17.下面结合附图和具体实施例，进一步阐明本发明。
18.实施例一图1为本发明提供的一种高空作业安全带挂绳高挂低用识别方法的流程示意图，该方法可以由本发明实施例提供的高空作业安全带挂绳高挂低用识别装置来执行，且该装置可配置于本发明实施例提供的电子设备中。该方法具体包括如下步骤：1、构建高空作业人体关键点检测数据集，并用此数据集训练通用人体关键点检测算法，包括：
采集高空作业场景下的图像数据，并手工标注出作业人员的人体关键点；手工标注的关键点包括鼻子、左右眼、左右耳、左右肩、左右肘、左右腕、左右臀、左右膝和左右脚踝；按照8：1：1的比例随机划分训练集和测试集；对训练集图像中的人体部分施加随机变换，以扩增训练集；计算预测值与标签真值之间的偏差，再利用反向传播算法迭代更新参数数值，完成算法训练。
19.其中，使用labelme等开源标注工具进行人体关键点标注；其中，手工标注的关键点可根据不同需求任意选择，包括但不限于鼻子、左右眼、左右耳、左右肩、左右肘、左右腕、左右臀、左右膝和左右脚踝；其中，对训练集图片施加的随机变换包括但不限于旋转、翻转、形变、高斯噪声、平滑、仿射变换、颜色空间转换等；其中，构建的人体关键点数据集的数据来源包括但不限于现场拍摄、开源数据集和互联网爬取；其中，通用人体关键点检测算法包括不限于mask-rcnn、hrnet-pose、mspn、darkpose和openpose等；其中，训练算法使用的深度学习框架包括但不限于pytorch、tensorflow、caffe、darknet等；其中，网络反向传播时使用的优化器包括但不限于sgd、momentum、rmsprop、adam等。
20.2、构建安全带挂绳检测数据集，并用此数据集训练通用目标检测算法。
21.采集高空作业场景下的图像数据，并手工标注出安全带挂绳的检测框标签；按照8：1：1的比例随机划分训练集和测试集；对训练集图像中的安全带挂绳部分施加随机变换，以扩增训练集；在训练集图像上随机生成大小不一的黑色矩形块，来模拟物体遮挡情况；计算网络最终预测值与标签真值之间的偏差loss_1，计算网络中间预测值与标签真值之间的偏差loss_2；结合loss_1和loss_2，利用反向传播算法迭代更新网络参数数值，完成算法训练。
22.其中，使用labelme等开源标注工具进行安全带挂绳检测标注；其中，对训练集图片施加的随机变换包括但不限于旋转、翻转、形变、高斯噪声、平滑、仿射变换、颜色空间转换等；其中，构建的安全带挂绳检测数据集的数据来源包括但不限于现场拍摄、开源数据集和互联网爬取；其中，算法训练时将输入图像上随机生成大小不一的黑色矩形块，是为了提高训练样本的多样性和复杂度，以提高算法的鲁棒性。
23.其中，通用检测算法包括但不限于rcnn、yolo系列、gcnet、hrnet-det等；其中，训练算法使用的深度学习框架包括但不限于pytorch、tensorflow、caffe、darknet等；其中，使用的loss函数来衡量检测预测值与标注真值之间的差别，包括但不限于
iou loss、giou loss、focal loss等；其中，网络反向传播时使用的优化器包括但不限于sgd、momentum、rmsprop、adam等。
24.3、通过训练好人体关键点检测算法处理监控视频帧，以得到高空作业场景中人员的骨骼关键点位置。包括：将原尺寸、1/2尺寸和1/4尺寸三种尺寸图像分别输入训练好的人体关键点检测算法，得到同一视频帧在三种输入尺寸下的三种预测响应结果图；综合考虑三种响应结果图，以得到最终关键点的预测结果。
25.其中，多尺寸图像输入有助于算法获得多种感受野和更加丰富的纹理、语义信息；其中，结合三个多尺度响应结果的方法包括但不限于平均法、投票法、加权求和法等。
26.4、基于人体关键点位置，得到腰部以上区域图像块，包括：根据预测所得的人体关键点结果，在腰部以上区域裁剪出图像块，作为安全带挂绳高挂低用的候选区域。
27.其中，通过人体关键点检测来定位图像中人体腰部以上区域，是因为安全带高挂低用要求挂绳需高于腰部位置，所得图像块区域即为正确佩戴安全带时挂绳位置范围；5、通过训练好的安全带挂绳检测算法处理腰部以上区域图像块，判断安全带高挂低用情况。包括：在腰部以上区域图像块中对安全带挂绳目标进行目标检测，得到挂绳检测框；若检测出安全带挂绳，则代表正常使用安全带，即高挂低用；若未检测出安全带挂绳，则代表异常使用安全带。
28.其中， 异常使用安全带包括未戴安全带、未使用挂绳和安全带低挂高用等多种情况。
29.实施例二图2和图3是本发明实施例二提供的一种高空作业安全带挂绳高挂低用识别装置的结构示意图。该装置包括：1、人体关键点检测模块210：用于获得人体关键点的坐标，并基于腰部关键点位置得到安全带挂绳高挂低用的候选区域。包括：将原尺寸、1/2尺寸和1/4尺寸三种尺寸图像分别输入训练好的人体关键点检测算法，得到同一视频帧在三种输入尺寸下的三种预测响应结果图；综合考虑三种响应结果图，以得到最终关键点的预测结果；根据预测所得的人体关键点结果，在腰部以上区域裁剪出图像块，作为安全带挂绳高挂低用的候选区域。
30.2、安全带挂绳检测模块220：用于在安全带挂绳高挂低用的候选区域中对安全带挂绳进行目标检测。包括：在腰部以上区域图像块中对安全带挂绳目标进行目标检测，得到挂绳检测框；3、高挂低用判断模块230：用于判断安全带挂绳是否正确高挂低用。包括：若模块220检测出安全带挂绳，则代表正常使用安全带，即高挂低用；若模块220未检测出安全带挂绳，则代表异常使用安全带。
31.4、报警模块240：用于将报警信息通过网络发送到远程监控中心，其中，使用python内置的request模块发送http请求。
32.前端视频采集装置110用于实时采集作业现场的监控视频流数据；存储装置150用于保存报警信息和报警图片到磁盘。
33.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。