基于深度学习的吊钩防脱装置检测方法与流程

1.本发明涉及目标检测技术领域，特别涉及一种能够对业务场景中吊车吊钩的防脱装置进行检测的方法。


背景技术：

2.伴随深度学习技术的快速发展，目标检测作为计算机视觉的重要分支被广泛应用于安防、工业、无人驾驶等多个领域。在一些户外工地作业中，吊车被用来吊运大型重物并且使用十分频繁。为了防止吊物从吊钩脱落，作业中的吊钩是必须安装防脱装置，从很大程度上可以避免意外的发生。
3.《中国石化起重作业安全管理规定》“3管理内容及要求
”‑“
3.4起重操作人员应遵守以下规定
”‑“
3.4.4在制动器、安全装置失灵、吊钩防松装置损坏、钢丝绳损伤达到报废标准等起重设备、设施处于非完好状态时，禁止起重操作”，油田内部管理要求必须对作业中的吊车是否安装防脱装置进行实时监测，尽最大可能降低现意外发生的几率。因此，想到利用目标检测技术将一些未安装防脱装置的吊钩检测出来并预警发，保障生命安全，同时满足了管理要求。


技术实现要素：

4.为了能够实现实时检测作业中吊车吊钩是否已安装防脱装置的状况、以及满足管理要求，本发明提供了一种基于深度学习的吊钩防脱装置检测方法。
5.为了实现上述发明目的，本发明提供了一种基于深度学习的吊钩防脱装置检测方法，其特征在于，所述检测方法为：
6.步骤1：利用监控设备获取工地吊车作业中吊钩位置的监控视频；
7.步骤2：从步骤1的监控视频中获取含有吊钩的吊钩图像；
8.步骤3：对步骤2获取到的吊钩图像进行人工标注作为样本数据；其中，人工标注是对样本数据中吊钩和防脱装置分别进行标注，75％标注后的样本数据作为训练样本，25％标注后的样本数据作为测试样本；
9.步骤4：构建神经网络模型，并利用训练样本和测试样本对神经网络模型进行训练，得到训练好的神经网络模型；
10.步骤5：利用作业工地的监控设备获取实时的监控视频，并间隔获取连续的n帧待测吊钩图像作为一组待测组；
11.步骤6：将属于同一待测组的待测吊钩图像输入到训练好的神经网络模型中，得出吊钩目标和防脱装置目标，并提取吊钩目标和防脱装置目标的坐标；
12.步骤：7：计算同一帧待测吊钩图像中的吊钩目标和防脱装置目标的交并比；若吊钩目标与任一其它防脱装置目标的交并比均小于0.05，则该吊钩目标未匹配到相应的防脱装置目标，将该吊钩目标计为暂未安装防脱装置，反之计为已安装防脱装置；
13.步骤8：计算n帧待测吊钩图像中，吊钩目标与任一其它防脱装置目标的交并比，每
个吊钩得出对应的n个暂计结果，若吊钩的n个暂计结果均为暂未安装防脱装置，则该吊钩的检测结果即为未安装防脱装置，并将输出检测结果(包括目标对象和坐标位置)；该待测组检测完毕；
14.步骤9：重复所述步骤5中的动作，获取到下一待测组，继续重复步骤6-8。
15.其中，所述步骤1和所述步骤5中的监控设备，为安装在工地中电线杆或路灯上的监控设备，能够获取工地作业中吊车周围的图像；所述监控设备与吊车位置的水平距离为100米以内。
16.所述步骤6中，所述神经网络模型输出的吊钩目标和防脱装置目标为置信度大于0.3的边界框。
17.所述步骤4构建的神经网络模型采用yolov4网络模型结构，且yolov4网络模型仅采用4倍和8倍下采样特征图。
18.所述步骤5中，从监控视频中每隔n帧获取一次连续的n帧待测吊钩图像；所述待测组包括n帧待测吊钩图像，所述n为45。
19.所述步骤3中的样本数据还包括填充样本数据，所述填充样本数据为在实际获取的吊钩图片基础上通过改变亮度、色调、饱和度仿真出不同天气条件下的图片。
20.所述步骤3中的样本数据还包括在实际获取的吊钩图片基础上通过拷贝获取的图片。
21.本发明的有益效果是：本发明通过目标检测技术能够对作业中吊车吊钩是否安装防脱装置实现实时检测，不仅满足管理要求，而且能够及时发现未安装防脱装置的吊钩并发出预警，避免意外的发生。此外，本发明是在针对吊钩和防脱装置的实际情况，对模型的训练样本进行数据增强，为了加快识别效率，至用到yolov4中的4倍和8倍下采样的特征图，并通过特定预警方案，能够立马预警并输出该吊钩的位置信息。
附图说明
22.图1为本发明实施例1的流程图。
23.图2位本发明实施例1中样本数据的标注示意图。
24.图3为本发明实施例2中通过色彩变换方式获得样本数据增强效果的示意图。
25.图4为本发明实施例3中拷贝方式获得样本数据增强效果的示意图。
具体实施方式
26.本发明是以yolov4作为检测器，并部署在后台服务器中，与前端摄像头集成在一起组成吊钩防脱装置检测系统。对于检测到的吊钩，如果足够量的帧数内没有检测到对应的防脱装置，则立马预警并输出未安装防脱装置吊钩的位置信息，保障在第一时间发现整改。
27.本发明在设计前，需要解决的技术问题在于：首先，前端摄像头拍摄图片的特征随着天气影响变化巨大，特征单一的图片不利于模型的训练；其次，在场景图片中无论从绝对还是相对的角度考虑，防脱装置均是小目标类型，本身信息量就少，对检测带来巨大挑战。为了缓解以上问题对yolov4检测算法的影响，本发明实际提出了三个改善方法，具体如下：
28.1、数据增强；性能优良的检测器需要海量数据的支持，从各大施工作业现场中收
集大量的吊钩图片以作训练样本，因为数据涉及到保密性无法公开；图片在收集过程中是任意选取的，在第一阶段已经偏向于图片特征的多样性，为了使图片特征更加丰富，使得训练后的模型对于天气光照等条件更加鲁棒，本发明精心利用了色彩增强方法，从亮度、色调、饱和度三个方面着手，仿真出不同天气条件下的图片，为了改良因防脱装置过小而漏检问题，本发明在没有引入新图片的情况下，利用拷贝的方法增加每张图片中的样本个数，检测性能改善明显。
29.2、特征图的选择利用；目标检测不仅要准确定位到目标的位置，还要识别目标的类别。一般来说，深层的网络包含的语义信息比较丰富，而位置信息却丢失严重。浅层网络与之相反。因此，过深的网络并不总是有利用检测任务，而特征金字塔(fpn)的提出缓解了两方面的矛盾，证明浅层特征图同样可以用来进行检测。小目标因为本身尺寸较小，在下采样的过程中信息会不断丢失，因此浅层用于检测小目标更为合适。在yolov4中分别将8、16和32倍下采样的特征图利用起来，检测小、中、大目标。但是本发明针对的任务防脱装置实在过小，8倍下采样的特征图远远不够，于是将4倍下采样的特征图也加入进来，并且因为涉及到的目标只有吊钩和防脱装置两类小目标，本次发明只用到了4倍和8倍下采样的特征图，另外两种尺度的特征图省略，一定程度上也减轻了不必要的计算开销，加速了推理时间。
30.3、预警方案；防脱装置检测框是包含在吊钩检测框内的，若预测阶段吊钩检测框内并未包含防脱装置则准备开始预警。为了防止是因为漏检或者吊钩本身的遮挡问题误报，设定45帧的容忍度。当出现可能未有防脱装置的吊钩时开始记录，若45帧内没有一帧是有防脱装置与之匹配的，则立马预警，并输出当下吊钩的位置信息。
31.为能清楚说明本方案的技术特点，下面通过具体实施方式，对本方案进行阐述。
32.实施例1
33.参见图1和图2，本发明实施例提供了一种基于深度学习的吊钩防脱装置检测方法，检测方法具体为：
34.步骤1：利用监控设备获取工地吊车作业中吊钩位置的监控视频；
35.步骤2：从步骤1的监控视频中获取含有吊钩的吊钩图像；
36.步骤3：对步骤2获取到的吊钩图像进行人工标注作为样本数据；其中，人工标注是对样本数据中吊钩和防脱装置分别进行标注，75％标注后的样本数据作为训练样本，25％标注后的样本数据作为测试样本；
37.步骤4：构建神经网络模型，并利用训练样本和测试样本对神经网络模型进行训练，得到训练好的神经网络模型；
38.步骤5：利用作业工地的监控设备获取实时的监控视频，并间隔获取连续的45帧待测吊钩图像作为一组待测组；
39.步骤6：将属于同一待测组的待测吊钩图像输入到训练好的神经网络模型中，得出吊钩目标和防脱装置目标，并提取吊钩目标和防脱装置目标的坐标；
40.步骤：7：计算同一帧待测吊钩图像中的吊钩目标和防脱装置目标的交并比；若吊钩目标与任一其它防脱装置目标的交并比均小于0.05，则该吊钩目标未匹配到相应的防脱装置目标，将该吊钩目标计为暂未安装防脱装置，反之计为已安装防脱装置；
41.步骤8：计算45帧待测吊钩图像中，吊钩目标与任一其它防脱装置目标的交并比，
每个吊钩得出对应的n个暂计结果，若吊钩的45个暂计结果均为暂未安装防脱装置，则该吊钩的检测结果即为未安装防脱装置，并将输出检测结果；该待测组检测完毕；
42.步骤9：重复步骤5中的动作，获取到下一待测组，继续重复步骤6-8。
43.其中，步骤1和步骤5中的监控设备，为安装在工地中电线杆或路灯上的监控设备，能够获取工地作业中吊车周围的图像；监控设备与吊车位置的水平距离控制在100米以内。
44.步骤1和步骤5中，采用分组抽帧的方法从监控视频中获取吊钩图像。
45.步骤6中，神经网络模型输出的吊钩目标和防脱装置目标为置信度大于0.3的边界框。
46.步骤4构建的神经网络模型采用yolov4网络模型结构，且yolov4网络模型仅采用4倍和8倍下采样特征图。
47.步骤5中，从监控视频中每隔45帧获取一次连续的45帧待测吊钩图像。
48.实施例2
49.参见图3，本发明实施例提供了一种基于深度学习的吊钩防脱装置检测方法，具体方法与实施例1相同，不同在于：在实施例1的基础上，步骤3中的样本数据还包括填充样本数据，所述填充样本数据为在实际获取的吊钩图片基础上通过改变亮度、色调、饱和度仿真出不同天气条件下的图片。
50.实施例3
51.参见图4，本发明实施例提供了一种基于深度学习的吊钩防脱装置检测方法，具体方法与实施例1相同，不同在于：在实施例1或2的基础上，步骤3中的样本数据还包括在实际获取的吊钩图片基础上通过拷贝获取的图片。
52.实验例
53.本实验例是在inter core i7 cpu,4g内存和nvidia geforce 2080ti独立显卡条件下，采用自己拍摄收集的工地场景数据集进行训练和测试。本次模型的训练加载在imagenet预训练之后的权重文件后迭代70次，并选取了2个测试场景，获取3684帧的图像测试，具体结果见下表。
54.算法类型测试场景数视频帧数正确识别错误识别正确率吊钩防脱2368436127298％
55.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。