一种基于改进YOLOV5的安全帽检测方法和系统与流程

一种基于改进yolo v5的安全帽检测方法和系统
技术领域
1.本发明属于目标检测领域，更具体地，涉及一种基于改进yolo v5的安全帽检测方法和系统。


背景技术：

2.安全帽是工业生产过程中保障人身安全的防护设备，其穿戴检测研究属于智慧工业建设中重要一环。通过对安全帽穿戴情况检测，可以对施工作业中的安全隐患及时预警，保障工作人员的生命安全，辅助工业智能化监控管理。
3.专利cn112784821a公开一种基于yolo v5的工地行为安全检测识别方法及系统，主要思想为：获取待识别的工地现场图像信息；采用预训练检测模型对所述待识别的工地现场图像信息进行识别，对安全帽的佩戴情况进行检测，其中，检测模型为基于深度学习模型，用于训练检测模型的训练集包括标注安全帽佩戴位置的图像信息；当识别到工人未佩戴安全帽或者佩戴位置不正确时，发出警示，所述检测模型为yolo v5模型。
4.论文“改进yolo v5的口罩和安全帽佩戴人工智能检测识别算法”主要思想为：首先采用k
‑
means 算法进行anchor维度聚类，确定anchor参数；并通过ciou，diou_nms等方法计算yolo v5网络中的损失函数，通过ciou，diou_nms等方法改进yolo v5网络识别安全帽和口罩佩戴检测情况。
5.然而，上述技术均采用原始yolo v5网络模型结构，由于真实工业生产环境极为复杂，待检测目标容易受到光照变化、遮挡情况造成的检测困难，直接采用原始yolo v5检测安全帽佩戴检测，存在对于大面积遮挡的目标与小目标检测困难的缺点。


技术实现要素：

6.针对现有技术的缺陷和改进需求，本发明提供了一种基于改进yolo v5的安全帽检测方法和系统，其目的在于在保证实时性与检测速度要求的前提下，对于此类安全帽目标在检测准确率与鲁棒性方面均有较大性能的提升。
7.为实现上述目的，按照本发明的第一方面，提供了一种基于改进yolo v5的安全帽检测方法，该方法包括：
8.采用安全帽佩戴状态训练集训练改进yolo v5，所述训练集中的训练样本为包含工作人员的图片帧，标签为工作人员安全帽佩戴状态，得到训练好的检测模型；训练好的检测模型堆工业监控视频流的每一帧进行检测，并返回安全帽检测结果；
9.所述改进yolo v5包括串联的input、backbone、改进neck和改进prediction，所述改进neck包括串联的模块十～模块三十，模块十、十四、十八、二十二、二十五和二十八为cbl，模块十一、十五和十九为上采样操作，模块十二、十六、二十、二十三、二十六和二十九为concat操作，模块二十的输入端接模块十七和十九输出端，模块二十三的输入端接模块二十和二十二输出端，模块二十六的输入端接模块二十五和十四输出端，模块二十九的输入端接模块二十八和十输出端，模块十三、十七、二十一、二十四、二十七和三十为
bottleneckcsp，所述改进prediction包括检测尺度降序的第一预测头～第四预测头，模块二十四、二十一、二十七、三十的输出端依次接第一、第二、第三、第四预测头。
10.优选地，采用以下方式构建安全帽佩戴状态训练集：
11.从真实工业场景监控视频中提取包含工作人员的图片帧；
12.根据工作人员安全帽佩戴状态，对每个图片帧中工作人员头部区域进行标注，标注内容包括：是否佩戴安全帽和佩戴何种颜色安全帽，得到安全帽佩戴状态检测数据集和与安全帽佩戴颜色检测数据集。
13.优选地，提取图片帧的方式如下：将读取到的监控视频流第一帧图像设为背景帧，将静止不动对象设置为背景，使用背景建模算法提取运动目标对象；并计算后续帧与当前背景帧之间的差值，如果差值大于阈值t，则更新背景帧，否则继续读取直到视频结束为止；如果差值小于阈值t，则计算运动目标对象的移动轮廓面积，如果移动轮廓面积大于阈值t’，保存该图像帧，否则继续读取下一帧。
14.有益效果：本发明提出一种关键帧提取算法，将对监控视频感兴趣片段中的行人检测转换为对视频画面中运动目标对象的检测，对监控视频数据进行自动挑选，极大地提高了数据预处理效率。
15.优选地，使用labelimg软件对安全帽数据集中工作人员佩戴安全帽的情况进行标注，正确佩戴安全帽标注为“helmet”，没有佩戴安全帽标注为“no_helmet”，佩戴蓝色安全帽标注为“blue”，佩戴黄色安全帽标注为“yellow”，佩戴红色安全帽标注为“red”，佩戴白色安全帽标注为“white”。
16.优选地，采用k
‑
means聚类算法对于数据集图片中的安全帽目标检测框进行聚类分析，得到新的适用于真实工业场景安全帽的anchor数量与尺寸；依据k
‑
means聚类算法得到的参数修改yolo v5网络配置文件中anchor数量与尺寸。
17.有益效果：原始yolo v5的三组anchor是基于coco数据集聚类得到，并不适用于安全帽目标检测数据集。本发明使用k
‑
means聚类算法对安全帽数据集重新进行聚类分析，在yolo v5的head模块网络结构增加一组专门针对于小目标的anchor。
18.优选地，在input模块采用mosaic和mixup数据增强技术对训练过程中同一批次图片进行不同程度的混合。
19.有益效果：由于人体头部区域面积较小，不易被遮挡，本发明优选采用mosaic和mixup数据增强技术对训练过程中一个batch图片进行不同程度的混合，模拟真实工业场景中的多种遮挡情况，增强模型的鲁棒性。
20.为实现上述目的，按照本发明的第二方面，提供了一种基于改进yolo v5的安全帽检测系统，包括：计算机可读存储介质和处理器；
21.所述计算机可读存储介质用于存储可执行指令；
22.所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行第一方面所述的基于改进yolo v5的安全帽检测方法。
23.总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
24.(1)为解决安全帽数据集部分目标在复杂背景中受到光照变化、多遮挡导致的检测困难问题与小目标检测问题，本发明对prediction进行改进，新增的第一预测头尺度为160*160，专门用于检测尺度为12*12至32*32的微小目标。
25.(2)为了在图像输入中对于较小检测区域尽可能多的提取到更加完整与丰富的特征信息，本发明对neck模块进行改进，在模块十七(csp)提取特征完成卷积操作之后，对提取到的特征图增加上采样(模块十九)操作，进一步扩大网络中特征图的尺寸；增加网络结构中的连接层，模块二十三、二十六与二十九将backbone模块提取得到的浅层特征信息与neck模块提取得到的深层特征信息进行拼接融合，增强yolo v5算法模型多尺度特征提取能力。
附图说明
26.图1是本发明提供的改进yolo v5中的改进neck和改进prediction结构示意图；
27.图2是本发明提供的面向工业监控视频的安全帽检测方法的流程图；
28.图3是本发明提供的采用人工挑选的方式对于所获取到的工业监控视频数据进行预处理过程示意图；
29.图4本发明提供的关键帧提取算法对于所获取到的工业监控视频数据预处理过程示意图；
30.图5是本发明提供的anchor的概念示意图；
31.图6是改进前的yolo v5算法中head模块预测输出端三个检测头示意图；
32.图7是改进前的yolo v5算法中head模块网络结构示意图；
33.图8是本发明提供的改进后的yolo v5算法中head模块网络结构示意图；
34.图9是本发明提供的改进前后的yolo v5算法，调整不同的mixup参数，对于安全帽佩戴状态进行检测准确率对比示意图；
35.图10是本发明提供的改进前后的yolo v5算法，调整不同的mixup参数，对于安全帽佩戴颜色进行检测准确率对比示意图；
36.图11是本发明提供的改进前后的yolo v5算法对工业安全帽数据集检测准确率的对比示意图；
37.图12是本发明提供的改进前后的yolo v5算法对工业安全帽数据集检测结果的对比示意图；
38.图13是本发明提供的改进前后的yolo v5算法对工业安全帽数据集中不同尺寸的目标检测准确率对比示意图
具体实施方式
39.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
40.本发明对原始yolo v5进行改进，改进yolo v5包括串联的input、backbone、改进neck模块和改进prediction模块。如图1所示，所述改进neck包括串联的模块十～模块三十，模块十、十四、十八、二十二、二十五和二十八为cbl模块，模块十一、十五和十九为上采样，模块十二、十六、二十、二十三、二十六和二十九为concat模块，模块二十的输入端接模块十七和十九输出端，模块二十三的输入端接模块二十和二十二输出端，模块二十六的输
入端接模块二十五和十四输出端，模块二十九的输入端接模块二十八和十输出端，模块十三、十七、二十一、二十四、二十七和三十为bottleneckcsp模块，所述改进prediction包括检测尺度降序的第一预测头～第四预测头，模块二十四、二十一、二十七、三十的输出端依次接第一、第二、第三、第四预测头。
41.如图2所示，本发明提供了一种基于改进yolo v5的安全帽检测方法，包括以下步骤：
42.步骤s1、收集基于真实工业场景中的监控视频数据，对视频数据进行预处理，将没有包含工作人员的图像画面定义为检测背景，并对背景图像筛除，通过对收集到的数据进行分析，判断是否需要更新安全帽数据集内容，若需要，则对得到的新数据集图像进行标注，转至步骤s2；否则，操作结束。
43.步骤s2、对于工业安全帽数据集内容进行更新，分别对数据集图像中的工作人员是否佩戴安全帽、佩戴安全帽的颜色情况采用labelimg标注工具进行标注。
44.步骤s2中，对于工业监控视频数据的预处理方式包括图像背景的定义、人工挑选、关键帧提取算法、图像的标注与分类，本发明的工业监控视频数据预处理的具体方法为：
45.s21、收集真实工业场景中的监控视频数据，与数据集内容进行对比，判断数据集内容是否需要更新，如没有，则操作结束，如更新，则进行下一步操作。
46.s22、将原始监控视频画面中不存在工作人员的图像定义为检测背景，将存在工作人员的监控视频画面片段定义为感兴趣片段(region of interest segment，roi)，如图3所示，采用人工挑选的方式对于所获取到的工业监控视频数据进行预处理，筛除监控视频数据中检测背景图像，保留监控画面中存在工作人员经过的图像，人工挑选预处理方式效率不高。
47.s23、采用关键帧提取算法代替人工挑选方式对监控视频数据进行预处理。
48.如图4所示，将读取到的监控视频流第一帧定义为背景帧，使用背景建模方法提取运动目标对象，并计算后续帧与当前背景帧之间的差值，如果差值大于阈值t，则更新背景帧，否则继续读取直到视频结束为止。如果差值小于阈值t，则计算运动目标对象的移动轮廓面积，如果移动轮廓面积大于阈值t’，保存该图像帧，否则继续读取下一帧。通过关键帧提取算法对监控视频数据进行预挑选，极大地提高了数据预处理效率。本发明实施例中，阈值t取值为50，阈值t’取值为200。
49.s24、使用labelimg软件对安全帽数据集中工作人员佩戴安全帽的情况进行标注，正确佩戴安全帽标注为“helmet”，没有佩戴安全帽标注为“no_helmet”，佩戴蓝色安全帽标注为“blue”，佩戴黄色安全帽标注为“yellow”，佩戴红色安全帽标注为“red”，佩戴白色安全帽标注为“white”。
50.步骤s3、采用k
‑
means聚类算法对于s2标注得到的数据集进行重新聚类分析，得到基于真实工业场景监控视频中安全帽的anchor数量与尺寸，并对yolo v5神经网络中的anchor数量与尺寸进行调整。
51.步骤s3中，使用基于k
‑
means聚类算法对工业安全帽数据集重新聚类分析的具体方法为：
52.s31、基于s2标注完成的实际工业场景中的安全帽数据集，采用k
‑
means聚类算法对于数据集原始图片进行聚类分析，得到新的适用于工业场景中安全帽的anchor数量与尺
寸，生成9组anchor尺寸分别为：(8
×
18)、(11
×
25)、(14
×
32)、(17
×
39)、(21
×
47)、(26
×
60)、(33
×
72)、(43
×
94)、(60
×
123)；其中，本发明所指的anchor的概念为计算机视觉领域目标检测算法中的专属概念，如图5所示。
53.s32、替换原有的yolo v5网络基于coco数据集聚类生成的anchor，原有的9组anchor分别为：(14
×
27)、(23
×
46)、(28
×
130)、(39
×
148)、(52
×
186)、(62
×
279)、(85
×
237)、(88
×
360)、(145
×
514)，原始的anchor并不适用于工业场景中的安全帽检测任务。将新anchor应用到yolo v5网络模型的训练过程中，将yolo v5网络配置文件中anchor数量与尺寸修正为k
‑
means聚类算法得到的参数。
54.在目标检测领域，对于检测区域面积小于322像素的目标定义为小目标，对于检测区域面积在(322,962)像素范围内的目标定义为中目标，对于检测区域面积大于962像素的目标定义为大目标。如图6所示，yolo v5算法中head模块预测输出端由三个检测头组成，每个检测头对应一组anchor参数值，对于输入图像尺寸为640
×
640时，#p3/8网络层检测头尺度为80
×
80，用于检测尺度为8
×
8的较小目标，#p4/16网络层检测头尺度为40
×
40，用于检测尺度为16
×
16的中等目标，#p5/32网络层检测头尺度为20
×
20，用于检测尺度为32
×
32的较大目标。对于本文构建的工业安全帽数据集，其中图片尺寸为1920
×
1080，则以上三种检测头映射到安全帽数据集中图片所能检测到的目标尺寸分别为：(24
×
24)、(48
×
48)与(96
×
96)，也就是说，如果安全帽数据集图片中的检测区域面积小于242像素，原始yolo v5网络进行相应的特征提取与学习就会非常困难，导致对于小目标检测准确率不高。
55.步骤s4、对yolo v5算法模型中的head模块的神经网络结构进行改进，增加head模块中的检测头与自顶向下特征提取网络中的上采样模块，对提取到的特征图进一步扩大，将深层网络特征信息与浅层网络特征信息进行融合，增强yolo v5算法模型多尺度特征提取能力，将改进后适用于真实工业场景中受到光照变化、遮挡等因素影响的安全帽检测，以及对于距离摄像头较远的小目标安全帽检测算法模型命名为yolo v5小目标检测算法(yolo v5 small object detection，yolo v5
‑
sod)，作为面向工业监控视频的安全帽检测方法。
56.步骤s4中，对yolo v5算法模型中的head模块的神经网络结构进行改进的具体方法为：
57.s41、增加一个yolo v5神经网络中head模块的检测头，yolo v5检测头与anchor匹配规则为，第一个#p3/8网络层检测头与第一组anchor[10,13,16,30,33,23]进行匹配，第二个#p4/16网络层检测头与第二组anchor[30,61,62,45,59,119]进行匹配，第三个#p5/32网络层检测头与第三组anchor[116,90,156,198,373,326]进行匹配，在网络的预测输出层增加小目标检测层，与新增anchor[5,6,8,14,15,11]进行匹配，该检测头专门负责检测工业监控视频中的小目标安全帽；
[0058]
s42、在图像输入中对于较小检测区域尽可能多的提取到更完整丰富的特征信息，如图7所示，对yolo v5算法中head模块的网络结构进行改进，在head网络bottleneckcsp网络提取特征完成卷积操作之后，对提取到的特征图增加上采样操作，进一步扩大网络中特征图的尺寸。
[0059]
s43、将yolo v5中head模块神经网络中提取得到的浅层特征信息与yolo v5中backbone模块提取得到的深层特征信息进行拼接融合，增强yolo v5算法模型多尺度特征
提取能力，得到图8改进后的yolo v5算法head模块的网络结构，其中，18
‑
24均为新增模块。将改进后适用于真实工业场景中受到光照变化、遮挡等因素影响的安全帽检测，以及对于距离摄像头较远的小目标安全帽检测算法模型命名为yolo v5小目标检测算法(yolo v5 small object detection，yolo v5
‑
sod)，作为面向工业监控视频的安全帽检测方法。
[0060]
步骤s5、对改进后的yolo v5
‑
sod神经网络进行训练，得到面向工业监控视频的安全帽检测算法模型。
[0061]
步骤s5中，对改进后的yolo v5
‑
sod算法进行训练，得到面向工业监控视频的安全帽检测算法模型的具体内容为：
[0062]
s51、从yolo v5官网下载预训练模型与网络结构的配置文件，配置文件中包含yolo v5模型训练的默认超参数与相关权重值，加载到改进后的yolo v5
‑
sod神经网络中，可以看到原始yolo v5使用了mosaic数据增强与mixup两种数据增强技术，但是mixup数据增强超参数初始值为0，其中，相关参数具体细节如表1所示：
[0063]
表1权重参数与超参数数值
[0064]
parameter nameparameter valuelr00.01momentum0.937weight_decay0.0005epoch100giou0.05cls0.5iou_t0.2mosaic1.0mixup0.0
[0065]
s52、根据s4的改进方法调整yolo v5网络配置文件中神经网络结构的描述，为了得到改进前后的yolo v5算法在安全帽数据集上的最优mixup超参数值，采用标注好的工业安全帽数据集对该模型进行训练并调整mixup参数，如图9、图10所示，直至模型收敛。
[0066]
s53、如图11所示，分别测试改进前后的yolo v5算法对于真实工业场景安全帽数据集中安全帽佩戴状态与颜色的检测准确率与结果，如图12所示，改进前的yolo v5算法对于远距离的小目标以及受到遮挡和阴影中的困难目标无法检测到，而改进后的yolo v5
‑
sod算法对于真实工业场景中受到光照变化、遮挡等因素影响的安全帽检测，以及对于距离摄像头较远的小目标安全帽都具有较高检测准确率与鲁棒性。并测试改进前后的yolo v5算法对于不同尺寸目标的安全帽检测准确率，得到如图13所示的结果。
[0067]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。