一种双重检测多级预警的安全帽佩戴检测方法及系统

1.本发明属于计算机视觉、机器学习技术领域，尤其是涉及一种双重检测多级预警的安全帽佩戴检测方法及系统。


背景技术：

2.在施工现场，工人们经常面临着从高处掉落物体以及意外碰撞的威胁。佩戴安全帽可以防止这些物体直接击中工人的头部，从而减少头部伤害的发生。针对电力施工作业现场人员众多，存在容易发生安全事故的风险以及管理困难等问题，对此我们研发出了一种双重检测多级预警安全帽佩戴检测方法和系统，用来检测施工现场是否有人未佩戴安全帽。在以往的施工现场，通常会安排负责安全生产的人员在现场进行巡视监督，这种巡视是间断性的，而且在人员密集的地方，由于视觉误差也容易出现漏检的情况。
3.在传统的安全帽佩戴检测方法中，大多数是基于人工特征的提取，这一方法极大的依赖于设计人员的丰富设计经验和知识储备以提取颜色、形状和梯度等低层特征。随着计算机技术的发展，基于深度学习的目标检测方法已成为安全帽佩戴检测的主流方法。例如吕云凯等人在《一种基于yolov5的轻量化安全帽佩戴检测方法》一文中，提出了一种基于yolov5的轻量化安全帽佩戴检测方法。该方法主要对yolov5算法的特征提取部分引入stem模块，确保较强的特征表达力且能减少大量的参数。但是该方法性能在遮挡、背景虚化以及光线较弱的检测场景中效果差，并不能真正用于实际场景。韩睿等人在《一种安全帽佩戴检测方法》一文中，提出了一种针对重叠目标检测难和小目标易漏检等问题的安全帽佩戴检测方法。其主要通过矩阵分解的方式减少了网络的参数提升检测速率以及优化了非极大值抑制，但是该方法仅限于在检测精度的提升，并不具备预警提示功能。苏世鹏等人在《一种基于边缘计算的安全帽佩戴检测识别方法及预警系统》一文中，针对基于边缘计算的安全帽佩戴检测中存在的检测不准确、用户体验不佳的问题，通过在边缘设备上对检测到的图像特征与预设安全帽特征进行对比，并根据对比情况出发预警信号。但是该方法对于现实场景下遮挡目标、靠近群体目标以及特征信息不明显目标检测效果不好。
4.在上述的这些安全帽检测算法中，都只是针对安全帽佩戴检测在实际应用中的某一种不足之处，对检测算法进行改进。但是往往在实际的安全帽佩戴检测应用场景中，所面对的环境十分复杂，所以单纯对某种算法进行改进很难拥有很好的效果。


技术实现要素：

5.本发明的目的就是为了提供一种解决由于人群遮挡导致的安全帽佩戴无法检测的问题的双重检测多级预警的安全帽佩戴检测方法及系统。
6.本发明的目的可以通过以下技术方案来实现：
7.一种双重检测多级预警的安全帽佩戴检测方法，包括以下步骤：
8.s1、获取施工人群佩戴安全帽图像并进行预处理；
9.s2、将预处理后的图像输入预先构建好的安全帽佩戴检测模型进行第一重检测，
获得佩戴安全帽的人员数量和未佩戴安全帽的人员数量；
10.s3、将预处理后的图像输入预先构建好的施工人员数量检测模型进行第二重检测，获得施工人员数量；
11.s4、判断所述佩戴安全帽的人员数量和未佩戴安全帽的人员数量之和是否大于等于所述施工人员数量，若是，则根据所述未佩戴安全帽的人员数量，输出一级预警或正常，并重复执行步骤s1-s4；若否，则输出二级预警，并重复执行步骤s1-s4。
12.进一步地，步骤s4中，输出一级预警或正常的具体步骤包括：
13.判断所述未佩戴安全帽的人员数量是否大于0，若是，则输出一级预警，若否，则输出正常。
14.进一步地，基于所述一级预警将未佩戴安全帽的人员数量进行信息推送。
15.进一步地，将所述信息推送通过可视化的形式进行展示。
16.进一步地，所述预处理的操作包括颜色空间转换和格式编码。
17.进一步地，步骤s2中，利用yolov5构建安全帽佩戴检测模型。
18.进一步地，步骤s3中，利用ssd构建施工人员数量检测模型。
19.本发明还提供一种基于如上所述的双重检测多级预警的安全帽佩戴检测方法的检测系统，包括：
20.图像采集单元：用于获取施工人群佩戴安全帽图像；
21.图像预处理单元：用于对所述图像进行预处理；
22.第一重检测单元：用于将预处理后的图像输入预先构建好的安全帽佩戴检测模型进行第一重检测，获得佩戴安全帽的人员数量和未佩戴安全帽的人员数量；
23.第二重检测单元：用于将预处理后的图像输入预先构建好的施工人员数量检测模型进行第二重检测，获得施工人员数量；
24.预警单元：用于判断所述佩戴安全帽的人员数量和未佩戴安全帽的人员数量之和是否大于等于所述施工人员数量，若是，则根据所述未佩戴安全帽的人员数量，输出一级预警或正常；若否，则输出二级预警。
25.进一步地，还包括消息推送单元，用于基于所述一级预警将未佩戴安全帽的人员数量进行信息推送。
26.进一步地，还包括可视化单元，用于将所述信息推送通过可视化的形式进行展示。
27.与现有技术相比，本发明具有以下有益效果：
28.(1)本发明通过对获取的图像先进行第一重的安全帽佩戴情况检测，再进行第二重的施工人员数量检测，将安全帽佩戴情况和施工人员数量进行对比，输出多级预警，实现了根据数量的对比，解决由于人群遮挡导致的安全帽佩戴无法检测的问题。
29.(2)本发明通过将一级预警进行消息推送并进行可视化展示，通过二级预警提醒施工人员避免遮挡，从而提高了管理效率，也能极大程度减少不规范佩戴安全帽造成的安全生产事故。
30.(3)本发明利用yolov5构建安全帽佩戴检测模型，该模型具有检测速度快、准确性高等优点。
31.(4)本发明利用ssd构建安全帽佩戴检测模型，该模型具有检测室速度快、网络结构简单、准确度较好等优点。
32.(5)本发明针对人群遮挡问题进行安全帽佩戴情况和人员进行检测，能够面对比较复杂的场景，因此对于电力操作现场、土木施工现场、化学生产现场等较易发生安全事故的复杂场合均适合，具有较好的普适性。
附图说明
33.图1为本发明流程示意图；
34.图2为本发明图像格式示意图，其中(a)为bgr格式图像，(b)为rgb格式图像；
35.图3为本发明对是否佩戴安全帽进行打标签的示意图；
36.图4为本发明第一重检测结果；
37.图5为本发明对施工人员进行打标签的示意图；
38.图6为本发明第二重检测结果。
具体实施方式
39.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
40.实施例1
41.本实施例提供一种双重检测多级预警的安全帽佩戴检测方法，如图1所示，该方法包括以下步骤：
42.s1、获取施工人群佩戴安全帽图像并进行预处理。
43.该过程的具体步骤为：
44.在检测现场安装监控摄像头，该监控摄像头以一定的帧率持续拍摄，拍摄帧率应不小于25fps；
45.获取监控摄像头拍摄的图像，应将其处理为一帧帧图像；
46.对单帧图片进行颜色空间转换、格式编码等预处理操作。
47.由于图像时使用的颜色格式不一样，有的是bgr格式，有的是rgb格式。本实施例中采用的都是rgb格式。因此，需要对图片颜色格式进行判断，如果不是rgb格式，则进行颜色空间转换。
48.如图2所示，图2中(a)的图片格式是bgr格式，需要将图片转换为rgb格式。bgr格式到rgb格式的转换就是将维度b通道和r通道互换，具体效果如图2中的(b)所示。
49.由于图像数据在存储和传输过程中一般使用二进制形式，故需要将读取到的图片格式转换成矩阵形式，编码成数据流格式，便于赋值到内存缓存中。
50.s2、将预处理后的图像输入预先构建好的安全帽佩戴检测模型进行第一重检测，获得佩戴安全帽的人员数量和未佩戴安全帽的人员数量。
51.该步骤利用基于深度学习的施工人群安全帽佩戴检测模型对步骤s1中提取到的关键帧图像信息进行施工人群安全帽佩戴情况的检测。其具体实施步骤如下：
52.s21、构建施工人群佩戴安全帽的数据集，并按照设定比例分为训练集、验证集和测试集。
53.数据集通过网络爬虫、视频截图、实际拍摄等途径获取，为保证模型的鲁棒性，佩
戴安全帽的数据集涵盖了简单的单人图像以及复杂场景下的多人图像，安全帽不同颜色和类型也涵盖在内。最后按60％，20％，20％的比例分为训练集，验证集和测试集。
54.s22、对所述训练集进行打标签。
55.利用图像标签制作工具对图像中出现的人员图像进行安全帽佩戴和安全帽未佩戴的标记，标记情况如图3所示。
56.s23、将打标签的训练集进行深度神经网络的训练，并使用所述验证集和测试集进行验证，从而构建安全帽佩戴检测模型。
57.将整理好的训练集送入安全帽佩戴深度神经网络中进行训练，并使用验证集和测试集进行深度网络的性能验证和评估，本实施例中采用yolov5深度神经网络进行训练。在训练开始前，设置训练完成参数，其中训练迭代次数等于200；损失函数值的训练完成阈值等于1，当损失函数值小于1时就当训练完成。在实际测试中检测到目标的置信度值的阈值为0.8，即置信度值平均大于0.8。
58.通过训练与测试，建立检测安全帽佩戴深度神经网络后，可以将实时视频图像送入安全帽佩戴深度神经网络进行检测，分别检测施工人群中人员佩戴安全帽和施工人群中人员未佩戴安全帽的情况，并对检测到的佩戴安全帽和未佩戴安全帽的人员数量进行统计。其中，佩戴安全帽的人员数量用c
hat
表示，未佩戴安全帽的人员数量用c
nohat
表示。第一重检测的结果如图4所示，可以看出检测到佩戴安全帽的人数是6人，未佩戴安全帽的人数是1人，其中图中数字为置信度。但该图中，人员数量超过了7人，存在未检测到安全帽佩戴的情况。
59.s3、将预处理后的图像输入预先构建好的施工人员数量检测模型进行第二重检测，获得施工人员数量。
60.s31、构建施工人群佩戴安全帽的数据集，并按照设定比例分为训练集、验证集和测试集。
61.数据集通过网络爬虫、视频截图、实际拍摄等途径获取，为保证模型的鲁棒性，数据集内容涵盖了人多的简单场景到人多的复杂场景。按60％、20％、20％的比例分为训练集，验证集和测试集。并且加入了非人员区域的负样本，负样本总数占所有样本的10％。
62.s32、对所述训练集进行打标签。
63.对整理好的图像数据利用标签工具进行数据集制作。利用图像标签制作工具对图像中出现的人员图像进行标记，标记情况如图5所示。
64.s33、将打标签的训练集进行深度神经网络的训练，并使用所述验证集和测试集进行验证，从而构建施工人员数量检测模型。
65.将整理好的训练集送入施工人群人员深度神经网络中进行训练，并使用验证集和测试集进行深度网络的性能验证和评估，本实施例中采用ssd深度神经网络进行训练。在训练开始前，设置训练完成参数，其中训练迭代次数等于200；损失函数值的训练完成阈值等于1，当损失函数值小于1时就当训练完成。在实际测试中检测到目标的置信度值的阈值为0.8，即置信度值平均大于0.8。
66.通过训练与测试，建立检测施工人群人员深度神经网络后，可以将实时视频图像送入施工人群人员深度神经网络进行检测，检测施工人群中人员的情况，并对检测到的人员数量进行统计。其中，人员的数量用c
person
表示。第二重检测的结果如图6所示，可知图中
人员除1人完整遮挡没有检测出来以外，其余8人均通过本次检测识别出来，其中图中数字为置信度。如果进一步通过让人员错动位置，腾挪出监控摄像头的拍摄角度，可以增加安全帽佩戴识别的人数，从而避免识别遗漏。
67.s4、判断所述佩戴安全帽的人员数量和未佩戴安全帽的人员数量之和是否大于等于所述施工人员数量，若是，则根据所述未佩戴安全帽的人员数量，输出一级预警或正常，并重复执行步骤s1-s4；若否，则输出二级预警，并重复执行步骤s1-s4。
68.对安全帽佩戴情况和检测到的人员数量情况进行比较，本实施例中，c
hat
＝6，c
nohat
＝1，c
person
＝8。由于c
hat
c
nohat
《c
person
，启动第二级语音报警。由于本实施例中，施工人群中佩戴安全帽的人员数量与施工人群中未佩戴安全帽的人员数量小于施工人群中人员检测数量，也即c
hat
c
nohat
《c
person
，存在安全帽佩戴检测遗漏的情况。由于人群中存在遮挡等原因未检测到的情况，从而触发语音预警条件，调用系统自带的喇叭，发出语音提示，提示人群中的人员适当移动，进行站位错动，以腾出现场安装摄像头的拍摄角度，从而可以对之前遮挡人员的安全帽佩戴情况进行检测。语音报警内容连续重复三次，语音报警结束后再返回到步骤1，重新获取人群图像帧进行检测，重复执行步骤s1-s4。在重复执行步骤s1-s4过程中，利用步骤s2和步骤s3中已经训练好的安全帽佩戴检测模型和施工人群人员数量检测模型对重新获取的人群图像帧进行检测。检测结果为c
hat
＝8，c
nohat
＝1，c
person
＝9。由于c
hat
c
nohat
》＝c
person
，启动第一级语音报警，提示佩戴安全帽。在该的检测中，施工人群中佩戴安全帽的人员数量与施工人群中未佩戴安全帽的人员数量大于等于施工人群中人员检测数量，即c
hat
c
nohat
》＝c
person
，则认为没有安全帽佩戴检测遗漏的情况。此时，当c
nohat
等于1，即人群中存在安全帽未佩戴的情况，这时触发声音报警条件，调用系统自带的喇叭，发出语音报警，提醒人群中未佩戴安全帽的人员佩戴安全帽。语音报警内容连续重复三次。
69.在此次检测中，由于本次检测到c
nohat
的值大于0，则认为有人未佩戴安全帽，除了进行声音报警提示外，还将未佩戴安全帽的人数向关联的微信公众号进行信息推送，推送给后台管理人员，并且回到步骤1对新一帧图像进行再次检测，并且回到步骤1对新一帧图像进行再次检测。后台管理人员可以通过上位机可视化软件检查现场实时情况，便于在语音提示没起作用时，通过现场管理人员介入进行协调，从而协助管理人员对施工现场的安全帽佩戴情况进行管理，提高安全帽佩戴率，更好的防范突发事故造成的施工人员伤害的风险。
70.上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
71.实施例2
72.本实施例提供一种基于如实施例1所述的双重检测多级预警的安全帽佩戴检测方法的检测系统，包括：
73.图像采集单元：用于获取施工人群佩戴安全帽图像；
74.图像预处理单元：用于对所述图像进行预处理；
75.第一重检测单元：用于将预处理后的图像输入预先构建好的安全帽佩戴检测模型进行第一重检测，获得佩戴安全帽的人员数量和未佩戴安全帽的人员数量；
76.第二重检测单元：用于将预处理后的图像输入预先构建好的施工人员数量检测模型进行第二重检测，获得施工人员数量；
77.预警单元：用于判断所述佩戴安全帽的人员数量和未佩戴安全帽的人员数量之和是否大于等于所述施工人员数量，若是，则根据所述未佩戴安全帽的人员数量，输出一级预警或正常；若否，则输出二级预警。
78.进一步地，还包括消息推送单元，用于基于所述一级预警将未佩戴安全帽的人员数量进行信息推送。
79.进一步地，还包括可视化单元，用于将所述信息推送通过可视化的形式进行展示。
80.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本发明实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
81.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
82.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
83.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
84.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
85.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。