一种安全帽佩戴智能检测方法、系统、终端及介质与流程

1.本发明涉及计算机视觉识别技术领域，更具体地说，它涉及一种安全帽佩戴智能检测方法、系统、终端及介质。


背景技术：

2.施工现场工人佩戴安全帽以在遇到突发事件时有效地保护工人的头部。然而，工人可能因为安全意识薄弱等原因，在施工现场并未佩戴安全帽，从而为工人带来了较高安全隐患。因此，对施工现场工人是否佩戴安全帽进行检测非常有必要。
3.目前，对于安全帽佩戴智能检测的方法主要有faster r
‑
cnn、ssd、light_yolo_v3，但ssd有时会受环境和图片背景的影响出现误检。而在多目标、小目标并存的情况下，ssd算法会出现漏检的情况，faster r
‑
cnn、light_yolo_v3算法对小目标和多目标检测表现相对较好，但faster r
‑
cnn目标检测算法是two stage模型，对于候选区域的确定需要进行大量计算，在检测速度上有待提升。而light_yolo_v3算法在检测准确度上有待进一步提升。
4.因此，如何研究设计一种能够克服上述缺陷的安全帽佩戴智能检测方法、系统、终端及介质是我们目前急需解决的问题。


技术实现要素：

5.为解决现有技术中的不足，本发明的目的是提供一种安全帽佩戴智能检测方法、系统、终端及介质。
6.本发明的上述技术目的是通过以下技术方案得以实现的：
7.第一方面，提供了一种安全帽佩戴智能检测方法，包括以下步骤：
8.对采集图像数据预处理后建立数据集，数据集划分为训练集和测试集；
9.依据训练集对改进yolo v3模型训练后得到训练后的改进yolo v3模型，并通过改进yolo v3模型检测目标图像中的工作人员是否佩戴安全帽；
10.改进yolo v3模型进行检测的过程具体为：
11.通过darknet
‑
53网络的图像特征金字塔对输入图像进行多尺度处理，得到多尺度特征图；
12.将原始yolo v3模型中的全连接操作替换为全卷积操作，并以上采样方法将低层特征和高层特征融合，得到新特征图进行安全帽佩戴检测。
13.进一步的，所述改进yolo v3模型的网络结构具体为：
14.通过darknet
‑
53的图像特征金字塔，对第53层卷积层进行1
×
1及3
×
3的卷积操作，并重复进行一次1
×
1及3
×
3的卷积操作，得到新的小尺度yolo层；
15.将新的小尺度yolo层采取上采样操作，并与darknet
‑
53的第45个卷积层进行卷积和，使用连续两次的1
×
1和3
×
3卷积操作，得到新的中尺度yolo层；
16.将新的中尺度yolo层与darknet
‑
53的第29个卷积层进行卷积和，连续使用两次1
×
1和3
×
3卷积操作，得到新的大尺度yolo层；
17.以三组新的不同尺度的yolo层进行安全帽佩戴检测。
18.进一步的，所述改进yolo v3模型的基础学习率为0.001，激活函数选用relu，batch
‑
size为32，每迭代100次计算一次损失值。
19.进一步的，所述darknet
‑
53网络具体为：
20.将基于标准卷积的darknet
‑
53的特征提取网络替换为基于深度可分离卷积的darknet
‑
53网络；
21.同时保留原基础网络中的残差网络结构，得到最终的darknet
‑
53网络。
22.进一步的，该方法还包括：
23.采用k
‑
means维度聚类算法对训练集进行聚类分析，得到多组新的目标先验框；
24.将多组新的目标先验框按从小达到的顺序均分到不同尺度的特征图，并将较小的先验框分配给尺度更大的特征图。
25.进一步的，所述改进yolo v3模型的训练过程具体为：
26.根据训练集对原始yolo v3模型进行训练，先进行前向传播训练，再反向传播修正权值，得到与检测目标接近的新权重；
27.对改进yolo v3模型进行网络结构调整后将新权重复制到改进模型中，得到最终的改进yolo v3模型。
28.进一步的，所述采集图像数据的预处理具体为：
29.采用开发工具将工业企业的视频监控转换为图片格式，并采用faster r
‑
cnn算法筛选出图片数据中包含行人的图片作为数据集图片，放入待标记数据集文件夹中；
30.采用labelimg工具对待标记数据集中图像的目标位置以矩形框进行标注，得到预处理后的数据集。
31.第二方面，提供了一种安全帽佩戴智能检测系统，包括：
32.数据处理模块，用于对采集图像数据预处理后建立数据集，数据集划分为训练集和测试集；
33.模型检测模块，用于依据训练集对改进yolo v3模型训练后得到训练后的改进yolo v3模型，并通过改进yolo v3模型检测目标图像中的工作人员是否佩戴安全帽；
34.模型检测模块包括多尺度处理单元和特征融合单元；
35.多尺度处理单元，用于通过darknet
‑
53网络的图像特征金字塔对输入图像进行多尺度处理，得到多尺度特征图；
36.特征融合单元，用于将原始yolo v3模型中的全连接操作替换为全卷积操作，并以上采样方法将低层特征和高层特征融合，得到新特征图进行安全帽佩戴检测。
37.第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的一种安全帽佩戴智能检测方法。
38.第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如第一方面中任意一项所述的一种安全帽佩戴智能检测方法。
39.与现有技术相比，本发明具有以下有益效果：
40.1、本发明提出的改进yolo v3模型，使用全卷积层替换掉全连接层后，对于不同尺
寸的输入图像进行训练，可以提高网络对输入图像尺寸的鲁棒性。
41.2、本发明提出的改进yolo v3模型，对不同分辨率的输入图像进行检测，结果检测准确率明显有提高，其对安全帽佩戴检测的多尺度训练能够有效提高算法鲁棒性；
42.3、本发明提出的改进yolo v3模型相比于原始yolo v3模型而言，对不同目标尺寸的检测准确率更高，通过使用基于图像金字塔的多层特征融合的策略，在对安全帽等小目标进行检测的效果显著；
43.4、本发明将基于标准卷积的darknet
‑
53的特征提取网络替换为基于深度可分离卷积的darknet
‑
53网络，同时保留原基础网络中的残差网络结构，有效避免了梯度消失、梯度爆炸或信息丢失问题出现；
44.5、本发明提出的改进yolo v3模型的map值为高达87.12％，虽然其检测准确率不及faster r
‑
cnn，但在检测速度方面，比faster r
‑
cnn明显快的多，所以改进yolo v3模型对于实时检测任务会表现更好；此外，改进yolo v3模型在map和识别帧率两项指标上比ssd算法和原始yolo v3模型均有提高，可见，改进yolo v3模型在检测准确率和检测速度上都达到了优异的水平，能够满足工业企业智能监控系统实时性检测要求。
附图说明
45.此处所说明的附图用来提供对本发明实施例的进一步理解，构成本技术的一部分，并不构成对本发明实施例的限定。在附图中：
46.图1是本发明实施例中小目标检测敏感性分析结果图；
47.图2是本发明实施例中低中高分辨率敏感性分析结果图。
具体实施方式
48.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
49.实施例1：一种安全帽佩戴智能检测方法，具体由以下步骤实现。
50.一、数据集构建
51.1、数据集建立
52.为了保证自建数据集的准确性，满足训练和测试要求，在数据采集时要满足以下要求：一是数据集的图像必须有多样性，包括图片拍摄时的光照强度、拍摄距离、拍摄季节等，收集的数据有差异性，训练的模型才能有更好的鲁棒性；而是采集的数据要有一定的数量，以达到训练的规模。按照以上数据采集要求，可以通过到工业企业去提取现场监控视频；还可以通过网络扒取获得相应图片。图片所包含的要素是必须有作业人员，其中有部分图片中的作业人员未佩戴安全帽。最终，收集的数据集共有5200张图片，包含待检测目标15000个左右，自建数据集名称为“facimage”。
53.2、数据预处理和标记
54.采用开发工具将工业企业的视频监控转换为图片格式，并采用faster r
‑
cnn算法筛选出图片数据中包含行人的图片作为数据集图片，放入待标记数据集文件夹中；采用labelimg工具对待标记数据集中图像的目标位置以矩形框进行标注，得到预处理后的数据
集。
55.labelimg工具操作过程具体为：打开图片所在文件夹，选择标记后数据存储文件夹，在右边区块的标签中，增加预设的标签，然后选择标签，在图像中使用矩形框标注出该标签的目标位置，当所有矩形框标注完后，选择下一个图片进行标记。对于自建“facimage”数据集，标签分为2类：一类为helmat即已佩戴安全帽人员，另一类为alarm即未佩戴安全帽人员，这些标记数据将以xml文件保存，python可直接读取相关数据。
56.由于训练和测试的需要，本发明将自建数据集随机划分为两部分，其中训练集占整个数据集的70％，测试集占整个数据集的30％。在训练时，因改进yolo v3模型较原始yolo v3模型增加了数个卷积层，所以设置原始yolo v3模型的基础学习率为0.001，模型其他参数均保持不变，激活函数选用relu，batch
‑
size为32，每迭代100次计算一次损失值。
57.二、模型构建
58.改进yolo v3模型的网络结构具体为：通过darknet
‑
53的图像特征金字塔，对第53层卷积层进行1
×
1及3
×
3的卷积操作，并重复进行一次1
×
1及3
×
3的卷积操作，得到新的小尺度yolo层；将新的小尺度yolo层采取上采样操作，并与darknet
‑
53的第45个卷积层进行卷积和，使用连续两次的1
×
1和3
×
3卷积操作，得到新的中尺度yolo层；将新的中尺度yolo层与darknet
‑
53的第29个卷积层进行卷积和，连续使用两次1
×
1和3
×
3卷积操作，得到新的大尺度yolo层；以三组新的不同尺度的yolo层进行安全帽佩戴检测。
59.darknet
‑
53网络具体为：将基于标准卷积的darknet
‑
53的特征提取网络替换为基于深度可分离卷积的darknet
‑
53网络；同时保留原基础网络中的残差网络结构，得到最终的darknet
‑
53网络。
60.此外，本发明还采用k
‑
means维度聚类算法对训练集进行聚类分析，得到多组新的目标先验框；将多组新的目标先验框按从小达到的顺序均分到不同尺度的特征图，并将较小的先验框分配给尺度更大的特征图。
61.例如，在公用数据机上初始训练计算得到的9组先验框维度分别为(10，13)，(16，30)，(33，23)，(30，61)，(62，45)，(59，119)，(116，90)，(156，198)，(373，326)，这些先验框在安全帽佩戴检测中没有针对性，不能达到理想的检测精度。根据自建安全帽佩戴检测数据集，待检测的目标框尺寸一般在n
×
n(n≦150像素)范围内，因此，原有的yolo v3先验框很难准确检测到安全帽的目标框信息。
62.因此，本发明针对自建的安全帽佩戴检测数据集“facimage”，使用k
‑
means维度聚类算法其进行聚类分析，得到9组新的目标先验框，分别为:(59，22)，(68，30)，(75，35)，(88，37)，(90，40)，(99，45)，(108，54)，(119，57)，(128，63)，将这9组新的目标先验框按从小达到的顺序均分到三个不同尺度的特征图上，注意将较小的先验框分配给尺度更大的特征图。最后，我们用新的目标先验框进行安全帽佩戴检测实验。
63.为了使light_yolo_v3模型具有更好的鲁棒性，在自建安全帽检测数据集中，加入了不同尺寸的图片数据，这些图片使整个网络进行了多迟钝训练，所以将全连接层替换为卷积层的过程。
64.例如，当416
×
416的图片输入后，经过darknet
‑
53网络得到13
×
13
×
1024的特征图，该特征图经过全连接后，会得到一组规格为4096
×
1的特征图；同样的13
×
13
×
1024的特征图，不经过全连接，而是使用4096个13
×
13的卷积核进行全卷积操作，最后得到一组1
×1×
4096的特征图。在实际检测中，当输入图像尺寸为416
×
416时，全连接和全卷积操作都能得到结果，且结果基本一致。而当输入图片的尺寸与416
×
416不同时，比如输入图片大小为608
×
608，经过darknet
‑
53网络得到19
×
19
×
1024的特征图，接下来该特征图会与4096个神经元进行全连接，但由于构架尺寸的不同，全连接层将无法运行。对于全卷积操作替换掉全连接层后的网络，该网络会得到一个7
×7×
4096的输出，网络能够正常运行。所以，使用全卷积层替换掉全连接层后，对于不同尺寸的输入图像进行训练，可以提高网络对输入图像尺寸的鲁棒性。
65.除此之外，使用全卷积层替换掉全连接层可以提高网络检测性能。当使用全连接层进行目标预测时，整个前向传播算法可能需要7亿个参数，当目标检测网络使用全卷积操作进行分类时，只需要七十万个参数，可见全卷积层替换掉全连接层可以减少参数数量，减少运算量，提升检测性能。
66.改进yolo v3模型的训练过程具体为：根据训练集对原始yolo v3模型进行训练，先进行前向传播训练，再反向传播修正权值，得到与检测目标接近的新权重；对改进yolo v3模型进行网络结构调整后将新权重复制到改进模型中，得到最终的改进yolo v3模型。
67.改进yolo v3模型称为改进light_yolo_v3，也可以称为改进mobilenet_yolo_v3。
68.实施例2：一种安全帽佩戴智能检测系统，包括数据处理模块和模型检测模块。数据处理模块，用于对采集图像数据预处理后建立数据集，数据集划分为训练集和测试集。模型检测模块，用于依据训练集对改进yolo v3模型训练后得到训练后的改进yolo v3模型，并通过改进yolo v3模型检测目标图像中的工作人员是否佩戴安全帽。
69.模型检测模块包括多尺度处理单元和特征融合单元。多尺度处理单元，用于通过darknet
‑
53网络的图像特征金字塔对输入图像进行多尺度处理，得到多尺度特征图。特征融合单元，用于将原始yolo v3模型中的全连接操作替换为全卷积操作，并以上采样方法将低层特征和高层特征融合，得到新特征图进行安全帽佩戴检测。
70.实验验证：
71.基于深度学习的目标检测评价指标主要有四类，分别是平均准确率ap(average precision)、类别均衡准确率map(mean average precision)以及准确率p(precision)和召回率r(recall)。
72.1、将安全帽佩戴测试数据集按照目标尺寸大小进行排序，将其目标尺寸中0～10％，10％～30％，30％～70％，70％～90％，90～100％的目标分为xs、s、m、l、xl 5个子类，分别代表了不同大小尺寸的目标，通过对这些数据的测试，验证其对小目标检测性能的检测效果。图1中列出了原始yolo v3模型和改进yolo v3模型对不同尺寸大小目标的检测性能效果
73.由图1可知，改进yolo v3模型比原始yolo v3模型对不同目标尺寸的检测准确率更高，因此，使用基于图像金字塔的多层特征融合的策略，在对安全帽这种小目标的检测取得了不错的效果。
74.2、本发明中基于改进yolo v3模型的多尺度训练方法，模型对于不同分辨率图像检测的鲁棒性明显提高。在测试过程中，将自制安全帽佩戴测试集图片均分为3种不同分辨率大小，即{320，608，1024}，用于验证模型对不同分辨率输入图像的检测效果，3种不同分别率大小的图像分别代表了低分辨率、中分辨率、高分辨率三类，图2列出了两种算法针对
不同分辨率图片的检测准确率的性能效果。
75.如图2所示，和原始yolo v3模型比较，改进yolo v3模型对不同分辨率的输入图像进行检测，结果检测准确率明显有提高，由此可见，针对安全帽佩戴检测的多尺度训练达到了提高算法鲁棒性的效果。
76.3、对比ssd、faster r
‑
cnn和yolo v3等算法，安全帽佩戴检测效果评价结果(map和每秒识别帧数)如表1所示。
77.表1实验结果对比表
[0078][0079]
从实验结果来看，faster r
‑
cnn的map值为94.72％，是四种模型中最高的，而改进yolo v3模型的map值为87.12％，虽然它的检测准确率不及faster r
‑
cnn，但在检测速度方面，比faster r
‑
cnn明显快的多。因此，改进yolo v3模型对于实时检测任务会表现更好。改进yolo v3模型在map和识别帧率两项指标上比ssd算法和原始yolo v3模型都要提高，可见，改进yolo v3模型在检测准确率和检测速度上都达到了优异的水平，该算法能够满足工业企业智能监控系统实时性检测要求。
[0080]
经过四类算法进行对比分析，faster r
‑
cnn、ssd、light_yolo_v3以及改进light_yolo_v3算法均能够将安全帽佩戴情况准确识别出来，但ssd有时会受环境和图片背景的影响出现误检。而在多目标、小目标并存的情况下，ssd算法会出现漏检的情况，faster r
‑
cnn、原始yolo v3模型和改进yolo v3模型对小目标和多目标检测表现较好。综合来说，faster r
‑
cnn和改进yolo v3模型在目标检测准确率上均优于其他两种算法，但faster r
‑
cnn目标检测算法是two stage模型，对于候选区域的确定需要进行大量计算，在检测速度上无法与改进yolo v3模型相比。因此，针对工业企业作业人员安全帽佩戴检测任务，本发明提出的改进yolo v3模型能够有效的均衡检测速率和检测准确率，能够满足作业现场实际检测的需求。
[0081]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0082]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0083]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0084]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0085]
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。