一种基于特征融合的工人安全帽检测方法和装置与流程

1.本技术涉及人工智能技术领域，具体涉及一种基于特征融合的工人安全帽检测方法和装置。


背景技术：

2.在电力施工过程中，电力作业人员要求必须佩带安全帽。然而，近年来变电站生产安全事件频繁发生，究其根本原因在于作业人员违反电力安全规范进行操作，其中不按规范佩戴安全帽是重要的原因之一。
3.众所周知,安全帽是变电站作业人员重要的安全防护工具，目前依靠安全管控人员进行监督，人力成本高。


技术实现要素：

4.为解决上述问题，本技术提供一种基于特征融合的工人安全帽检测方法，包括：
5.获取样本图像；
6.通过全景分割注意力机制，获取所述样本图像包含目标安全帽的第一特征；
7.将所述目标安全帽的特征识别错误的样本图像，通过预先构建的极难负样本生成模型，获取所述样本图像包含目标安全帽的第二特征；
8.融合所述第一特征和第二特征，获取融合特征，使用所述融合特征对所述工人安全帽检测模型进行训练和测试；
9.使用所述模型对待识别的图像进行工人安全帽检测。
10.优选的，获取样本图像，包括：
11.通过摄像设备获取工人工作区域的图像，将所述图像作为样本图像。
12.优选的，在通过全景分割注意力机制，提取所述样本图像的特征的步骤之前，还包括：
13.将所述样本图像均匀的划分成多个网格，并为每个网格动态分配权重；
14.对所述多个网格进行物体检测划分，提取包含所述目标安全帽的网格，并获得所述安全帽的网格的属性值，为所述目标安全帽的网格动态分配权重。
15.优选的，通过全景分割注意力机制，提取所述样本图像包含目标安全帽的第一特征，包括：
16.通全景分割注意力机制，对所述样本图像分割；
17.通过卷积神经网络获取所述样本图像包含目标安全帽的网格的前景区域和背景区域；
18.提取所述前景区域和背景区域的特征，将所述特征作为所述样本图像包含目标安全帽的第一特征。
19.优选的，负样本生成模型的损失函数，具体为：
20.21.其中，[x]

＝max(x,0)，i’代表每一批训练样本中与文字描述c相似度最高的图像，c’代表每一批训练样本中与图像i相似度最高的文字描述，cf代表所生成的与c对应的极难负样本文字描述，s(i,c)代表图像i与匹配的文字描述c的相似度，s(i,c’)代表图像i与不匹配的文字描述c’的相似度，s(i’,c)代表文字描述c与不匹配图像i’的相似度，s(i,c
f)
代表图像i与极难负样本文字描述cf的相似度，该损失函数要求匹配图文的相似度高于阈值α，并要求匹配图文的相似度比极难负样本和图像的相似度高于阈值αf。
[0022]
优选的，融合所述第一特征和第二特征，获取融合特征，使用所述融合特征对所述工人安全帽检测模型进行训练和测试，包括：
[0023]
将将所述第一特征和第二特征输入卷积神经网的融合层进行融合，获取融合特征；通过所述融合特征对所述工人安全帽检测模型进行训练和测试。
[0024]
优选的，在使用所述模型对待识别的图像进行工人安全帽检测的步骤之后，还包括：
[0025]
识别工人未佩戴安全帽时，发出报警。
[0026]
本技术同时提供一种基于特征融合的工人安全帽检测装置，包括：
[0027]
样本图像获取单元，用于获取样本图像；
[0028]
第一特征获取单元，用于通过全景分割注意力机制，获取所述样本图像包含目标安全帽的第一特征；
[0029]
第二特征获取单元，用于将所述目标安全帽的特征识别错误的样本图像，通过预先构建的负样本生成模型，获取所述样本图像包含目标安全帽的第二特征；
[0030]
融合单元，用于融合所述第一特征和第二特征，获取融合特征，使用所述融合特征对所述工人安全帽检测模型进行训练和测试；
[0031]
检测单元，用于使用所述模型对待识别的图像进行工人安全帽检测。
[0032]
优选的，还包括：
[0033]
网格划分单元，用于将所述样本图像均匀的划分成多个网格，并为每个网格动态分配权重；
[0034]
物体检测划分单元，用于对所述多个网格进行物体检测划分，提取包含所述目标安全帽的网格，并获得所述安全帽的网格的属性值，为所述目标安全帽的网格动态分配权重。
[0035]
优选的，第一特征获取单元，包括：
[0036]
分割子单元，用于通全景分割注意力机制，对所述样本图像分割；
[0037]
前景区域和背景区域获取子单元，用于通过卷积神经网络获取所述样本图像包含目标安全帽的网格的前景区域和背景区域；
[0038]
第一特征获取单元，用于提取所述前景区域和背景区域的特征，将所述特征作为所述样本图像包含目标安全帽的第一特征。
附图说明
[0039]
图1是本技术实施例提供的一种基于特征融合的工人安全帽检测方法的流程示意图；
[0040]
图2是本技术实施例涉及的均匀网格划分方法示意图；
[0041]
图3是本技术实施例涉及的物体检测划分方法示意图；
[0042]
图4是本技术实施例涉及的特征融合层的结构示意图；
[0043]
图5是本技术实施例涉及的一种基于特征融合的工人安全帽检测方法的检测结果示意图；
[0044]
图6是本技术实施例涉及的提供的一种基于特征融合的工人安全帽检测装置示意图。
具体实施方式
[0045]
在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵的情况下做类似推广，因此本技术不受下面公开的具体实施的限制。
[0046]
图1是本技术实施例提供的一种基于特征融合的工人安全帽检测方法的流程示意图，下面结合图1对本技术提供的方法进行详细说明。
[0047]
步骤s101，获取样本图像。
[0048]
通过摄像设备获取工人工作区域的图像，将所述图像作为样本图像。具体可以通过摄像头获取工作区域实时图像，进行逐帧分析，捕获图像。
[0049]
步骤s102，通过全景分割注意力机制，获取所述样本图像包含目标安全帽的第一特征。
[0050]
通过均匀网格划分，将所述样本图像均匀的划分成多个网格，并为每个网格动态分配权重；通过物体检测划分，对所述多个网格进行物体检测划分，提取包含所述目标安全帽的网格，并获得所述安全帽的网格的属性值，为所述目标安全帽的网格动态分配权重。
[0051]
均匀网格划分，将数据集中的图像，经过卷积、池化等操作，在最后卷积层转化为n*m*l大小的网格特征，图像在空间上被划分为n*m的网格区域，每个图像的特征维度为l，如图2所示，注意力机制动态地给n*m个区域分配权重。
[0052]
物体检测划分，将数据集中的图像，把检测物体的大小和位置划分图像，每个检测区域包含p个属性值，分别是横坐标x、纵坐标y、长h、宽w、置信度c，利用roi align操作在特征图上选择该区域对应的特征，通过置信度小于阈值β，则可筛选掉背景区域，如图3所示，动态分配权重。
[0053]
通全景分割注意力机制，对所述样本图像分割；通过卷积神经网络获取所述样本图像包含目标安全帽的网格的前景区域和背景区域；提取所述前景区域和背景区域的特征，将所述特征作为所述样本图像包含目标安全帽的第一特征。
[0054]
全景分割注意力机制，将数据集中的图像，首先经过全景分割得到前景和背景区域，再送入全卷积神经网络提取分割区域的特征，设置遮罩取值q，将分割区域与特征图相乘，使无关区域的特征置为p。
[0055]
步骤s103，将所述目标安全帽的特征识别错误的样本图像，通过预先构建的极难负样本生成模型，获取所述样本图像包含目标安全帽的第二特征。
[0056]
基于全景分割注意力机制和极难负样本挖掘的特征图融合安全帽检测方法，其中极难负样本挖掘，包括极难负样本生成，极难负样本生成模型结构。
[0057]
极难负样本生成，将数据集作为输入，没有出现在标注文件图像进行单词替换。
[0058]
极难负样本生成模型结构，极难负样本生成模型的损失函数，具体为：
[0059][0060]
其中，[x]

＝max(x,0)，i’代表每一批训练样本中与文字描述c相似度最高的图像，c’代表每一批训练样本中与图像i相似度最高的文字描述，cf代表所生成的与c对应的极难负样本文字描述，s(i,c)代表图像i与匹配的文字描述c的相似度，s(i,c’)代表图像i与不匹配的文字描述c’的相似度，s(i’,c)代表文字描述c与不匹配图像i’的相似度，s(i,c
f)
代表图像i与极难负样本文字描述cf的相似度，该损失函数要求匹配图文的相似度高于阈值α，并要求匹配图文的相似度比极难负样本和图像的相似度高于阈值αf。
[0061]
步骤s104，融合所述第一特征和第二特征，获取融合特征，使用所述融合特征对所述工人安全帽检测模型进行训练和测试。
[0062]
将将所述第一特征和第二特征输入卷积神经网的融合层进行融合，获取融合特征；通过所述融合特征对所述工人安全帽检测模型进行训练和测试。
[0063]
特征融合层经过一系列操作把原始特征混合为表征能力更强的特征。特征融合层的结构如图4所示。
[0064]
步骤s105，使用所述模型对待识别的图像进行工人安全帽检测。
[0065]
通过所述模型，当识别工人未佩戴安全帽时，发出报警。
[0066]
具体应用实施例如下：
[0067]
步骤1：使用摄像头获取工作区域实时图像，摄像头获取工作区域实时图像，进行逐帧分析；
[0068]
步骤2：使用全景分割注意力机制，采用cnn(卷积神经网络)的特征提取，利用深度学习神经网络进行电力工人安全帽检测模型训练；
[0069]
步骤3：用样本对模型进行测试，对识别错误的样本进行挖掘并重新再训练识别模型提取特征；
[0070]
步骤4：采用特征融合使模型语义信息表征能力更强，将步骤2和步骤3特征进行融合，利用深度学习神经网络进行电力工人安全帽检测模型训练；
[0071]
步骤5：利用模型进行电力工人安全帽检测，将步骤1捕获的图像作为输入，模型进行检测，输出结果，如图5所示，若系统在发现异常时会采取报警措施。
[0072]
使用摄像头获取工作区域实时图像，摄像头获取工作区域实时图像；
[0073]
将图像进行全景分割注意力机制，极难负样本挖掘，特征融合，将融合特征送入深度神经网络训练，得到模型进行检测安全帽。
[0074]
所述的全景分割注意力机制，包括均匀网格划分，物体检测划分，全景分割注意力机制。
[0075]
优选地，均匀网格划分，将步骤1采集的图像，经过卷积、池化等操作，再最后卷积层转化为14*14*2048大小的网格特征，图像在空间上被划分为14*14的网格区域，每个图像的特征维度为2048。然后注意力机制动态地给这14*14个区域分配权重，动态分配公示如下：
[0076][0077]
α
t
＝softmax(α
t
)
[0078][0079]
其中w
α
、w
αν
、w
αh
分别是对应维度的权重矩阵，为第i个区域在时刻t的得分，为第i个区域在时刻t归一化后的权重i
t
由每个区域的特征和对应的权重加权求和组成，是在t时刻attention lstm(注意力机制循环神经网络)的隐状态，
[0080]
tanh、softmax是激活函数公示如下：
[0081][0082]
优选地，物体检测划分，数据集中的图像，把检测物体的大小和位置划分图像，每个检测区域包含5个属性值，进行归一化，属性值分别该区域的是横坐标x(0,1)、纵坐标y(0,1)、长h(0,1)、宽w(0,1)以及检测置信度c＝0.5。通过区域中心位置的x、y、w、h使用roi align操作在特征图上选择该区域对应的特征通过，通过置信度小于阈值β＝0.5，则可筛选掉背景区域，由于安全帽与摄像头的距离远近不一，在分配注意力的过程，注意力动态的给这些区域分配权重，分配与均匀网格划分一样。
[0083]
优选地。全景分割注意力机制，数据集中的图像，首先经过全景分割得到前景和背景区域，再送入全卷积神经网络提取分割区域的特征。每一个区域对应个一个特征，通过图像分割出安全帽的区域，同时利用cnn提取出全图的特征(以其中一个通道为例)，随后重新缩放区域至特征图大小，这是分割的遮罩取值q＝0或1，直接将缩放后的分割区域与特征图相乘，使无关区域的特征置为p＝0，同时保持安全帽区域的特征。所以分割区域都进行同样的处理，以从图像中提取特征。
[0084]
所述的基于全景分割注意力机制和极难负样本挖掘的特征图融合安全帽检测方法，其中极难负样本挖掘，包括极难负样本生成，极难负样本生成模型结构；
[0085]
优选地，极难负样本生成，将数据集作为输入，没有出现在标注文件图像进行单词替换，使用同类词进行替换，同类词是指与被替换词属于同一类别的单词，例如安全帽和棒球帽都属于帽子，替换的词语有(snow cap,rain cap,sun cap,safety cap,dust cap,sleeping cap,work cap,travel cap and top hat，straw)；
[0086]
优选地，极难负样本生成模型结构，模型结构的损失函数，
[0087][0088]
其中，[x]

＝max(x,0)，i’为第一批训练样本中与文字描述c相似度最高的图像，c’代表第一批训练样本中与图像i相似度最高的文字描述，cf代表所生成的与c对应的极难负样本文字描述，s(i,c)代表图像i与匹配的文字描述c的相似度，则s(i,c)＝0.02，s(i,c’)代表图像i与不匹配的文字描述c’的相似度，则s(i,c’)＝0.01，s(i’,c)代表文字描述c与不匹配图像i’的相似度，则s(i’,c)＝0.05，s(i,c
f)
代表图像i与极难负样本文字描述cf的相似度，则s(i,cf)＝0.03，该损失函数要求匹配图文的相似度高于阈值α取值范围为(0,0.5)，本次实验α取值为0.2，并要求匹配图文的相似度比极难负样本和图像的相似度高于阈值αf取值范围为(0,0.5)，本次实验αf＝0。
[0089]
所述的基于全景分割注意力机制和极难负样本挖掘的特征图融合安全帽检测方
法，其中特征融合，包括特征融合层。
[0090]
优选的特征融合层，建立不同特征之间的通道联系，将步骤2和步骤3提取的特征进行特征融合，两者并行地输入到特征融合层中。物体检测特征idef首先在转置后的图文匹配特征icnn进行矩阵相乘，并通过softmax函数进行归一化，拼接后的向量有两个通路：一个通路直接输出，另一个通路经过全连接成进行维度转换后与此前softmax得到的特征相乘，在经过全连接成转为原来的维度并于第一个通路相加。
[0091]
相加后得到的特征，送入深度学习神经网络，训练出模型，利用训练完的模型进行电力工人安全帽检测，系统在发现异常时采取报警措施。
[0092]
本实施例，在工作场景内整体的识别率为96％。
[0093]
基于同一发明构思，本技术同时提供一种基于特征融合的工人安全帽检测装置600，如图6所示，包括：
[0094]
样本图像获取单元610，用于获取样本图像；
[0095]
第一特征获取单元620，用于通过全景分割注意力机制，获取所述样本图像包含目标安全帽的第一特征；
[0096]
第二特征获取单元630，用于将所述目标安全帽的特征识别错误的样本图像，通过预先构建的负样本生成模型，获取所述样本图像包含目标安全帽的第二特征；
[0097]
融合单元640，用于融合所述第一特征和第二特征，获取融合特征，使用所述融合特征对所述工人安全帽检测模型进行训练和测试；
[0098]
检测单元650，用于使用所述模型对待识别的图像进行工人安全帽检测。
[0099]
优选的，还包括：
[0100]
网格划分单元，用于将所述样本图像均匀的划分成多个网格，并为每个网格动态分配权重；
[0101]
物体检测划分单元，用于对所述多个网格进行物体检测划分，提取包含所述目标安全帽的网格，并获得所述安全帽的网格的属性值，为所述目标安全帽的网格动态分配权重。
[0102]
优选的，第一特征获取单元，包括：
[0103]
分割子单元，用于通全景分割注意力机制，对所述样本图像分割；
[0104]
前景区域和背景区域获取子单元，用于通过卷积神经网络获取所述样本图像包含目标安全帽的网格的前景区域和背景区域；
[0105]
第一特征获取单元，用于提取所述前景区域和背景区域的特征，将所述特征作为所述样本图像包含目标安全帽的第一特征。
[0106]
本技术提供的一种基于特征融合的工人安全帽检测方法和装置，利用了特征图融合和卷积神经网络的方法进行电力工人安全帽检测，检测异常并及时告警可以有效的避免安全事故的发生，为工人的生命安全提供保障。解决目前由于安全管控人员精力有限，造成的人力成本高的问题。
[0107]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。