基于关键点识别变电站人员安全帽佩戴的检测方法与流程

1.本发明公开一种基于关键点识别变电站人员安全帽佩戴的检测方法，属于变电站人员安全检测的技术领域。


背景技术：

2.目前，有关部门对安全施工提出很高要求。在变电站作业时，每位施工人员必须佩戴安全帽，佩戴安全帽可以减少危险事故对工作人员的伤害，减少生命和财产的损失。由于人眼检测不能保证每位施工人员时刻佩戴安全帽，现如今变电站内都装有监控设备，运用深度学习方法和计算机视觉技术自动检测施工人员是否佩戴安全帽并提供反馈，但现有的安全帽佩戴检测算法存在检测速度慢、检测精准度不高等问题，且当施工人员处于弯腰、蹲下或后仰等复杂姿态时，对安全帽进行正确识别更为困难。
3.对此，本技术领域公开了以下专利文献：
4.中国专利文献cn111414825a公开了一种安全帽佩戴检测方法，属于涉及图像处理与识别，主要解决的是目前视觉检测安全帽佩戴存在鲁棒性差、适应性差的技术问题，所述检测方法包括：获取施工现场的原始图像，通过图像变换将所述原始图像扩增n倍得到扩增图像；对所述扩增图像标注安全帽信息；将所述原始图像、扩增图像以及安全帽信息输入目标检测网络学习并进行图像特征提取得到人脸特征；根据所述人脸特征得到人脸框图；根据所述人脸框图确定头部区域，并在所述头部区域内进行安全帽检测。本文献主要是在人脸部位的识别，并未就施工人员的体态动作做相关关联处理。
5.中国专利文献cn110414400a公开了一种施工现场安全帽穿戴自动检测方法及系统，包括：实时获取施工现场监控视频，检测监控视频中的所有人脸，获得每个人脸的边界框；基于人脸追踪算法追踪监控视频中后续帧人脸的边界框，并执行人脸关键点检测算法，检测获得的人脸关键点，同时使用当前人脸关键点检测结果的人脸边界框矫正人脸追踪算法的矩形框；基于人脸关键点的检测结果和pnp算法，求得人脸欧拉角；检测和追踪人脸，以该人脸获得的最好欧拉角的安全帽区域作为安全帽的候选区域，使用安全帽识别算法判定安全帽的候选区域内是否存在安全帽。该文献是将近人脸检测与安全帽检测识别系统相结合，从而为安全帽的识别提高可靠性，但是其主要是对人脸的关键点进行识别及跟踪，但是当遇到不同姿态的工作人员无法展现人脸部分时，其检测的效果是否可以维持在较高水平，难以预测。
6.中国专利文献cn110287787a公开了一种图像识别方法，该方法包括：获取监控设备采集到的工作区视频；从工作区视频中提取包含用户的图像，图像包含用户的人体目标区域；根据头肩特征匹配模板确定人体目标区域中的人体头部区域；提取人体头部区域的方向梯度直方图特征以及颜色特征；将方向梯度直方图特征输入至用于人体分类的第一支持向量机模型，确定识别到的人体头部区域是否包含头部目标；若是，将颜色特征输入至用于颜色分类的第二支持向量机模型，确定头部目标的颜色；若头部目标的颜色为非预设帽子颜色，确定用户未佩戴帽子。该文献主要是通过识别头部目标的颜色来确定工作人员是
否佩戴安全头盔，利用颜色限定头盔具有一定的技术局限性。
7.中国专利文献cn111476083a提供一种电力员工安全帽佩戴自动识别方法，涉及模式识别与智能视频分析技术领域，建立以行人训练样本为输入的行人检测模型，通过网络参数微调，实现测试样本行人区域检测；建立以安全帽训练样本集为输入的ssd安全帽检测模型，将行人检测模型得到的行人上半身区域图像输入训练好的ssd安全帽检测模型，通过ssd网络参数微调，实现了实时的、高准确度的安全帽佩戴自动识别。
8.中国专利文献cn110135290a提供了一种基于ssd和alphapose的安全帽佩戴检测方法及系统，其方法包括：首先采用ssd算法对所述图像中的人和安全帽进行识别；然后采用alphapose算法对所述图像中的各个人的人体姿态进行估计，得到各个人的重要关节点的像素坐标；最后分别对各个人进行判断，以识别出未佩戴安全帽的人。本文献提出的技术方案通过ssd和alphapose两个模型的融合，在人体的多种姿态下，依然能够有效的识别人体是否佩戴了安全帽，但是，该文献是根据各个人的重要关节点的像素坐标和各个安全帽的最小矩形包围框的任意两个对角顶点的像素坐标，分别对各个人进行判断，以识别出所有未佩戴安全帽的人，此种判定方式算法较为繁琐。
9.综上所述，如何提供一种效率高、精度高的安全帽佩戴的智能识别方法，在变电站环境下对安全帽佩戴情况进行高效识别，对复杂姿态下的施工人员进行安全帽佩戴的精准识别，减少变电站运行过程中的安全隐患，保护施工人员的人身安全，是目前本领域技术人员亟待解决的技术问题。


技术实现要素：

10.针对现有技术的不足，本发明公开一种基于关键点识别变电站人员安全帽佩戴的检测方法。本发明可实现对变电站人员安全帽佩戴情况的实时检测识别，并及时反馈，降低施工人员因没有佩戴安全帽造成的安全事故率。本发明所述方法实施后，其检测的准确性、实时性均满足了变电站人员安全帽检测的实际需求。
11.发明概述：
12.一种基于关键点识别变电站人员安全帽佩戴的检测方法，包括：首先建立变电站人员的安全帽佩戴标注数据集，并对所述标注数据集进行训练；然后对待检测安全帽佩戴的人员的图像利用训练好的alphapose模型中进行人体关键点(鼻子、左肩、右肩)识别；最后对生成的人体关键点进行三角定位确定头部位置，采用训练好的ssd网络目标检测模型进行安全帽佩戴检测。相比于其他专利文献，本发明可以根据鼻子、左肩、右肩三点的位置信息进行计算，得到检测区域(即头部区域)，更有针对性，得到的检测区域更准确。同时计算速度明显提升。
13.本发明详细的技术方案如下：
14.一种基于关键点识别变电站人员安全帽佩戴的检测方法，其特征在于，包括：
15.1)建立变电站人员的安全帽佩戴标注数据集，并对所述标注数据集送入目标检测模型：ssd网络目标检测模型；
16.2)对待检测安全帽佩戴的人员的图像，利用训练好的alphapose模型进行人体关键点识别；
17.3)对生成的人体关键点进行三角定位确定头部位置，采用训练好的ssd网络目标
检测模型进行安全帽佩戴检测；
18.其中，所述三角定位确定头部位置的方法包括：
[0019]3‑
1)根据得到人体关键点，获得关键部位的位置信息，即根据鼻子、左肩、右肩三点的位置信息进行计算，得到检测的头部区域，具体包括：
[0020]
(3
‑1‑
1)通过鼻子、左肩、右肩三点位置确定一个三角形区域；设所述鼻子、左肩、右肩的位置分别为：
[0021]
h(x0,y0),ls(x1,y1),rs(x2,y2)
ꢀꢀꢀ
(i)
[0022]
在公式(i)中，x0，y0为鼻子所在图像内的横纵坐标；x1,y1为左肩所在图像内的横纵坐标；x2,y2为右肩所在图像内的横纵坐标；
[0023]
(3
‑1‑
2)以鼻子为中心将所述三角形区域旋转180
°
得到新三角形，设旋转后左肩和右肩的位置分别为：
[0024]
ls
′
(x1′
,y1′
),rs
′
(x2′
,y2′
)
ꢀꢀꢀ
(ii)
[0025]
在公式(ii)中，x1′
,y1′
为左肩旋转后所在图像内的横纵坐标；x2′
,y2′
为右肩旋转后所在图像内的横纵坐标；
[0026]
旋转后左肩和右肩的位置为：
[0027]
(ls
′
(x1′
,y1′
),rs
′
(x2′
,y2′
))＝(ls
′
(2x0‑
x1，2y0‑
y1),rs
′
(2x0‑
x2,2y0‑
y2))
ꢀꢀꢀ
(iii)
[0028]
(3
‑1‑
3)根据步骤(3
‑1‑
1)中得到的原三角形和步骤(3
‑1‑
2)中旋转得到的新三角形共同组成一个四边形，则组成四边形的对角线长度分别为：
[0029][0030][0031]
(3
‑1‑
4)以步骤(3
‑1‑
3)所述四边形的最长对角线为直径，对角线的交点为圆心作最大外圆，再求得所述外圆的外接正方形，所述外接正方形所框选的区域即为步骤(3
‑
1)中的头部区域；
[0032]3‑
2)对待检测安全帽佩戴的人员的图像进行检测，包括：
[0033]
(3
‑2‑
1)对步骤(3
‑1‑
4)选定检测区域，即头部区域，利用训练好的alphapose模型作为目标检测模型，进行安全帽佩戴检测；
[0034]
(3
‑2‑
2)根据步骤(3
‑2‑
1)得到安全帽佩戴状态的检测结果：
[0035]
若人员佩戴安全帽，则继续检测；
[0036]
若人员未佩戴安全帽，则给出反馈结果。将人员未佩戴安全帽的反馈结果实时返回到平台警示。
[0037]
根据本发明优选的，所述反馈结果包括但不限于：人员未佩戴安全帽的纯文本信息或人员未佩戴安全帽的框选标识。所述警示也不限于被框选标识的图像，也可以包括纯文本信息，即只要标识人员未佩戴安全帽的行为发生区域的信息形式都属于本发明所要保护的技术内容。
[0038]
根据本发明优选的，所述步骤1)建立变电站人员的安全帽佩戴标注数据集的步骤包括：
[0039]1‑
1)通过对变电站视频流截取的方式获得变电站人员的图片；
[0040]1‑
2)采集步骤1
‑
1)图片对应各个作业地点中单人以及多人的各种姿态的图像；
[0041]1‑
3)对步骤1
‑
2)中的图像进行扩增，得到待标注的图像数据集。
[0042]
根据本发明优选的，所述步骤1)建立变电站人员的安全帽佩戴标注数据集的步骤还包括：
[0043]1‑
4)根据步骤1
‑
3)获得图像数据集后，对每张图片中的变电站人员进行标注，得到标注后的图像数据集：
[0044]
其中，样本的标注使用labelimg标注出目标区域以及类别，对佩戴安全帽的变电站人员标注为helmet，即正样本；对未佩戴安全帽的变电站人员标注为head，即负样本。
[0045]
根据本发明优选的，所述步骤3)ssd网络目标检测模型的训练步骤如下：
[0046]3‑
3)在经典ssd网络中引入特征金字塔网络结构，fpn；本发明所述优化后的ssd网络结构使得最终用于预测的特征图同时具有浅层特征和深层特征的语义信息，对各种检测环境有较强的适应性，从而提升在安全帽佩戴检测上的鲁棒性；其中经典ssd网络是经典的one
‑
stage算法，相对于two
‑
stage方法有着更快的检测速率，但可能在复杂的环境因素干扰下，检测效果鲁棒性较差；所述ssd网络与通过引入特征金字塔网络结构改进后的ssd网络结构图分别见附图1、图2；
[0047]3‑
4)采用3
‑
3)中优化的ssd模型作为目标检测模型，对标注后的图像数据集进行训练时，所采用的特征提取网络为vgg
‑
16。
[0048]
根据本发明优选的，所述待检测安全帽佩戴的人员的图像是通过以下方法采集到的：
[0049]
利用架设在变电站中的视频监控设备，实时获取变电站视频信息至服务器中，通过对变电站视频流截取的方式实时获得监控图像。
[0050]
根据本发明优选的，步骤2)的具体步骤包括：
[0051]2‑
1)选用包含26个关键点模型的alphapose模型，其采取的特征提取网络为resnet
‑
50；
[0052]2‑
2)若待检测安全帽佩戴的人员的图像中未有人员，则不进行任何检测；若待检测安全帽佩戴的人员的图像中有人员，则经过关键点识别后，得到人员人体26个关键点。
[0053]
本发明的技术优势在于：
[0054]
1)本发明提出了一种优化后的ssd算法，引入特征金字塔网络结构，针对施工作业场景的复杂性和特殊性，提高了网络对各种检测环境的适应性，从而提升在安全帽佩戴检测上的鲁棒性。
[0055]
2)本发明提出了一种人体关键点检测算法，解决了施工人员复杂姿态下安全帽与人体相对位置难确定的问题，提高了安全帽检测的识别率和准确率。
[0056]
3)本发明针对复杂姿态下安全帽佩戴检测的难度较高，提出关键点检测算法根据三角定位的方法确定头部区域，再采用优化后的一阶目标检测网络解决安全帽与复杂施工场景类极不平衡的问题，训练好模型检测安全帽佩戴情况，最终采用本发明检测方法漏检率为8.21％，误检率为6.98％，精度为95.25％，满足了变电站对安全帽佩戴检测的实际需求。
附图说明
[0057]
图1是本发明所述经典ssd网络结构图；
[0058]
图2是本发明所述优化后的ssd网络结构图；
[0059]
图3是本发明所述识别方法的流程图；
[0060]
图4是本发明实施例中经标注后的图像；
[0061]
图5是本发明实施例中实时获取的监控图像；
[0062]
图6是本发明实施例中图5经定位头部区域后的图像；
[0063]
图7是本发明实施例中图5经检测完成并标注反馈结果的图像。
具体实施方式
[0064]
下面结合实施例对本发明做进一步说明，但不限于此。
[0065]
实施例1、
[0066]
所述待检测安全帽佩戴的人员的图像是通过以下方法采集到的：利用架设在变电站中的视频监控设备，实时获取变电站视频信息至服务器中，通过对变电站视频流截取的方式实时获得监控图像。
[0067]
如图3所示，一种基于关键点识别变电站人员安全帽佩戴的检测方法，包括：
[0068]
1)建立变电站人员的安全帽佩戴标注数据集，并对所述标注数据集送入目标检测模型：ssd网络目标检测模型；
[0069]
2)对待检测安全帽佩戴的人员的图像，利用训练好的alphapose模型进行人体关键点识别；步骤2)的具体步骤包括：
[0070]2‑
1)选用包含26个关键点模型的alphapose模型，其采取的特征提取网络为resnet
‑
50；
[0071]2‑
2)若待检测安全帽佩戴的人员的图像中未有人员，则不进行任何检测；若待检测安全帽佩戴的人员的图像中有人员，则经过关键点识别后，得到人员人体26个关键点；
[0072]
3)对生成的人体关键点进行三角定位确定头部位置，采用训练好的ssd网络目标检测模型进行安全帽佩戴检测；
[0073]
其中，所述三角定位确定头部位置的方法包括：
[0074]3‑
1)根据得到人体关键点，获得关键部位的位置信息，即根据鼻子、左肩、右肩三点的位置信息进行计算，得到检测的头部区域，具体包括：
[0075]
(3
‑1‑
1)通过鼻子、左肩、右肩三点位置确定一个三角形区域；设所述鼻子、左肩、右肩的位置分别为：
[0076]
h(x0,y0),ls(x1,y1),rs(x2,y2)
ꢀꢀꢀ
(i)
[0077]
在公式(i)中，x0，y0为鼻子所在图像内的横纵坐标；x1,y1为左肩所在图像内的横纵坐标；x2,y2为右肩所在图像内的横纵坐标；
[0078]
(3
‑1‑
2)以鼻子为中心将所述三角形区域旋转180
°
得到新三角形，设旋转后左肩和右肩的位置分别为：
[0079]
ls
′
(x1′
,y1′
),rs
′
(x2′
,y2′
)
ꢀꢀꢀ
(ii)
[0080]
在公式(ii)中，x1′
,y1′
为左肩旋转后所在图像内的横纵坐标；x2′
,y2′
为右肩旋转后所在图像内的横纵坐标；
[0081]
旋转后左肩和右肩的位置为：
[0082]
(ls
′
(x1′
,y1′
),rs
′
(x2′
,y2′
))＝(ls
′
(2x0‑
x1，2y0‑
y1),rs
′
(2x0‑
x2,2y0‑
y2))
ꢀꢀꢀ
(iii)
[0083]
(3
‑1‑
3)根据步骤(3
‑1‑
1)中得到的原三角形和步骤(3
‑1‑
2)中旋转得到的新三角形共同组成一个四边形，则组成四边形的对角线长度分别为：
[0084][0085][0086]
(3
‑1‑
4)以步骤(3
‑1‑
3)所述四边形的最长对角线为直径，对角线的交点为圆心作最大外圆，再求得所述外圆的外接正方形，所述外接正方形所框选的区域即为步骤(3
‑
1)中的头部区域；
[0087]3‑
2)对待检测安全帽佩戴的人员的图像进行检测，包括：
[0088]
(3
‑2‑
1)对步骤(3
‑1‑
4)选定检测区域，即头部区域，利用训练好的alphapose模型作为目标检测模型，进行安全帽佩戴检测；
[0089]
(3
‑2‑
2)根据步骤(3
‑2‑
1)得到安全帽佩戴状态的检测结果：
[0090]
若人员佩戴安全帽，则继续检测；
[0091]
若人员未佩戴安全帽，则给出反馈结果。将人员未佩戴安全帽的反馈结果实时返回到平台警示。
[0092]
所述反馈结果包括但不限于：人员未佩戴安全帽的纯文本信息，或人员未佩戴安全帽的框选标识。所述警示也不限于被框选标识的图像，也可以包括纯文本信息，即只要标识人员未佩戴安全帽的行为发生区域的信息形式都属于本发明所要保护的技术内容。
[0093]
如图4所示，所述步骤1)建立变电站人员的安全帽佩戴标注数据集的步骤包括：
[0094]1‑
1)通过对变电站视频流截取的方式获得变电站人员的图片；
[0095]1‑
2)采集步骤1
‑
1)图片对应各个作业地点中单人以及多人的各种姿态的图像；
[0096]1‑
3)对步骤1
‑
2)中的图像进行扩增，得到待标注的图像数据集；
[0097]1‑
4)根据步骤1
‑
3)获得图像数据集后，对每张图片中的变电站人员进行标注，得到标注后的图像数据集：
[0098]
其中，样本的标注使用labelimg标注出目标区域以及类别，对佩戴安全帽的变电站人员标注为helmet，即正样本；对未佩戴安全帽的变电站人员标注为head，即负样本。
[0099]
实施例2、
[0100]
如图1、2所示，如实施例1所述的一种基于关键点识别变电站人员安全帽佩戴的检测方法，所述步骤3)ssd网络目标检测模型的训练步骤如下：
[0101]3‑
3)在经典ssd网络中引入特征金字塔网络结构，fpn；
[0102]3‑
4)采用3
‑
3)中优化的ssd模型作为目标检测模型，对标注后的图像数据集进行训练时，所采用的特征提取网络为vgg
‑
16。
[0103]
应用例、
[0104]
下面结合实施例1、2对实际应用场景进行详细说明。
[0105]
一种基于关键点识别变电站人员安全帽佩戴的检测方法，包括如下步骤：
[0106]
s1：在山东省a市某变电站的某监控设备上获取人员的各种姿态的图像，组成待标注图像数据集，如图4所示；
[0107]
s2：对采集到的待标注图像进行变电站人员及其安全帽佩戴标注；
[0108]
s3：将标注后的数据集送入改进后的ssd网络中进行训练；
[0109]
s4：通过变电站监控获取人员的实时图像，如图5所示；
[0110]
s5：将获取到的图像放入训练好的alphapose模型中进行关键点识别；
[0111]
s6：对生成的人员人体关键点进行三角定位确定头部位置，如图6所示；
[0112]
s7：对确定的头部位置采用训练好的目标检测模型进行安全帽佩戴检测，检测是否佩戴安全帽，如图7所示。
[0113]
其中，所述步骤s1中待标注图像数据集采集的步骤为：
[0114]
s11：利用架设在各变电站中的视频监控设备，实时获取变电站视频信息至服务器中，通过对变电站视频流截取的方式获得施工人员的图片；
[0115]
s12：采集各个作业地点中单人以及多人的各种姿态的图像，简单进行筛选，选择清晰的8000张原始图像，采集的图像都是施工现场的人员佩戴情况；
[0116]
s13：对步骤s12中的数据进行翻转、平移等操作进行数据增广，得到待标注的图像数据集30000张；
[0117]
其中，所述步骤s2中包括：
[0118]
s21：根据步骤s13获得图像数据集后，对每张图像中的施工人员进行标注，得到标注后的图像数据集，标注图像如图4所示。样本的标注使用labelimg标注出目标区域以及类别，对佩戴安全帽的人员标注为helmet(正样本)，对未佩戴安全帽的人员标注为head(负样本)。
[0119]
其中，所述步骤s3中训练优化后的ssd模型的步骤为：
[0120]
s31：如图1、2所示，对经典的ssd模型进行了优化，引入特征金字塔网络结构(fpn)，该网络结构使得最终用于预测的特征图同时具有浅层特征和深层特征的语义信息。
[0121]
s32：本发明采用s31中优化的ssd模型作为目标检测模型，通过s21获取的数据集对目标检测模型进行训练，其中该模型采用的特征提取网络为vgg
‑
16。
[0122]
其中，所述步骤s4中获取实时监控图像的方式为：
[0123]
s41：利用架设在在山东省b市某变电站一层走廊中中的视频监控设备，实时获取变电站视频信息至服务器中，通过对变电站视频流截取的方式实时获得监控图像，如图5所示。
[0124]
其中，所述步骤s5中人体关键点识别的方式为：
[0125]
s51：将实时获取到的图像放入训练好的alphapose模型中进行关键点识别，采用的为26个关键点模型，该模型采取的特征提取网络为resnet
‑
50；
[0126]
s52:若s51图像中未有人员，则不进行任何检测，若存在人员，经过关键点识别后，可以得到施工人员人体26个关键点。
[0127]
其中，所述步骤s6中三角定位的方式为：
[0128]
s61：根据s52得到人体关键点，获得关键部位的位置信息，针对目前研究，仅需要三点位置(鼻子、左肩和右肩)，根据鼻子、左肩、右肩三点的位置信息进行计算，得到检测区域(头部区域)，如图6所示。
[0129]
s62：首先，通过鼻子，左肩，右肩三点位置确定一个三角形区域，如图6所示。其中，设头部，左肩，右肩的位置为：
[0130]
h(x0,y0),ls(x1,y1),rs(x2,y2)
[0131]
s63：接着，以鼻子为中心将三角形区域旋转180
°
得到新三角形，如图6所示，设旋转后左肩，右肩的位置为
[0132]
ls
′
(x1′
,y1′
),rs
′
(x2′
,y2′
)
[0133]
即旋转后左肩和右肩的位置
[0134]
(ls
′
(x1′
,y1′
),rs
′
(x2′
,y2′
))＝(ls
′
(2x0‑
x1，2y0‑
y1),rs
′
(2x0‑
x2,2y0‑
y2))
[0135]
s64：如图6所示，根据步骤s62中得到的原三角形和步骤s63中旋转得到的新三角形共同组成一个四边形，则组成四边形的对角线长度为
[0136][0137][0138]
s65：然后，如图6所示，以步骤s64四边形的最长对角线为直径，对角线的交点为圆心作最大外圆。再求得外圆的外接正方形，即检测区域(头部区域)。
[0139]
其中，所述步骤s7中安全帽佩戴检测的方式为：
[0140]
s71：对s65选定检测区域(头部区域)利用步骤s32训练好的目标检测模型，进行安全帽佩戴检测，完成变电站施工人员安全帽佩戴的识别检测，如图7所示。
[0141]
s72：根据步骤s71得到安全帽佩戴状态的检测结果，若施工人员佩戴安全帽，则继续检测；若施工人员未佩戴安全帽，则给出反馈，返回到平台示警。