一种电力施工现场的非法人员身份识别方法及系统与流程

1.本发明属于人脸识别领域，涉及电力施工现场人员的身份识别方法，特别是一种基于深度神经网络的电力施工现场非法人员身份识别方法及系统。


背景技术：

2.随着我国电网建设工程的不断增加，施工队伍需求量也在大量增加，这就导致施工队伍中存在一些施工人员缺乏基本的安全知识、安全意识不强、安全技能不高以及自我防护能力不够等问题，对自身和他人的生命安全存在威胁。
3.当前，影响施工安全的主要因素有两个，一个是非持证施工人员随意进入施工现场带来安全隐患；二是在关键过程中，施工人员随意出入，影响施工安全和施工效率。因此，如何利用先进的信息化技术手段，有效管控现场施工人员，提高施工安全监管水平，提高企业对施工风险的管控能力，具有重要的意义。
4.电力施工现场情况非常复杂，经常存在人员遮挡、施工机械作业遮挡、扬尘、光照、现场人员与监控摄像机距离较远等等环境因素的干扰。因此，很难将现有的适用于室内的人脸识别技术直接应用于户外场景人脸识别中。因此如何改进人脸识别技术，将视频监控技术与人脸识别技术结合起来，做到真正意义上的非接触式地主动身份识别，从智能化角度满足电力基建施工现场人员管控需要。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提供一种基于深度神经网络的电力施工现场非法人员身份识别方法及系统。
6.本发明解决其技术问题是采取以下技术方案实现的：
7.一种电力施工现场的非法人员身份识别方法，包括如下步骤：
8.步骤一，标记具有不同姿态的电力施工现场中的人脸目标框，获得人脸图片；
9.步骤二，基于标记的人脸图片训练mtcnn网络模型，获取训练好的人脸检测模型；
10.步骤三，获取现有数据库中具有不同姿态的人脸数据集；
11.步骤四，基于获取的人脸数据集，通过修改resnet-101网络结构，实现人脸特征提取模型的训练；
12.步骤五，利用训练好的人脸检测模型和人脸特征提取模型，建立现场施工人员特征库；
13.步骤六，获取待检测的图像，利用训练好的人脸检测模型和人脸特征提取模型提取待检测图像中人脸的特征，形成人脸特征矩阵；
14.步骤七，采用knn和阈值相结合的方法，将形成的人脸特征矩阵与特征库内的人员进行对比，实现人员身份的识别。
15.而且，所述标记电力施工现场中的人脸目标框的方法为：以矩阵或正方形的方式标记图片中的所有人脸区域。
16.而且，所述不同姿态的人脸数据包括不同形式的侧脸、不同光线下的人脸以及不同遮挡下的人脸数据。
17.而且，所述基于标记的人脸图片训练mtcnn网络模型，获取训练好的人脸检测模型的方法为：
18.修改已标注数据的地址、训练的次数以及模型保存路径参数，利用设置的前向传播与反向过程，不断的更新mtcnn模型的参数，当达到预设的训练次数时则训练停止，当前获取的模型为最优的人脸检测模型，模型保存在设置的目录下。
19.而且，所述人脸检测模型是用于检测图像中人脸区域的模型。
20.而且，所述基于获取的人脸数据集，通过修改resnet-101网络结构，实现人脸特征提取模型的训练的方法为：
21.首先需要获取用于训练的人脸数据；
22.选择当前人脸数据集中，具有不同姿态的人脸数据集；
23.获取resnet-101网路结构后，首先去掉网络结构的最后一层，修改为节点为512的全连接层；
24.确定好网络结构后，需要训练获取网络结构的参数；
25.在训练时，首先训练全连接层，然后进行整个网络的训练，实现网络结构的微调；最终获取人脸特征提取模型的所有参数。
26.而且，所述人脸特征提取模型是提取人脸512维的特征。
27.而且，所述利用训练好的人脸检测模型和人脸特征提取模型，建立现场施工人员特征库的方法为：
28.获取需要入库的现场人员的图片，照片的数量可任意选择，并将它们放在不同的文件夹中，文件夹以其内部人员的名字命名；
29.采用人脸检测模型获取人脸的位置，利用人脸识别模型提取所有人脸的特征；
30.mtcnn算法检测到人脸时会给出人脸的位置以及人脸对应的分值，选择该判别阈值为0.96，当分值大于0.96时保留该框，否则舍弃该框；同时如果该图片中检测到的人脸数量大于1时，则放弃该图片，最终以字典的形式保存所有现场人员的人脸特征，形成现场人员特征库；其中字典的键为现场人员的名称，值为该人员的特征序列。
31.而且，所述采用knn和阈值相结合的方法，将形成的人脸特征矩阵与特征库内的人员进行对比，实现人员身份的识别的方法为：
32.首先利用knn技术选择出距离目标样本最近的k个样本，基于k个样本的名称，选择数量最多的样本所对应的名称作为初始判断的名称；
33.然后在对应名称下的p个距离中选择最小距离a，并将a与设置的阈值b进行对比判断是否为库内人员，当小于b时，则为库内人员，否则为非库内人员，进行相应的告警；此处选择k为5，阈值为1.35。
34.一种电力施工现场的非法人员身份识别系统，主要包括人脸检测模块、人脸特征提取模块、人脸特征库建立模块以及人脸判别指标建立模块，其中人脸检测模块用于提取图像中人脸框的位置；人脸特征提取模块用于提取检测到的人脸的特征；人脸特征库建立模块用于通过利用训练好的人脸检测模型和人脸识别模型保存现场人员的人脸特征；人脸判别指标建立模块用于待识别人员与库内人员的精确匹配，当该系统检测到的人员是库内
人员时会显示该人员的名称，否则将进行告警。
35.本发明的优点和积极效果是：
36.为了实现施工现场人员的人脸检测，提高检测的精度。本发明采用mtcnn(multi-task convolutional neural network)算法作为人脸检测的模型，并通过选择合适的阈值，避免无效人脸的检测。在人脸识别算法中，采用resnet网络结构，提取人脸512维的特征，实现人脸更详细特征的提取。为了实现待检测人员与库内人员精确匹配，避免误报警，采用knn(k-nearest neighbor)与阈值相结合的方式实现人员识别，提高识别的精度。
37.本电力施工现场非法人员身份识别方法，结合深度神经网络实现电力现场中人员身份的识别。该方法首先利用训练好的人脸检测模型和人脸特征提取模型，建立人脸特征库。在进行现场检测时，首先检测视频每一帧图像中的人脸，提取人脸的特征，并与特征库中的人脸进行对比，实现人员身份的识别。
38.本发明在训练人脸检测和人脸特征提取模型时均采用了不同姿态的人脸数据，以保证模型的泛化能力。采用mtcnn人脸检测模型提取人脸的特征，并通过修改resnet网络结构，提取512维的人脸特征，实现人脸特征更精细化的提取。同时采用knn与阈值相结合的判别方法，进一步提高了人脸识别的精度。
附图说明
39.图1为本发明人脸识别流程图；
40.图2为本发明判别过程流程图
41.图3为本发明库内人员展示图；
42.图4为本发明非库内人员展示图；
43.图5为本发明侧脸人员展示图；
具体实施方式
44.以下结合附图对本发明的实施例做进一步详述：
45.为了实现人脸识别，首先需要检测到人脸，然后需要提取人脸的特征，并与库内的人员进行对比，确定是否为库内人员。因此，电力施工现场的非法人员身份识别系统主要包括人脸检测模块、人脸特征提取模块、人脸特征库建立模块以及人脸判别指标建立模块，其中人脸检测模块用于提取图像中人脸框的位置；人脸特征提取模块用于提取检测到的人脸的特征；人脸特征库建立模块用于通过利用训练好的人脸检测模型和人脸识别模型保存现场人员的人脸特征；人脸判别指标建立模块用于待识别人员与库内人员的精确匹配，当该系统检测到的人员是库内人员时会显示该人员的名称，否则将进行告警。
46.该人脸检测系统采用了mtcnn算法作为人脸检测的方法，并通过选择合适的阈值，避免无效人脸的检测。在人脸识别算法中，采用resnet网络结构，提取人脸512维的特征，实现人脸更详细特征的提取。为了实现待检测人员与库内人员精确匹配，避免误报警，采用knn与阈值相结合的方式实现人员识别，提高识别的精度。
47.一种电力施工现场非法人员身份识别的整体流程图见图1，包括如下步骤：
48.步骤一，标记具有不同姿态的电力施工现场中的人脸目标框，获得人脸图片；
49.为了训练人脸检测模型，同时提高模型的泛化能力，首先收集电力施工现场具有
不同姿态人脸的图像，并通过鼠标选定脸部区域，形成封闭的的四边形。
50.步骤二，基于标记的人脸图片训练mtcnn网络模型，获取训练好的人脸检测模型；
51.在进行人脸识别时，首先要进行人脸检测。只有检测到人脸，才能进一步提取人脸的特征。深度学习技术的应用提高了人脸检测的精度并实现了人脸检测的自动识别。基于深度学习的人脸检测的模型包括mtcnnmulti-task convolutional neural network(多任务卷积神经网络)和faceboxes。mtcnn将人脸区域检测与人脸关键点检测合在一起，主要采用了三个级联的网络。faceboxes与ssd网络相似，但其在结构上更适合人脸检测。mtcnn人脸检测算法由于是多级连接的形式，因此在检测速度方面相对于faceboxes要慢，但检测精度要比faceboxes高。除此之外，faceboxes算法在进行人脸检测时，对阈值的要求比较高，过高或过低可能会出现漏判或误判的情况。因此采用mtcnn网络作为人脸检测的模型。
52.为了获取人脸检测的模型，需要获取标有人脸数据的图像。因此首先收集电力施工现场具有不同姿态人脸的图像，并通过鼠标选定脸部区域，形成封闭的四边形。利用标记好的数据，训练mtcnn网络模型。训练时修改输入数据的地址、训练的次数以及模型保存路径参数，利用设置的前向传播与反向过程，不断的更新模型的参数，当达到训练的次数时则训练停止，当前获取的模型为最优的人脸检测模型，模型保存在设置的目录下。
53.步骤三获取现有数据库中具有不同姿态的人脸数据集；
54.获取现有人脸数据库中具有不同姿态的人脸数据，包括不同形式的侧脸，不同光线下的人脸以及不同遮挡下的人脸数据，用于人脸特征模型的训练。
55.人脸特征提取技术是利用深度学习技术提取人脸n维的特征作为人脸特征的代表。不同的网络结构以及不同的特征维度将影响最终的检测结果。当前人脸提取特征的网络结构包括vgg、resnet网络。vgg网络结构采用了一种块结构，通过多次重复使用同一大小的卷积核来提取更复杂和更具有表达性的特征。为了解决更复杂的问题，通常需要不断的加深网络结构。但深的网络结构会存在梯度消失和梯度爆炸的问题。而resnet网络解决了该问题，并且在许多应用方面都优于vgg网络。因此在提取人脸特征时采用resnet网络结构。对于人脸的特征维度，当前主要采用128维的数据作为人脸特征的维度。由于人脸受光照等因素的影响，部分特征信息会被掩盖，为了提高人脸识别的精度，采用512维的数据作为人脸的特征数据。
56.resnet网络结构有resnet-50以及resnet-101。为了提高识别的精度，采用resnet-101网络结构。为了获取该模型的参数，首先需要获取用于训练的人脸数据。选择当前人脸数据集中，具有不同姿态的人脸数据集。获取resnet-101网路结构后，首先去掉网络结构的最后一层，修改为节点为512的全连接层。确定好网络结构后，需要训练获取网络结构的参数。在训练时，首先训练全连接层，然后进行整个网络的训练，实现网络结构的微调。最终获取人脸特征提取模型的所有参数。
57.步骤四，基于获取的人脸数据集，通过修改resnet-101网络结构，实现人脸特征提取模型的训练；
58.为了实现人脸识别，在检测到人脸之后，需要提取人脸的特征。当前人脸提取特征的网络结构包括vgg、resnet网络。vgg网络结构采用了一种块结构，通过多次重复使用同一大小的卷积核来提取更复杂和更具有表达性的特征。为了解决更复杂的问题，通常需要不断的加深网络结构。但深的网络结构会存在梯度消失和梯度爆炸的问题。而resnet网络成
功的解决了该问题，并且在许多应用方面均优于vgg网络。除此之外，一般提取人脸特征的维度是128维。为了提高人脸识别的精度，采用resnet网络作为人脸特征提取模型的结构，并提取人脸512维的特征。为了实现人脸特征提取，采用resenet-101网络结构，并去掉网络结构的最后一层，修改为节点为512的全连接层。确定好网络结构后，需要训练获取网络结构的参数。在训练时，首先训练全连接层，然后进行整个网络的训练，实现网络结构的微调。最终获取人脸特征提取模型的所有参数。
59.步骤五，利用训练好的人脸检测模型和人脸特征提取模型，建立现场施工人员特征库；
60.在获取人脸检测模型和人脸特征提取模型之后，就能进行人脸特征库的建立。获取需要入库的现场人员的图片，照片的数量可任意选择，并将它们放在不同的文件夹中，文件夹以其内部人员的名字命名。采用人脸检测模型获取人脸的位置，利用人脸识别模型提取所有人脸的特征。mtcnn算法检测到人脸时会给出人脸的位置以及人脸对应的分值，即可信度，且该分值都比较高。为了避免误判，选择0.96作为判别阈值。即当分值大于0.96时保留该框，否则舍弃该框。同时如果该图片中检测到的人脸数量大于1时，则放弃该图片，最终以字典的形式保存所有现场人员的人脸特征，形成现场人员特征库。其中字典的键为现场人员的名称，值为该人员的特征序列。
61.步骤六，获取待检测的图像，利用训练好的人脸检测模型和人脸特征提取模型提取待检测图像中人脸的特征，形成人脸特征矩阵；
62.获取待检测的图像，利用训练好的人脸检测模型和人脸特征提取模型获取图像中所有人脸的特征，并形成n
×
512的特征矩阵，其中n为图像中人脸的数量。
63.步骤七，采用knn和阈值相结合的方法，将形成的人脸特征矩阵与特征库内的人员进行对比，实现人员身份的识别。
64.为了提高人脸识别的精度，采用knn和阈值对比的方法，实现人员身份的识别。在提取需检测的人脸的特征之后，需要与建立的人脸库进行对比，来确定人员的身份，因此需要建立一种判别指标。当前人脸判别指标是采用阈值判断的方式，即通过与设定阈值比较大小进行人脸判别。但这种处理方式由于只有一个判别指标，且与设定阈值直接相关，因此容易出现误判的情况。为了解决该问题，提高判别的精度，采用knn与阈值判断相结合的方式。首先利用knn技术选择出距离目标样本最近的k个样本，基于k个样本的名称，选择数量最多的样本所对应的名称作为初始判断的名称。然后在对应名称下的p个距离中选择最小距离a，并将a与设置的阈值b进行对比判断是否为库内人员，当小于b时，怎为库内人员，否则为非库内人员，进行相应的告警。此处选择k为5，阈值为1.35。具体实现过程如图2所示。
65.电力施工现场的非法人员身份识别方法及系统，结合深度神经网络实现电力现场中人员身份的识别。该方法首先利用训练好的人脸检测模型和人脸特征提取模型，建立人脸特征库。在进行现场检测时，首先检测视频每一帧图像中的人脸，提取人脸的特征，并与特征库中的人脸进行对比，实现人员身份的识别。本发明在训练人脸检测和人脸特征提取模型时均采用了不同姿态的人脸数据，以保证模型的泛化能力。采用mtcnn人脸检测模型提取人脸的特征，并通过修改resnet网络结构，提取512维的人脸特征，更精细化的提取人脸的特征。同时判别标准采用knn与阈值判断的方法，进一步提高了人脸识别的精度。
66.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序
产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
67.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
68.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
69.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
70.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。