一种长距离人脸定位识别算法及巡检机器人

1.本发明属于电力作业现场安全管控技术领域，尤其涉及以沿地线巡检机器人为载体的长距离人脸定位识别算法。


背景技术：

2.传统的现场安全管控基本依靠人工的监护和稽查，安全监督人员数量有限，且存在效率低、作业周期长、精准度差、漏查情况严重等问题。因此，利用设备逐步代替人工进行安全管控已成为电力行业的最新趋势。沿地线巡检机器人可有效解决上述人工监督的问题，并大幅降低电力运维成本。
3.近年来，由于未授权人员进入作业现场产生了一定的隐患，输电线路安全管控中的人员资信审核问题已引起了研究人员的高度重视。尽管目前输电线路施工现场基本上能保证视频监控系统全覆盖，但并未专门设置人脸识别功能。如何利用沿地线巡检机器人这个载体，通过长距离人脸定位识别完成对电力作业人员的资信审核就成了该领域亟待解决的问题。


技术实现要素：

4.针对现有技术的缺陷，本发明所要解决的技术问题就是提供一种长距离人脸定位识别算法，通过长距离人脸定位识别完成对电力作业人员的资信审核。
5.为解决上述技术问题，本发明采用如下技术方案：
6.一种长距离人脸定位识别算法，采集现场图像后执行如下步骤：
7.首先，进行图像预处理以改善图像质量，处理后的图像经过人脸检测后，输出与每张图像对应的2d提取框的坐标和大小；
8.然后，对每个所述2d提取框中的人脸进行人脸特征提取，并通过资信库匹配及排班检查实现所提取人脸特征与人脸特征库的特征匹配及排班检查。
9.优选的，所述图像预处理采用基于中值滤波和高斯滤波的频率域图像增强法。
10.优选的，所述人脸检测基于retinaface算法实现。
11.优选的，所述特征提取基于insightface算法实现，采用深度卷积神经网络，通过姿态正则化，将人脸图像变成一个类内距离小而类间距离大的特征。
12.优选的，所述资信库匹配及排班检查，首先将从图像中提取到的人脸特征与人脸特征库中特征一一匹配，并返回匹配度最高的图像所对应的身份信息，然后对该信息对应的排班表进行核查，确定现场是否符合既定的排班要求。
13.优选的，所述资信库匹配及排班检查在沿地线巡检机器人本体完成，仅将最后结果反馈给云服务器，并在发现异常时向云服务器发送报警信息和现场照片。
14.本发明还提供了一种巡检机器人，包括可见光采集设备、处理器和存储器，所述可见光采集设备用于采集图像，所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行所述的一种长距离人脸定位识别算法。
15.本发明采用的技术方案，在搭载可见光采集设备的沿地线巡检机器人上内嵌长距离人脸定位识别算法，与云服务器相连接，可在检修现场20-30米处，对电力现场的作业人员进行资信审核，若发现未授权作业人员，则向云服务器报警并上传现场的照片。
16.本发明采用的具体技术方案及其带来的有益效果将会在下面的具体实施方式中结合附图中予以详细的揭露。
附图说明
17.下面结合附图和具体实施方式对本发明作进一步描述：
18.图1是本发明一种长距离人脸定位识别算法的算法流程图。
19.图2是本发明中人脸检测模块的结构框图。
具体实施方式
20.下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明，但下述实施例仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例，都属于本发明的保护范围。
21.实施例一
22.参阅图1，一种长距离人脸定位识别算法，采集现场图像后执行如下步骤：图像预处理、人脸检测、特征提取、资信库匹配及排班检查。
23.首先从可见光采集设备中按照既定程序实时采集图像，然后进行图像预处理以改善图像质量。处理后的图像经过人脸检测后，输出与每张图像对应的2d提取框的坐标和大小。然后，对每个所述2d提取框中的人脸进行人脸特征提取，并通过资信库匹配及排班检查实现所提取人脸与人脸特征库的特征匹配及排班检查。检查结果通过4g/5g网络与云服务器进行交互，并在发现异常时向云服务器报警。
24.图像采集硬件上由搭载于沿地线巡检机器人上的可见光采集设备实现，软件上的逻辑控制由巡检机器人实现。巡检机器人根据预设的规则调整图像采集的分辨率和采集帧率，并将修改后的采集命令通过串口发送至可见光采集设备上，控制其工作。
25.进行所述图像采集时，沿地线巡检机器人通过内置的单目相机测距算法和机器人运动控制算法，与现场作业人员保持20-30米的距离，避免影响作业安全，同时沿地线巡检机器人上所搭载的旋转云台将自动调整可见光采集设备的方位角，以获得最佳的图像采集角度。
26.图像预处理目的在于增强图像中的有效信息，改善图像视觉效果，以应对室外不同的光照条件和气候条件。图像预处理有许多种方法，在本发明中采用了基于中值滤波和高斯滤波的频率域图像增强法，分别抑制图像中的脉冲噪声和高斯噪声，改善图像质量。其中，高斯滤波的算子是二维高斯分布：
[0027][0028]
式中，μ为高斯均值通常取0，σ为标准差，在高斯滤波中体现为滤波通道宽度。本发明还引入了暗光增强算法，在自然光不足的场景中，对图像亮度进行补偿。
[0029]
如图2所示，人脸检测基于retinaface算法实现，其结构包含了resnet、特征金字
塔、上下文模块和多任务学习。人脸检测开始时，resnet根据预处理后的图像产生5-6个残差层，传入特征金字塔模块。
[0030]
特征金字塔模块对resnet产生的残差层使用自上而下和横向连接，得到下面4个金字塔层，最上层通过对第二残差层进行以步幅2进行3
×
3卷积得到。
[0031]
上下文模块跟在五个特征金字塔层后面，使用可变卷积网络来增强在欧几里得网格中的感受域和刚性上下文建模的能力，增加了算法对长距离条件下采集图像的人脸检测能力。
[0032]
多任务学习阶段将计算上下文模块中每个锚点的多任务损失函数l：
[0033][0034]
式中，pi为第i个锚点是人脸的预测概率，为1时表示阳性锚点，为0时表示阴性锚点，l
cls
函数为人脸分类损失函数，选择了二分类问题中的softmax函数；ti和ti*分别表示预测框的坐标和阳性锚点的真值框的坐标，人脸框回归损失函数其中r是鲁棒损失函数(smooth-l1)；li和li*分别表示预测的五面部特征点和与阳性锚点关联的真值，五面部特征点回归损失函数l
pls
(li,li*)基于锚点中心进行目标归一化；密集回归损失函数l
pixel
表达式如下：
[0035][0036]
式中，w和h分别为锚点框的宽和高，是根据有色网格相机参数p
cam
和照明条件p
ill
计算出的2d提取框。
[0037]
retinaface算法在针对特定数据集进行训练后，将会得到更为鲁棒的检测效果。因此在实际投入运行前，应当先采集一定数量的输电线路场景下的待识别图像，借助智能标注工具进行手工标注后，制作适用于电力作业现场人脸检测的数据集。数据集里中远距离的图像应占总数据的60％以上，以使算法进行长距离检测有更好的适应性。
[0038]
特征提取基于insightface算法实现，采用深度卷积神经网络(deep convolutional neural network，dcnn)，通过姿态正则化，将人脸图像变成一个类内距离小而类间距离大的特征。特征提取在传统的softmax损失函数中引入了角度边距，增强了算法的识别能力。损失函数表达式为：
[0039][0040]
其中，n表示训练的批尺寸，s是对深度特征进行l2正则修正并缩放后的结果，θj为权重与深度特征之间的角度，m为权重与深度特征之间附加的角度余量惩罚，也等于归一化超球面上的测地线距离惩罚。
[0041]
特征提取最终输出人脸图像的嵌入特征，该特征维度定为512。与人脸检测相同，特征提取应在实际投入运行前，使用电力作业现场人脸检测数据集进行训练，以进一步提高算法性能。
[0042]
人脸特征库是在输入所有员工证件照后利用人脸检测和特征提取生成的。该人脸
特征库在规模较小时存储于沿地线巡检机器人的可存储介质中，当规模较大并影响匹配效率时，可存储于云服务器中作在线匹配。
[0043]
资信库匹配及排班检查，首先将从现场拍摄照片中提取到的人脸特征与人脸特征库中特征一一匹配，并返回匹配度最高的照片所对应的身份信息，然后对该信息对应的排班表进行核查，确定现场是否符合既定的排班要求。
[0044]
资信库匹配及排班检查通常于沿地线巡检机器人本体完成，仅将最后结果反馈给云服务器，或在发现异常时向云服务器发送报警信息和现场照片。当人脸特征库由于规模较大，移至云服务器时，资信库匹配及排班检查亦移至云服务器上进行，待操作完成后，云服务器向沿地线巡检机器人回传匹配信息。
[0045]
沿地线巡检机器人与云服务器之间的交互方式采用4g/5g网络。
[0046]
综上所述，本发明借助搭载有可见光采集设备的沿地线巡检机器人，通过图像采集、图像预处理、人脸检测、特征提取、资信库匹配及排班检查等五个步骤，利用4g/5g网络与云服务器进行数据交换，实现了电力作业现场人员的长距离人脸定位识别、完成了对电力作业人员的资信审核，加快了智能电网的建设，提高了输电线路运维工作的规范性和安全性。
[0047]
实施例二
[0048]
一种巡检机器人，包括可见光采集设备、处理器和存储器，所述可见光采集设备用于采集图像，所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行实施例一所述的一种长距离人脸定位识别算法。
[0049]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。