基于表情识别的电力基建现场人员状态管理方法及系统与流程

1.本发明涉及电力基建领域，尤其涉及基于表情识别的电力基建现场人员状态管理方法及系统，具体适用于电力基建现场人员状态管理。


背景技术：

2.在电力行业的基础设施建设过程中，对现场工作人员的管理一般依靠人为检查，现场签到、签退；标准化作业流程作业中，存在大量的数据需要进行分析和管理，同时对建筑施工单位的信息化程度有着极高的要求。目前对于现场人员工作状态无法实时判断。当工作人员处于疲劳状态或者存在负面情绪的时候，工作效率降低且大大增加了安全隐患，对处于负面情绪或者表情的工作人员提醒其休息或者暂停目前工作，能有效降低施工时候的安全事故，而目前缺乏一种能实时检测到现场工作人员的工作状态的有效手段。同时，施工现场存在作业地点分散，施工面积偏大，对散布在各个区域的人员进行管理，工作区域的限定需要人工指挥，且不能使用终端设备对现场进行直接观察和管理等问题，达不到基建智能分析和智慧管理的标准。
3.近年来，互联网大数据和人工智能技术在图像识别、数据分析、模式识别等多个技术领域飞速发展，并取得了丰硕的成果和突破性的进展，但目前面部表情识别主要应用在互联网领域、辅助驾驶领域和信息安全领域，包括人脸认证识别，驾驶员疲劳状况检测和行人检测系统等，在电力建筑安全领域还未有应用先例，而在电力基建现场，工作人员的工作时长和工作状态关系到安全生产，管理人员目前不能实时掌握所有工人的工作状态，管理难度大。因此亟需一种电力基建现场智能管理方法和管理系统，辅助管理人员对现场进行精细化的管理，降低安全隐患，提高管理效率。


技术实现要素：

4.本发明的目的是克服现有技术中存在的工作人员的工作状态关系到安全生产，而管理人员目前不能实时掌握所有工人的工作状态，管理难度大的问题，提供了基于表情识别的电力基建现场人员状态管理方法及系统。
5.为实现以上目的，本发明的技术解决方案是：基于表情识别的电力基建现场人员状态管理方法，所述现场人员状态管理方法包括如下步骤：s1、对电力基建现场进行拍摄；s2、以拍摄图像中的工作人员作为目标，对目标进行捕捉，得到目标图像；s3、提取目标图像中的面部图像；s4、根据提取到的面部图像判断目标的情绪状态是否满足工作要求，若目标的情绪状态不满足工作要求则进行预警提示，若目标的情绪状态满足工作要求则不进行预警提示。
6.所述s2中，得到目标图像后，将目标图像进行灰度化处理。
7.所述s2、以拍摄图像中工作人员作为目标，对目标进行捕捉，得到目标图像包括如下步骤：以拍摄图像中工作人员作为目标，基于目标追踪检测算法生成包围目标的包围框，以包围框为界限对拍摄图像进行首次图像分割，包围框范围内的图像即为目标图像。
8.步骤s2中，所述目标追踪检测算法为ssd算法。
9.所述s3、提取目标图像中的面部图像包括如下步骤：使用haar级联分类器对灰度化处理后的目标图像进行人脸检测，并提取目标图像中的面部图像。
10.所述s4、根据提取到的面部图像判断目标的情绪状态是否满足工作要求包括：根据提取到的面部图像判断目标的表情状态，若目标的表情状态为正面表情，则判断目标的情绪状态满足工作要求；若目标的表情状态为负面表情，则判断目标的情绪状态不满足工作要求。
11.所述s4中据提取到的面部图像判断目标的表情状态包括如下步骤：将提取到的面部图像输入至预先训练好的alexnet网络模型中，alexnet网络模型判断目标的表情状态。
12.所述预先训练好的alexnet网络模型将面部表情状态分为高兴，兴奋、愉快、惊讶、恐惧、厌恶、愤怒、悲伤八种表情，所述高兴，兴奋、愉快为正面表情，所述惊讶、恐惧、厌恶、愤怒、悲伤为负面表情。
13.所述s1、对电力基建现场进行拍摄的同时，根据拍摄到的每一个现场工作人员的进场时间、出场时间和当前时间计算所有现场工作人员的连续工作时长；所述s3、提取目标图像中的面部图像后，根据目标图像内的工作人员的连续工作时长判断其是否处于疲劳工作状态；若目标图像内的工作人员处于疲劳工作状态则进行示警，若目标图像内的工作人员未处于疲劳状态，则进入步骤s4判断目标的情绪状态是否满足工作要求。
14.所述状态管理系统包括：图像采集模块，用于拍摄电力基建现场图像；探测模块，用于对电力基建现场图像中的工作人员进行捕捉，得到目标图像；识别模块，用于对目标图像进行人脸识别，提取目标的面部图像；判断模块，用于根据面部图像判断目标情绪状态是否满足工作要求；显示及预警模块，用于对拍摄到的电力基建现场图像进行显示，同时当检测到电力基建现场的工作人员的情绪状态不满足工作要求，或电力基建现场的工作人员处于疲劳工作状态时，进行预警提示。
15.与现有技术相比，本发明的有益效果为：1、本发明基于表情识别的电力基建现场人员状态管理方法中通过布置图像采集装置，可对电力基建现场进行全方位拍摄，可对散布在各个区域的人员进行管理，相对于传统的人工签到和管理，可实时检测到现场工作人员的工作状态，并由管理系统进行统一的监控和管理，避免由于施工面积偏大、工作人员分散而造成管理混乱，达到基建智能分析和智慧管理的要求。因此，本设计中通过图像采集装置对电力基建现场进行全方位拍摄，对散布在各个区域的人员进行统一管理，达到了基建智能分析和智慧管理的要求。
16.2、本发明基于表情识别的电力基建现场人员状态管理方法中通过目标探测的方
式，以拍摄图像中的工作人员作为目标，对目标进行实时捕捉，可对视频信号中所有的工作人员进行寻找，并基于ssd算法生成包围工作人员的包围框，确定视频信号中所有工作人员的位置，并通过显示与预警模块显示，保证对电力基建现场所有的工作人员进行实时监测，及时对整个电力基建现场的异常进行预警，消除安全隐患。因此，本设计通过对对视频信号中所有的工作人员进行寻找捕捉，及时对整个电力基建现场的异常进行预警，消除安全隐患。
17.3、本发明基于表情识别的电力基建现场人员状态管理方法中以拍摄图像中的工作人员作为目标，对目标进行捕捉，得到目标图像后，对目标图像进行灰度化处理，增强图像特征强度，避免由于彩色图像对面部识别带来的干扰，并通过haar级联分类器进行检测，可准确的提取出目标图像中的面部图像，进而判断被捕捉的工作人员的表情状态，从而判断目标的情绪状态是否满足工作要求，对情绪状态不满足工作要求的工作人员进行预警；同时通过图像拍摄自动记录工作人员的进场、离场时间，计算工作人员的连续工作时长，避免工作人员处于疲劳状态或者带有负面情绪工作，避免影响工作效率，消除安全隐患。因此，本设计中通过对目标进行捕捉，并对捕捉到的目标图像进行处理，可准确提取面部图像并进行判断目标的情绪状态，同时监测工作人员的连续工作时长，消除安全隐患。
附图说明
18.图1是本发明基于表情识别的现场人员状态管理方法的流程图。
19.图2是本发明基于表情识别的现场人员状态管理系统的方框示意图。
20.图3是ssd算法流程图。
具体实施方式
21.以下结合附图说明和具体实施方式对本发明作进一步详细的说明。
22.参见图1至图3，基于表情识别的电力基建现场人员状态管理方法，所述现场人员状态管理方法包括如下步骤：s1、对电力基建现场进行拍摄；s2、以拍摄图像中的工作人员作为目标，对目标进行捕捉，得到目标图像；s3、提取目标图像中的面部图像；s4、根据提取到的面部图像判断目标的情绪状态是否满足工作要求，若目标的情绪状态不满足工作要求则进行预警提示，若目标的情绪状态满足工作要求则不进行预警提示。
23.所述s2中，得到目标图像后，将目标图像进行灰度化处理。
24.所述s2、以拍摄图像中工作人员作为目标，对目标进行捕捉，得到目标图像包括如下步骤：以拍摄图像中工作人员作为目标，基于目标追踪检测算法生成包围目标的包围框，以包围框为界限对拍摄图像进行首次图像分割，包围框范围内的图像即为目标图像。
25.步骤s2中，所述目标追踪检测算法为ssd算法。
26.所述s3、提取目标图像中的面部图像包括如下步骤：使用haar级联分类器对灰度化处理后的目标图像进行人脸检测，并提取目标图像
中的面部图像。
27.所述s4、根据提取到的面部图像判断目标的情绪状态是否满足工作要求包括：根据提取到的面部图像判断目标的表情状态，若目标的表情状态为正面表情，则判断目标的情绪状态满足工作要求；若目标的表情状态为负面表情，则判断目标的情绪状态不满足工作要求。
28.所述s4中据提取到的面部图像判断目标的表情状态包括如下步骤：将提取到的面部图像输入至预先训练好的alexnet网络模型中，alexnet网络模型判断目标的表情状态。
29.所述预先训练好的alexnet网络模型将面部表情状态分为高兴，兴奋、愉快、惊讶、恐惧、厌恶、愤怒、悲伤八种表情，所述高兴，兴奋、愉快为正面表情，所述惊讶、恐惧、厌恶、愤怒、悲伤为负面表情。
30.所述s1、对电力基建现场进行拍摄的同时，根据拍摄到的每一个现场工作人员的进场时间、出场时间和当前时间计算所有现场工作人员的连续工作时长；所述s3、提取目标图像中的面部图像后，根据目标图像内的工作人员的连续工作时长判断其是否处于疲劳工作状态；若目标图像内的工作人员处于疲劳工作状态则进行示警，若目标图像内的工作人员未处于疲劳状态，则进入步骤s4判断目标的情绪状态是否满足工作要求。
31.所述状态管理系统包括：图像采集模块，用于拍摄电力基建现场图像；探测模块，用于对电力基建现场图像中的工作人员进行捕捉，得到目标图像；识别模块，用于对目标图像进行人脸识别，提取目标的面部图像；判断模块，用于根据面部图像判断目标情绪状态是否满足工作要求；显示及预警模块，用于对拍摄到的电力基建现场图像进行显示，同时当检测到电力基建现场的工作人员的情绪状态不满足工作要求，或电力基建现场的工作人员处于疲劳工作状态时，进行预警提示。
32.本发明的原理说明如下：本方法的流程图如图1所示， s1、对电力基建现场进行拍摄，即通过图像采集模块，对电力基建现场的图像进行采集，所述图像采集模块可以是高清摄像头，高清摄像头拍摄的数据实时传输给探测模块，传输方式为apn专网通道，高清摄像头拍摄的影像可随时截图，截图的存储格式为jpg，长边不小于1000像素，短边不小于800像素，分辨率为96dpi。单张巡检图像（含视频图像）中宜显示目标设备区域的细节信息，减少被拍摄目标或设备相互遮挡的情况，视频文件应按需截取图像，另存为图片文件进行标注。高清摄像头可以是球型摄像机，也可以是手机摄像头，当现场不具备架设球型摄像机的环境时，可以使用手机进行图像采集。
33.图像采集模块对电力基建现场的图像进行采集的同时还可以记录每个现场工作人员进入现场、离开现场的时间，当检测到该工作人员的人脸图像时，可根据该工作人员进入现场的时间和当前时间计算出其连续工作时长，当其连续工作时长大于等于设定时间时，判断该名工作人员处于疲劳工作状态，此时显示及预警模块进行预警；若其连续工作时长小于设定时间时，判断该名工作人员并未处于疲劳工作状态，进而进入步骤s4，对该名工作人员的情绪状态进行判断。
34.s2、以拍摄图像中工作人员作为目标，基于目标追踪检测算法生成包围目标的包围框，以包围框为界限对拍摄图像进行首次图像分割，包围框范围内的图像即为目标图像，再对目标图像进行灰度化处理；所述目标追踪检测算法为ssd（single shot multibox detector）算法，探测模块接收到拍摄到的图像信号后，基于ssd算法对图像信号中的现场工作人员进行捕捉：如图3所示，基于ssd算法生成包围现场工作人员的矩形包围框，包围框内的图像即为目标图像。
35.s3、使用haar级联分类器对灰度化处理后的目标图像进行人脸检测，并提取目标图像中的面部图像。所述haar级联分类器是基于haar特征的强分类器，将多个分类器串联起来组合成强分类器，对于人员面部表情的识别，需要强分类器来正确探测目标。强分类器，能够探测到目标的眼、鼻、口等重要特征，用于区分人脸和非人脸；使用筛选式级联把强分类器级联在一起，可提高检测准确度。
36.所述识别模块可以包括haar级联分类器， haar级联分类器对灰度化处理后的目标图像进行人脸检测包括如下步骤：a、提取区域haar特征：计算区域内白色像素和灰色像素之间的差异，得到区域haar特征，区域haar特征通过级联后组成haar级联分类器；b、通过步骤a中的haar级联分类器提取目标图像中相应的haar特征，检测图片中的人脸区域，提取目标图像中的面部图像；提取图片中相应的haar特征需要计算包含在图像区域中的区域像素值的总和，为降低计算量，使用积分图像对图片中的像素值进行处理。通过haar特征和积分图像可快速检测出图片中的人脸区域。
37.提取出目标图像中的人脸图像之前需要将目标图像灰度化，以增强图像特征强度，避免由于彩色图像对后续的人脸识别带来的干扰。
38.s4、将提取到的人脸图像输入至预先训练好的预先训练好的alexnet网络模型中，得到目标的表情状态，所述预先训练好的卷积神经网络模型将面部表情状态分为高兴，兴奋、愉快、惊讶、恐惧、厌恶、愤怒、悲伤八种表情，其中高兴，兴奋、愉快归为一个大类，即正面表情，惊讶、恐惧、厌恶、愤怒、悲伤归为一个大类，即负面表情，所述负面表情的具体特征如下：惊讶：眉毛抬起，皱纹横跨额头，眼睛变大，嘴张开；恐惧：眉皱一起，上眼睑抬起，嘴微张；厌恶：眉压低，下眼皮出现横纹，上唇抬起，鼻皱；愤怒：眉皱并压低，眼变大并鼓起，鼻孔变大，唇紧闭；悲伤：眉内皱，上眼皮抬高，嘴角下拉。
39.若目标的表情状态为正面表情，则判断目标的情绪状态满足工作要求，此时不进行预警提示；若目标的表情状态为负面表情，则判断目标的情绪状态不满足工作要求；此时进行预警提示。所述显示及预警模块可以包括蜂鸣器及设置于控制室内的显示器，通过蜂鸣器等装置对工作人员的异常情绪状态进行预警，通过控制室内的显示器可对整个电力基建现场的情况进行显示。
40.实施例1：
基于表情识别的电力基建现场人员状态管理方法，所述现场人员状态管理方法包括如下步骤：s1、对电力基建现场进行拍摄；s2、以拍摄图像中工作人员作为目标，基于目标追踪检测算法生成包围目标的包围框，以包围框为界限对拍摄图像进行首次图像分割，包围框范围内的图像即为目标图像，再对目标图像进行灰度化处理；所述目标追踪检测算法为ssd算法；s3、使用haar级联分类器对灰度化处理后的目标图像进行人脸检测，并提取目标图像中的面部图像。；s4、将提取到的人脸图像输入至预先训练好的卷积神经网络模型中，得到目标的表情状态，所述预先训练好的卷积神经网络模型将面部表情状态分为高兴，兴奋、愉快、惊讶、恐惧、厌恶、愤怒、悲伤八种表情，所述高兴，兴奋、愉快为正面表情；所述惊讶、恐惧、厌恶、愤怒、悲伤为负面表情；若目标的表情状态为正面表情，则判断目标的情绪状态满足工作要求；若目标的表情状态为负面表情，则判断目标的情绪状态不满足工作要求；若目标的情绪状态不满足工作要求则进行预警提示，若目标的情绪状态满足工作要求则不进行预警提示。
41.基于表情识别的电力基建现场人员状态管理系统，所述人员状态管理系统包括：图像采集模块，用于拍摄电力基建现场图像；探测模块，用于对电力基建现场图像中的工作人员进行捕捉，得到目标图像；识别模块，用于对目标图像进行人脸识别，提取目标的人脸图像；判断模块，用于根据人脸图像判断目标情绪状态是否满足工作要求；显示及预警模块，用于对拍摄到的电力基建现场图像进行显示，同时当检测到电力基建现场的工作人员的情绪状态不满足工作要求，或电力基建现场的工作人员处于疲劳工作状态时，进行预警提示。
42.实施例2：实施例2与实施例1基本相同，其不同之处在于：所述s1、对电力基建现场进行拍摄的同时，根据拍摄到的每个现场工作人员的进场时间、出场时间和当前时间计算现场每个现场工作人员的连续工作时长；所述s3、提取目标图像中的人脸图像后，根据目标图像内的工作人员的连续工作时长判断其是否处于疲劳工作状态；若目标图像内的工作人员处于疲劳工作状态则进行示警，若目标图像内的工作人员未处于疲劳状态，则进入步骤s4判断目标的情绪状态是否满足工作要求。
43.以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。