基于视觉学习的居配工程现场试验数字化管理系统及方法与流程

1.本发明属于电力行业安全技术领域，更具体地，涉及基于视觉学习的居配工程现场试验数字化管理系统。


背景技术：

2.随着小区住宅的不断建设，新建小区中供电以及配电房的安全稳定运行是保障新建小区能够正常投入使用的基础和前提条件，因此，必须重视居民配电房的建设，其安全施工过程就尤为重要。
3.长期以来，配电房施工过程中的监管工作一直是居民配电房建设的薄弱环节之一，虽然绝大多数配电房都制定有安全管理制度，但是在施工过程中，外部人员在未经许可情况下非法进入配电房、施工人员施工过程违规操作等情况时有发生，给配电房的设备安全以及进入人员的人身安全带来很大的安全隐患。电力公司虽已构建起以作业计划管控为龙头、以风险防范为核心、以现场监察为抓手的作业现场安全管控机制，但由于居民配电房处于电网末端，之前的一些智能化、信息化系统很难覆盖。
4.居民配电房现场工程施工作业的管理中，切实存在着诸如安全管理信息化水平低、安全监察力量不足、流程化管控薄弱、缺乏痕迹化管理手段等一系列难题，具有比较严重的安全隐患。因此，确保现场作业安全、监察现场按规操作、破解安全监管难题、提高现场作业安全风险管控能力，已然成为亟需解决的问题。


技术实现要素：

5.为解决现有技术中存在的不足，本发明的目的在于，提供基于一种基于视觉学习的居配工程现场试验数字化管理系统，旨在解决居民配电房现场施工作业过程中的安全管理信息化水平低、安全监察力量不足、流程化管控薄弱、缺乏痕迹化管理手段等痛点问题，进而实现作业现场安监全覆盖、施工全过程管控以及智能化安全监察管理。
6.本发明采用如下的技术方案。本发明的第一方面提供了一种基于视觉学习的居配工程现场试验数字化管理系统，包括：采集终端层1、网络层2、平台层3和应用服务层4；其中，
7.所述采集终端层1，部署于配电房内，用于采集人体、人脸以及各配电柜视频数据，并将采集到的视频数据通过网络层2传输；
8.所述网络层2用于采集终端层1和平台层3之间的网络连接和数据传输；
9.平台层3，用来接收采集终端层1采集到的视频数据，并将视频数据进行存储管理，根据视频数据类型基于视觉学习进行智能分析、风险预警并生成事件记录；
10.所述应用服务层4用于在后台的录像分析与处理、与第三方平台操作的数据分析以及风险预警模型展示。
11.优选地，采集终端层1包括：布控球101、布控枪、执法记录仪102或视频记录仪中的至少一种；
12.所述布控球101安装于所述配电房内正对配电房进门的位置或所述配电房内可监控到整个配电房的位置；所述布控枪或执法记录仪102被佩戴在现场施工人员胸前位置，且可覆盖配电柜体。
13.优选地，所述网络层2提供专用apn通道和4g/5g卡，通过防火墙接入用于采集终端层1和平台层3之间的网络连接和数据传输。
14.优选地，平台层3包括：视频平台子系统、数据存储子系统和ai识别分析引擎子系统；
15.所述视频平台子系统用于设备管理、实时预览、视频录像及存储、录像回放、录像下载、云台控制以及位置获取；
16.所述数据存储子系统用于对象存储、非关系型数据存储以及关系型数据存储；
17.所述ai识别分析引擎子系统用于身份认证、人员倒地检测、配电柜识别以及安全帽识别分析。
18.优选地，所述ai识别分析引擎子系统使用深度学习算法，包括：人脸向量特征值比对、人体骨架检测、openpose姿态分析和小目标识别，并集成到ai引擎架构中。
19.优选地，所述ai引擎架构自下而上分为算法模型层、工程化封装层、算法sdk层；所述算法模型层与工程化封装层，以进程形式运行在gpu计算卡内，算法sdk层则作为操作系统层面的服务进程运行在cpu内。
20.优选地，所述应用服务层4，包括业务后台和web前端。
21.优选地，所述业务后台整体按分布式微服务架构进行设计，基于ssm框架搭建开发；
22.所述web前端则根据系统需求，利用视频预览技术、echarts仪表盘技术、gis地图、html5等各种主流前端技术实现前端展示页面，客户端用户通过浏览器进行访问和操作。
23.本发明的第二方面提供了一种基于视觉学习的居配工程现场试验数字化管理方法，运行在所述的基于视觉学习的居配工程现场试验数字化管理系统上，包括以下步骤：
24.步骤1，将采集终端层1部署于配电房内实时采集人体，人脸以及各配电柜视频数据；
25.步骤2，经由网络层2传输采集终端层1采集到的视频数据，并发送给平台层3；
26.步骤3，平台层接收视频数据执行试验过程中风险预警分析；
27.步骤4，平台层3将分析结果传输到应用服务层4进行展示。
28.优选地，步骤3具体包括：
29.步骤3.1，执行多算法融合身份认证，所述多算法融合是指在传统人脸识别的基础之上，将基于深度学习技术的ssd目标检测算法，facenet算法和senet算法相融合；
30.步骤3.2，执行人员倒地检测，基于openpose和cnn网络的人员跌倒监测算法，当工作人员骨骼点连线处于摄像机垂直位置，则认定该区域疑似发生人员倒地；
31.步骤3.3，执行配电柜识别，通过信息采集设备抓拍现场设备图，智能识别出试验人员正在试验的设备信息；
32.步骤3.4，执行安全帽识别，如试验人员在试验现场执行试验时未佩戴安全帽，则认定该试验人员为未佩戴安全帽。
33.优选地，步骤3.1包括：
34.步骤3.1.1，视频流实时采样过滤，进行人脸抓拍检测，并进行初始化；
35.步骤3.1.2，初始化结束之后，先调用基于ssd算法的人脸检测模型，进行人脸检测，对齐和分类；
36.步骤3.1.3，然后调用加载好的基于facenet的人脸识别模型，从中提取人脸特征信息，保存在数据库；
37.步骤3.1.4，将对输入的人脸图像提取体征值后，按照facenet算法计算与数据库中已经注册存储的人脸的空间距离；
38.步骤3.1.5，人脸识别模块在完成上述的步骤后，调用加载好的基于senet的人脸关键点定位模型，计算出相似度，并进行归一化处理，若相似度超过预定的阈值，则判定该注册人脸与抓拍人脸未同一人，向业务系统输出该信息，如相似度低于预定的阈值，则判定未找到注册人脸，忽略该人脸抓拍数据。
39.优选地，步骤3.2包括：
40.步骤3.2.1，姿态特征提取；
41.步骤3.2.2，采用vgg网络作为骨架的openpose网络结构进行视觉学习预训练处理。
42.步骤3.2.3，跌倒关键点数据获取，本实施例综合vgg预训练网络与pafs匹配算法，可以得到效果较好的人体离散关键点数据，并将全身特征姿态生成树的关键位置检测点数据写入json格式文件。
43.步骤3.2.4，跌倒特征值计算，基于位置姿态特征的静态判别法和基于速度姿态信息的动态判别法的摔倒行为识别。
44.优选地，步骤3.3包括：
45.步骤3.3.1，通过施工人员随身佩戴的执法记录仪所拍摄的视频获取实时视频数据，获取视频流中的每一帧图像数据；
46.步骤3.3.2，图像预处理，用阈值分割法把图片上每个像素二值化，像素红绿蓝在一定范围内置成白色，反之黑色；
47.步骤3.3.3，分割及训练，将各形式配电柜字体及标签进行分割，进行视觉学习识别训练；
48.步骤3.3.4，配电柜识别模型的目标检测，对每间隔n帧利用柜体识别模型进行一次柜体目标的识别检测，识别出柜体标签，其中n根据实际环境可调节；
49.步骤3.3.5，对于检测到的配电柜和标签分析其关联性，然后分组，仅保留有关联关系的柜体和标签；
50.步骤3.3.6，目标数据输出：上面分析后得到的2组数据分别输出给业务系统做后续的处理。
51.优选地，步骤3.4包括：
52.步骤3.4.1，数据采集，通过信息采集设备所拍摄的视频获取实时视频数据，获取视频流中的每一帧图像数据。
53.步骤3.4.2，信息加工与预处理，对获取视频流中的每一帧图像数据进行标注，分类等预处理操作；
54.步骤3.4.3，特征抽取，特征抽取分为人体判别和安全帽跟踪两部分。
55.步骤3.4.4，目标识别，在人体判别的基础上，通过对安全帽位置的预估和安全帽像素统计分析，实现安全帽的检测识别，同时对所选神经网络适应性调整与训练。
56.本发明的有益效果在于，与现有技术相比，提供了基于视觉学习的居配工程现场试验数字化管理系统，该体系对居配工程试验抽检现场作业进行全过程记录，对作业区域作业视频的进行智能检测与分析，实现对电力施工过程的实时监测，实时动态反馈作业人员的身份、安全护具佩戴状态、作业姿势、非法闯入、权限、操作顺序等信息，对违规操作现象自动报警、及时提醒并在后台产生记录，最大程度地减少违章作业情况的发生，有效提升作业人员的自我安全保护意识，提高安全监督人员的工作效率，有效监控现场作业过程。该体系可以满足对居住区配电房现场试验的全程监督、过程管理、风险识别等要求，从而不断提高小区物业对配电的满意度，为供电公司在社会上树立良好的口碑进行助力。
附图说明
57.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
58.图1是本发明实施例的应用架构示意图。
59.图2是本发明实施例的人脸识别模型示意图。
60.图3是本发明实施例的基于速度特征的跌倒算法流程图。
具体实施方式
61.下面结合附图对本技术作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本技术的保护范围。
62.如图1所示，本发明的实施例1提供了一种基于视觉学习的居配工程现场试验数字化管理系统：包括采集终端层1、网络层2、平台层3和应用服务层4。
63.采集终端层1，部署于配电房内，用于采集人体、人脸以及各配电柜视频数据，并将采集到的视频数据通过网络层2传输。
64.在本发明优选但非限制性的实施方式中，采集终端层1包括：满足居配现场实时作业监控的便携式移动安监终端，例如但不限于，布控球101、布控枪、执法记录仪102或视频记录仪中的至少一种。
65.更优选地，布控球101摆放在施工现场空旷处，进一步优选地，所述布控球101安装于所述配电房内正对配电房进门的位置或所述配电房内可监控到整个配电房的位置；所述布控枪或执法记录仪102被佩戴在现场施工人员胸前位置，且可覆盖配电柜体。
66.更优选地，所述便携式移动安监终端支持双tf卡存储以及双3g、4g/5g网络接入，可实时记录现场施工人员状态及设备状态，并将采集到的视频数据传输到平台层3。进一步优选地，布控球101和布控枪一般由专用apn(access point name)通道和4g/5g卡实现无线传输，通过防火墙接入即可。
67.网络层2，提供专用apn通道和4g/5g卡，可实现采集终端层1和平台层3之间的网络连接和数据传输，通过防火墙接入即可，用来传输采集终端层1采集到的视频数据，并发送
给平台层3。
68.平台层3，用来接收采集终端层1采集到的视频数据，并将视频数据进行存储管理，根据视频数据类型进行智能分析、风险预警并生成事件记录，所述事件记录会在应用服务层4做集中展示。
69.平台层3包括：视频平台子系统、数据存储子系统和ai识别分析引擎子系统。
70.更具体地，所述视频平台子系统用于设备管理(接入)、实时预览、视频录像及存储、录像回放、录像下载、云台控制以及位置获取。
71.所述设备管理(接入)是指支持前端设备的添加、删除、修改、启用停用；所述实时预览是指支持前端设备的音视频流的拉取，解码、http转发。
72.所述视频录像及存储是指支持音视频流数据格式转存录像，支持主流视频文件格式，在格式转换的同时实现视频的压缩。
73.所述录像回放、下载是指支持按设备、起止时间点播录像、下载功能；所述云台控制是指支持带有云台的相机的云台人工转向、预制位设置、转向转向预置位、巡航控制。
74.所述位置获取是指对带有gps定位功能设备，支持获取经纬度信息，并上报平台。
75.更具体地，所述数据存储子系统用于对象存储、非关系型数据存储以及关系型数据存储。
76.所述对象存储为对图片、短视频的存储，本发明采用ceph对象存储方案。
77.所述非关系型数据存储用到mongodb、ssdb、redis存储方式。
78.所述关系型数据存储主要包含业务数据和配置数据的存储，本发明专利选用mysql来存取系统的关系型数据。
79.所述ai识别分析引擎子系统用于身份认证、人员倒地检测、配电柜识别以及安全帽识别分析等。
80.更具体地，所述分析使用人脸向量特征值比对、人体骨架检测、openpose姿态分析和小目标识别等深度学习算法，并集成到ai引擎架构中。
81.进一步，所述ai引擎架构自下而上分为算法模型层、工程化封装层、算法sdk层；所述算法模型层与工程化封装层，以进程形式运行在gpu计算卡内，算法sdk层则作为操作系统层面的服务进程运行在cpu内。
82.应用服务层4用于在后台的录像分析与处理、与第三方平台操作的数据分析以及风险预警模型展示。
83.所述应用服务层4，包括业务后台和web前端。
84.所述业务后台整体按分布式微服务架构进行设计，基于ssm框架搭建开发。
85.按照微服务架构原则，将业务处理划分成一组小的服务，每个服务运行在其独立的进程中，服务和服务间采用轻量级的通信机制(restful api)互相沟。通过服务之间互相协调、互相配合，为用户提供最终价值，利用分布式微服务中间件工具，实现微服务的有效管理、联结、调用，保证微服务的健壮性和鲁棒性。
86.所述web前端则根据系统需求，充分利用视频预览技术、echarts仪表盘技术、gis地图、html5等各种主流前端技术实现前端展示页面，客户端用户通过浏览器进行访问和操作。
87.在本发明进一步优选但非限制性的实施方式中，web业务应用子系统，包括web前
端和业务后台。所述web前端是指利用各种主流前端技术实现设计互优秀的前端展示页面，所述主流前端技术包括视频预览技术、echarts仪表盘技术、gis地图、html5等；所述业务后台按分布式微服务架构进行设计，基于ssm框架搭建开发。
88.如图2、3所示，本发明的实施例2提供了基于视觉学习的居配工程现场试验数字化管理方法，所述方法运行在所述基于视觉学习的居配工程现场试验数字化管理系统上，包括以下步骤：
89.步骤1，将采集终端层1部署于配电房内实时采集人体，人脸以及各配电柜视频数据。在本发明优选但非限制性的实施方式中，步骤3具体包括：
90.将所述布控球101安装于所述配电房内正对配电房进门的位置或所述配电房内可监控到整个配电房的位置；将所述布控枪或执法记录仪102被佩戴在现场施工人员胸前位置，且可覆盖配电柜体。
91.步骤2，经由网络层2传输采集终端层1采集到的视频数据，并发送给平台层3；
92.步骤3，平台层接收视频数据执行试验过程中风险预警分析，
93.在本发明优选但非限制性的实施方式中，步骤3具体包括：
94.步骤3.1，执行多算法融合身份认证，所述多算法融合是指在传统人脸识别的基础之上，将基于深度学习技术的ssd目标检测算法，facenet算法和senet算法相融合，对传统的人脸识别进行了改进和优化，提升了身份认证的效率和准确率，其准确率可达98.7％，
95.该模型主要实现场景为：作业场地存在非授权作业人员在场情况，截取照片和视频放入作业分类
‑‑‑
疑似未授权人员进场分类；作业场地授权作业人员到岗情况，作业人员未到齐，截取视频放入告警视频
‑‑‑
任务人员未到岗分类。
96.进一步优选地，步骤3.1包括：
97.步骤3.1.1，视频流实时采样过滤，进行人脸抓拍检测，并进行初始化；
98.步骤3.1.2，初始化结束之后，先调用基于ssd算法的人脸检测模型，进行人脸检测，对齐和分类；
99.步骤3.1.3，然后调用加载好的基于facenet的人脸识别模型，从中提取人脸特征信息，保存在数据库；
100.步骤3.1.4，将对输入的人脸图像提取体征值后，按照facenet算法计算与数据库中已经注册存储的人脸的空间距离；
101.步骤3.1.5，人脸识别模块在完成上述的步骤后，调用加载好的基于senet的人脸关键点定位模型，计算出相似度，并进行归一化处理，若相似度超过预定的阈值，则判定该注册人脸与抓拍人脸未同一人，向业务系统输出该信息，如相似度低于预定的阈值，则判定未找到注册人脸，忽略该人脸抓拍数据。
102.步骤3.2，执行人员倒地检测，本实施例提供了一种基于openpose和cnn网络的人员跌倒监测算法，当工作人员骨骼点连线处于摄像机垂直位置，则认定该区域疑似发生人员倒地。
103.进一步优选地，步骤3.2包括：
104.步骤3.2.1，姿态特征提取：
105.(a)输入一个w
×
h的彩色人物图像；
106.(b)前馈网络对检测目标的关键点位置进行预测，并得到其二维置信度映射s以及
一组2d矢量向量场l；
107.(c)用s和l来编码检测目标各部间的关联向量场；
108.(d)通过置信度分析检测目标的亲和向量场，最终标示出所有检测目标的2d关键点。
109.其中：
110.s＝(s1,s1,
…
,sj),sj∈rw×h,j∈{1,2,
…
,j}
111.表示需对每个关键点位置进行j次预测，有j个置信图。
112.l＝(l1,l1,
…
,lc),lc∈rw×h×2,c∈{1,2,
…
,c}
113.表示每次预测对检测目标的每个肢体都会得到c个向量场。
114.步骤3.2.2，采用vgg网络作为骨架的openpose网络结构进行视觉学习预训练处理。
115.步骤3.2.3，跌倒关键点数据获取，本实施例综合vgg预训练网络与pafs匹配算法，可以得到效果较好的人体离散关键点数据，并将全身特征姿态生成树的关键位置检测点数据写入json格式文件。
116.步骤3.2.4，跌倒特征值计算，本实施例综合了基于位置姿态特征的静态判别法和基于速度姿态信息的动态判别法的摔倒行为识别方法。
117.这种基于位置姿态特征的静态特征识别方法以颈部和脚部的高度差值以及间隔为10帧的前后两帧的颈部高度差作为判定参数，适用于识别正向的前摔，横摔以及侧向的前摔，横摔。
118.同时引入基于速度姿态的跌倒特征识别方法，该方法主要参考运动目标的颈部位置关键点坐标纵向帧间速度差值，其大体方法流程如图3所示。
119.步骤3.3，执行配电柜识别，通过信息采集设备抓拍现场设备图，智能识别出试验人员正在试验的设备信息。
120.进一步优选地，步骤3.3包括：
121.步骤3.3.1，通过施工人员随身佩戴的执法记录仪所拍摄的视频获取实时视频数据，获取视频流中的每一帧图像数据；
122.步骤3.3.2，图像预处理，用阈值分割法把图片上每个像素二值化，像素红绿蓝在一定范围内置成白色，反之黑色。
123.步骤3.3.3，分割及训练，将各形式配电柜字体及标签进行分割，进行视觉学习识别训练。
124.步骤3.3.4，配电柜识别模型的目标检测，对每间隔n帧利用柜体识别模型进行一次柜体目标的识别检测，识别出柜体标签，其中n根据实际环境可调节。
125.步骤3.3.5，对于检测到的配电柜和标签分析其关联性，然后分组，仅保留有关联关系的柜体和标签。其中对于保留的柜体标签目标，会使用ocr再次进行标签文字内容的识别。对于上面的标签目标，会识别出上面的文字，例如xgn15-12分段2gp-5，用于对配电柜目标的补充标注说明。
126.步骤3.3.6，目标数据输出：上面分析后得到的2组数据分别输出给业务系统做后续的处理。
127.步骤3.4，执行安全帽识别，如试验人员在试验现场执行试验时未佩戴安全帽，则
认定该试验人员为未佩戴安全帽；在事件记录中“告警视频
‑‑‑
未佩戴安全帽”下归档，归档内容包括试验地区，试验人员名称，事件名称，抓取图片，及抓取时间等。
128.进一步优选地，步骤3.4包括：
129.步骤3.4.1，数据采集，通过信息采集设备所拍摄的视频获取实时视频数据，获取视频流中的每一帧图像数据。
130.步骤3.4.2，信息加工与预处理，对获取视频流中的每一帧图像数据进行标注，分类等预处理操作。
131.步骤3.4.3，特征抽取，特征抽取(如颜色，外形等)是进行人体判别和跟踪的关键，也是进行安全帽位置界定的关键，特征抽取分为人体判别和安全帽跟踪两部分。
132.步骤3.4.4，目标识别，在人体判别的基础上，通过对安全帽位置的预估和安全帽像素统计分析，实现安全帽的检测识别，同时对所选神经网络适应性调整与训练。
133.步骤4，平台层3将分析结果传输到应用服务层4进行展示。
134.本发明的有益效果在于，与现有技术相比，提供了基于视觉学习的居配工程现场试验数字化管理系统，该体系对居配工程试验抽检现场作业进行全过程记录，对作业区域作业视频的进行智能检测与分析，实现对电力施工过程的实时监测，实时动态反馈作业人员的身份、安全护具佩戴状态、作业姿势、非法闯入、权限、操作顺序等信息，对违规操作现象自动报警、及时提醒并在后台产生记录，最大程度地减少违章作业情况的发生，有效提升作业人员的自我安全保护意识，提高安全监督人员的工作效率，有效监控现场作业过程。该体系可以满足对居住区配电房现场试验的全程监督、过程管理、风险识别等要求，从而不断提高小区物业对配电的满意度，为供电公司在社会上树立良好的口碑进行助力。
135.本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。