一种基于智能视觉分析的工程异常预警方法及系统与流程

1.本发明涉及水利安防工程技术领域，具体地涉及一种基于智能视觉分析的工程异常预警方法及系统。


背景技术：

2.当前，监控设备已经得到了广泛的应用，在交通、医疗、工地乃至家宅住所等领域中均有出现。传统的视频监控以录制为主，加以人供观测，但这种方法耗时耗力且视频保留时间有限，很难在有限时间内对采集到的大量数据进行分析观测。智能视频监控系统具备了实时处理、智能分析的能力，解决了人工观测的弊端问题。
3.在实际的水利工程现场中，存在许多突发性的问题，这不仅需要管理单位具备完善的应急以及处理方案，还需要进入水利工程现场的人员具备一定的保护措施，例如正确穿着救生衣，稳步慢行等。由于存在水利工程现场人员缺乏安全忧患意识、工程现场巡视效率低下以及缺乏完整的管理体系等问题，导致诸多安全事故的发生。
4.近年来国家对安全生产的不断重视，水利工程现场对人员的操作规范有着越来越高的要求，大部分的水利工程现场都安装了监控，能够全天候的拍摄水利工程现场的环境以及作业人员。如中国专利cn103456136a公开了一种物联网构架水利水电工程重大事故安全隐患监测预警系统及方法，通过对水利水电工程区域内可能导致潜在危险事故的安全隐患信息进行识别、定位，确定安全隐患类型、等级，进行安全隐患的类型判定、等级判定和信息统计，同时，对区域内监测点的地理位置、空间位置、动态变化、状态变化、状态预测、结合区域内历史信息进行分析，发现监测区域内安全隐患信息超过设定的警戒值后将会自动生成预警信息，通过通信传输提供区域内安全隐患全面的数据信息和提供工程安全重大事故安全隐患的预警告警。但水利工程现场依然存在安全隐患。随着深度学习的快速发展和工程单位对信息化管理的推进，迫切需要设计一套适用于水利工程场景的基于智能视觉分析的工程异常预警方法及系统。


技术实现要素：

5.本发明的目的在于克服现有技术存在的缺点，提出设计一种基于智能视觉分析的工程异常预警方法及系统，解决了现有工程异常预警系统难以对可能发生的危险事故进行有效预警的问题，能够对工程中可能出现的安全事故进行规避。
6.本发明解决其技术问题所采取的技术方案是：
7.一种基于智能视觉分析的工程异常预警方法，通过设计智能分析模块，对工人是否正确穿戴救生衣以及是否发生异常危险动作进行实时检测，具体包括以下步骤：
8.1)利用监控摄像机实时获取的水利工程现场监控视频图像；
9.2)采用yolov4算法对图像中出现的救生衣以及工人进行检测；
10.3)采用基于higherhrnet的人体姿态识别算法对工人进行人体姿态估计，获取人体关键点；
11.4)结合yolov4算法检测出的救生衣坐标位置以及工人坐标，判断工人是否穿戴救生衣；
12.5)结合yolov4算法检测出的工人坐标位置以及工人左右肩部、腰部、腿部的坐标，判断工人是否正确发生摔倒、攀爬行为；
13.6)利用监控摄像机实时获取的水利工程现场监控视频图像，在水利工程区域内标出危险区域，通过检测危险区域内是否出现工人从而判断出工人是否入侵危险区域。
14.本发明不仅让现场安全管理工作变得更简单高效，还会及时预警提醒工人，避免危险的发生，对保护工人及财产安全也具有极其主要的意义。
15.本发明还提供了另一种技术方案，
16.一种用于实现所述基于智能视觉分析的工程异常预警方法的系统，包括：
17.客户端平台：连接无线局域网或者宽带，在本地远程访问智能视觉分析平台，实现远程目标检测；
18.数据传输平台：用于实现智能视觉分析平台与客户端平台之间的数据传输；
19.智能视觉分析平台：包括摄像机、服务器和显示屏，对获取的水利工程现场监控视频图像，采用yolov4算法以及基于higherhrnet的人体姿态识别算法对工人是否正确穿戴救生衣进行实时检测判别。
20.本发明的技术效果：
21.与现有技术相比，本发明的一种基于智能视觉分析的工程异常预警系统，具有以下优点：
22.(1)本发明基于监控摄像机对水利工程现场图像进行采集，能够实时地提供现场图像，便于快速的对工地进行检测；
23.(2)本发明提出将目标检测应用于水利工程现场中，yolov4算法具有很高的实时性以及准确率，基于higherhrnet的人体姿态估计检测率高，人群密集的情况下性能优越；
24.(3)本发明采用了shiro权限管理，只有合法用户才能使用该系统，保证了监控数据的安全性以及保密性，同时也会对注册成功的用户给予一定的权限，例如仅管理人员可以使用其管理权限。该系统操作简单并且页面简洁，方便监管人员使用。
附图说明
25.图1为本发明基于智能视觉分析的工程异常预警系统平台模型示意图；
26.图2为本发明智能视觉分析平台软件结构示意图；
27.图3为本发明智能视觉分析平台模块中摔倒判别示意图；
28.图4为本发明智能视觉分析平台模块中攀爬判别示意图；
29.图5为本发明智能视觉分析平台模块中人体姿态关键点示意图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优点更加清楚，下面结合说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述。
31.实施例：
32.如图1所示，本实施例涉及的一种基于智能视觉分析的工程异常预警系统，包括客
户端平台、数据传输平台以及智能视觉分析平台。
33.客户端平台，连接无线局域网或者宽带，包括管理人员、水利工地客户端、移动客户端等，在本地远程访问智能视觉分析平台，实现远程目标检测。
34.数据传输平台，利用cdma或者gprs网络实现图像数据的传输；客户端则可以通过加入无线局域网的方式，在本地远程访问智能视觉分析平台，实现对水利工程现场的远程检测。
35.智能视觉分析平台，包括监控摄像机、服务器和显示屏，通过摄像机采集水利工程现场监控视频作为系统的输入；在服务器中，根据指令对视频数据中的图像进行目标识别和人体姿态检测等操作，经过一系列的处理后的结果实时显示在显示屏上。
36.如图2所示，为智能视觉分析平台软件结构示意图，本发明为对水利工程出现的异常行为进行检测设计了服务器检测软件，用于控制工程监控摄像机的监控视频信息以及异常行为检测结果，将结果显示在软件界面中并保存至数据库。在充分分析本系统所需要的功能以及结构的基础之上，对检测软件的主要功能模块进行划分，主要包括用户管理模块、数据管理模块、异常检测模块和报警模块。
37.用户管理模块，主要包括用户注册和和用户登录，第一次使用本系统的用户需要进行注册，待管理员确认并且在赋予权限之后才可以登陆本系统。
38.数据管理模块，主要用于导入工地监控视频数据，对监控视频数据进行管理存储，并且将视频传入后面的流程。可在此流程中将监控视频分时间点备份存储，便于日后的调用。
39.异常检测模块，实时监测水利建筑场景并将检测情况显示在显示屏中，同时当出现异常时通过报警模块进行报警并进行截图保存于数据库文件夹中，具体的，异常检测模块主要用于实时检测监控视频中出现的工人是否正确穿戴了救生衣以及是否发生摔倒、攀爬、入侵危险区域行为，包括对工人以及救生衣进行检测，若有工人以及救生衣则结合后续的人体姿态估计进行救生衣穿戴检测，并且通过人体姿态估计识别出来的关键点进行异常行为检测，包括摔倒、攀爬以及危险区域入侵行为。
40.异常检测模块，主要包括救生衣穿戴检测模块和异常危险动作检测模块；所述救生衣穿戴检测模块实时获取水利工程现场监控视频图像并对其采用yolov4算法进行救生衣目标识别，结合基于higherhrnet的人体姿态识别算法对工人是否正确穿戴救生衣进行判别；所述异常危险动作检测模块包括摔倒检测模块、攀爬检测模块、危险区域检测模块。
41.所述摔倒检测模块以及攀爬检测模块通过对图像中检测出的目标坐标位置与姿态关键点的相对位置关系判断出工人是否发生了摔倒以及是否发生了攀爬行为；所述危险区域检测模块通过对水利工程区域内标出的危险区域进行工人检测，从而判断出工人是否入侵危险区域。
42.通过目标检测算法将图像中的位置信息和类别识别信息作为检测模型的输出，输出信息中记录着目标的种类和坐标。基于higherhrnet的人体姿态估计将人体姿态骨架信息作为输出，这些位置信息记录着每个关键点的坐标以及人体的姿态。
43.a).救生衣穿戴判定：
44.首先制作目标检测算法数据集主要有工人和救生衣两大类，yolov4进行检测的时候，边框会按照工人和救生衣进行分类，根据姿态检测算法的骨骼点坐标计算出的单个人
体姿态关键点的中心，然后将yolov4预测出来的人体边框与基于higherhrnet的人体姿态估计检测出的人体姿态进行匹配，计算检测到的每一个救生衣矩形框与对应的工人边框的最大交面比ioa：
[0045][0046]
式中，s
jacket
为救生衣边框的面积，s
person
为人物边框的面积，s
jacket
∩s
person
为两者之间的交集，此公式代表救生衣(jacket)边框与人物边框(person)交集的部分所占救生衣边框的比重。倘若这个救生衣边框存在且满足ioa大于等于0.5时，就存在工人穿戴了救生衣的可能性，否则就没有。
[0047]
b).摔倒判定：
[0048]
如图3所示，为智能视觉分析平台模块中摔倒判别示意图，利用基于higherhrnet的人体姿态估计所输出的18个关键点位置，通过一定的向量位置关系，对工人是否发生摔倒行为进行判定。
[0049]
(1)判断步骤1
[0050]
为了检测能够具有良好的稳定性，选择表1中的0、1、8三个关键点，记录图像中对应的这三个关键点的坐标，人体质心点的坐标为三个坐标的平均值，规定每间隔10帧计算一次质心点纵坐标的移动速度v。设定一定的阈值v
th
，若v≥v
th
，则符合判断步骤1中的判定条件，v表达式为：
[0051][0052]
其中，i∈{0,1,8}；为第10帧时第i关键点的纵坐标值；为第1帧时第i关键点的纵坐标值；t代表时间，t
10
‑
t1代表第1帧到第10帧之间所用的时间。
[0053]
表1智能视觉分析平台模块中图5所标记的人体姿态关键点序号及内容
[0054][0055]
(2)判断步骤2
[0056]
仅以判断步骤1)中判断为摔倒是远远不够的，例如工人蹲下来捡拾物品材料或者系鞋带等都会造成误判，所以需要进一步的判断工人是否摔倒。当工人发生下蹲行为时计算得出关键点1在输入图像中的高度最大值记为h
th
，符合判断步骤1中v≥v
th
后，每间隔10帧记录一次y1，若某段时间里一直满足y1≥h
th
，则该工人有可能摔倒。
[0057]
注意，h
th
会随着人与相机的距离而发生变化。由于水利建筑管控区域监控摄像机一般距离工人较远，关键点1与8之间的欧氏距离l较小，l表达式为：
[0058][0059]
x1为第1关键点的横坐标值，x8为第8关键点的横坐标值；令工人与相机的距离为l，l、l和h
th
三者满足一定的线性关系并可建立线性回归模型。l和l两者关系为：
[0060]
l(l
i
)＝αl
i
β
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0061]
其中，i表示第i次。可用最小二乘估计算法求解α和β的最优值，如下式5至8所示。
[0062][0063][0064][0065][0066]
其中m为预设值，表示每m次计算一次平均欧式距离同理可以通过获得l与h
th
的关系确定h
th
的值。判断步骤2的过程证明工人出现过蹲下类型的动作，但是无法证明工人是摔倒还是快速的坐下，又或者是长时间的蹲下休息，所以判定工人摔倒还需要进一步的证明。
[0067]
(3)判断步骤3
[0068]
摔倒行为最明显的特征就是人体的背部会倾斜乃至与地面平行，重点落在左右肩部(关键点2和5)与左右腰(关键点8和11)的关键点上。
[0069]
取两者关键点的纵坐标的差值δy，如果发生了摔倒情况，δy的值应该是非常小的。所以判断摔倒需要满足条件：
[0070]
δy＝|y2‑
y8|＜h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0071]
式中，h为正常人摔倒的高度，h为正常人弯腰的高度。
[0072]
为了设定h的值，观察了二十段水利工程监控视频，视频中出现的工人关键点1至关键点8的距离，也就是h，大致为关键点1至关键点10的距离的1/2，h大致为关键点1至关键点10的距离的2/5，即：
[0073]
h＝2(y
10
‑
y1)/5
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0074]
c).攀爬判定：
[0075]
如图4所示，为本发明智能视觉分析平台模块中攀爬判别示意图，利用基于higherhrnet的人体姿态估计所输出的18个关键点位置，通过一定的向量位置关系，对工人是否发生攀爬行为进行判定。
[0076]
首先，判断攀爬必然有脚部抬起的动作，并且是一只脚率先抬起，以下以右脚率先
抬起为例，当y
13
＜y
10
时，工人开始走路或者攀爬等动作。
[0077]
(1)判断步骤1
[0078]
首先考虑工人右膝盖的纵坐标y9是否大于右髋的纵坐标y8，若y8＜y9，则表示工人的右腿是往上攀爬的姿态，此种情况工人为在攀爬状态。但是不表示y8≥y9时，工人不在攀爬，所以需要进一步进行判定。
[0079]
(2)判断步骤2
[0080]
当y8≥y9时，需要考虑工人是走路还是小步幅的攀爬，当工人进行攀爬的时候，人体中心点是上移的。记c
t
为t时刻目标p的中心，c
t
与之前时刻t
‑
k的矢量差为v
t
，如果v
t
为上升状态，可以判断该工人处于攀爬状态。为了区别于工人是跳跃状态还是攀爬状态，v
t
需要大于一定的阈值t
j
，所以需要满足攀爬的条件为：
[0081][0082]
其中，是目标p在t时刻的y轴分量；t
j
设定为小跳跃v
t
的上升量，科学上正常人一次跳跃高度为50厘米，为了实验结果的普遍性，此处设定为运动中的工人的身高的1/3。
[0083]
d).危险区域入侵判定
[0084]
水利工程现场存在许多河流区域，存在诸多危险，所以需要在危险区域两侧道路上安装专用摄像机，划分绿色危险区域，若在此区域内检测到工人，则该工人判为危险入侵。
[0085]
报警模块，当出现以下情况:检测到工人但未检测到救生衣、检测到工人和救生衣但工人并未穿戴救生衣、工人发生了摔倒行为、工人出现了攀爬行为以及工人入侵危险区域，报警模块会自动检测报警，并且将具体情况记录存档。
[0086]
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式的产品形态和式样，任何符合本发明权利要求书且任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应落入本发明的专利保护范围。