一种电力杆塔作业围栏违规设置的检测方法、系统及设备与流程

1.本发明涉及施工现场管理技术领域，尤其涉及一种电力杆塔作业围栏违规设置的检测方法、系统及设备。


背景技术：

2.随着城市化的推进，人们生活中应用到电力的场景越来越多，电力施工现场也随之增多，施工的安全是其中的重中之重，每年因施工人员违规作业导致的安全事故时有发生。在电力杆塔施工现场，按规定在施工现场设置围栏是安全施工的要求之一。
3.现有的施工现场的检查中，主要是安排监督人员在现场进行监督，若发现违规的情况予以纠正，但是由于施工场景太多，该措施需要安排大量的巡检人员，同时人工巡检可能会有漏检的情况发生。在现有的监控技术中，缺乏对施工现场实时的人工智能检测，不能实时的分辨出施工现场的违规行为，从而造成安全隐患。


技术实现要素：

4.为减少施工现场中人工巡检作业的工作量，防止漏检情况的发生，避免因施工人员违规作业导致的安全事故的发生，本发明提供一种面向电力杆塔作业的围栏设置合规性检测方法，方法包括：
5.步骤一：构建图像数据库，使用图像获取工具对监控视频解码处理获得待检测图像，并将获得的待检测图像进行标注后存入图像数据库；
6.步骤二：训练施工场景检测模型，以杆塔上的工人为检测的目标，从步骤一所述的图像数据库中选取多个训练图像及标签数据，输入到yolov5算法中，直至所述的场景检测模型满足使用要求，形成场景检测模型；
7.步骤三：训练围栏检测模型，以地面上的围栏为检测的目标，从步骤一所述的图像数据库选取多个训练图像及标签数据，输入到yolov5算法中，直至所述的围栏检测模型满足使用要求，形成围栏检测模型；
8.步骤四：训练地面分割模型，以图片中的地面为分割的目标，从步骤一所述的图像数据库中选取多个训练图像及标签数据，输入到deeplabv3算法中，直至所述的地面分割模型满足使用要求，形成地面分割模型；
9.步骤五：根据步骤一所述的方法将施工现场采集视频流处理为图片，并将图片分别输入到步骤二所述的场景检测模型、步骤三所述的围栏检测模型、步骤四所述的地面分割模型中；
10.步骤六：对步骤五所述的场景检测模型、围栏检测模型、地面分割模型的输出结果进行判断及计算，判定是否存在违规行为。
11.进一步需要说明的是，违规行为判断条件为：
12.在地面检测模型中，设置阈值a；阈值a为判断地面分割模型输出的图像中地面所占整张图像的比例是否达到设定的条件；
13.当场景检测模型中未检测出杆塔上工人，合规性判断输出结果为正常；
14.当场景检测模型中检测出杆塔上工人，围栏检测模型检测存在围栏，合规性判断输出结果为正常；
15.当场景检测模型检测出塔杆上工人，围栏检测模型未检测出围栏，且地面分割模型中预测出的地面占图像的比例未超过设定的阈值a，合规性判断输出结果为正常；
16.当场景检测模型检测出塔杆上工人，围栏检测模型未检测出围栏，且地面分割模型中预测出的地面占图像的比例超过设定的阈值a，合规性判断输出结果为违规。
17.进一步需要说明的是，步骤一还包括：对待检图像中的围栏和杆塔上工人，使用labelimg标注工具分别以围栏和杆塔上的工人为目标，利用矩形框标注，形成xml标签文件；
18.对待检图像的地面，使用pixelannotationtool标注工具将地面标注为mask标签。
19.进一步需要说明的是，步骤二和步骤三中的训练图像按照8:2的比例设置训练集和验证集。
20.进一步需要说明的是，步骤二和步骤三中的yolov5算法，在nvidia gpu服务器中以算法默认参数进行训练。
21.步骤二和步骤三中的模型满足使用要求，指的是在训练完成后，以map作为评估标准进行评估，直至满足使用要求。
22.进一步需要说明的是，步骤四中所述的deeplabv3算法，在nvidia gpu服务器中以算法默认参数进行训练。
23.步骤四中所述的地面分割模型满足使用要求，指的是训练完成后，以miou作为评价标准进行评估，直至满足使用要求。
24.本发明还提供一种面向电力杆塔作业的围栏设置合规性检测系统，系统包括：数据库构建获取模块、施工场景检测训练模块、围栏检测训练模块、地面分割训练模块、施工现场信息处理模块以及违规行为判定模块；
25.数据库构建获取模块用于构建图像数据库，使用图像获取工具对监控视频解码处理获得待检测图像，并将获得的待检测图像进行标注后存入图像数据库；
26.施工场景检测训练模块用于以杆塔上的工人为检测的目标，从图像数据库中选取多个训练图像及标签数据，输入到yolov5算法中，直至所述的场景检测模型满足使用要求，形成场景检测模型；
27.围栏检测训练模块用于以地面上的围栏为检测的目标，从图像数据库选取多个训练图像及标签数据，输入到yolov5算法中，直至所述的围栏检测模型满足使用要求，形成围栏检测模型；
28.地面分割训练模块用于以图片中的地面为分割的目标，从图像数据库中选取多个训练图像及标签数据，输入到deeplabv3算法中，直至所述的地面分割模型满足使用要求，形成地面分割模型；
29.施工现场信息处理模块用于将施工现场采集视频流处理为图片，并将图片分别输入到场景检测模型、围栏检测模型、地面分割模型中；
30.违规行为判定模块用于对场景检测模型、围栏检测模型、地面分割模型的输出结果进行判断及计算，判定是否存在违规行为。
31.本发明还提供一种实现面向电力杆塔作业的围栏设置合规性检测方法的设备，包括：
32.存储器，用于存储计算机程序及面向电力杆塔作业的围栏设置合规性检测方法；
33.处理器，用于执行所述计算机程序及面向电力杆塔作业的围栏设置合规性检测方法，以实现面向电力杆塔作业的围栏设置合规性检测方法的步骤。
34.从以上技术方案可以看出，本发明具有以下优点：
35.本发明提供的面向电力杆塔作业的围栏设置合规性检测方法是基于深度学习的方法进行建模，对电力人员在杆塔上施工未设置围栏这一复杂的场景，分解为“杆塔上工人”、“围栏”、“地面”这三种目标，有针对性的提取施工现场的特征。可以达到实时检测的效果，并且可以将违规的现场图像保存，用以人工复核，大大提高了效率，降低了监管人员的工作强度。
36.本发明提供实现面向电力杆塔作业的围栏设置合规性检测方法及系统减少施工现场中人工巡检作业的工作量，防止漏检情况的发生，避免因施工人员违规作业导致的安全事故的发生。系统采用深度学习的技术，对施工现场实时的监控视频进行分析、处理，对违规行为进行检测及报警提示。
附图说明
37.为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为面向电力杆塔作业的围栏设置合规性检测方法流程图；
39.图2为本发明实施例中违章场景判断的流程图。
40.图3为面向电力杆塔作业的围栏设置合规性检测系统示意图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.本发明提供的面向电力杆塔作业的围栏设置合规性检测方法中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
43.本发明提供的面向电力杆塔作业的围栏设置合规性检测方法及系统的附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
44.在本发明提供的面向电力杆塔作业的围栏设置合规性检测方法及系统中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
45.如图1至2所示，本发明提供的方法包括：
46.步骤一：构建图像数据库，使用图像获取工具对监控视频解码处理获得待检测图像，并将获得的待检测图像进行标注后存入图像数据库；
47.本发明中，基于labelimg标注工具的全图形界面，用python和qt编写的，把标注信息直接转化成为xml文件。具体的讲，对待检图像中的围栏和杆塔上工人，使用labelimg标注工具分别以围栏和杆塔上的工人为目标，利用矩形框标注，形成xml标签文件；
48.对待检图像的地面，使用pixelannotationtool标注工具将地面标注为mask标签。
49.本发明使用pixelannotationtool标注工具将训练图像中杆塔上工人进行标记，还可以将深度训练图像中的杆塔和工人分别进行标记，也可以对围栏及背景区域进行标记。
50.步骤二：训练施工场景检测模型，以杆塔上的工人为检测的目标，从步骤一所述的图像数据库中选取多个训练图像及标签数据，输入到yolov5算法中，直至所述的场景检测模型满足使用要求，形成场景检测模型；
51.步骤三：训练围栏检测模型，以地面上的围栏为检测的目标，从步骤一所述的图像数据库选取多个训练图像及标签数据，输入到yolov5算法中，直至所述的围栏检测模型满足使用要求，形成围栏检测模型；
52.本发明在步骤二和步骤三中的训练图像按照8:2的比例设置训练集和验证集。
53.在步骤二和步骤三中的yolov5算法，在nvidia gpu服务器中以算法默认参数进行训练。
54.在步骤二和步骤三中的模型满足使用要求，指的是在训练完成后，以map作为评估标准进行评估，直至满足使用要求。map是对每个训练图像中以杆塔上的工人为检测的目标，查找检测杆塔上具有工人的图像数量。以及训练图像中以地面上的围栏为检测的目标，查找检测地面上具有围栏的图像数量。
55.步骤四：训练地面分割模型，以图片中的地面为分割的目标，从步骤一所述的图像数据库中选取多个训练图像及标签数据，输入到deeplabv3算法中，直至所述的地面分割模型满足使用要求，形成地面分割模型；deeplabv3算法是在nvidia gpu服务器中以算法默认参数进行训练。
56.进一步的讲，步骤四中所述的地面分割模型满足使用要求，指的是训练完成后，以miou作为评价标准进行评估，直至满足使用要求。
57.基于miou评估地面分割模型的真实值和预测值之比。本发明可以基于miou的类进行计算的，将每一类地面分割模型的iou计算之后累加，再进行平均，得到的就是基于全局的评价。
58.步骤五：根据步骤一所述的方法将施工现场采集视频流处理为图片，并将图片分别输入到步骤二所述的场景检测模型、步骤三所述的围栏检测模型、步骤四所述的地面分割模型中；
59.步骤六：对步骤五所述的场景检测模型、围栏检测模型、地面分割模型的输出结果进行判断及计算，判定是否存在违规行为。
60.其中，违规行为判断条件为：
61.在地面检测模型中，设置阈值a；阈值a为判断地面分割模型输出的图像中地面所占整张图像的比例是否达到设定的条件；
62.当场景检测模型中未检测出杆塔上工人，合规性判断输出结果为正常；
63.当场景检测模型中检测出杆塔上工人，围栏检测模型检测存在围栏，合规性判断输出结果为正常；
64.当场景检测模型检测出塔杆上工人，围栏检测模型未检测出围栏，且地面分割模型中预测出的地面占图像的比例未超过设定的阈值a，合规性判断输出结果为正常；
65.当场景检测模型检测出塔杆上工人，围栏检测模型未检测出围栏，且地面分割模型中预测出的地面占图像的比例超过设定的阈值a，合规性判断输出结果为违规。
66.本发明提供的面向电力杆塔作业的围栏设置合规性检测方法是基于深度学习的方法进行建模，对电力人员在杆塔上施工未设置围栏这一复杂的场景，分解为“杆塔上工人”、“围栏”、“地面”这三种目标，有针对性的提取施工现场的特征。可以达到实时检测的效果，并且可以将违规的现场图像保存，用以人工复核，大大提高了效率，降低了监管人员的工作强度。
67.基于上述方法本发明还提供一种面向电力杆塔作业的围栏设置合规性检测系统，如图3所示，系统包括：数据库构建获取模块、施工场景检测训练模块、围栏检测训练模块、地面分割训练模块、施工现场信息处理模块以及违规行为判定模块；
68.数据库构建获取模块用于构建图像数据库，使用图像获取工具对监控视频解码处理获得待检测图像，并将获得的待检测图像进行标注后存入图像数据库；
69.施工场景检测训练模块用于以杆塔上的工人为检测的目标，从图像数据库中选取多个训练图像及标签数据，输入到yolov5算法中，直至所述的场景检测模型满足使用要求，形成场景检测模型；
70.围栏检测训练模块用于以地面上的围栏为检测的目标，从图像数据库选取多个训练图像及标签数据，输入到yolov5算法中，直至所述的围栏检测模型满足使用要求，形成围栏检测模型；
71.地面分割训练模块用于以图片中的地面为分割的目标，从图像数据库中选取多个训练图像及标签数据，输入到deeplabv3算法中，直至所述的地面分割模型满足使用要求，形成地面分割模型；
72.施工现场信息处理模块用于将施工现场采集视频流处理为图片，并将图片分别输入到场景检测模型、围栏检测模型、地面分割模型中；
73.违规行为判定模块用于对场景检测模型、围栏检测模型、地面分割模型的输出结果进行判断及计算，判定是否存在违规行为。
74.本发明提供系统减少施工现场中人工巡检作业的工作量，防止漏检情况的发生，
避免因施工人员违规作业导致的安全事故的发生。系统采用深度学习的技术，对施工现场实时的监控视频进行分析、处理，对违规行为进行检测及报警提示。
75.本发明还提供一种实现面向电力杆塔作业的围栏设置合规性检测方法的设备，包括：
76.存储器，用于存储计算机程序及面向电力杆塔作业的围栏设置合规性检测方法；
77.处理器，用于执行所述计算机程序及面向电力杆塔作业的围栏设置合规性检测方法，以实现面向电力杆塔作业的围栏设置合规性检测方法的步骤。
78.本发明提供的面向电力杆塔作业的围栏设置合规性检测方法是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
79.所属技术领域的技术人员能够理解，本发明提供的面向电力杆塔作业的围栏设置合规性检测设备的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
80.本发明提供的面向电力杆塔作业的围栏设置合规性检测方法可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
81.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。