基于视频图像的高压电线异物检测方法及检测系统与流程

1.本技术涉及图像处理领域，更具体地说，涉及一种基于视频图像的高压电线异物检测方法及检测系统。


背景技术：

2.电力是国民经济的重要基础产业，安全、稳定的电力供应是保障国民经济快速稳定发展的前提。在国家电网中，高压输电线路所处的环境非常复杂、并且易受到损害，因此确保高压线运行安全就显得尤为重要。
3.近年来，各地因为风筝、气球、织物和塑料袋等悬挂异物危及电网安全的事件屡见不鲜，输电线路悬挂诸如此类的异物会使高压电的极限放电距离缩短,甚至会造成大面积停电的严重后果。因此,及时识别出输电线路上的异物具有十分重要的意义。现有的输电线路异物排查主要为人工巡线或无人机巡检；但是人工巡线存在安全隐患大，人工巡检增加人员工作强度且影响检测效率，无人机方式的缺点是无人机操控有难度、电池续航短，不能长期无间断工作。
4.然而，智能视频处理技术借助计算机强大的数据处理功能，对视频监控画面中的海量数据进行高速分析，过滤掉监控人员不关注的信息，仅为监控人员提供有用的关键信息，能够大大减轻视频监控人员的工作强度，同时可以减少误报、漏报，提高报警处理的及时性。因此，当前迫切需要设计一种基于视频图像数据的高压线异物入侵目标检测方法。


技术实现要素：

5.针对现有技术，本技术解决的技术问题是提供一种能有效降低人工参与、提高检测效率且及时进行报警的基于视频图像的高压电线异物检测方法及检测系统，
6.为解决上述技术问题，本技术提供一种基于视频图像的高压电线异物检测方法，包括：
7.获取需进行高压电线异物检测的视频图像并且获取该视频图像的时间间隔m分钟的相邻两帧图像，并基于时间间隔m分钟的相邻两帧图像进行高压电线异物检测，其包括：
8.检测时间间隔m分钟的相邻两帧图像中每一帧图像中的所有异物；
9.判断每一帧图像中的检测出的每一异物是否位于高压电线上；
10.对相邻两帧图像之间的进行异物复检：判断前一帧图像的每一位于高压电线上的异物是否重复出现在后一帧图像上，若是，则报警，否者删除前一帧中该位于高压电线上的异物；以及，
11.间隔m分钟获取下一帧图像，该下一帧图像与上述相邻两帧图像中的后一帧图像重新形成时间间隔m分钟的相邻两帧图像，继续基于时间间隔m分钟的相邻两帧图像进行高压电线异物检测。
12.在一种可能的实现方式中，检测时间间隔m分钟的相邻两帧图像中每一帧图像中的所有异物的步骤包括：
13.对相邻两帧图像中每一帧图像进行切片处理：将每一帧图像进行均等切片获得n个宫格图像并记录每一宫格图像在该帧图像中的位置；
14.将每一帧图像对应所有的宫格图像进行批量异物检测，获得该帧图像的所有宫格图像内的由坐标框框选的异物；
15.将检测出的每一宫格图像的异物和该异物对应的坐标框复原至该宫格图像对应的帧图像中，将每一帧图像中的每一坐标框扩大至原来的k倍。
16.在一种可能的实现方式中，将每一帧图像对应所有的宫格图像输入至异物检测模型进行批量异物检测，获得该帧图像的所有宫格图像内的由坐标框框选的异物的步骤包括：
17.将该帧图像的每一宫格图像进行放大至原来的4/3倍；
18.并将与放大处理后的n个宫格图像依次沿x轴和y轴顺序叠加形成一批图像组；
19.将每一帧图像对应的图像组输入至异物检测模型进行批量异物检测获得该帧图像的所有宫格图像内的由坐标框框选的异物。
20.在一种可能的实现方式中，判断每一帧图像中的检测出的每一异物是否位于高压电线上为判断每一帧图像中的扩大后的每一坐标框内的异物是否位于高压电线上，其包括：
21.获取训练的异物停留在高压电线的正样本和异物未停留在高压电线上的负样本；将正样本和负样本输入至efficientnet-b1深度学习网络模型中进行训练获得二分类结果的识别模型，其中二分类结果为位于高压电线上的异物和非高压电线上的异物；
22.将每一帧图像中的扩大后的坐标框框起区域的图像输入至所述识别模型中。
23.在一种可能的实现方式中，获取的每一帧图像大小为1920*1080，将每一帧图像进行均等切片获得16个大小为480*270的宫格图像，每一宫格图像进行放大为640*360大小的图像。
24.在一种可能的实现方式中，其特征在于，所述异物检测模型基于深度学习模型训练获得，其包括：获取包括塑料袋、风筝、树枝、气球、织物和鸟的训练图像数据，将训练图像数据输入yolov5学习模型中训练获得所述异物检测模型。
25.在一种可能的实现方式中，判断前一帧图像的每一位于高压电线上的异物是否重复出现在后一帧图像上的步骤包括：
26.计算前一帧图像中每一位于高压电线上的异物的坐标框a与后一帧图像的任一异物的坐标框b的iou交并比，若iou交并比大于等于0.5，则前一帧图像的该位于高压电线上的异物重复出现在后一帧图像上；
27.其中，iou交并比为：(a∩b)/(a∪b)。
28.在一种可能的实现方式中，所述m分钟为1分钟或2分钟。
29.在一种可能的实现方式中，所述k的值为1.2或1.5。
30.在基于视频图像的高压电线异物检测方法中，在基于视频图像的高压电线异物检测方法中，利用基于视频图像的处理方法进行高压电线上的异物检测，可有效降低人工参与、提高检测效率且及时进行报警；同时通过不断获取帧图像以持续进行异物检测，如此达到长期检测的效果；再有相邻帧之间的复检有利于提高检测准确性，可有效避免误检误报现象。
31.本技术还提供一种高压电线异物检测系统，其包括采集装置、存储器、处理器和报警器，所述处理器连接所述存储器、所述采集装置和所述报警器；所述存储器用于存储可执行代码，所述处理器用于执行所述存储器中存储的可执行代码，以执行所述基于视频图像的高压电线异物检测方法，所述采集装置用于采集需进行高压电线异物检测的视频图像，所述报警器用于当所述处理器执行检测出位于高压电线上的异物时进行报警。
32.在高压电线异物检测系统中，利用基于视频图像的处理方法进行高压电线上的异物检测，可有效降低人工参与、提高检测效率且及时进行报警；同时通过不断获取帧图像以持续进行异物检测，如此达到长期检测的效果；再有相邻帧之间的复检有利于提高检测准确性，可有效避免误检误报现象。
附图说明
33.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
34.图1为本技术实施例的基于视频图像的高压电线异物检测方法的流程图；
35.图2为本技术实施例的检测时间间隔m分钟的相邻两帧图像中每一帧图像中的所有异物的步骤流程图；
36.图3为本技术实施例的判断检测出的异物是否位于高压电线上的示意图；
37.图4为本技术实施例的高压电线异物检测系统的结构框图。
具体实施方式
38.为了使本技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
39.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
40.需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
41.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
42.现结合附图对本技术的基于视频图像的高压电线异物检测方法及检测系统的进行具体说明。
43.请参照图1，本技术实施例提供的基于视频图像的高压电线异物检测方法包括如
下步骤：
44.步骤s1：获取需进行高压电线异物检测的视频图像并且获取该视频图像的时间间隔m分钟的相邻两帧图像；
45.步骤s2：基于时间间隔m分钟的相邻两帧图像进行高压电线异物检测，步骤s2包括：
46.步骤s21：检测时间间隔m分钟的相邻两帧图像中每一帧图像中的所有异物；
47.步骤s22：判断每一帧图像中的检测出的每一异物是否位于高压电线上；
48.步骤s23：对相邻两帧图像之间的进行异物匹配复检：判断前一帧图像的每一位于高压电线上的异物是否重复出现在后一帧图像上，若是，则报警，否者删除前一帧中该位于高压电线上的异物
49.步骤s3：间隔m分钟获取下一帧图像，该下一帧图像与上述相邻两帧图像中的后一帧图像重新形成时间间隔m分钟的相邻两帧图像，至此继续基于时间间隔m分钟的相邻两帧图像进行高压电线异物检测，及继续执行步骤s2的步骤s21、步骤s22和步骤s23。
50.值得说明的是，所述异物可能挂在高压电线上以造成安全隐患的风筝、气球、塑料、织物和鸟等物体。
51.在所述步骤s1中，进行间隔m分钟的抽帧操作可以降低计算量，从而节省资源，同时进行抽帧操作一定程度上有助于将正在飞行或移动的目标提前过滤掉，因为飞行或移动的物体不停留在高压电线上，一般不会对高压电线产生影响。在一实施例中，所述m分钟为1分钟或2分钟。
52.进一步参照图2，在所述步骤s21中，检测时间间隔m分钟的相邻两帧图像中每一帧图像中的所有异物的步骤包括：
53.步骤s211：对相邻两帧图像中每一帧图像进行切片处理：将每一帧图像进行均等切片获得n个宫格图像并记录每一宫格图像在该帧图像中的位置；
54.步骤s212：将每一帧图像对应所有的宫格图像进行批量异物检测，获得该帧图像的所有宫格图像内的由坐标框框选的异物；
55.步骤s213：将检测出的每一宫格图像的异物和该异物对应的坐标框复原至该宫格图像对应的帧图像中，将每一帧图像中的每一坐标框扩大至原来的k倍。
56.进一步地，在所述步骤s212中，每一帧图像对应所有的宫格图像输入至异物检测模型进行批量异物检测，获得该帧图像的所有宫格图像内的由坐标框框选的异物的步骤包括：
57.步骤s2121：将该帧图像的每一宫格图像进行放大至原来的4/3倍；
58.步骤s2122：并将与放大处理后的n个宫格图像依次沿x轴和y轴顺序叠加形成一批图像组；
59.步骤s2123：将每一帧图像对应的图像组输入至异物检测模型进行批量异物检测获得该帧图像的所有宫格图像内的由坐标框框选的异物。
60.在所述步骤s21中，一方面，由于需要检测的停留在高压电线上的异物，这些异物一般处理上空区域，如此针对拍摄的上空区域的视频中，每一帧图像中异物相对与上空区域而言是比较小的目标，在大的区域内检测小目标会增加目标检测的难度；故将每一帧图像进行切片出来，将切片后的宫格图像进行放大处理，如此有利于提高小目标的检测效率。
另一方面，将每一帧图像中的每一坐标框扩大至原来的k倍，从而将异物的坐标框周围的一部分背景包含在内，再此基础上进行判断每一帧图像中的检测出的每一异物是否位于高压电线上，如此可有效保证高压电线的检测以致才能准确的判断检测出的异物是否位于高压电线上，因为在未将每一帧图像中的每一坐标框扩大至原来的k倍是，有可能存在宫格图像中的异物将高压电线完全覆盖的现象，此时可能无法检测出实际存在的高压电线，从而出现误判情况，将本该出现在高线电线的异物判定为未处于高压电线上。在一实施例中所述k的值为1.2或1.5。
61.在一实施例中，获取的每一帧图像大小为1920*1080，n为16，即将每一帧图像进行均等切片获得16个大小为480*270的宫格图像，每一宫格图像进行放大为640*360大小的图像。在其他实施例中，n可取值25，但不限于此。
62.在一实施例中，所述异物检测模型基于深度学习模型训练获得，其包括：获取包括塑料袋、风筝、树枝、气球、织物和鸟的训练图像数据，将训练图像数据输入yolov5学习模型中训练获得所述异物检测模型；所述yolov5学习模型。在其他实施例中，yolo(you only look once:unified,real-time object detection)，是joseph redmon和ali farhadi等人于2015年提出的目标检测模型，yolov5为yolo的第五代学习模型。
63.进一步参照图3，在步骤s22中，判断每一帧图像中的检测出的每一异物是否位于高压电线上为判断每一帧图像中的扩大后的每一坐标框内的异物是否位于高压电线上，其包括：获取训练的异物停留在高压电线的正样本和异物未停留在高压电线上的负样本；将正样本和负样本输入至efficientnet-b1深度学习网络模型中进行训练获得二分类结果的识别模型，其中二分类结果为位于高压电线上的异物和非高压电线上的异物；将每一帧图像中的扩大后的坐标框框起区域的图像输入至所述识别模型中。
64.进一步地，在步骤s23中，判断前一帧图像的每一位于高压电线上的异物是否重复出现在后一帧图像上的步骤包括：
65.计算前一帧图像中每一位于高压电线上的异物的坐标框a与后一帧图像的任一异物的坐标框b的iou(intersection over union，iou)交并比，若iou交并比大于等于0.5，则前一帧图像的该位于高压电线上的异物重复出现在后一帧图像上；
66.其中，iou交并比为：(a∩b)/(a∪b)。
67.在所述步骤s23中，若在前一帧图像中检测出的某个异物其实是正在移动或者飞行的目的，该异物在前一帧图像中可能是位于高压电线上的异物，但在该异物移动后使得在后一帧中已经远离高压电线，故进行相邻两帧图像之间的进行异物匹配复检有利于提高检测的准确性，可有效避免误检误报现象。
68.综上所述，在基于视频图像的高压电线异物检测方法中，利用基于视频图像的处理方法进行高压电线上的异物检测，可有效降低人工参与、提高检测效率且及时进行报警；同时通过不断获取帧图像以持续进行异物检测，如此达到长期检测的效果；再有相邻帧之间的复检有利于提高检测准确性，可有效避免误检误报现象。
69.参照图4，本技术实施例提供的高压电线异物检测系统100包括采集装置20、存储器30、处理器10和报警器40，所述处理器10连接所述存储器30、所述采集装置20和所述报警器40；所述存储器30用于存储可执行代码，所述处理器10用于执行所述存储器30中存储的可执行代码，以执行上述基于视频图像的高压电线异物检测方法，所述采集装置20用于采
集需进行高压电线异物检测的视频图像，所述报警器40用于当所述处理器10执行检测出位于高压电线上的异物时进行报警。
70.在本实施例中，所述采集装置20为采集视频图像的摄像头，所述存储器30可以为但不限于电、磁、光或半导体的系统、装置或器件，具体为但不限于磁盘、硬盘、只读存储器30、随机存取存储器30或可擦式可编程只读存储器30。所述处理器10可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器10是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
71.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术的保护范围之内。