一种基于AI视觉的配网作业实时高精度预警方法与流程

一种基于ai视觉的配网作业实时高精度预警方法
技术领域
1.本发明涉及配电网作业智能监护技术领域，具体为一种基于ai视觉的配网作业实时高精度预警方法。


背景技术：

2.近年来，配电网作业智能监护技术已在电网稳步推进，如安全管控球、监控摄像头等智能设备，在配电网站所以及其他智能化试点中已逐步得到应用。
3.但智能监护技术及终端设备，在目前配电网现场作业监护的落地应用实践中，面对城郊、野外等复杂作业场景，往往需要作业前专人反复沟通后在现场实地核查并设立带电安全区域范围，作业中也会往往因疏忽或疲劳导致事故发生，对于作业人员邻近危险区域的行为；此外，现有的预警系统无法实现实时预警功能，使得作业人员在带电作业时的危险系数大大增加。目前随着深度学习神经网络技术的发展和计算机视觉理论的发展，针对现有问题可以通过布控球的摄像头对目标进行画面跟踪以及基于定位信息等感知辅助手段对检测目标的位置进行跟踪，有效地识别并预判违章行为，进而实现安全距离的预警以减少危险行为的发生。


技术实现要素：

4.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于上述存在的问题，提出了本发明。
6.因此，本发明解决的技术问题是：如何识别危险区域以进行实时预警。
7.为解决上述技术问题，本发明提供如下技术方案：一种基于ai视觉的配网作业实时高精度预警方法，包括：
8.采集作业环境全景图像，基于所述图像构建相对位置坐标系并获取相对位置转换矩阵；
9.利用yolo目标检测模型进行作业现场视频识别，分别获取作业人员和带电设备的roi区域；
10.利用相对位置矩阵和辅助定位设备确定作业人员和带电设备的坐标信息；
11.利用高斯距离公式计算作业人员与带电设备之间的距离，并将所述距离与安全距离进行比较，基于比较结果进行危险区域预警。
12.作为本发明所述的基于ai视觉的配网作业实时高精度预警方法的一种优选方案，其中：所述构建相对位置坐标系，包括：
13.将所采集的全景图像作为基准图像，选定基准图像中的一个布控球作为原点，依据多个布控球之间的相对位置信息构建相对位置坐标系，基于所述的相对位置坐标系获取基准图中每个像素点的位置坐标信息。
14.作为本发明所述的基于ai视觉的配网作业实时高精度预警方法的一种优选方案，其中：所述相对位置转换矩阵，包括：
15.利用布控球所配备的摄像头采集作业现场图像，基于所采集的现场图像对所述基准图像进行校正；选取所采集的现场图像中的多个关键点，根据关键点在拍摄图像和在基准图上的相对位置坐标，计算两个平面间的相对位置转换矩阵。
16.作为本发明所述的基于ai视觉的配网作业实时高精度预警方法的一种优选方案，其中：所述获取作业人员和带电设备的roi区域，包括：
17.利用yolo目标检测模型检测作业人员与带电设备是否在同一画面，若作业人员和带电设备在同一画面，则通过后台系统获取设备的带电电压数据；若电压数据不为0，则分别获取此刻作业人员和带电设备的roi区域信息。
18.作为本发明所述的基于ai视觉的配网作业实时高精度预警方法的一种优选方案，其中：所述辅助定位设备，具体为：可以用于确定位置信息的地图定位设备，包括：uwb、北斗。
19.作为本发明所述的基于ai视觉的配网作业实时高精度预警方法的一种优选方案，其中：所述作业人员和带电设备的坐标信息，包括：作业人员roi区域中心点的相对位置坐标、带电设备roi区域中心点的相对位置坐标、作业人员roi区域中心点的三维坐标、带电设备roi区域中心点的三维坐标、作业人员roi区域中心点的二维坐标以及带电设备roi区域中心点的二维坐标。
20.作为本发明所述的基于ai视觉的配网作业实时高精度预警方法的一种优选方案，其中：还包括：当通过yolo目标检测和定位辅助设备相结合的方式确定了作业人员roi区域和带电设备roi区域的三维坐标后，通过映射的方式来获得作业人员roi区域和带电设备roi区域的二维坐标。
21.作为本发明所述的基于ai视觉的配网作业实时高精度预警方法的一种优选方案，其中：所述利用yolo目标检测模型进行作业现场视频识别，包括：依据作业现场环境视频对视频进行解码，对解码后图像中的带电设备和作业人员进行标注，尤其需对作业人员的身体部分特征信息需进行精细标注；然后将标注好的图片输入基于yolo改进的视频目标检测神经网络模型中进行迭代训练得到能对作业人员以及带电设备进行识别的视频目标检测模型。
22.作为本发明所述的基于ai视觉的配网作业实时高精度预警方法的一种优选方案，其中：所述欧几里得距离公式，表示为：
[0023][0024]
其中，p1指的是作业人员roi区域中心点的二维坐标以(x1，y1)表示，p2指的是带电设备roi区域中心点的二位坐标以(x2，y2)表示。
[0025]
作为本发明所述的基于ai视觉的配网作业实时高精度预警方法的一种优选方案，其中：所述基于比较结果进行危险区域预警，包括：将计算所得的距离与预先设定的安全距离进行比较，若计算所得距离不大于安全距离，则判定作业人员在作业时邻近或跨越安全距离，需向处于危险区域的作业人员发出实时预警信号；若计算所得距离大于安全距离，则判定作业人员在作业时未靠近危险区域，可以继续进行配网作业。
[0026]
本发明的有益效果：本发明通过利用计算机视觉理论以及深度学习神经网络技
术，实现了基于ai视觉的复杂配电环境下对作业人员和带电设备的跟踪，通过利用yolo目标检测模型和所相对位置转换矩阵实现对作业人员和带电设备的精准定位，利用高斯距离计算公式实现对作业人员与危险区域之间距离的计算，进而实现了对意外进入危险区域的预警；本发明所提出的方法能够极大地提高作业人员的作业安全性，有效地防止因作业人员疏忽进入危险区域导致意外发生，有利于复杂配电作业环境下的人员监督，减少通过人工巡查数据、人工数据汇总处理带来的反应速度过慢，现有预警系统缺乏实时性所导致的痛点问题。
附图说明
[0027]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0028]
图1为本发明一个实施例提供的一种基于ai视觉的配网作业实时高精度预警方法的整体流程图；
[0029]
图2为本发明一个实施例提供的基于视觉的三维坐标系构建模块流程图；
[0030]
图3为本发明一个实施例提供的基于yolo的作业人员和带电设备的视频目标检测模型训练流程图；
[0031]
图4为本发明一个实施例提供的基于yolo改进的目标检测网络模型结构示意图。
具体实施方式
[0032]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0033]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0034]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0035]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0036]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0037]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0038]
实施例1
[0039]
参照图1～4，为本发明的一个实施例，提供了一种基于ai视觉的配网作业实时高精度预警方法，包括：
[0040]
s1：采集作业环境全景图像，基于所述图像构建相对位置坐标系并获取相对位置转换矩阵。
[0041]
更进一步的，利用配电现场所配置的多个现场布控球所配备的摄像头对带电作业场景进行拍摄以采集作业现场监控区域内的作业环境全景图像。
[0042]
更进一步的，将所采集的全景图像作为基准图像，选定基准图像中的一个布控球作为原点，依据多个布控球之间的相对位置信息构建相对位置坐标系，进而基于所构建的相对位置坐标系获取基准图中每个像素点的位置坐标信息。
[0043]
更进一步的，基于布控球所拍摄的图像对基准图进行校正；
[0044]
具体的，首先需要通过opencv中calibratecamera函数对所有摄像头的内参以及畸变系数进行计算标定；然后通过opencv中undistort函数进行校正。
[0045]
应说明的是，由于布控球对配网作业现场所拍摄的图像并非空中的俯视图，而是与地面存在一定的倾斜角的图片；因此将多个布控球所采集的图片拼接而成的作业环境全景图像也存在着一定的畸变，为了保证基准图的准确性，需要利用opencv的函数对全景图像进行校正，可以使得全景图像的坐标准确性提高。
[0046]
更进一步的，在拍摄图像中选取多个关键点，根据关键点在拍摄图像和在基准图上的相对位置坐标，利用opencv中的findhomography函数计算两个平面间的相对位置转换矩阵。
[0047]
s2：利用yolo目标检测模型进行作业现场视频识别，获取作业人员和带电设备的roi区域。
[0048]
更进一步的，利用yolo目标检测模型对所采集的作业环境视频进行作业人员和带电设备的识别。
[0049]
在一个可选的实施例中，首先依据作业现场环境视频对视频进行解码，对解码后图像中的带电设备和作业人员进行标注，其中作业人员的身体部分特征信息需进行精细标注；然后将标注好的图片输入基于yolo改进的视频目标检测神经网络模型中进行迭代训练得到能对作业人员以及带电设备进行识别的视频目标检测模型，其具体工作流程如图3所示。
[0050]
应说明的是，利用yolo目标检测模型进行作业现场环境视频识别是为了去除置信度较低的作业人员与带电设备的检测视频流。
[0051]
更进一步的，当作业人员与带电设备在同一视频画面被检测成功时，通过后台系统获取设备的带电电压数据；若电压数据不为0，则分别获取此刻作业人员和带电设备的roi区域信息。
[0052]
应说明的是，由于当配网作业现场的电压为0时不需要浪费计算资源对施工人员
和带电设备进行检测；当电压大于0时，为保证配网作业施工人员的安全，需要对施工人员和带电设备的距离进行检测；因此在获取roi区域之前需要对配网作业现场的电压进行判别。
[0053]
s3：利用相对位置矩阵和辅助定位设备确定作业人员和带电设备的坐标信息。
[0054]
更进一步的，将所获取的roi区域的中心点通过相对位置矩阵来获取该区域中心点对应于基准图的位置坐标，其中，作业人员roi区域中心点的相对位置坐标表示为：带电设备roi区域中心点的相对位置坐标为：
[0055]
更进一步的，利用定位辅助设备对地图信息进行配准，进而获取带电设备和作业人员的三维坐标信息。
[0056]
应说明的是，定位辅助设备包括uwb、北斗等用于确定位置信息的地图定位设备。
[0057]
还应说明的是，通过将yolo目标检测与辅助定位设备相结合的方式获取带电设备和作业人员的位置信息是为了使得所获取的带电设备和作业人员的三维坐标信息更加准确，进而提高危险区域预警的准确率。
[0058]
更进一步的，将作业人员和带电设备的三维坐标信息映射至二维坐标系中，分别获得作业人员和带电设备的二维坐标，作业人员的二维坐标为：带电设备的二维坐标为：
[0059]
s4：利用高斯距离公式计算作业人员与带电设备之间的距离，并将所述距离与安全距离进行比较，基于比较结果进行危险区域预警。
[0060]
更进一步的，利用高斯距离公式计算作业人员与带电设备的距离。
[0061]
更进一步的，将计算所得的距离与预先设定的安全距离进行比较，用于判定作业人员是否处于危险区域内。
[0062]
应说明的是，判定标准具体为：若计算所得距离不大于安全距离，则判定作业人员在作业时邻近或跨越安全距离，需向处于危险区域的作业人员发出实时预警信号；若计算所得距离大于安全距离，则判定作业人员在作业时未靠近危险区域，可以继续进行配电网作业。
[0063]
实施例2
[0064]
参照图1～4，为本发明的一个实施例，提供了一种基于ai视觉的配网作业实时高精度预警方法，通过在两种配电作业现场的应用情况来验证本发明的有益效果。
[0065]
在高压配电作业现场，通过布控球设备获取作业环境全景图像；当施工人员进入现场时，现场布控球开始对进入人员的进行实时的检测追踪，根据验电设备的信号，现场布控球开始对带电设备的区域进行实时监控，实时预警系统会获取带电物体的坐标信息。
[0066]
当有作业人员进入监控区域时，基于视觉的三维坐标定位算法开始计算作业人员与带电物体的距离，依据带电作业人员所携带的uwb芯片对位置信息进行协助校准。依据作业人员和带电物体的坐标计算二者在二维平面上的直线距离，当作业人员与带电设备的距离不符合后台电压等级数据及其相应安全距离，预警系统开始发出警报。
[0067]
在攀高配电作业现场，通过布控球设备获取作业环境全景图像，利用无人机升空
对全景图像进行校准，建立视觉地图的先验地图；当施工人员进入现场时开始进行布控球画面对其实时跟踪监测；然后根据后台电压数据获取带电物体信息，通过目标检测得出其roi区域；下一步得出施工人员和带电物体的三维坐标信息，通过作业环境现场的uwb信息进行坐标配准，通过二者之间的坐标距离计算，对处于危险区域的作业人员发出警报。
[0068]
由此可知，无论是在高压配电作业场景下还是在攀高配电作业场景下，都可以利用布控球获取全景图像，利用目标检测模型实现对作业人员和带电设备的实时追踪，通过获取作业人员和带电设备的位置信息来判断作业人员是否处于危险区域。
[0069]
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
[0070]
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
[0071]
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
[0072]
如在本技术所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组
(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
[0073]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。