基于前端目标识别和无人机避障信息的PMS参数自动校验方法及系统与流程

基于前端目标识别和无人机避障信息的pms参数自动校验方法及系统
技术领域
1.本发明属于参数校验的技术领域，特别是涉及一种基于前端目标识别和无人机避障信息的pms参数自动校验方法及系统。


背景技术：

2.在智能化设备的推动下，电力巡检模式也逐渐从人工作业逐渐演变为智能化设备作业。由于架空输电线路的杆塔体积庞大，由人工进行爬塔测量作业，仍有很多点位无法达到，而采用手动操作无人机进行拍摄测量，由于飞手数量少以及无人机操作不熟练等问题，容易导致采集数据依然不准确，数据采集慢，甚至无人机撞线导致坠机停电等影响电网安全生产。
3.针对智能化的数据管理，现有的国家电网公司生产管理系统pms(production management system)所具有的架空输电线路线路杆塔台账易出现不准确或缺失的情况。


技术实现要素：

4.发明目的：提出基于前端目标识别和无人机避障信息的pms参数自动校验方法及系统，以解决现有技术存在的上述问题，通过将目标检测和关键点的检测方法部署至无人机遥控器的手机端，实现对杆塔和塔上设备的关键参数进行自动采集和校验，减少冗余的人工的操作，提高数据准确率。
5.技术方案：第一方面，提出了一种基于前端目标识别和无人机避障信息的pms参数自动校验方法，该方法具体包括以下步骤：
6.步骤1、构建数据库用于存储巡检作业过程中涉及到的参数数据；
7.步骤2、构建深度学习模型，并读取数据库中的数据进行数据分析；
8.步骤3、将深度学习模型部署至无人机的控制端；
9.步骤4、根据接收到的巡检指令，触发无人机执行巡检任务；
10.步骤5、实时记录执行巡检任务过程中产生到的应用数据；
11.步骤6、将采集到的应用数据与标准数据进行比对；
12.步骤7、将比对结果输出，生成校验数据；
13.步骤8、根据校验数据完成参数校正。
14.在第一方面的一些可实现方式中，通过构建的数据训练集训练深度学习模型的使用性能。数据训练集包括数据库中的读取到的历史数据，以及无人机巡检过程中实时采集到的巡检视频和图像。
15.采用所述数据训练集对所述深度学习模型进行训练的过程中，在读取到数据训练集后，针对需要进行测量分析的目标，进行目标点标注和关键点标注；并基于目标点标注和关键点标注的结果，进行目标检测和关键点检测的性能训练。
16.在第一方面的一些可实现方式中，无人机执行巡检任务的过程中，通过避障传感
器的报警提示信息，实现拍摄距离的安全控制。
17.无人机执行巡检任务的过程中，通过划分对称巡检目标的位置信息，实现单侧路径规划，并通过对称翻转的方式，完成另一侧的路径规划。
18.无人机执行巡检任务的过程中，获取当前巡检杆塔高度的过程为：当杆塔塔顶画面置于无人机检测画面的中央时，将无人机悬停，并记录此时无人机的悬停位置，随后，无人机缓慢往塔顶下降，直到避障传感器发出报警信息时，停止下降，并记录此时无人机的高度h
t
以及避障传感器的报警距离d
t
，同时根据获得的参数信息获得当前杆塔的高度h
t
：
19.h
t
＝h
t-d
t
20.式中，h
t
表示无人机的高度；d
t
表示避障传感器的距离信息。
21.无人机执行巡检任务的过程中，获取当前巡检杆塔横担参数信息的过程为：
22.无人机实时获取横担端点的图像信息，并根据横担端点的检测框与画面中心的偏移量调整无人机航姿，使横担端点处于画面中心；记录此时无人机的高度，因此，横担之间的间距为当前横担与下一层横担高度之差d
l
：
23.d
l
＝h
l-h
l 1
24.式中，h
l
表示当前横担的高度；h
l 1
表示下一层横担的高度；
25.随后，将无人机保持当前的状态，并缓慢向横担端点靠近，直到避障传感器第一次报警，记录此时横担端点的检测框尺寸(w，h)、避障传感器的报警距离d1、无人机此时的gps(l1，b1)，从而获得当前层横担的左长为|b
1-d
1-b|，横担左宽为d1*w*s，其中s表示当前五人及相机镜头的距离与像素之间的转换系数。
26.第二方面，提出一种基于前端目标识别和无人机避障信息的pms参数自动校验系统，该系统具体包括以下模块：
27.数据库，用于存储巡检过程中涉及到的参数数据；
28.深度学习模型，用于读取数据库中存储的数据并进行数据分析；
29.部署模块，用于根据需求将深度学习模型部署至手机应用终端；
30.进程触发模块，用于生成进程触发机制，触发进程的执行；
31.数据采集模块，用于在巡检过程中实时采集产生的作业数据；
32.数据比对模块，用于比对数据采集模块采集到的数据与标准数据之间的差异；
33.数据输出模块，用于输出数据比对模块获得的差异比对结果；
34.校验数据生成模块，用于根据数据输出模块输出的差异比对结果生成校验数据；
35.参数校正模块，用于根据生成的校验数据完成参数校正。
36.第三方面，提出一种基于前端目标识别和无人机避障信息的pms参数自动校验设备，该设备包括：处理器以及存储有计算机程序指令的存储器；其中，处理器读取并执行所述计算机程序指令，以实现参数自动检验方法。
37.第四方面，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如参数自动检验方法。
38.有益效果：本发明提出一种基于前端目标识别和无人机避障信息的pms参数自动校验方法及系统，利用深度学习目标检测和关键点检测算法，将其部署至作为无人机遥控器的手机端，在无人机环绕杆塔飞行的过程中，利用算法的检测结果和无人机自带传感器的信息，对杆塔和塔上设备的关键参数进行自动采集和校验，包括杆塔位置准确gps、塔全
高、每层横担的高度、横担的左长和右长、横担宽度。全部过程中只需要人工控制无人机开始参数校验任务，后续流程由无人机自动进行。通过将目标检测和关键点的检测方法部署至无人机遥控器的手机端，实现对杆塔和塔上设备的关键参数进行自动采集和校验，有效减少了冗余的人工的操作，提高数据准确率。
附图说明
39.图1为本发明的数据处理流程图。
40.图2为本发明无人机信息采集流程图。
具体实施方式
41.在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
42.实施例一
43.在一个实施例中，针对现有技术中存在的采集数据依然不准确，数据采集慢、台账易出现不准确或缺失的情况，提出一种基于前端目标识别和无人机避障信息的pms参数自动校验方法，如图1所示，该方法具体包括以下步骤：
44.步骤1、构建数据库用于存储巡检作业过程中涉及到的参数数据；
45.具体的，数据库中存储的参数数据如下表1所示，对应国家电网公司为国网生产管理系统(pms,production management system)的杆塔台账信息，以及对应南方电网公司的设备技术参数。
46.表1
47.参数名类型备注经度lfloatgps经纬度经度纬度bfloatgps经纬度纬度塔高h
t
float塔底的海拔高度 杆塔本体高度层数nint该塔具有多少层横担层n左长(根据层数自动继续获取)l
ln
float横担左侧长度层n右长(根据层数自动继续获取)l
rn
float横担右侧长度层n左宽(根据层数自动继续获取)w
ln
float横担左侧宽度层n右宽(根据层数自动继续获取)w
rn
float横担右侧宽度层n间距(根据层数自动继续获取)dnfloat该层横担与下一层横担之间的高度差
48.数据库存储的数据除了历史作业数据，还包括无人机巡检过程中实时拍摄记录的数据。
49.步骤2、构建深度学习模型，并读取数据库中的数据进行数据分析，识别检测出目标的位置以及关键点的位置。
50.步骤3、将深度学习模型部署至无人机的控制端；
51.具体的，在无人机飞控app中添加目标识别接口，实际应用过程中，通过java jni
层调用部署至手机芯片的深度学习模型。
52.步骤4、根据接收到的巡检指令，触发无人机执行巡检任务；
53.步骤5、实时记录执行巡检任务过程中产生到的应用数据；
54.步骤6、将采集到的应用数据与标准数据进行比对；
55.步骤7、将比对结果输出，生成校验数据；
56.步骤8、根据校验数据完成参数校正。
57.本实施例利用深度学习目标检测和关键点检测算法，将其部署至作为无人机遥控器的手机端，在无人机环绕杆塔飞行的过程中，利用算法的检测结果和无人机自带传感器的信息，对杆塔和塔上设备的关键参数进行自动采集和校验。全部过程中只需要人工控制无人机开始参数校验任务，后续流程由无人机自动进行。有效解放了人力，大幅提高了pms参数校验的速度和准确性，减少了人为因素对参数采集校验的负面影响，同时提升了整体作业流程的安全性。
58.实施例二
59.在实施例一的基础上，为了提高深度学习模型的性能，采用数据训练集进行性能训练。首先读取数据库中存储的源数据，随后，针对pms杆塔关键参数测量所需要识别的目标，在源数据中进行目标和关键点的标注；最后，基于标注结果实现目标检测和关键点检测的性能训练。其中，数据训练集包括：数据库中的架空输电线路杆塔精细化巡检图像，以及无人机巡检过程中实时采集到的巡检视频和图像。
60.实施例三
61.在实施例一的基础上，无人机执行巡检任务的过程中，通过划分对称巡检目标的位置信息，实现单侧路径规划，并通过对称翻转的方式，完成另一侧的路径规划。如图2所示，无人机根据预定的巡检路径进行参数信息的采集，首先将无人机起飞至杆塔附近，通过图象识别技术检测杆塔塔头，并将其作为标准参照物。以塔头置于检测画面中心为需求，调整无人机的航向角。随后，无人机爬升至安全高度，将相机云台调整至90度，并在保持安全高度的情况下，朝向杆塔飞行。
62.通过目标检测技术识别塔顶，并根据塔顶在检测画面中的位置情况，微调无人机的位姿，当塔顶处于检测画面中央时，将无人机悬停。记录此时无人机的悬停位置，并将此时无人机的gps作为杆塔的gps参数，记为(l,b)。随后，调整无人机航向角，使塔顶检测框的长边与画面长边平行，并记录此时的无人机航向角飞往下一基杆塔的航向角θ。
63.基于获得的航向角，无人机缓慢往塔顶下降，直到避障传感器发出报警信息时，停止下降，并记录此时无人机的高度h
t
以及避障传感器的报警距离d
t
，同时根据获得的参数信息获得当前杆塔的高度h
t
：
64.h
t
＝h
t-d
t
65.式中，h
t
表示无人机的高度；d
t
表示避障传感器的距离信息。随后，无人机保持当前的状态，并爬升至安全高度。
66.由于无人机画面水平中心轴线为横担抽线，因此无人机在向左或向右飞行时，在默认安全距离中，开始测量横担参数测量。随后，调整无人机的航向角，即向塔中心方向偏转90度，使得无人机正对塔中心，并将云平台调整至平视角度。
67.无人机继续缓慢下降，并实时分析横担端点，根据横担端点的检测框与画面中心
的偏移量调整无人机航姿，使横担端点处于画面中心，记录此时无人机的高度，横担之间的间距为当前横担与下一层横担高度之差d
l
：
68.d
l
＝h
l-h
l 1
69.式中，h
l
表示当前横担的高度；h
l 1
表示下一层横担的高度。将无人机保持当前的状态，并缓慢向横担端点靠近，直到避障传感器第一次报警。记录此时横担端点的检测框尺寸(w,h)、避障传感器的报警距离d1、无人机此时的gps(l1,b1)，从而获得当前层横担的左长为|b
1-d
1-b|，横担左宽为d1*w*s，其中s表示当前五人及相机镜头的距离与像素之间的转换系数。
70.完成数据采集后，无人机后退至安全距离，并通过循环迭代的方式，依次获得当前侧所有横担的参数采集。随后，无人机爬升至安全高度，并返回至塔顶中心(l,b,h)。采用同样的循环迭代方式获得另一侧横担的参数采集。
71.最后，调整无人机航向角至历史记录中的航向角θ，无人机飞往线路中下一基杆塔继续进行参数采集和验证。
72.实施例四
73.在一个实施例中，提出一种基于前端目标识别和无人机避障信息的pms参数自动校验系统，用于实现参数自动校验方法，该系统具体包括以下模块：数据库、深度学习模型、部署模块、进程触发模块、数据采集模块、数据比对模块、数据输出模块、校验数据生成模块、参数校正模块。
74.在进一步的实施例中，数据库中存储着作业过程中涉及到的一些参数数据，并作为深度学习模型用于分析的源数据。深度学习模型在巡检过程中，读取数据库中的数据，并通过可见光图像对目标物体和目标物体上的关键点进行检测，获取目标在画面中的像素级位置坐标和像素级的尺寸等信息。为了减少无人机终端的硬件性能需求，部署模块将深度学习模型部署至无人机的手机控制端，通过在手机应用中添加目标识别接口的方式，将识别过程部署至手机端，并在实际应用过程中通过java jni层实现模型调用。
75.实际巡检过程中，根据巡检需求，进程触发模块生成巡检进程触发机制，并触发巡检任务进行作业。在巡检进程中，数据采集模块实时采集作业过程中产生的作业数据，并同步存储至数据库中。
76.参数校正的过程中，首先采用数据比对模块比对数据采集模块实时采集到的数据与标准数据之间的差异性，并采用数据输出模块输出。根据输出的差异比对结果，利用校验数据生成模块生成校验数据，并采用参数校正模块根据校验数据完成参数校正。
77.实施例五
78.在一个实施例中，提出一种基于前端目标识别和无人机避障信息的pms参数自动校验设备，该设备包括：处理器以及存储有计算机程序指令的存储器。
79.其中，处理器读取并执行所述计算机程序指令，以实现参数自动检验方法。
80.实施例六
81.在一个实施例中，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令。
82.计算机程序指令被处理器执行时，实现参数自动检验方法。
83.如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释
为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。