一种无人机输电线路巡检中关键目标空间定位方法与流程

1.本发明属于输电线路中关键目标空间定位技术领域，特别涉及一种双目立体视觉与机载gps协同的无人机输电线路巡检中关键目标空间定位方法。


背景技术：

2.在无人机输电线路巡检过程中，现有无人机巡检系统只能实时显示无人机当前的位置信息，然后通过双目视觉或者其他距离传感器获取无人机与待测目标的相对距离，难以得到无人机携载摄像头捕捉到的待测目标的位置，因此无法以通用的坐标系来确切地描述关键目标物的空间位置。
3.在实际输电线路巡检工作中，往往需要及时获取并记录故障缺陷发生的具体空间位置信息，例如，记录入侵异物位置信息以便开展后续清除工作，记录异常发热区域的位置信息以便进行后续检测、检修工作等。在输电线路巡检过程中仅知道关键目标与无人机的相对位置的关系并没有实际的应用意义，现有的解决方案通常是采用人工测量或者用无人机的地理位置来近似被检测目标的位置，前者往往受限于特殊地理位置，人员无法到达，导致定位、测量、检修等工作无法顺利开展，而后者则不够精确，误差过大时容易引发无人机和输电线路的碰撞等电力事故。例如，专利说明书cn202111677929.4公开了一种无人机检测电力杆塔塔顶偏移距离的系统，该系统通过激光测距传感器想电力杆塔塔顶发射测距激光束，解析测距信号，分析无人机和电力杆塔的偏移距离，仅能够获得二者之间的相对位置关系，实际意义较低。
4.为解决上述问题，需要将检测的关键目标在二维图像中的像素坐标与真实场景中的地理坐标进行匹配，获得便于电力设备巡检员使用的形式表达，从而指引无人机快速、准确巡检。


技术实现要素：

5.为了解决上述问题，本发明提供一种双目立体视觉与机载gps协同的无人机输电线路巡检中关键目标空间定位方法，能协同处理被检测目标的可见光特征图像信息和检测无人机的gps信息，实现二者的匹配，构建一个目标三维空间定位坐标系转化关系模型，根据无人机飞行数据和设备参数获得关键目标的经纬度和高度，提高输电线路无人机巡检效率。
6.本发明具体为一种双目立体视觉与机载gps协同的无人机输电线路巡检中关键目标空间定位方法，所述无人机输电线路巡检中关键目标空间定位方法包括以下步骤：
7.步骤(1)：使用无人机搭载的双目相机获取待测关键目标的双目视觉信息，利用无人机的gps获得无人机实时飞行的经纬度信息和高度信息；
8.步骤(2)：根据双目视觉模型计算待测目标在世界坐标系中的三维坐标，构建双目视觉针孔模型，实现世界坐标、相机坐标、物理坐标和像素坐标之间的转换；
9.步骤(3)：基于双目视觉空间定位原理实现双目标定，然后根据标定结果对图像进
行畸变矫正和双目立体矫正，最后将双目图像中的对应点进行稀疏立体匹配，获取双目图像之间的位置对应关系；
10.步骤(4)：根据目标空间信息和无人机实时飞行数据，构建一个目标三维空间定位坐标系转换关系模型，推导出关键目标的高度；
11.步骤(5)：通过无人机地理经纬度、高度、方位角以及无人机和关键目标在基准世界坐标系下的坐标，构建无人机地理经纬度、高度、方位角和关键目标的转化模型，计算关键目标的地理坐标即经纬度；
12.步骤(6)：利用关键目标的经纬度信息和高度信息指引无人机巡检飞行，使无人机在输电线-路巡检过程中能够直接飞到异常发热、损坏部件和关键部件位置进行输电线路的异常检测或损坏检测。
13.与现有技术相比，有益效果是：所述无人机输电线路巡检中关键目标空间定位方法，要是通过获取输电线路关键目标的双目立体视觉信息和对应的机载gps信息，根据图像坐标系、相机坐标系、世界坐标系和地理坐标系之间的位置换算关系，结合双目立体视觉、无人机实时飞行数据和设备参数，构建了一个目标三维空间定位推导模型，从而根据无人机实时飞行数据和设备参数直接得到关键目标的经纬度和高度信息，将关键目标在二维图像中的像素坐标与真实场景中的地理坐标进行匹配，转换为方便人员理解且通用的大地坐标形式表达，最后根据大地坐标引导无人机自主飞行巡检，大大提高了无人机输电线路巡检效率。
附图说明
14.图1为本发明一种无人机输电线路巡检中关键目标空间定位方法的模块结构图；
15.图2为本发明一种无人机输电线路巡检中关键目标空间定位方法实施流程示意图；
16.图3为双目视觉中世界坐标系、相机坐标系、图像坐标系和像素坐标系位置关系示意图；
17.图4为双目视觉中四个坐标系关系转换示意图；
18.图5为双目视觉系统成像示意图；
19.图6为双目立体矫正示意图；
20.图7为稀疏立体匹配示意图；
21.图8为双目视觉和无人机gps系统协同的关键目标高度计算示意图；
22.图9为关键目标大地坐标算法流程图；
23.图10为地理坐标系和世界坐标系关系示意图。
具体实施方式
24.下面结合附图对本发明一种双目立体视觉与机载gps协同的无人机输电线路巡检中关键目标空间定位方法的具体实施方式做详细阐述。
25.如图1所示，本发明提出的一种双目立体视觉与机载gps协同的无人机输电线路巡检中关键目标空间定位方法，包括关键目标双目视觉信息获取模块、无人机经纬度信息获取模块、双目相机标定模块、畸变矫正和立体矫正模块、稀疏立体匹配模块、关键目标高度
计算模块和关键目标经纬度求解模块。其中关键目标双目视觉信息获取模块是通过无人机搭载的双目相机实时拍摄获取输电线路中异常发热、放电和故障区域图像实现信息采集，无人机经纬度信息获取模块通过机载gps获取无人机实时经纬度信息。双目相机标定模块、畸变矫正和立体矫正模块以及稀疏立体矫正模块三者共同完成了双目视觉从标定、畸变矫正到立体匹配的流程，关键目标高度和经纬度计算模块则实现了输电线路中异常目标、待检测物体等关键目标的位置信息求解，这些模块有各自的连接方式，以便实现输电线路关键目标空间定位的功能。
26.如图2所示，本发明的双目立体视觉与机载gps协同的无人机输电线路巡检中关键目标空间定位方法具体运行流程为：
27.1)使用无人机搭载的双目相机获取待测关键目标的双目视觉信息，利用无人机的gps获得无人机实时飞行的经纬度信息和高度信息；
28.2)根据双目视觉模型计算待测目标在世界坐标系中的三维坐标，如图3所示，双目视觉模型由针孔模型构建，可以实现世界坐标、相机坐标、物理坐标和像素坐标之间的转换，具体过程如下：
29.21)首先使用旋转矩阵r和平移矩阵t处理待测目标在世界坐标系的坐标，得到对应的相机坐标中的坐标，将世界坐标系中的三维坐标记为[xw,yw,zw]，得到的相机坐标系坐标记为[xc,yc,zc]，转换公式如下式(1)所示，其中r代表旋转矩阵，t代表平移矩阵，r
11
～r
33
是旋转矩阵r中的元素，t1～t3是平移矩阵t的元素。
[0030][0031]
22)在理想的针孔成像模型下，根据步骤21)中相机坐标系中的坐标和三角形相似原理可以计算出图像坐标系中的坐标，如下式(2)所示，其中f代表双目相机的焦距；
[0032][0033]
23)步骤22)中图像坐标代表了三维物体在二维图像上的位置信息，在不考虑镜头畸变因素影响情况下，根据相机的像元尺寸将图像坐标进行离散化，得到像素坐标系中的坐标，其中d
x
和dy分别代表像素在x轴和y轴方向上的物理尺寸，即像素坐标u和v；
[0034][0035]
24)如图4所示，结合双目视觉模型在各个坐标系之间的转换关系，求出世界坐标系和像素坐标系之间的直接转换关系，其中u0和v0代表主点坐标，m1是相机内参矩阵，m2是相机外参矩阵，p为内参矩阵和外参矩阵的乘积，从而根据待测目标的像素坐标直接计算出与之对应的三维世界坐标；
[0036][0037]
3)如图5所示，基于双目视觉空间定位原理实现双目标定，然后根据标定结果对图像进行畸变矫正和双目立体矫正，最后将双目图像中的对应点进行稀疏立体匹配，获取双目图像之间的位置对应关系，具体过程如下：
[0038]
31)相机参数包括内参和外参，双目相机标定时就是对内外参数解析过程，根据无人机搭载双目相机拍摄的待测目标图像，拍摄多组包含不同位置的清盘个标定板图像，根据提取到的角点间的关系求解所需要的参数，主要分为以下几个步骤：
[0039]
a.求解棋盘格标定板平面和图像平面之间的单应性矩阵h，根据单应性矩阵推导双目相机中左目和右目相机的内参和外参初始值，左目内外参分别记为p1和k1，右目内外参记为p2和k2；
[0040]
b.利用最大似然估计算法对初始值进行优化，得到更加精确的内参和外参，左目内外参和右目内外参分别记为p1’,k1’,p2’,k2’；
[0041]
c.求解单目相机的畸变参数，记为s；
[0042]
d.利用左右目相机各自的外部参数推导出两个相机之间的外部参数，即右目相机相对于左目相机的旋转矩阵r1和平移矩阵t1。
[0043]
32)如图6所示，根据步骤31)的双目相机标定结果，对无人机搭载的双目相机拍摄到的双目图像进行矫正，包括图像畸变矫正和双目立体矫正，具体步骤如下所示：
[0044]
a.根据步骤31)的d中获得的右目相机对左目相机的旋转矩阵r1和平移矩阵t1，将旋转矩阵分为两部分，分别记为r3和r4，根据新的旋转矩阵分别旋转左目图像和右目图像，使左右目图像的成像平面共面；
[0045]
b.通过三个正交向量e1,e2,e3，构造从基线到极线的旋转向量，沿着已经调整到平行的光轴将成像平面的x轴旋转到与平移矩阵t1在x轴的分量平行，实现双目图像的行的对齐，从而实现双目图像的立体矫正，并将矫正后的双目图像记为i1。
[0046]
33)如图7所示，对矫正后的双目图像i1进行基于改进surf算法的稀疏立体匹配，具体步骤如下：
[0047]
a.首先，将左目图像和右目图像的特征点集合记为pos_left和pos_right，其中m和n分别表示左右目图像中的特征点数量，特征点集合如下式所示，(x’i
,y’i
)和(xi,yi)分别代表左右目中特征点坐标：
[0048][0049]
b.采用欧氏距离算法对所有特征点进行粗匹配，分别计算左目图像中每个特征点(x’i
,y’i
)与右目图像中的所有特征点(xi,yi)的欧式距离l；
[0050]
c.按照距离大小的升序对所有粗匹配点对进行排序，删除多对一或者一对多的异常匹配点对，将左目图像与右目图像保留下来的特征点对分别记录为pos_left'和pos_right'；
[0051]
d.选择粗匹配点对中距离最小的前k个点对，并将这些点对记为：
[0052]
pos_k＝{{(x
’1,y
’1),(x1,y1)},{(x'2,y'2),(x2,y2)},...,{(x'k,y'k),(xk,yk)}}(6)；
[0053]
e.在双目图像中将匹配点连接，计算pos_k中所有点对连线的斜率，并统计出现概率较大的直线斜率，统计频率较低的异常斜率，剔除对应的匹配的点对，更新的匹配点对集合如下式(7)所示：
[0054]
pos_k
new
＝{{(x
l1
,y
l1
),(x
r1
,y
r1
)},{(x
l2
,y
l2
),(x
r2
,y
r2
)},...,{(x
ln
,y
ln
),(x
rn
,y
rn
)}}(7)；
[0055]
f.根据更新后的匹配点对完成稀疏立体匹配。
[0056]
4)如图8所示，根据目标空间信息和无人机实时飞行数据，构建一个目标三维空间定位坐标系转换关系模型，推导出关键目标的高度，具体过程如下：
[0057]
41)利用工控机实时接收无人机的飞行数据，提取关键目标定位所需要的信息，包括无人机的经纬度(l
uav
,b
uav
)、高度h
uav
、俯仰角α、方位角β、滚转角γ和摄像机云台的俯仰角度θ；
[0058]
42)以左目相机的光心为原点，光轴为zw轴，建立世界坐标系o
w-x
wywzw
，设o
w-x'wy’w
z'w为相机俯仰角为0时的左目相机坐标系，那么坐标系o
w-x
wywzw
是o
w-x'wy’w
z'w坐标系以x'w轴为旋转轴逆时针旋转θ角度后坐标系，转化关系如下式(8)所示：
[0059][0060]
43)根据无人机的gps定位模块测量无人机在基准世界坐标系中的坐标(x’uav
,y’uav
,z’uav
)，然后基于步骤42)中的公式计算出无人机在真实世界坐标系中的坐标(x
uav
,y
uav
,z
uav
)；
[0061]
44)令无人机俯仰角α、滚转角γ和相机俯仰角θ都为0情况下的坐标系为o
w-x
″
wy″
wz″w，并将其记为基准世界坐标系，将步骤42)中俯仰角为θ的坐标系记为实际世界坐标系，构建基准世界坐标系和真实世界坐标系之间的转化关系，转化关系如下式(9)所示：
[0062][0063]
45)令(x
ob
,y
ob
,z
ob
)表示目标在实际世界坐标系中的坐标，根据步骤43)中计算的实际世界坐标系中的坐标(x
uav
,y
uav
,z
uav
)和目标在实际世界坐标系中的坐标(x
ob
,y
ob
,z
ob
)，利用步骤44)提出的坐标系转换公式得到关键目标和无人机在基准世界坐标系中的坐标(x
″
ob
,y
″
ob
,z
″
ob
)和(x
″
uav
,y
″
uav
,z
″
uav
)；
[0064]
46)根据基准世界坐标系y”轴垂直指向地心的原则，计算无人机和关键目标的高度差，计算公式如下式(10)所示，其中y
″
in
代表关键目标在基准坐标系中y”轴上的坐标：
[0065]
δh＝y'
uav-y
″
in
(10)；
[0066]
47)根据步骤46)中高度差的公式和实际坐标系中无人机的高度计算待测的关键目标距离地面的高度，计算公式如下式(11)所示，其中h
uav
代表无人机到地面的高度：
[0067]hob
＝h
uav
δh(11)；
[0068]
5)如图9所示，通过无人机地理经纬度、高度、方位角以及无人机和关键目标在基准世界坐标系下的坐标，构建无人机地理经纬度、高度、方位角和关键目标的转化模型，计
算关键目标的地理坐标，即经纬度，具体过程如下：
[0069]
51)首先以无人机搭载的双目相机为原点构建大地坐标系，坐标系中的点通过经度(l)，维度(b)和高度(h)来描述；
[0070]
52)如图10所示，根据大地坐标系和球心坐标系之间的几何关系，将大地坐标转化为球心坐标，具体步骤如下：
[0071]
a.设测站点p的大地坐标为(l,b,h)，其在大地坐标系中的坐标为(xe,ye,ze)，球心坐标系中坐标为(x,y)。利用三角关系的将大地坐标系中的坐标转换到球心坐标系中，三角关系如下式(12)：
[0072][0073]
b.根据子午圈的椭圆方程和第一偏心率以及大地坐标系对应的椭球长半径和短半径，计算得到初步转化结果x和y，其中子午圈的椭圆方程为第一偏心率为转换公式如下式(13)所示，其中表示该点的卯酉圈曲率半径，a，b椭圆半长轴和半短轴的长度：
[0074]
x＝(n h)cosb
[0075]
y＝(n(1-e2) h)sinb(13)；
[0076]
c.整合步骤a和步骤b，实现从大地坐标系到球心直角坐标系的转换，整合后转换公式如下(14)：
[0077][0078]
53)根据球心坐标系和站心地平直接坐标系之间的几何关系，将球心坐标(xe,ye,ze)转化为站心地平直角坐标(x
p
,y
p
,z
p
)，具体步骤如下：
[0079]
a.首先对球心直角坐标进行平移操作，使得两个坐标系的原点重叠；
[0080]
b.将球心坐标系绕ze轴旋转(90
°
l0)度，绕xe轴旋转(90
°‑
β0)依次做两次旋转，l0和β0分别为站心地平直角坐标系原点的经、纬度，转换关系如下，式中，(x0,y0,z0)是站心直角坐标原点在球心直角坐标系下的坐标，r
x
和rz表示xe轴和ze上的旋转变换：
[0081][0082]
54)以无人机当前位置为原点构建站心地平直角坐标系，构建基准世界坐标系与站心地平直角坐标系之间的转换关系，具体过程如下：
[0083]
a.首先将基准世界坐标系o
w-x
″
wy″
wz″w进行平移，使得坐标原点ow和o
p
重合；
[0084]
b.然后将基准世界坐标系绕绕y
″w轴旋转-β度，再绕x
″w轴旋转90
°
，转换关系如下，式中β为无人机的方位角，(x
″
uav
,y
″
uav
,z
″
uav
)表示无人机也就是站心地平直角坐标系原点o
p
在基准世界坐标系o
w-x
″
wy″
wz″w中的坐标：
[0085][0086]
55)根据步骤52)、53)、54)的坐标转换结果，将待测关键目标在基准世界坐标系的坐标(x
″
ob
,y
″
ob
,z
″
ob
)转换到站心地平坐标系中，获得对应的站心地平坐标(x
p
,y
p
,z
p
)，再将站心地平坐标转换到对应的球心直角坐标系中，得到球心直角坐标(xe,ye,ze)，最后将球心直角坐标转换到大地坐标系中，计算得到待测关键目标经纬度，经纬度计算公式如下式(17)所示：
[0087][0088]
使用个迭代法求解关键目标的最终经纬度，迭代初始值如下，其中(xe,ye,ze)代表球心直角坐标，a，b代表椭圆半长轴和半短轴长度：
[0089][0090]
迭代公式如下，当维度b达到所需要的精度后，终止迭代：
[0091][0092]
6)利用关键目标的经纬度信息和高度信息指引无人机巡检飞行，使无人机在输电线-路巡检过程中能够直接飞到异常发热、损坏部件和关键部件位置进行输电线路的异常检测或损坏检测。
[0093]
最后应该说明的是，结合上述实施例仅说明本发明的技术方案而非对其限制。所属领域的普通技术人员应当理解到，本领域技术人员可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均在申请待批的权利要求保护范围之中。