基于机载LiDAR点云辅助的同机影像直接地理定位方法及系统与流程

基于机载lidar点云辅助的同机影像直接地理定位方法及系统
技术领域
1.本发明涉及一种影像直接地理定位技术，尤其是涉及一种基于机载lidar点云辅助的同机影像直接地理定位方案，属于摄影测量与遥感技术领域。


背景技术：

2.现在科学技术飞速发展，遥感领域新代传感器更新换代极快，但这也就造成了相应数据处理软件的水平跟不上硬件的发展速度。以机载lidar系统为例，最初的系统只具有激光扫描的功能，经过几年发展，一套完整的机载lidar系统不仅可以得到激光点云还可以得到相应的光学影像。但在相应的软件市场上，还没有出现一套自动化程度较高的软件，现在对于点云与影像数据的融合处理方法大部分是通过软件的预处理，在辅以操作人员频繁的手动或半自动工作来完成，然后才可以进行相关测绘产品的生产，这样的一个过程往往成本较高，生产周期较长。不仅如此，遥感测绘行业飞速发展带来了一系列的问题，其中就包括对单一的传感器数据进行处理所获得的测绘产品越来越难以满足社会需要，例如，机载lidar系统可获得测区内地物表面的地理坐标，但是对于目标的几何特征、纹理信息等无法直接获取。通过传统的摄影测量匹配方法进行重叠影像提取带有三维坐标的点云数据依然是难题，而且通过匹配提取的点云数据密度较大需要进行点云抽稀等作业，同时精度方面也不理想。融合机载lidar点云与航空影像这两种不同的数据源，则可充分发挥各自的优势、弥补对方的不足。
3.lidar系统都自带有pos系统，所以理论上获取的高分辨率航空影像是可以直接定位的，从而达到与lidar点云配准的目的。但由于图像传感框架和imu框架之间无法保持严格的平行度，因此必须先确定摄像头与imu之间的姿态和位置关系(称为视轴误差)，然后才能执行图像的直接地理配准。通常，该步骤是通过使用具有已知地面控制点的参考块(位于项目区域内或特殊测试区域中)间接确定的，此过程称为系统校准。
4.虽然传统的系统校准被广泛使用，但其存在以下缺点：1)测试区域和测绘区域之间的环境条件(例如温度，湿度等)可能会发生巨大变化。因此，由于环境条件的变化，摄像机在操作过程中的几何形状也可能会相对于测试情况发生变化。2)为每个制图项目建立一个新的测试场并收集大量地面控制点是昂贵的，有时是不切实际的。近年来，lidar系统的性能和准确性的持续改进使得lidar点云数据可作为摄影测量应用的控制信息的来源，用于在执行空中三角测量或确定视轴对准误差以进行直接地理配准。通过机载lidar系统实现同机光学影像的直接定位具有巨大的潜力，有利于提高相关产业的生产效率，促进异源遥感数据融合处理领域的发展以及测绘产品的多样化。


技术实现要素：

5.本发明针对lidar点云和航空影像配准面临的挑战和困难，提出了一种基于机载lidar点云辅助的同机影像直接地理定位方案，达到与航空影像和lidar点云配准的目的。
6.本发明技术方案提供一种基于机载lidar点云辅助的同机影像直接地理定位方法，包括以下处理，
7.选择子块影像集，根据影像所在区域截取机载lidar点云数据，利用surf算子提取子块影像重叠区域内的同名像点；
8.通过摄影测量空间前方交会获得同名像点的地面目标点，将目标点的高程值替换为从lidar点云内插出的高程值获得候选虚拟控制点；
9.基于自动vcp选择过程刷选合适的虚拟控制点集，所述自动vcp选择过程包括平面度测试、坡度测试和可靠性测试；
10.依据vcp点集和共线方程建立调整方程以执行视轴偏移补偿，支持获取基于机载lidar点云辅助的同机影像直接地理定位结果。
11.而且，所述利用surf算子提取子块影像重叠区域内的同名像点，实现过程如下，
12.在图像尺度空间中，利用窗口滤波对图像进行卷积过程获取局部特征点；
13.以60
°
扇形区域统计特征点周围像素值确定该特征点的主方向；
14.沿特征点主方向对点周围数据进行haar小波滤波，构建一个特征向量作为该点的描述子；
15.基于方向和灰度计算不同图像特征点间的相关系数，确定影像同名点。
16.而且，获得候选虚拟控制点的实现过程如下，
17.将点云数据投影到二维平面上，并基于投影点构建2d不规则三角网，三角网的顶点的数值为对应点云的高程值；
18.将目标点的平面坐标赋给虚拟控制点vcp，并判断vcp落在哪个三角形；
19.计算候选虚拟控制点vcp坐标，如果目标点恰好位于三角形的一个顶点处，则将该顶点值赋给vcp点，否则通过三角形的顶点逆距离加权插值进行估计。
20.而且，基于自动vcp选择过程刷选合适的虚拟控制点集实现过程如下，
21.平面度测试，包括搜索以vcp为中心的预设尺度窗口内的点云数据，拟合平面方程计算所在区域的平面度，并与相应设定阈值进行比较；
22.坡度测试，包括计算vcp所在区域的坡度，与相应设定阈值进行比较；
23.可靠性测试，包括对刷选的vcp点集分布进行约束，约定在测区上呈现均匀分布，且部分vcp位于多张影像重叠区内。
24.而且，依据vcp点集和共线方程建立调整方程以执行视轴偏移补偿实现过程如下，
25.逐vcp点计算对应像点坐标，利用带有误差的外方位元素按共线条件式计算vcp像点坐标；
26.逐点计算误差方程式的系数和常数项，组成误差方程式；
27.步计算法方程的系数矩阵和常数项，组成法方程式；
28.解算外方位元素，包括根据法方程求解外方位元素改正数，并与外方位元素求和，得到新的外方位元素。
29.另一方面，本发明还提供一种基于机载lidar点云辅助的同机影像直接地理定位系统，用于实现如上所述的一种基于机载lidar点云辅助的同机影像直接地理定位方法。
30.而且，包括以下模块，
31.第一模块，用于选择子块影像集，根据影像所在区域截取机载lidar点云数据，利
用surf算子提取子块影像重叠区域内的同名像点；
32.第二模块，用于通过摄影测量空间前方交会获得同名像点的地面目标点，将目标点的高程值替换为从lidar点云内插出的高程值获得候选虚拟控制点；
33.第三模块，用于基于自动vcp选择过程刷选合适的虚拟控制点集，所述自动vcp选择过程包括平面度测试、坡度测试和可靠性测试；
34.第四模块，用于依据vcp点集和共线方程建立调整方程以执行视轴偏移补偿，支持获取基于机载lidar点云辅助的同机影像直接地理定位结果。
35.或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于机载lidar点云辅助的同机影像直接地理定位方法。
36.或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于机载lidar点云辅助的同机影像直接地理定位方法。
37.本发明与现有技术相比，具有以下优点：
38.1.本发明以机载激光雷达点云数据作为影像直接地理定位的控制信息来源，无需建立一个新的测试场用于大量地面控制点的实地采集，从而有效降低项目工程的人力成本和时间成本，特别适用于在无法建立新校准场或在诸如地震救助等情况下需要快速响应的区域进行视轴误差校准。
39.2.本发明以自动对影像直接地理定位为目的，设计一套虚拟控制点选择过程避免人工从点云中选择控制点信息，采用迭代的方式来逐步校准影像视轴未对准误差，具有较好的鲁棒性，对校准精度具有较高的保障。
40.本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。
附图说明
41.图1为本发明实施例的一种基于机载lidar点云辅助的同机影像直接地理定位方法流程图。
42.图2为本发明实施例的影像同名点和vcp反算像点示意图。
具体实施方式
43.以下结合附图和实施例具体说明本发明的技术方案。
44.如图1所示，本发明实施例提供的一种基于机载lidar点云辅助的同机影像直接地理定位方法，包括以下步骤：
45.步骤1，从影像集中选择位于平坦区域上收集的子块影像集，根据影像所在区域截取机载lidar点云数据。
46.影像集是指航飞过程中获取的所有影像，子块影像集是指从所有影像中选取部分符合条件的影像。
47.步骤2，利用surf算子提取子块影像重叠区域内的同名像点。
48.如上所述的步骤2中，利用surf算子提取子块影像重叠区域内的同名像点的方法为：
49.步骤2.1，特征检测：在图像尺度空间中，利用窗口滤波对图像进行卷积过程获取
局部特征点。
50.实施例中，图像的特征检测是以尺度空间为基础的，图像的尺度空间是该图像在不同解析度下的表示。对某一图像，采用多尺度窗口对影像进行卷积构建多级的金字塔图像，得到变换后的hessian矩阵δ(h)，其表达式如下：
51.δ(h)＝d
xxdyy-(0.9d
xy
)2(
ꢀꢀ
1)
52.式中，d
xx
、d
yy
、d
xy
分别是盒式滤波器与图像进行卷积后的结果。
53.根据式(1)对图像点进行计算，判断行列式δ(h)的值，若其为正值，且对应的点特征值也为正值，那么这个点就是搜索的局部特征点。
54.步骤2.2，主方向确定：以60
°
扇形区域统计特征点周围像素值确定该特征点的主方向。
55.实施例中，以特征点为中心，计算半径为预设尺寸(优选设置为6s，s为特征点所在的尺度值)的圆形邻域内，统计扇形区域(通常扇形区域角度优选设为60
°
)内所有点的水平、垂直方向上的harr小波特征总和，然后扇形以一定角度(通常优选设为0.2弧度)进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向。
56.步骤2.3，特征点描述向量：沿特征点主方向对点周围数据进行haar小波滤波，构建一个64位的特征向量作为该点的描述子。
57.实施例中，沿着特征点的主方向选取一个4*4的矩形区域块，统计每个子区域25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的。该haar小波特征为一个四维向量v(∑dx,∑dy,∑|dx|,∑|dy|)，是水平方向之和、垂直方向之和、水平方向绝对值之和以及垂直方向绝对值之和，对矩形区域内每个小块进行特征提取从而获得一个64位的特征向量，即特征点描述向量。
58.步骤2.4，特征点匹配：基于方向和灰度计算不同图像特征点间的相关系数，确定影像同名点。
59.实施例中，选取一幅图像p中的一个特征点pi，逐一计算其特征点描述向量vi与另一幅图像q中特征点qj的特征点描述向量vj的欧式距离dis，其计算公式如下：
60.dis＝||v
i-vj||
2 j＝1,2,3,
…nꢀꢀ
(2)
61.式中，vi表示第一幅图像p中的第i个特征点pi的特征点描述向量，vj表示另一幅图像q中的第j个特征点qj的特征点描述向量,|| ||2表示l2范数。
62.选取欧式距离最小的两个特征点qa与qb，其与pi的欧式距离分别为disa和disb(disa《disb)，如果disa/disb小于给定阈值t(t的合理取值范围为0.4-0.6)，同时特征点pi的特征点描述向量vi与特征点qa的特征点描述向量va方向一致，则认为点pi与qa为同名特征点。
63.步骤3，利用pos系统获取的初始影像外方位元素基于空间前方交会法解算同名像点对应的目标点坐标(x,y,z)。
64.空间前方交会法为现有技术，为便于实施参考起见，提供如上所述的步骤3中，利用pos系统获取的初始影像外方位元素基于空间前方交会法解算出同名像点对应的目标点坐标(x,y,z)的方法为：
65.目标点坐标(x,y,z)是基于共线条件方程计算获得的，其计算公式如下：
[0066][0067]
式中，(x,y)为像点的图像坐标，-f为相机焦距，(xs，ys，zs)为传感器所在位置的地理三维坐标，λ是比例因子，为外方位角元素，ai，bi，ci是旋转矩阵的元素，i＝1,2,3。
[0068]
当选择的影像连接点出于n张影像的重叠区域时，可以根据公式列出2n个误差方程，利用最小二乘的方法进行解算可获得目标点的坐标。
[0069]
步骤4，将目标点的高程值z替换为从lidar点云内插出的高程值z
′
，称(x,y,z
′
)为候选虚拟控制点，具体方法为：将点云投影到x-y平面上，然后基于投影点构建2d不规则三角网(tin)，对于给定的目标点(x,y,z)，确定其所在三角形。如果恰好位于三角形的一个顶点处，则z值将替换为该顶点高程值。否则，通过逆距离加权插值进行估计。
[0070]
如上所述的步骤4中，候选虚拟控制点坐标计算的方法为：
[0071]
步骤4.1,将试验区点云数据投影到x-y平面上，然后基于投影点构建2d三角不规则网络(tin)，tin网络中顶点的数值为相应点云的高程值。
[0072]
步骤4.2,任选步骤3计算获得的一目标点，根据目标点的x,y坐标值确定其投影点落位在tin中的哪一个三角形。
[0073]
步骤4.3,计算候选虚拟控制点vcp坐标，如果目标点恰好位于三角形的一个顶点处，则将该顶点值赋给vcp点。否则，通过三角形的顶点逆距离加权插值进行估计。也即如果目标投影点恰好位于三角形的一个顶点处，则z值将替换为该顶数值点；否则，通过逆距离加权插值进行估算，得到从lidar点云内插出的高程值z
′
，从而获得候选虚拟控制点(x,y,z
′
)，即候选vcp。
[0074]
步骤5，基于自动vcp选择过程刷选合适的虚拟控制点集，包括平面度测试、坡度测试、可靠性测试，选择位于平坦区域且分布合适的vcp集。vcp的中文是虚拟控制点。
[0075]
如上所述的步骤5中，基于自动vcp选择过程刷选合适的虚拟控制点集的方法为：
[0076]
步骤5.1,平面度测试：搜索以vcp为中心的k尺度窗口内的点云数据，拟合平面方程计算所在区域的平面度，并与相应设定阈值进行比较。
[0077]
实施例中，搜索以vcp为中心的k(优选建议设置σ是点云的密度，max()是取最大值函数)尺度窗口内的点云数据，拟合平面方程，统计区域内所有点云到拟合平面的距离，记最大距离为d
max
，如果d
max
大于相应给定阈值，则将该点标注为非虚拟控制点，否则，进行下一项测试。
[0078]
步骤5.2,坡度测试：计算vcp所在区域的坡度，将其与相应设定阈值进行比较。
[0079]
实施例中，计算vcp所在区域的坡度t
slope
，将其与相应的设定阈值(优选建议阈值设置的取值范围为5～10
°
)比较，如果d大于设定的阈值，则将该点标注为非虚拟控制点，否则，进行下一项测试。
[0080]
步骤5.3,可靠性测试：对刷选的vcp点集分布进行约束，约定在测区上呈现均匀分布，且部分vcp位于多张影像重叠区内。
[0081]
实施例中，采用的优选实现方式为，设定需要选取的虚拟控制点数量，如12个，则
将试验区域分为12个子区域。虚拟控制点选取规则如下：每个子区域内选择一个虚拟控制点，虚拟控制点尽量落位在子区域块的中心；任选3-5个子区域块，对该区域内选取的虚拟控制点进行约束，要求其落位在n(n≥3)张影像的重叠区域内。
[0082]
步骤6，依据vcp点集和共线方程建立调整方程以执行视轴偏移补偿。
[0083]
本发明进一步提出步骤6包括以下步骤：
[0084]
步骤(a)逐vcp点计算其对应像点坐标。利用带有误差的外方位元素按共线条件式计算vcp像点坐标。
[0085]
步骤(b)逐点计算误差方程式的系数和常数项，组成误差方程式。
[0086]
步骤(c)计算法方程的系数矩阵和常数项，组成法方程式。
[0087]
步骤(d)解算外方位元素。根据法方程求解外方位元素改正数，并与外方位元素求和，得到新的外方位元素。
[0088]
实施例中，依据vcp点集和共线方程建立调整方程以执行视轴偏移补偿的方法为：
[0089]
设定外方位角元素的旋转矩阵以及视轴误差的旋转矩阵其中表示视轴误差角度，或者称为外方位角元素补偿值。则共线方程可表示为：
[0090][0091]
其中，
[0092][0093][0094]
上式中，(x,y)为像点的图像坐标；f为相机焦距；λ是比例因子；(xs，ys，zs)为传感器所在位置的地理三维坐标；(x，y，z
′
)为选取的虚拟控制点vcp的地理坐标；ai，bi，ci是旋转矩阵的元素，i＝1,2,3；ai′
，bi′
，ci′
是补偿矩阵的元素，i＝1,2,3。
[0095]
由于ω
′
，κ
′
的值都非常小，根据摄影测量相关知识，可以将矩阵简化下式：
[0096][0097]
公式(5)进行调整，可写为：
[0098]
[0099][0100]
其中，矩阵是两个矩阵的相差结果。
[0101]
将图像连接点的x，y坐标作为观测值，并将视轴未对准ω
′
，κ
′
作为未知数。利用泰勒公式的展开得到两误差方程：
[0102][0103]
其中，变量f
x
，fy，v
x
，vy，e
x
，ey，ez，δe
x
，δey，δez是对函数进行求导的结果的变量表示，本发明不予赘述。
[0104][0105]
其中，ai，bi，ci是为了方便统计设置的变量。
[0106]
误差方程也可表示为：
[0107]
v＝ae-l
ꢀꢀ
(9)
[0108]
其中，各表达式v、a、e、l可表达为v＝[v
xvy
]
t
，e＝[e
x
，ey，ez]
t
，l＝[l
x
，ly]
t
，
[0109]
法方程表示为：
[0110]at
wae＝a
t
wl
ꢀꢀ
(10)
[0111]
式中，w是单位矩阵，表示观测值的权矩阵，变换可得如下公式：
[0112]
e＝(a
t
a)-1at
l
ꢀꢀ
(11)
[0113]
所得e代表外方位角元素补偿值。
[0114]
步骤7，更新外方位角元素，重复步骤3、4、6，通过迭代重复减小误差，直到所有同名像点与对应虚拟控制点反算像点之间的总距离在迭代中保持稳定，或者到达最大迭代次
数，则可停止迭代，获取基于机载lidar点云辅助的同机影像直接地理定位结果。像点与对应虚拟控制点反算像点参考步骤3进行反算即可实现，示意图见附图2。s1和s2分别是获取影像1和影像2的投影中心；s
1-xyz是像空间坐标系；o1和o2分别是影像1所在像平面坐标系o
1-x1y1和影像2所在像平面坐标系o
2-x2y2的原点；a1和a2是一对同名像点，其中a1的像平面坐标为(x,y)；p
image
是a1和a2利用初始外方位元素和前方交会法计算获得的地物点空间位置；p
laser
是基于lidar点云内插获取的虚拟控制点，其与p
image
具有相同的平面坐标；a
′1是由p
laser
基于共线方程反算获得的像点位置，其像平面坐标为(x
′
,y
′
)。
[0115]
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
[0116]
在一些可能的实施例中，提供一种基于机载lidar点云辅助的同机影像直接地理定位系统，包括以下模块，
[0117]
第一模块，用于选择子块影像集，根据影像所在区域截取机载lidar点云数据，利用surf算子提取子块影像重叠区域内的同名像点；
[0118]
第二模块，用于通过摄影测量空间前方交会获得同名像点的地面目标点，将目标点的高程值替换为从lidar点云内插出的高程值获得候选虚拟控制点；
[0119]
第三模块，用于基于自动vcp选择过程刷选合适的虚拟控制点集，所述自动vcp选择过程包括平面度测试、坡度测试和可靠性测试；
[0120]
第四模块，用于依据vcp点集和共线方程建立调整方程以执行视轴偏移补偿，支持获取基于机载lidar点云辅助的同机影像直接地理定位结果。
[0121]
在一些可能的实施例中，提供一种基于机载lidar点云辅助的同机影像直接地理定位系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于机载lidar点云辅助的同机影像直接地理定位方法。
[0122]
在一些可能的实施例中，提供一种基于机载lidar点云辅助的同机影像直接地理定位系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，
[0123]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。