一种无人机航摄影像实时拼接方法与系统与流程

1.本发明属于图像拼接技术领域，更具体地说，是涉及一种无人机航摄影像实时拼接方法与系统。


背景技术：

2.对于无人机航摄影像，现有的技术大多采用非实时的、整体处理的方法进行拼接，这种方法是在一次航摄任务结束后，将无人机所拍的影像全部导出，无人机所拍摄的影像不带有地理信息，影像间关系通过影像处理的方式得到，然后整体进行拼接，其中每张影像间的相互关系需要大量的运算，这种拼接方法工作流程复杂，自动化程度低。
3.目前也有一些增量式无人机影像拼接方法，它们通过实时获取影像，以第一张影像为平面基准，将第二张影像抓换到第一张影像的平面，进行贴图，对于后续输入的第t张影像，计算该影像与第t
‑
1张影像的关系，然后再获取第t
‑
1张影像相对于第一张影像的关系，进行运算得到第t张影像相对于第一张影像平面的变换关系，进行贴图。
4.可见，现有技术方案中，非实时的影像拼接优点在于可以做整体优化，但是他们不能在航摄过程中实时得到拼接影像，只能在航摄任务结束之后，将所有影像获取之后才能得到测区的影像。而现有的实时拼接系统，其缺点在于难以对影像做整体优化，仅仅将当前影像与前一帧影像进行转换关系计算，获得的影像会因为累计误差的存在导致拼接效果越来越差，最终得到的影像观感较差，精度不高。


技术实现要素：

5.本发明的目的在于提供一种无人机航摄影像实时拼接方法与系统，旨在解决现有影像拼接方法需要得到所有影像后才能拼接，导致拼接速度慢和拼接效果越来越差的问题。
6.为实现上述目的，本发明采用的技术方案是：一种无人机航摄影像实时拼接方法，包括以下步骤：
7.步骤1：获取摄站点坐标；
8.步骤2：无人机根据所述摄站点坐标依次对摄站点拍摄得到与所述摄站点相应的航摄影像；
9.步骤3：根据所述摄站点坐标得到与当前摄站点相关的k个航摄影像；
10.步骤4：对所述k个航摄影像进行平面拟合得到基准平面；
11.步骤5：计算所述k个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；
12.步骤6：对所述当前帧转换矩阵进行局部优化得到所述当前航摄影像对于基准平面的变换矩阵；
13.步骤7：根据所述变换矩阵完成对所有所述航摄影像的拼接。
14.优选的，所述步骤3：根据所述摄站点坐标得到与当前摄站点相关的k个航摄影像，
包括：
15.步骤3.1：获取与当前摄站点距离最近的m个摄站点；
16.步骤3.2：按照拍摄顺序对所述m个摄站点进行排序，得到依次排列的摄站点；
17.步骤3.3：选取拍摄顺序在当前摄站点之前的k个摄站点，则在k个摄站点所拍摄的航摄影像记为与当前摄站点相关的k个航摄影像。
18.优选的，所述步骤4：对所述k个航摄影像进行平面拟合得到基准平面，包括：
19.步骤4.1：利用运动恢复结构获取所述k个航摄影像的点云数据；
20.步骤4.2：采用随机抽样一致算法对所述点云数据进行拟合得到所述基准平面。
21.优选的，所述步骤5：计算所述k个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵，包括：
22.步骤5.1：利用尺度不变特征变换算法提取每一个航摄影像的sift特征点和特征描述符；
23.步骤5.2：利用尺度不变特征变换算法提取当前航摄影像的当前sift特征点和当前特征描述符；
24.步骤5.3：根据所述sift特征点、所述特征描述符、所述当前sift特征点和所述当前特征描述符采用最近邻匹配算法得到每一个航摄影像与当前航摄影像的匹配点对；
25.步骤5.4：根据所述匹配点对采用随机抽样一致性算法得到每一个航摄影像与当前航摄影像的当前帧转换矩阵。
26.优选的，所述步骤6：对所述当前帧转换矩阵进行局部优化得到所述当前航摄影像对于基准平面的变换矩阵，包括：
27.步骤6.1：获取每一个航摄影像与当前航摄影像的匹配点对；
28.步骤6.2：根据所述匹配点对得到每一个航摄影像在所述基准平面的基准坐标和当前航摄影像在所述基准平面的当前基准坐标；
29.步骤6.3：根据所述基准坐标和所述当前基准坐标利用重投影误差平均值公式计算当前航摄影像与每一个航摄影像的重投影误差值；
30.步骤6.4：选取最小的重投影误差值所对应的航摄影像，利用矩阵转换公式得到所述当前航摄影像对于基准平面的变换矩阵。
31.优选的，所述重投影误差平均值公式为：
[0032][0033]
其中，n表示摄站点个数，c2表示集合c中除了图像i
i
之外的其他图像的集合，i表示c2中的第i张影像，kp表示影像中的关键点，表示当前帧关键点的x坐标，表示第k张关键点x坐标，表示当前帧关键点的y坐标，表示第k张关键点的y坐标。
[0034]
优选的，所述矩阵转换公式为：
[0035]
h
t
＝h
m
h
tm
[0036]
其中，h
t
表示当前航摄影像对于基准平面的变换矩阵，h
m
表示影像i
m
相对于基准点的变换矩阵，h
tm
表示当前航摄影像相对于最小的重投影误差值所对应的航摄影像的变换矩阵。
[0037]
本发明还提供了一种无人机航摄影像实时拼接系统，包括：
[0038]
摄站点坐标获取模块，用于获取摄站点坐标；
[0039]
航摄影像拍摄模块，用于无人机根据所述摄站点坐标依次对摄站点拍摄得到与所述摄站点相应的航摄影像；
[0040]
相关影响获取模块，用于根据所述摄站点坐标得到与当前摄站点相关的k个航摄影像；
[0041]
平面拟合模块，用于对所述k个航摄影像进行平面拟合得到基准平面；
[0042]
当前帧转换矩阵计算模块，用于计算所述k个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；
[0043]
局部优化模块，用于对所述当前帧转换矩阵进行局部优化得到所述当前航摄影像对于基准平面的变换矩阵；
[0044]
航摄影像拼接模块，用于根据所述变换矩阵完成对所有所述航摄影像的拼接。
[0045]
本发明提供的一种无人机航摄影像实时拼接方法与系统的有益效果在于：与现有技术相比，本发明的一种无人机航摄影像实时拼接方法，首先根据摄站点坐标依次对摄站点拍摄得到与摄站点相应的航摄影像；根据摄站点坐标得到与当前摄站点相关的k个航摄影像；对k个航摄影像进行平面拟合得到基准平面；然后计算k个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；对当前帧转换矩阵进行局部优化得到当前航摄影像对于基准平面的变换矩阵；最后根据变换矩阵完成对所有航摄影像的拼接。本发明首先找到当前航摄点影像相关的影像，然后利用这些影像来优化匹配，可以实时从正在进行航摄任务的无人机获取航摄影像进行拼接，简化工作流程，达到快速实时拼接的目的。
附图说明
[0046]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]
图1为本发明实施例提供的无人机航摄影像实时拼接方法流程图。
[0048]
图2为本发明实施例提供的无人机航迹规划示意图。
[0049]
图3为本发明实施例提供的相关帧选取示意图。
[0050]
图4为本发明实施例提供的航摄影像拼接效果图。
具体实施方式
[0051]
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0052]
本发明的目的在于提供一种无人机航摄影像实时拼接方法与系统，旨在解决现有影像拼接方法需要得到所有影像后才能拼接，导致拼接速度慢和拼接效果越来越差的问题。
[0053]
请参阅图1，为实现上述目的，本发明采用的技术方案是：一种无人机航摄影像实
时拼接方法，包括以下步骤：
[0054]
s1：获取摄站点坐标；
[0055]
本发明采用航迹规划系统来获取摄站点坐标，在无人机进行一次航摄任务之前，由航迹规划系统规划出此次航摄任务的摄站点，每个点均表示为该点的经纬度坐标，然后通过经纬度
‑
平面坐标系转换将经纬度转换为笛卡尔坐标系坐标。
[0056]
s2：无人机根据摄站点坐标依次对摄站点拍摄得到与摄站点相应的航摄影像；
[0057]
s3：根据摄站点坐标得到与当前摄站点相关的k个航摄影像；
[0058]
s3具体包括：
[0059]
s3.1：获取与当前摄站点距离最近的m个摄站点；
[0060]
s3.2：按照拍摄顺序对m个摄站点进行排序，得到依次排列的摄站点；
[0061]
s3.3：选取拍摄顺序在当前摄站点之前的k个摄站点，则在k个摄站点所拍摄的航摄影像记为与当前摄站点相关的k个航摄影像。
[0062]
请参阅图2
‑
3，(图2中，灰度点为摄站点；图3中，黑色点代表的关键帧的相关帧为前面相邻几帧和相邻航带中相近帧)在实际应用中，在获取到此次航摄任务的摄站点坐标后，对每一个摄站点t进行计算，得到这个摄站点的相关摄站点，相关摄站点的获取遵循以下：
[0063]
a)在所有的n
‑
1个摄站点中，找到与当前摄站点最近的m个摄站点。
[0064]
b)对m个摄站点排序，选取拍摄顺序在当前帧之前的k个摄站点，这些与摄站点t所拍摄的影像的相关的帧记为k
tj
(j＝1,2,
···
，k)。
[0065]
s4：对k个航摄影像进行平面拟合得到基准平面；
[0066]
s4具体包括：
[0067]
s4.1：利用运动恢复结构获取k个航摄影像的点云数据；
[0068]
s4.2：采用随机抽样一致算法对点云数据进行拟合得到基准平面。
[0069]
在航摄任务进行时，无人机实时向后端传输图片。将获取的前几张影像，采用sfm(structure from motion，运动恢复结构)获取一组点云，因为航摄任务飞行高度普遍较高，所以sfm获取的点云数据近似在一个平面，采用ransac(random simple consensus，随机抽样一致算法)算法，从点云数据中拟合出一个平面—基准平面m，点云数据与该平面之间的转换关系为h1,并构建一个关系列表，将h1存入。其中，h1表示第一张影像相对于基准平面的变换方程。
[0070]
s5：计算k个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；
[0071]
s5具体包括：
[0072]
s5.1：利用尺度不变特征变换算法提取每一个航摄影像的sift特征点和特征描述符；
[0073]
s5.2：利用尺度不变特征变换算法提取当前航摄影像的当前sift特征点和当前特征描述符；
[0074]
s5.3：根据sift特征点、特征描述符、当前sift特征点和当前特征描述符采用最近邻匹配算法得到每一个航摄影像与当前航摄影像的匹配点对；
[0075]
s5.4：根据匹配点对采用随机抽样一致性算法得到每一个航摄影像与当前航摄影像的当前帧转换矩阵。
[0076]
下面结合具体的实施例对s5进行进一步的说明：
[0077]
对于第二张影像，需要计算第二张影像与第一张影像的变换关系，具体如下：提取两张影像的sift(scale
‑
invariant feature transform，尺度不变特征变换)特征点和特征描述符。
[0078]
采用最近邻匹配的方法，找到两张影像的匹配点对。
[0079]
对所有的匹配点对，采用ransac算法，寻找两张图像间的单应性变换，对于两张有匹配点对的图像i1和i2而言，其上的同名点(x1,y1)和(x2,y2)有关系：
[0080][0081]
h
21
就是影像i2到影像i1的平面变换关系。
[0082]
在获取到两张影像的变换关系后，还需要找到第二张影像和基准平面m的相对关系的变换矩阵h2：
[0083]
h2＝h1h
21
[0084]
然后按照变换关系，可以将第二张影像变换到基准平面。
[0085]
对于接下来的每一张关键帧t，在获取影像t之后，提取该张图像所对应的摄站点信息，借助s3的方法，找到与该张图像最近的图像序列c，c是一个包含了所有与当前帧图像重叠的图像序列集合，即k张相关帧(与当前摄站点相关的k个航摄影像)，因为这k张相关帧都是在当前帧之前的影像，所以这k张相关帧与基准平面的关系已经存储在关系列表中，每次取这k张相关帧中的一张k
i
(i∈c)，按照s5所表示的方法，计算当前帧与该张(相关帧)的变换矩阵h
ti
，然后计算一个待定的当前帧转换矩阵其计算方法：
[0086][0087]
此时，得到的变换矩阵其实已经可以代表本张关键帧的相对位置，但是，会导致非常严重的错位，其错位的误差来源于累计误差和特征点的分布误差，所以需要一种局部优化方法来解决这个问题。
[0088]
在对集合c中的每一个关键帧计算与当前帧的转换矩阵之后，进行局部优化，对于c中的每一张影像的特征(x
i
,y
i
)(i∈c),反算其在基准平面的坐标kp
i
,接着进行局部优化，以图像i
i
为例，计算得到集合c中的除了该图像之外的所有影像(表示为集合c2)的与当前帧t匹配的特征点在基准平面的坐标，然后计算重投影误差平均值：
[0089][0090]
得到当前帧与每一张集合c中的影像的与其他影像的重投影误差后，选取具有最小重投影误差的关键帧(假设为i
m
)在之前已经得到了当前帧t相对于该帧的变换矩阵h
tm
，接着从关系列表中去除帧i
m
相对于基准点的变换矩阵h
m
，计算：
[0091]
h
t
＝h
m
h
tm
[0092]
得到的即是当前帧对于基准平面的变换矩阵。
[0093]
这样，就进行了一次局部优化，优化后的变换，最大程度减少了重投影误差，视觉
观感较好，空间精度高，对航摄任务中的每一张图像进行带有局部优化的变换关系计算，然后进行贴图，就可以得到完整的摄区影像，如图4所示。
[0094]
下面对这一过程进行进一步的说明：
[0095]
s6：对当前帧转换矩阵进行局部优化得到当前航摄影像对于基准平面的变换矩阵；
[0096]
s6具体包括：
[0097]
s6.1：获取每一个航摄影像与当前航摄影像的匹配点对；
[0098]
s6.2：根据匹配点对得到每一个航摄影像在基准平面的基准坐标和当前航摄影像在基准平面的当前基准坐标；
[0099]
s6.3：根据基准坐标和当前基准坐标利用重投影误差平均值公式计算当前航摄影像与每一个航摄影像的重投影误差值；
[0100]
重投影误差平均值公式为：
[0101][0102]
其中，n表示摄站点个数，c2表示集合c中除了图像i
i
之外的其他图像的集合，i表示c2中的第i张影像，kp表示影像中的关键点，表示当前帧关键点的x坐标，表示第k张关键点x坐标，表示当前帧关键点的y坐标，表示第k张关键点的y坐标。
[0103]
s6.4：选取最小的重投影误差值所对应的航摄影像，利用矩阵转换公式得到当前航摄影像对于基准平面的变换矩阵。
[0104]
矩阵转换公式为：
[0105]
h
t
＝h
m
h
tm
[0106]
其中，h
t
表示当前航摄影像对于基准平面的变换矩阵，h
m
表示影像i
m
相对于基准点的变换矩阵，h
tm
表示当前航摄影像相对于最小的重投影误差值所对应的航摄影像的变换矩阵。
[0107]
s7：根据变换矩阵完成对所有航摄影像的拼接。
[0108]
本发明公开了一种无人机航摄影像实时拼接方法，首先根据摄站点坐标依次对摄站点拍摄得到与摄站点相应的航摄影像；根据摄站点坐标得到与当前摄站点相关的k个航摄影像；对k个航摄影像进行平面拟合得到基准平面；然后计算k个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；对当前帧转换矩阵进行局部优化得到当前航摄影像对于基准平面的变换矩阵；最后根据变换矩阵完成对所有航摄影像的拼接。
[0109]
本发明具有以下优点：
[0110]
1.基于航迹规划任务，可以先验地得到航迹中的航摄点，对于每一个航摄点，可以快速找到该航摄点影像相关的影像，然后利用这些影像来优化匹配。
[0111]
2.采用增量式图像拼接，实时从正在进行航摄任务的无人机获取影像进行拼接，简化工作流程，达到快速实时拼接的目的。
[0112]
3.采用前些许张影像，利用sfm方法获得三维点云，拟合平面，这个平面是近似于和地面平行的，这样，结合gps信息，就可以为拼接的全景图像赋予地理信息。
[0113]
4.采用基于最小化重投影误差的局部优化方法，在增加少许计算量的代价下大大
改善了拼接图像质量问题，优化了拼接质量，提升了视觉观感。
[0114]
本发明还提供了一种无人机航摄影像实时拼接系统，包括：
[0115]
摄站点坐标获取模块，用于获取摄站点坐标；
[0116]
航摄影像拍摄模块，用于无人机根据所述摄站点坐标依次对摄站点拍摄得到与所述摄站点相应的航摄影像；
[0117]
相关影响获取模块，用于根据所述摄站点坐标得到与当前摄站点相关的k个航摄影像；
[0118]
平面拟合模块，用于对所述k个航摄影像进行平面拟合得到基准平面；
[0119]
当前帧转换矩阵计算模块，用于计算所述k个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；
[0120]
局部优化模块，用于对所述当前帧转换矩阵进行局部优化得到所述当前航摄影像对于基准平面的变换矩阵；
[0121]
航摄影像拼接模块，用于根据所述变换矩阵完成对所有所述航摄影像的拼接。
[0122]
本发明公开了一种无人机航摄影像实时拼接方法，首先根据摄站点坐标依次对摄站点拍摄得到与摄站点相应的航摄影像；根据摄站点坐标得到与当前摄站点相关的k个航摄影像；对k个航摄影像进行平面拟合得到基准平面；然后计算k个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；对当前帧转换矩阵进行局部优化得到当前航摄影像对于基准平面的变换矩阵；最后根据变换矩阵完成对所有航摄影像的拼接。本发明首先找到当前航摄点影像相关的影像，然后利用这些影像来优化匹配，可以实时从正在进行航摄任务的无人机获取航摄影像进行拼接，简化工作流程，达到快速实时拼接的目的。
[0123]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。