一种航拍图像实时增量拼接方法及系统及装置及介质与流程

1.本发明涉及遥感影像处理领域，具体地，涉及一种航拍图像实时增量拼接方法及系统及装置及介质。


背景技术：

2.目前，通过航测采集环境信息的技术在灾害检测、林业监控等行业得到了广泛的应用，航测采集到的环境信息能够为上述工作提供重要的基础数据，通过无人机等小型飞行器获得遥感影像信息相较于遥感卫星具有实时性、机动性的特点，能够有效弥补遥感卫星难以获得遮挡的地物信息以及获取图像时效性低的缺陷。目前的航测主要通过无人机航拍外业获得影像、内业离线生产成果的方式处理数据，获得整体环境信息。然而，内业与外业分离的方式需要大量的数据处理时间，一般而言，对于超过一千张的影像数据，传统内业与外业分离的方式需要20个小时以上的处理时间才能获得结果，其工作流程复杂，自动化程度低，无法满足应急救援等有快速响应需求的应用场景下的需要。


技术实现要素：

3.为了满足应急场景下对于航测所采集的若干环境影像数据图像进行实时成图的需求，本发明提供了一种航拍图像实时增量拼接方法，所述航拍图像实时增量拼接方法包括：步骤1：获得飞行器传回的第一影像数据和对应的定位测姿数据；步骤2：根据所述定位测姿数据进行计算获得第一相似变换矩阵，根据所述第一相似变换矩阵对所述第一影像数据进行矫正，获得第二影像数据；步骤3：计算所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率；步骤4：判断是否存在全景图，若无则根据所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率计算行列数据，根据所述行列数据创建全景图，并执行步骤6，若有则执行步骤5；步骤5：根据所述全景图和所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率更新所述全景图的行列数据，并执行步骤6；步骤6：根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置，并返回执行步骤1。
4.其中，本发明原理为：获得飞行器实时传回的影像数据及对应的定位测姿数据，根据所述定位测姿数据对由于飞行器采集所述影像数据时由于飞行高度以及翻滚角度等因素对所述影像数据带来的畸变进行校正后，再根据校正后的影像数据创建相应尺寸的全景图，将所述影像数据嵌入所述全景图中，并继续获得飞行器实时传回的影像数据；当飞行器传回新的影像数据及新的影像数据对应的定位测姿数据时，同样对所述新的影像数据进行矫正后，先根据已有的全景图和所述新的影像数据更新所述全景图的行列信息，再将所述
新的影像数据嵌入更新后的全景图中，所述全景图即为根据飞行器实时传回的影像数据进行实时拼接所获得的结果，满足了应急场景下对于航测所采集的若干环境影像数据图像进行实时成图的需求。其中，由于飞行器传回的影像数据可能会与全景图中已有的影像数据重叠，而飞行器每次采集所获得的影像数据对应的地理范围数据可能存在偏差，因此，仅根据飞行器当前传回的影像数据对应的地理范围数据将当前影像数据嵌入全景图中可能导致当前影像数据与全景图中已有的影像数据中重叠部分产生重映射误差，通过计算当前影像数据与全景图中已有的影像数据中重叠部分的相互关系，对当前影像数据对应的地理范围数据进行调整，能够实现通过消除图像间重映射误差的方式对当前影像数据对应的地理范围数据可能存在的偏差的优化，因此，所述步骤6还包括：步骤6.1：根据所述第二影像数据对应的地理范围数据判断所述全景图中是否存在与所述第二影像数据重叠的影像，若有则执行步骤6.2，若无则执行步骤6.3；步骤6.2：获得若干与所述第二影像数据重叠的重叠影像，分别将所述重叠影像与所述第二影像数据进行特征匹配，计算所述第二影像数据与重叠影像之间的若干第二相似变换矩阵；步骤6.3：根据所述若干第二相似变换矩阵对所述第二影像数据进行计算，获得第三影像数据，根据所述第三影像数据对应的地理范围数据将所述第三影像数据嵌入所述全景图的对应位置。
5.进一步的，由于对传回的影像数据和已有的数据中的重叠影像进行特征匹配的过程中可能存在误匹配的情况，图像间的误匹配即在特征匹配中找到错误的特征点，导致获得错误的当前影像数据与重叠影像间的对应关系，从而影响凭借后的图像质量，因此所述步骤6.2中将所述重叠影像与所述第二影像数据进行特征匹配后，先通过算法剔除误匹配，再计算所述第二影像数据与重叠影像之间的若干相似变换矩阵。
6.进一步的，若当前影像与所述重叠影像重叠度较小，则无法通过特征匹配获得足够的同名点对，从而不便于计算相似变换矩阵，因此，所述步骤6.1中，当所述全景图中的图像与所述第二影像数据重叠度达到一定阈值时执行步骤6.2，否则执行步骤6.3。
7.进一步的，由于飞行器每次采集所获得的影像数据对应的地理定位数据可能会存在偏差，可以理解，通过上述特征匹配的方式消除当前影像数据与所述重叠影像间的重映射误差后，可以根据所述第三影像数据和所述第二影像数据的差异优化影像数据对应的地理范围数据的误差，因此，所述步骤6.3中，获得第三影像数据后，先根据所述若干第二相似变换矩阵更新所述第三影像数据对应的地理范围数据，再将所述第三影像数据嵌入所述全景图的对应位置。
8.其中，当拼接次数增加时，所获得的全景图可能存在较大的累计误差，为了消除所述累计误差，修安排在每次拼接完成后对已拼接的全景图进行优化，使已有的全景图更新并作为后续收到的影像数据拼接的基础，从而消除图像拼接的累计误差，因此，所述步骤6中，根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置后，先根据所述全景图和所述定位测姿数据对所述全景图进行优化，再执行所述步骤1。
9.其中，由于若干影像数据间会因为不同的拍摄角度、拍摄高度以及图像分辨率产生较大的差异，为了消除图像间由于采集时带来的差异，便于将若干影像数据拼接于全景
图中，所述定位测姿数据包括地理定位数据、拍摄相对航高、拍摄翻滚角、拍摄俯仰角和拍摄偏航角。
10.其中，由于所述影像数据经矫正后不一定是标准的矩形，因此，为了准确的确定矫正后的影像数据对应的地理范围，所述地理范围数据包括所述第二影像数据四个角点对应的地理坐标。
11.为了实现上述目的，本发明提供了一种航拍图像实时增量拼接系统，所述系统包括：图像获得单元，用于获得航拍采集的第一影像数据和对应的定位测姿数据；图像矫正单元，用于根据所述定位测姿数据对所述第一影像数据进行矫正，获得第二影像数据；图像处理单元，用于计算所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率，并创建和/或更新对应的全景图；图像优化单元，用于优化所述第二影像数据和/或所述全景图；图像嵌入单元，用于根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置。
12.为了实现上述目的，本发明提供了一种航拍图像实时增量拼接装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述航拍图像实时增量拼接方法的步骤。
13.为了实现上述目的，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述航拍图像实时增量拼接方法的步骤。
14.本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：本发明提供的航拍图像实时增量拼接方法及系统及装置及介质能够将无人机实时传回的影像数据拼接于全景图中，从而能够满足应急场景下对于航测所采集的若干环境影像数据图像进行实时成图的需求；同时，本发明所提供的航拍图像实时增量拼接方法不同于传统根据获取影像的顺序对影像进行处理，本发明通过实时对获得的图像进行优化，并将已拼接的全景图数据作为整体，在全景图的基础上进行图像的实时拼接，消除了图像拼接的累计误差，获得的结果更准确。
附图说明
15.此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；图1是本发明中航拍图像实时增量拼接方法流程示意图；图2是本发明中航拍图像实时增量拼接系统示意图。
具体实施方式
16.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
17.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
18.实施例一请参考图1，本发明实施例一提供了一种航拍图像实时增量拼接方法，所述航拍图像实时增量拼接方包括：步骤1：获得飞行器传回的第一影像数据和对应的定位测姿数据，所述定位测姿数据包括地理定位数据、拍摄相对航高、拍摄翻滚角、拍摄俯仰角和拍摄偏航角，记所述第一影像数据为则所述第一影像数据中心为；其中，j表示第j个获得的第一影像数据，w表示图像的宽度，h表示图像的高度；步骤2：根据所述定位测姿数据进行计算获得第一相似变换矩阵，根据所述第一相似变换矩阵对所述第一影像数据进行矫正，获得第二影像数据，记为，其中，所述第一相似变换矩阵表示第j个获得的第一影像数据与其对应的第二影像数据间的对应关系，记第二影像数据中心为，可以理解，由于所述第二影像数据为经过矫正后的数据，其图像坐标即为对应的地理坐标，所述第二影像数据中心即为所述第一影像数据中心对应的地理坐标；步骤3：计算所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率gsd，其中，所述地理范围数据包括所述第二影像数据四个角点对应的地理坐标数据；步骤4：判断是否存在全景图，若无则根据所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率计算行列数据，根据所述行列数据创建全景图，并执行步骤6，若有则执行步骤5；步骤5：根据所述全景图和所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率更新所述全景图的行列数据，并执行步骤6；步骤6：根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置，并返回执行步骤1。
19.其中，在本实施例中，为了消除飞行器传回的影像数据与全景图中已有的影像数据间的重映射误差，所述步骤6还包括：步骤6.1：根据所述第二影像数据对应的地理范围数据判断所述全景图中是否存在与所述第二影像数据重叠的影像，若有则执行步骤6.2，若无则执行步骤6.3；步骤6.2：获得若干与所述第二影像数据重叠的重叠影像，分别将所述重叠影像与所述第二影像数据进行特征匹配，获得所述第二影像数据与重叠影像的同名
点对和；其中，为所述第二影像数据中的点，为所述重叠影像中的点，和相互对应，n用于表示当前影像与重叠影像的若干同名点对；计算所述第二影像数据与重叠影像之间的若干第二相似变换矩阵，其中，表示所述第二影像数据与获得的第i张所述重叠影像间同名点对的对应关系；步骤6.3：根据所述若干第二相似变换矩阵对所述第二影像数据进行计算，获得第三影像数据，根据所述第三影像数据对应的地理范围数据将所述第三影像数据嵌入所述全景图的对应位置。
20.进一步的，所述步骤6.1中，当所述全景图中的图像与所述第二影像数据重叠度达到一定阈值时执行步骤6.2，否则执行步骤6.3。
21.其中，所述根据所述若干第二相似变换矩阵对所述第二影像数据进行计算，获得第三影像数据具体方式为：对于所述第二影像数据创建维度为3
×
3的单位矩阵作为初始优化矩阵，则所述第二影像数据与所述重叠影像之间的同名点对之间的对应关系为：所述第二影像数据与所述重叠影像之间的重映射误差为：其中，e表示重映射误差；对于获得的若干与所述第二影像数据重叠的重叠影像，设所述重叠影像有m幅，则m幅重叠影像的重映射误差之和为：其中，表示m幅重叠影像的重映射误差之和。
22.可以理解，可以通过求解所述初始优化矩阵使所述m幅重叠影像的重映射误差之和最小，从而消除重映射误差，在通过lm算法迭代求解出后，对所述第二
影像数据进行变换，获得第三影像数据。
23.其中，当所述全景图中的图像与所述第二影像数据重叠度较小时，对获得的重叠影像与所述第二影像数据进行特征匹配时无法获得足够的同名点对，从而无法构建相似变换矩阵，因此，所述阈值优选为30%。
24.进一步的，所述步骤6.2中将所述重叠影像与所述第二影像数据进行特征匹配后，先通过算法剔除误匹配，再计算所述第二影像数据与重叠影像之间的若干相似变换矩阵，其中，所述特征匹配以及误匹配的剔除均通过特征匹配算法实现，所述特征匹配算法包括汉明距离算法、flann算法、lowers算法、ransac算法以及lmeds算法等，由于需要对所述重叠影像与所述第二影像数据进行特征匹配，并在特征匹配所获得的结果中进一步剔除误匹配项，且计算数据量较大，因此，本实施例优选计算效率高的flann算法实现对所述重叠影像与所述第二影像数据的特征匹配，优选可以设定阈值对匹配结果进行筛选的ransac算法实现对误匹配项的筛除。
25.进一步的，为了进一步优化影像数据的地理位置信息，所述步骤6.3中，获得第三影像数据后，先根据所述若干第二相似变换矩阵更新所述第三影像数据对应的地理范围数据，再将所述第三影像数据嵌入所述全景图的对应位置。
26.其中，所述根据所述若干第二相似变换矩阵更新所述第三影像数据对应的地理范围数据的具体计算方式为：记所述第三影像数据中心为，则有：易知，若所述第二影像数据中的特征点在所述第三影像数据中记为，则有：其中，为所述第三影像数据中的特征点；根据所述第三影像数据中心及其对应的地理坐标和地面分辨率gsd计算所述第三影像数据上的特征点对应的地理坐标：同理，可以计算所述重叠影像上同名点对应的地理坐标：理论上与相等，但由于图像对应的地理范围数据存在一定的误差，导致和存在一定偏移量，此时所述第三影像数据的偏移误差为：
其中，表示所述第三影像数据的偏移误差，通过lm算法进行迭代求解获得优化后的地理坐标和地理分辨率gsd，根据所述优化后的地理坐标和所述地理分辨率gsd进行计算，即可实现更新所述第三影像数据对应的地理范围数据。
27.其中，在本实施例中，所述步骤6中，根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置后，先根据所述全景图和所述定位测姿数据对所述全景图进行优化，再执行所述步骤1。
28.其中，所述根据所述全景图和所述定位测姿数据对所述全景图进行优化的具体方式为：根据所述全景图的左上角点的地理坐标和图像分辨率gsd将已镶嵌进入所述全景图的幅影像的中心点的地理坐标转换为在全景图中的像素坐标，当全景图左上角地理坐标和gsd改变时，全景图中各镶嵌影像的像素坐标不会变化，各影像中心新的地理坐标为：而所述全景图存在的误差为：其中，表示所述全景图地理位置的误差，表示飞行器传回的第j个影像数据对应的地理定位数据，表示所述全景图的左上角点的地理坐标，表示已镶嵌进入所述全景图的幅影像的中心点在所述全景图中对应的像素坐标，根据lm算法迭代求解获得优化后的和gsd后，更新所述全景图对应的地理位置信息，从而能够实现对所述全景图的优化。
29.其中，所述还可以是所述全景图左下角、右上角、右下角、中心点或所述全景图中任意一个特征点对应的地理坐标，本实施例在此不做具体限定。
30.实施例二请参考图2，本发明实施例二提供了一种航拍图像实时增量拼接系统，所述系统包括：图像获得单元，用于获得航拍采集的第一影像数据和对应的定位测姿数据；图像矫正单元，用于根据所述定位测姿数据对所述第一影像数据进行矫正，获得第二影像数据；图像处理单元，用于计算所述第二影像数据对应的地理范围数据和所述第二影像
数据对应的地面分辨率，并创建和/或更新对应的全景图；图像优化单元，用于优化所述第二影像数据和/或所述全景图；图像嵌入单元，用于根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置。
31.实施例三本发明实施例三提供了一种航拍图像实时增量拼接装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述航拍图像实时增量拼接方法的步骤。
32.实施例四本发明实施例四提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述航拍图像实时增量拼接方法的步骤。
33.其中，所述处理器可以是中央处理器（cpu，central processing unit），还可以是其他通用处理器、数字信号处理器（digital signal processor）、专用集成电路（application specific integrated circuit）、现成可编程门阵列（field programmable gate array）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器也可以是任何常规的处理器。
34.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中航拍图像实时增量拼接装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
35.所述航拍图像实时增量拼接装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序存储于一个计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
36.本发明已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
37.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一
个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
38.此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
39.计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf、或类似介质，或任何上述介质的组合。
40.本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c 、c#、vb.net、python等，常规程序化编程语言如c语言、visual basic、fortran 2003、perl、cobol 2002、php、abap，动态编程语言如python、ruby和groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(lan)或广域网(wan)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(saas)。
41.此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
42.同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
43.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、
定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
44.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
45.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。