一种基于异源图像匹配的无人机地面目标定位方法与流程

1.本发明属于地面目标定位领域，更具体地，涉及一种基于异源图像匹配的无人机地面目标定位方法。


背景技术：

2.无人机具有独特的优越性和灵活性，担负各种应用场景例如战场、救援侦察和目标监视等任务。无人机对地面目标的定位功能是实现这些任务的前提。现有定位技术主要依赖光电侦察平台，光电平台中需要配有激光测距仪，通过光电侦察平台，可以得到目标相对于光电平台的方位角、距离等信息，然后再结合无人机自身的位置和姿态信息，通过目标定位方程(如三点定位法)解算目标的经纬度。由于需要无人机自身位置信息，所以当处于gps信号较弱的环境或者受到电磁干扰的条件下，无法准确得知无人机自身位置时，目标定位的精度将会大大受损；并且上述定位方法需要在无人机上配备激光测距仪，成本较高。所以需要一种抗干扰能力更强、更能适应野外环境、不依赖gps的无人机地面目标定位方法。


技术实现要素：

3.针对现有无人机地面目标定位方法中在无gps信号下无法获取自身准确位置，从而影响目标定位精度的问题，本发明提出了一种基于异源图像匹配的无人机地面目标定位方法，该方法不依赖gps，无需无人机自身位置信息即可完成地面目标定位。
4.为实现上述目的，本发明技术方案如下：
5.一种基于异源图像匹配的无人机地面目标定位方法，包括如下步骤：
6.s1、根据无人机飞行任务，从网上获取其飞行区域的高分辨率遥感卫星图，卫星图上每一个像素都带有准确的经纬度信息，作为图像匹配的卫星底图使用；
7.s2、无人机搭载可见光相机，在飞行区域内进行地毯式搜索，若发现目标则控制无人机飞至目标中心正上方，调整相机俯仰角使其保持对目标的正射，拍摄目标正射影像；
8.s3、处理航拍影像，首先缩放航拍图使其空间分辨率与卫星图的空间分辨率保持一致，然后按照航向角旋转航拍图使图像方向保持正北，此时航拍图中所有物体的朝向与卫星图一致；
9.s4、在卫星底图上进行滑动窗口搜索，窗口大小设置为处理后的航拍图大小，重叠率设置为60％及以上，得到若干底图块，在所有底图块中搜索与航拍图最接近的底图块；
10.s5、根据航拍图与最接近的底图块经过异源图像匹配后得到的匹配对，利用opencv中的findhomography模块计算两幅图的单应性矩阵m，m将航拍图中心点映射到卫星底图上，卫星底图的每一点都带有经纬度信息，由此得到航拍图中心点亦是目标中心的经纬度。
11.进一步地，所述步骤s1中遥感卫星图有1-18级，来源于地图软件(谷歌地图、百度地图、高德地图和腾讯地图等)，选择最高级别18级的卫星底图，空间分辨率0.5米以上。
12.进一步地，步骤s4中具体搜索策略为：将航拍图与任一底图块进行异源图像匹配，
每次匹配都会得到两幅图像间的若干匹配对，取匹配对数量最多的底图块即为最接近的底图块。
13.进一步地，所述航拍图与任一底图块的异源图像匹配流程为：
14.s41.使用深度学习模型d2-net对航拍图进行特征提取、使用d2-net对所有底图块逐一进行特征提取；
15.s42.使用k近邻搜索算法将航拍图与任一底图块的特征进行粗匹配得到若干匹配对；
16.s43.使用动态自适应约束条件提纯匹配对；
17.s44.使用ransac算法进一步剔除误匹配对；
18.s45.最终取匹配对最多的底图块即为最接近的底图块。
19.进一步地，所述步骤s42中粗匹配的具体过程为：使用k近邻算法将两张图片的特征向量进行粗匹配，令k＝2，得到n个匹配对，这些匹配对每一个都包含欧氏距离最近的第1匹配点disj和次近的第2匹配点dis
′j。
20.进一步地，所述步骤s43中提纯匹配对的具体过程为：用动态自适应欧氏距离约束条件对匹配对进行提纯，统计所有匹配对中第1匹配点和第2匹配点距离差的均值：
[0021][0022]
对于每一个待筛选匹配对,提纯的条件为第1距离小于第2距离与距离差均值avgdis之差,公式为：
[0023]
disj＜dis
′
j-avgdis
[0024]
disj表示距离最近的第1匹配点的距离值，dis
′j表示次近的第二匹配点的距离值，不满足此公式的匹配对删去，留下满足公式的匹配对。
[0025]
进一步地，所述步骤s44中使用ransac算法剔除误匹配对的具体过程为：
[0026]
s441.从提纯后的匹配对中随机抽出若干对匹配对样本，用这若干对匹配对样本拟合一个模型p；
[0027]
s442.计算其余匹配对与模型p的误差，若误差小于阈值则认为是局内点，大于阈值则认为是局外点；
[0028]
s443.上述过程被称为一次迭代，迭代r次后局内点数量最多的某次结果即为最终的结果，此时计算出的所有局外点即为误匹配对，直接剔除即可。
[0029]
进一步地，所述步骤s441中的若干对匹配对样本为小于10对。
[0030]
本发明的基于异源图像匹配的无人机地面目标定位方法有如下优点：
[0031]
(1)本发明可以在不借助gps的条件下完成对地面目标的高精度定位，抗电磁干扰能力强。
[0032]
(2)本发明同现有基于激光测距和姿态测量的定位方法相比，无需复杂定位装置或其他辅助传感器，成本低廉，只需在无人机上搭载摄像头，利用图像信息进行地面目标定位。
[0033]
(3)本发明将无人机和深度学习技术结合，在沙漠、深山等难以人力搜寻的复杂环
境中可正常工作，操作简单实施方便，可有效取代大规模地面搜寻。
[0034]
总之，本发明的方法抗干扰能力更强、更能适应野外环境、不依赖gps即可进行无人机地面目标定位。
附图说明
[0035]
图1为本发明基于异源图像匹配的无人机地面目标定位方法的原理流程图；
[0036]
图2为航拍图与任一底图块异源图像匹配原理图；
[0037]
图3为匹配对最少的航拍图和底图块；
[0038]
图4为匹配对最多的航拍图和底图块。
[0039]
图中，1-航拍图，11-航拍图1(与航拍图为同一幅图，方向不同)，2-卫星底图块，21-底图块1，22-底图块2，3-线条的两端点互为匹配对。
具体实施方式
[0040]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0041]
如图1所示，本发明提供基于异源图像匹配的无人机地面目标定位方法，包括如下步骤：
[0042]
s1、根据无人机飞行任务，从网上获取其飞行区域的高分辨率遥感卫星图，卫星图上每一个像素都带有准确的经纬度信息，作为图像匹配的卫星底图使用；
[0043]
步骤s1中遥感地图有1-18级，来源于地图软件(谷歌地图、百度地图、高德地图和腾讯地图等)，选择最高级别18级的卫星底图，空间分辨率0.5米以上。
[0044]
s2、无人机搭载可见光/红外相机，在某区域内进行地毯式搜索，若发现目标则控制无人机飞至目标中心正上方，调整相机俯仰角使其保持对目标的正射，拍摄目标正射影像。
[0045]
s3、处理航拍影像，首先缩放航拍图使其空间分辨率与卫星图的空间分辨率保持一致，然后按照航向角旋转航拍图使图像方向保持正北，此时航拍图中所有物体的朝向与卫星图一致。
[0046]
s4、在卫星底图上进行滑动窗口搜索，窗口大小设置为处理后的航拍图大小，重叠率设置为60％及以上，得到若干底图块。在所有底图块中搜索与航拍图最接近的底图块。
[0047]
步骤s4中具体搜索策略为：将航拍图与任一底图块进行异源图像匹配，每次匹配都会得到两幅图像间的若干匹配对，取匹配对数量最多的底图块即为最接近的底图块。由于卫星底图涉及的地面范围远大于航拍图像的地面范围，且处理后的航拍图尺寸往往远小于卫星图，二者直接匹配误差较大。滑动窗口法使航拍图每次只需与同等地面范围的底图块做匹配，有效提高了匹配的准确性。
[0048]
如图2所示，所述搜索策略中航拍图与任一底图块的异源图像匹配流程为：s41.使用深度学习模型d2-net对航拍图进行特征提取、使用d2-net对所有底图块逐一进行特征提取；
[0049]
详细地，本专利中特征提取方法使用深度学习模型d2-net。传统的特征提取方法是先检测关键点(keypoint detection)再对关键点进行描述子提取(feature description)，也就是detect-then-describe模式。最终一副图像可得到若干个关键点及其对应的描述子，也就是关键点及其对应的n维特征向量。常用的sift、surf算法都属于先检测再描述一类。传统方法提取出的特征虽然具有尺度不变性，但面对光照、季节、波段差别较大的异源图像时其表达能力有限，d2-net是一种学习型关键点检测和描述算法，它通过训练一个cnn网络能够端到端地同时提取关键点和描述子，这种同时提取关键点和描述子的方法称为describe-and-detect。d2-net首先使用cnn计算输入图像的特征图，然后通过将特征图进行切片的方式来计算描述子，并且选择特征图中的局部最大值作为关键点。d2-net中关键点和描述子都是由cnn提取出的，带有高层语义信息，在差别较大的异源图像上可以获得更好的效果。在使用d2-net分别对航拍图和底图块进行特征提取后，得到两张图各自的关键点，每个关键点都用n维特征向量表示。
[0050]
s42.使用k近邻搜索算法将航拍图与任一底图块的特征进行粗匹配得到若干匹配对；
[0051]
粗匹配的具体过程为：使用k近邻搜索算法将两张图片的特征向量进行粗匹配，令k＝2，得到n个匹配对，这些匹配对每一个都包含欧氏距离最近的第1匹配点disj和次近的第2匹配点dis
′j。
[0052]
理论上，任意k》2的数都可以取，但是一般取k＝2，因为只用到最近的两个点。
[0053]
本实施方式中，首先航拍图提取了n个特征向量(n1，n2
……
nn)，底图块提取了m个特征向量(m1，m2,
……
mm)，每个特征向量都代表原图中的一个像素点。对于n1会从m个特征向量中找出k个与n1向量欧氏距离最近的向量，k＝2，说明每次只需要找到与n1向量最近的第1匹配点和次近的第2匹配点；n1
……
nn中的每个特征向量都能在(m1、m2
……
mm)中找到与之对应的点，这样就有n对匹配对；比如n1向量的第1匹配点是m3，第2匹配点是m9，那么就认为(n1，m3)是一个匹配对。
[0054]
使用k近邻后(n1
……
nn)中的每个点都能找到匹配对，这些匹配对并不都是好的，所以后续还使用了动态自适应欧氏距离约束条件来提纯匹配对，因为使用的约束条件涉及到第1匹配点和次近的第2匹配点，所以令k＝2。
[0055]
s43.使用动态自适应约束条件提纯匹配对，具体过程为：
[0056]
用动态自适应欧氏距离约束条件对匹配对进行提纯，统计所有匹配对中第1匹配点和第2匹配点距离差的均值，如公式(1)所示：
[0057][0058]
对于每一个待筛选匹配对,提纯的条件为第1距离小于第2距离与距离差均值avgdis之差，如公式(2)所示：
[0059]
disj＜dis
′
j-avgdis
ꢀꢀ
(2)
[0060]
disj表示距离最近的第1匹配点的距离值，dis
′j表示次近的第二匹配点的距离值，例如航拍图的n1特征向量，它的第1匹配点是底图块的m3向量，n1与m3之间的欧式距离值即为disj；它的第2匹配点是m9向量，则n1与m9之间的欧氏距离值即为dis
′j，不满足此公式的
匹配对删去，留下满足公式的匹配对；对提纯后的匹配对进行ransac算法剔除误匹配对，得到更高质量的匹配对，解算经纬度会更精准。
[0061]
s44.使用ransac算法进一步剔除误匹配对；
[0062]
ransac算法是计算机视觉领域一种常用算法。假设一组数据有“局内点”和“局外点”，局内点的分布符合某个数学模型，局外点是不能适应该模型的数据。本具体实施方式中，ransac算法剔除误匹配对的过程为：
[0063]
s441.从提纯后的匹配对中随机抽出若干对匹配对样本，用这若干对匹配对样本拟合一个模型p，具体为3
×
3的单应性矩阵；
[0064]
s442.计算其余匹配对与模型p的误差，若误差小于阈值则认为是局内点，大于阈值则认为是局外点；
[0065]
s443.上述过程被称为一次迭代，迭代r次后局内点数量最多的某次结果即为最终的结果，此时计算出的所有局外点即为误匹配对，直接剔除即可。
[0066]
所述步骤s441中的若干对匹配对样本为小于10对。本实施例中取4对匹配对样本。
[0067]
一般一张航拍图和一个卫星底图块做完初次匹配也就是k近邻后，可能会有几十到几百个匹配对，然后用动态条件剔除一部分、再用ransac剔除一部分留下可能就十几个到几十个匹配对，这最后剩下的匹配对算单应性矩阵。具体再说明下，假设使用ransac算法之前一张航拍图和一个底图块有100个匹配对，那ransac算法就会在这100个匹配对中随机取几个匹配对拟合一个模型p，然后剩下的匹配对和p模型算误差，分出局内点和局外点，假设这样重复n次后算出了30对局外点，那就剔除，剩下的70个匹配对就认为是高质量的匹配对，这样算出来经纬度精度更准。
[0068]
s45.最终取匹配对最多的底图块即为最接近的底图块；
[0069]
如图3、4所示，这两张图左边是旋转缩放后的航拍图1，图3右边是一个底图块1，中间的每条连线就表示一个匹配对，这条线将左边图中的一个点和右边图中的一个点连接起来，表明这两个点在实际环境中是同一个位置；图4右边是一个底图块2。匹配对数量越多显然两个图片越相似，目的是从若干个底图块中，找到跟航拍图最相似的底图块；一张航拍图会跟若干个底图块都进行匹配，航拍图1跟“底图块1”匹配得到10个匹配对、跟“底图块3”(没有图示出)匹配得到20个匹配对，跟“底图块2”匹配得到25个匹配对，那底图块2的匹配对数量就是最多的，航拍图1跟“底图块2”两个图片最相似，“底图块2”就是航拍图1最接近的底图块。
[0070]
s5、根据航拍图与最接近的底图块经过异源图像匹配后得到的匹配对，利用opencv中的findhomography模块计算两幅图的单应性矩阵m。m可将航拍图中心点映射到卫星底图上，卫星底图的每一点都带有经纬度信息，由此得到了航拍图中心点亦是目标中心的经纬度。