一种基于图像深度和特征密度引导的视差图像拼接方法与流程

本发明涉及视频图像拼接，具体提供一种基于图像深度和特征密度引导的视差图像拼接方法，可用于超低空复杂空间结构场景的视差图像拼接。

背景技术：

1、随着小型旋翼无人机技术的迭代升级与广泛普及，超低空航拍已成为城市监测、地形勘探、影视制作及军事侦察等多个领域不可或缺的核心数据获取手段。然而，超低空拍摄场景存在固有特性，包括拍摄高度低导致物体立体几何属性凸显、复杂地形引发空间结构异质性、局部区域跨多几何结构等复杂非单平面问题，这对单目无人机影像的全自动无缝拼接构成严峻挑战。

2、传统影像拼接算法（如基于特征点匹配的sift、surf算法及其各类改进变体）在处理近似平面场景时，可获得理想拼接效果。但在超低空多几何结构场景中，局部区域跨多结构情况会导致基于单应性矩阵（homography）的全局投影模型失效，使拼接结果出现大范围结构畸变、错位问题，严重制约拼接的视觉效果。

3、尽管当前主流影像拼接算法在视差场景处理方面均取得了各自的技术突破，但面对复杂超低空航拍场景时，仍存在显著局限性，具体表现如下：

4、（1）局部空间变换类算法（如apap、aanap、rew等）通过构建局部投影模型提升影像对齐精度。虽在常规场景中效果显著，但当场景几何结构发生剧烈变化时，投影场的空间变化复杂度会超出局部模型的拟合能力，导致拼接结果出现透视畸变、结构错位等问题。

5、（2）传统拼接线驱动类算法（如seagull、autostitch、obj-gsp及商用软件ptgui）通过迭代优化策略调整拼接线位置，持续提升拼接线邻域的视觉一致性。但在超低空复杂结构场景中，受提取特征点的稀疏性和特征一致性估计过渡欠拟合影响，提纯后的特征点无法完整覆盖非主导几何面，导致大范围无特征覆盖。当拼接线无法绕开无特征覆盖的复杂几何区域时，迭代规划模型会失效，极端情况下甚至直接终止迭代过程。

技术实现思路

1、有鉴于此，本发明提供一种基于图像深度和特征密度引导的视差图像拼接方法。本发明具有计算效率高、鲁棒性强的特点，尤其适用于多几何结构场景下的视差图像拼接。

2、本发明所采用的技术方案如下：

3、一种基于图像深度和特征密度引导的视差图像拼接方法，包括以下步骤：

4、步骤1，分别提取待拼接图像i和参考图像j的surf特征点集合，记为pi和pj；

5、步骤2，利用暴力匹配算法计算pi与pj集合的初始特征匹配点对，组成初始特征匹配点对的集合p0；

6、步骤3，将p0分割为多个局部特征匹配子集；在每个子集内独立估计最优仿射变换参数，构建网格化仿射投影场；基于网格化仿射投影场过滤p0中的错匹配对，获得提纯后的特征匹配点对集合p1；

7、步骤4，采用depth-anything深度估计模型提取待拼接图的深度信息，生成深度图di；结合深度图di与集合p1，分别构建深度代价函数和特征密度代价函数，进而建立拼接线预规划的统一代价函数；运用动态规划算法对统一代价函数进行求解，得到最优的预规划拼接线ls；

8、步骤5，结合深度图di与预规划拼接线ls，构建拼接支撑特征匹配点对集合ps，进而构建拼接线网格投影场；

9、步骤6，基于拼接线网格投影场，通过加权插值生成像素级稠密投影场hi={hq(i, j) | (i, j)∈i}，其中，(i, j)表示图像i中的像素坐标，hq(i, j)表示像素点(i, j)位置的仿射变换模型；

10、步骤7，基于像素级稠密投影场为hi，将待拼接图像i逐像素投影到参考图空间，得到投影图i'；

11、步骤8，将i'与参考图像j沿预规划拼接线ls进行线性加权融合，得到拼接图像ip。

12、进一步地，步骤3的具体方式为：

13、步骤301，在待拼接图像i中构建包含pi中所有特征点的最小外接矩形，设矩形宽为w，高为h，对矩形进行网格划分，设网格边长为s，垂直方向网格数量为，水平方向网格数量为，表示向上取整，第x列第y行的网格记为g(x, y)，其中，；

14、步骤302，对每个网格构建特征空间r(x,y)，用于表示网格g(x, y)内所有像素点的坐标集合：

15、

16、步骤303，设初始特征匹配点对集合，其中k0为初始特征匹配点对的数量，pk为集合pi中的特征点，p'k为集合pj中与pk匹配的特征点；将落在r(x,y)空间内的初始特征匹配点对组成局部特征集合p(x,y)：

17、

18、步骤304，在局部特征集合p(x, y)内，采用随机抽样一致性算法求解得到网格g(x, y)的仿射变换模型h(x, y)；将各仿射变换模型组成网格化仿射投影场hg；

19、

20、步骤305，基于局部投影模型h(x, y)对p(x,y)中的错匹配对进行滤除，剔除不满足以下关系式的特征匹配点对：

21、

22、其中，为阈值，取值范围为1～4；

23、对所有p(x,y)中的错匹配对均进行滤除后，得到的所有剩余特征匹配点对即为提纯后的特征匹配点对集合，k1表示提纯后特征匹配点对的数量。

24、进一步地，步骤4的具体方式为：

25、步骤401，计算图像i中像素坐标(i, j)处的特征密度：

26、

27、其中，|| ||表示欧氏距离，表示为平滑尺度参数，为高斯核函数，表达式如下：

28、

29、步骤402，对进行归一化处理：

30、

31、步骤403，构建特征密度代价函数：

32、

33、步骤404，通过depth-anything深度估计模型生成图像i对应的深度图di，di的元素di(i, j)表示图像i中像素坐标(i, j)处的深度值；获取di的直方图fd，其中深度值为x的统计频数为fd(x)，以频数最大的深度值c作为基准值，构建拼接线的深度代价函数ed(i, j)：

34、

35、步骤405，对ed(i, j)进行归一化处理：

36、

37、步骤406，基于归一化的特征密度代价函数和深度代价函数构建统一代价函数e(i, j)：

38、

39、其中，α1和α2表示加权系数，α1+α2=1；

40、步骤407，基于动态规划算法进行求解，定义累积代价函数m(i, j)如下：

41、

42、e(i, j)为统一代价函数，超出图像范围的邻域项取无穷大，依此递推关系逐列计算累积代价并记录回溯路径，取最后一列中累积代价最小的像素点为终点并向前回溯，即得到预规划拼接线ls。

43、进一步地，步骤5的具体方式如下：

44、步骤501，将图像i中距拼接线ls的最小欧式距离小于β像素的点组成ls的邻域空间rl；对于特征匹配点对(ps, p's)，找到ls上与ps距离最近的点plmin，判定(ps, p's)是否满足如下条件：

45、条件1：(ps, p's)在特征匹配点对集合p1中；

46、条件2：ps的坐标落在rl区域内；

47、条件3：ps与plmin处的深度值之差小于阈值δ，δ的取值范围为1～3；

48、将同时满足上述条件的特征匹配点对组成拼接支撑特征匹配点对集合ps；

49、步骤502，构建基于ps的网格化仿射投影场，记为，设网格边长为a，垂直方向网格数量为，水平方向网格数量为，第x列第y行的网格为gs(x, y)，vs(x, y)为网格gs(x, y)的左上顶点像素坐标，hs(x, y)为网格gs(x, y)的仿射变换模型，则表达式如下：

50、。

51、进一步地，步骤6的具体方式为：

52、对于待拼接图像i中的像素坐标q=(i, j)，q点对应的仿射变换模型hq(i, j)为：

53、

54、得到像素级稠密投影场hi={hq(i, j) | (i, j)∈i}。

55、进一步地，步骤8中线性加权融合的具体方式为：

56、

57、式中，(i', j')为投影图i'上的像素点，(i', j')>ls表示(i', j')点在拼接线ls上方，(i', j')=ls表示(i', j')点在拼接线ls上，(i', j')

58、本发明相比背景技术具有如下优点：

59、1、本发明基于深度代价与特征密度代价，构建了预规划拼接线，精准引导局部结构一致性特征集合进行局部投影场构建，抑制了因局部跨结构特征引入的畸变投影，提高了投影场建模的鲁棒性。

60、2、本发明基于深度代价与特征密度代价，构建了预规划拼接线，精准引导局部结构一致性特征集合进行局部投影场构建，抑制了因局部跨结构特征引入的畸变投影，提高了投影场建模的鲁棒性，适用于超低空复杂空间结构场景的视差图像拼接。

61、3、本发明构建了网格化错匹配过滤，保留了所有结构面上可能存在的特征，与传统的系数特征匹配方式相比，鲁棒性显著提升。