一种基于多图特征联合匹配的图像快速拼接方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于多图特征联合匹配的图像快速拼接方法。


背景技术：

2.图像拼接是一种将多幅具有一定重叠区域的窄视角、低分辨率的图片拼接形成一幅广视角、高分辨率图片的技术，在实际场景中应用广泛，如无人机航拍、遥感图像处理、虚拟现实等。图像拼接是进一步做图像理解的基础，拼接效果的好坏对后续图像处理步骤具有很重大的意义。图像拼接技术主要操作步骤可概括位四个部分，即图像采集、图像预处理、图像配准和图像融合。其中最关键的步骤为图像配准，在这一步骤中，现有的方法首先提取图像的特征信息，如sift，surf，orb或harris角点，根据图像特征点位置信息计算两幅匹配图像之间的变换矩阵，随后选取参考图，根据矩阵乘积确定任一图片相对于参考图像的变换矩阵，得出所有图像的相对位置。由于矩阵直接相乘会导致较大的累积误差，因此采用bundle adjustment方法迭代优化计算所有图像的配准矩阵，虽然最终拼接效果改善明显，但迭代优化计算速度很慢，不能达到工业实时应用的程度。
3.因此，设计一个实时性强、计算量少的多图拼接方法是很有必要的。本发明基于多图联合特征同时匹配，根据单幅图像与多幅相匹配图像中的特征点联合计算该图片的变换矩阵，无需进行迭代优化。使得其在满足快速拼接的基础上仍能获取较好的拼接效果。


技术实现要素：

4.为了加快多幅图像的拼接速度，本发明提供一种基于多图特征联合匹配的图像快速拼接方法。
5.为了实现以上目的，本发明采用如下技术方案：
6.一种基于多图特征联合匹配的图像快速拼接方法,包括如下：
7.获取待拼接图像，待拼接图像至少两张；
8.对每一幅图像提取特征；
9.获取待拼接图像的匹配对；
10.确定参考图及其它图像的拼接顺序；
11.将参考图变换矩阵设为单位阵，根据图像的拼接顺序获得除参考图以外的其它图像的变换矩阵；
12.根据其它图像相对于参考图的变换矩阵，得到所有图像的相对位置，得到最终拼接图像。
13.进一步，所述对每一幅图像提取特征具体是提取sift特征。
14.进一步，所述获取待拼接图像的匹配对，具体为：
15.对于任意给定的两幅图像，设两幅图像提取的sift特征点匹配对总数量为n
f
；
16.预设匹配特征点之间的几何模型，通过ransac算法对两幅图像的sift特征点进行
提纯后，分为内点及外点；
17.若提纯后得出的内点对数量为n
i
，若n
i
＞8 0.3
·
n
f
，即可判断两幅图像匹配。
18.进一步，确定参考图及其它图像的拼接顺序，具体为：
19.计算每一幅图像的匹配数量，选取匹配图片数量最多的一幅图像作为参考图；
20.根据广度优先遍历算法，按照每幅图片所匹配图像数量多少进行排序获得图像的拼接顺序。
21.进一步，所述将参考图变换矩阵设为单位阵，根据图像拼接顺序获得除参考图以外的其它图像的变换矩阵，具体为：
22.计算图像拼接顺序中第一幅图像相对于参考图像的变换矩阵，变换矩阵采用射影变换，
23.根据第一幅图的变换矩阵对第一幅图中的特征点进行坐标变换，获取第一幅图在参考图坐标下的位置；
24.计算图像拼接顺序中的第二幅图像相对于参考图像的变换矩阵，根据第二幅图像与参考图及第一幅图像之间的特征点匹配关系，计算第二幅图像的变换矩阵；
25.按照上述步骤，首先对前一幅图像中的特征点进行坐标变换，获取其在参考图像中的位置，随后根据该图片与前面处理完成的所有图片中的匹配特征点，计算当前图片相对于参考图像的变换矩阵。
26.进一步，采用平均值融合的方式获取最终拼接图像。
27.进一步，还包括对待拼接图像进行预处理步骤，所述预处理包括去噪处理。
28.进一步，通过贝叶斯估计判断任意两幅图像是否匹配。
29.进一步，变换矩阵的计算公式为：
[0030][0031][0032]
其中n为提取出的图像sift内点特征数量，矩阵a即是根据所有特征内点计算得出的a
i
组合而成，其矩阵大小为2n
×
9。在此使用奇异值分解算法进行计算，最终需求解的矩阵h即为矩阵a最小的右奇异向量；设第一幅图像与参考图的其中一对内点分别为u1＝[x
1 y1]
t
和u2＝[x
2 y2]
t
。
[0033]
本发明的有益效果:
[0034]
(1)本发明提出的利用多图特征联合匹配方法根据单幅图片与其相匹配的多幅图片之间的特征联合计算该图片的变换矩阵，相较于传统方法直接利用两幅图片之间的匹配特征计算变换矩阵而言得到的变换矩阵更加准确，多图拼接效果改善明显；
[0035]
(2)本发明根据单幅图像与多幅匹配图像之间的特征直接计算变换矩阵，未采用两幅匹配图像的变换矩阵直接相乘，随后再通过bundle adjustment的方式对计算所得的矩阵迭代优化的方式，大大缩短了计算变换矩阵的时间，多图拼接速度明显加快。
附图说明
[0036]
图1是本发明的工作流程图；
[0037]
图2是本发明的图像变换矩阵计算图；
[0038]
图3(a)为原始待拼接图片，图3(b)为直接采用矩阵直接相乘计算变换矩阵方法的拼接效果图，图3(c)为采用矩阵直接相乘后采用bundle adjustment迭代优化的拼接效果图，图3(d)为采用本实施例所述方法处理后的拼接效果图。
[0039]
图4(a)
‑
图4(c)是本发明实施例步骤s4的示意图。
具体实施方式
[0040]
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
[0041]
实施例
[0042]
本实施例提供了一种基于多图特征联合匹配的图像快速拼接方法，提取所有待拼接图像内的特征点，确定任意两幅图像之间的匹配关系，根据单幅图像与其相匹配的多幅图像之间的特征点联合计算该幅图像的变换矩阵，使得矩阵计算结果更为精确，同时由于未采用矩阵直接相乘的方式计算相对于参考图像的变换矩阵，因此无需采用bundle adjustment方法对所有变换矩阵进行迭代优化。该方法在保证拼接效果的同时大大减少了多图拼接所需的时间。
[0043]
流程图如图1所示，包括以下步骤：
[0044]
s1读取所有原始待拼接图片，对原始图像进行去噪预处理；待拼接图片至少两张。
[0045]
s2对每一幅待拼接图像提取其sift特征；
[0046]
s3通过贝叶斯估计根据提取的特征点信息判断任意两幅图像是否匹配，获取所有图像匹配对，并判断两幅图像是否匹配，具体如下：
[0047]
对于任意给定的两幅图像，首先预设匹配特征点之间的几何模型，通过ransac(random sample consensus)算法对特征点进行提纯后，将原有的提取出来的sift特征点分为内点和外点两部分，其中内点为满足预设几何模型的匹配特征点，外点不符合预设的几何模型。假设其直接提取所得的sift特征匹配对总数量为n
f
，通过ransac算法进行提纯后得出的内点对数量为n
i
。若n
i
＞8 0.3
·
n
f
，即可判断两幅图像匹配；
[0048]
s4根据图像匹配关系，计算每幅图像匹配图片数量，选取匹配图片数量最多的一幅图像作为参考图，随后根据广度优先遍历算法，每层按照匹配图片数量多少进行排序，得出图像拼接顺序；
[0049]
如4(a)图所示为两幅图片之间匹配关系，序号代表图片序号，连线代表两幅图片匹配，图4(b)的图像代表根据每两幅图像匹配关系构建的全体图像匹配关系图，图4(c)代表根据广度优先遍历算法得出的图像拼接顺序。
[0050]
s5参考图变换矩阵设为单位阵，随后根据图像拼接顺序依次计算剩余所有图片变换矩阵，如图2所示，具体实施步骤如下：
[0051]
s5.1根据图像拼接顺序计算第一幅图像相对于参考图像的变换矩阵，假设第一幅图像与参考图像的其中一对内点分别为u1＝[x
1 y1]
t
和u2＝[x
2 y2]
t
，变换矩阵采用射影变换，计算方式如下：
[0052]
[0053][0054]
其中n为提取出的图像sift内点特征数量，矩阵a即是根据所有特征内点计算得出的a
i
组合而成，其矩阵大小为2n
×
9。在此可以使用奇异值分解算法进行计算，最终需求解的矩阵h即为矩阵a最小的右奇异向量；
[0055]
s5.2根据计算得出的第一幅图的变换矩阵对第一幅图中特征点进行坐标变换，获得其在参考图坐标系下的位置，根据之前获取的第二幅图与第一幅图的特征点匹配关系，即两幅图之间的内点，第二幅图与参考图间特征点的匹配关系，剔除其中重复的特征匹配对，得出第二幅图与参考图及第一幅图之间特征点的匹配关系，联合该图像与已处理图像中所有匹配的特征点，此时该图像与两幅图像特征点匹配总数为n1,根据上述公式，代入该图与第一幅图内点对及该图与参考图内点对，计算第二幅图像的变换矩阵；
[0056]
s5.3按照上一步骤，依次处理后续所有图片，首先对前一幅图像中的特征点进行坐标变换，获取其在参考图像中的位置，随后根据该图片与前面处理完成的所有图片中的匹配特征点，计算该图片相对于参考图像的变换矩阵。
[0057]
s6根据计算所得的所有图像相对于参考图像的变换矩阵，得到所有图像的相对位置，根据平均值融合算法实现图像融合，得到最终拼接图像。
[0058]
现有技术中直接采用矩阵相乘计算变换矩阵方法其每次计算变换矩阵的时间复杂度为o(n)，使用bundle adjustment迭代优化的方法其优化矩阵大小为2n
×
m，其中n为所有图像总体特征点数量，m为待拼接图像数量与每个变换矩阵参数数量的乘积，每次迭代优化过程需要进行矩阵相乘，矩阵转置、矩阵求逆等过程，每次迭代优化时间复杂度为o(n3)，本文提出的方法与原始矩阵直接相乘的方法计算过程类似，时间复杂度仍为o(n)，但由于中间多了一步特征点变换的过程，总体耗时相对于原始方法较长。
[0059]
图3(a)为原始待拼接图片，图3(b)为直接采用矩阵直接相乘计算变换矩阵方法的拼接效果图，图3(c)为采用矩阵直接相乘后采用bundle adjustment迭代优化的拼接效果图，图3(d)为采用本实施例所述方法处理后的拼接效果图。直接采用矩阵直接相乘计算变换矩阵方法结果与参考图相比较，图像配准存在较大误差，存在明显的重影模糊现象，但运行时间最短；在此基础上采取的迭代优化算法图像配准效果最后，但运行时间大大增加，不能满足实际工业运用需求；而本实施例所提出的算法得到的结果拼接效果较好，图像配准误差较小，且所需时间相对与迭代优化算法明显减少，说明本实施例具有相较于现有算法，更符合实际运用需求。
[0060]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。