基于SuperGlue的两段式变焦相机多图像拼接方法和系统

基于superglue的两段式变焦相机多图像拼接方法和系统
技术领域
1.本发明涉及一种多视角多张图像的拼接，特别涉及一种基于superglue和光流场的两段式变焦相机多图像拼接方法和系统，属于图像处理技术领域。


背景技术：

2.随着计算机视觉技术的快速发展，摄像头经常用于安防与交通监控、医学图像、工业检测等各种领域。针对于一些大范围的场景，由于摄像头视野的限制难以获取完整的画面，常常采用图像拼接方法获取大范围视场的图像。然而针对视角变化大且数量多的图像拼接任务难度较大，容易产生错位和重影等问题，并且拼接过程也较为复杂。所以研究一种针对多视角多图像的高效拼接方法很有意义。
3.传统的图像拼接方法通常采用sift或者orb算法进行图像的特征提取，再通过特征匹配计算得到图像变换关系矩阵，来完成图像的对齐拼接，是图像拼接最实用且普遍的方法；但是针对一些稀疏纹理的场景，此方法可能难以得到足够多的特征点和精确的特征匹配；而对于多平面场景一个单应性变换矩阵也难以对齐整张图像，而较有代表性的解决方案是基于空域变换的方法，比如apap算法，通过划分网格和大量的局部单应性矩阵进行重叠区域的对齐，但是计算过程太复杂，要调节的参数多，非重叠区域易产生畸变。
4.在多图像拼接方面，传统的方法通常是按照顺序一张一张地进行拼接，拼接过程繁琐并且容易产生累计误差，使得拼接结果明显扭曲或者变形，不够自然。


技术实现要素：

5.为了解决上述问题，本发明提出一种基于可变焦云台相机的多图像的高效拼接方法，将图像的拼接分解为两步，首先完成大视场角的图像拼接，其次在此基础上完成清晰图像的精细拼接，每张图像的拼接之间相互独立，将拼接过程化繁为简。采用superpoint和superglue算法进行特征提取和匹配，在稀疏纹理场景更具鲁棒性并速度更快，引入光流场配准减小单个单应性矩阵产生的不可避免的拼接误差。
6.为了达到前述发明目的，本发明采用了以下方案：
7.本发明的一个方面提供了一种基于superglue的两段式变焦相机多图像拼接方法，所述图像拼接方法包括以下步骤：
8.步骤一、将云台相机倍率调低，拍摄若干张大视场角图像，采用特征匹配算法进行图像拼接，生成模板底图；
9.步骤二、将所述模板底图进行上采样和分块，生成模板底图块；
10.步骤三、通过相机的视场几何模型和需要拍摄的区域，结合云台相机视场角计算拍摄点的位置并记录，自动采集清晰图像，并使得采集的所有清晰图像覆盖指定区域；
11.步骤四、选择一张清晰图像，并选择覆盖区域大致相同的所述模板底图块，采用superpoint和superglue算法将清晰图像与所述模板底图块进行特征提取和匹配，剔除误匹配点后，将匹配点中模板底图块的像素点位置复原为原模板底图中的像素位置，计算出
单应性变换矩阵；
12.步骤五、使用所述单应性变换矩阵将所述清晰图像变换到原模板底图的坐标系上，获取变换后的清晰图像覆盖区域的模板底图图像，并计算覆盖区域模板底图与所述变换后清晰图像之间的光流；
13.步骤六、根据所述光流对变换后的清晰图像进行逐像素配准，使其对齐模板底图；
14.步骤七、重复所述步骤四至所述步骤六，直至所有清晰图像均已变换到模板底图的坐标系上，最终对图像进行融合。
15.在一个实施例中，所述步骤三中计算拍摄点的位置，具体包括：
16.假设当相机朝正下时，距离为h的成像平面上相机视场区域的四个角的空间坐标分别为分别为其中，α代表水平视场角，β代表垂直视场角；当云台左右或者上下转动角度θ时，将a，b，c，d点统一表示为v0，v
′0＝t*r(z)*r(x)*v0表示旋转平移后的坐标，则有v
′0＝t*r(z)*r(x)*v0，其中r(z)、r(x)分别表示绕z轴和x轴的旋转矩阵，再求v
′0＝t*r(z)*r(x)*v0与地面的交点即为相机视场范围四个交点的坐标。
17.在一个实施例中，所述步骤五中光流的计算过程如下：
18.i(x，y，z)＝i(x dx，y dy，t dt)表示一个像素点，从一帧到下一帧，移动(dx，dy)的距离，用了dt的时间；通过泰勒展开
[0019][0020]
进一步得
[0021][0022]
设分别表示光流沿x，y轴的速度矢量，所以得到
[0023]ix
u iyv i
t
＝0
[0024]
其中，i
x
，iy，i
t
分别表示的图像像素点灰度值在x，y，t方向上的偏导，可以通过图像数据求到，(u，v)便是光流分别沿x轴与y轴的光流失量。
[0025]
在一个实施例中，所述步骤六中根据所述光流对变换后的清晰图像进行逐像素配准，使其对齐模板底图的过程采用如下计算公式：
[0026]
f(x u，y v)＝p(x，y)；
[0027]
其中，p为对齐模板底图前的清晰图像坐标像素值，f为对齐模板底图后的清晰图像像素值，x和y表示像素坐标，u和v表示像素位置的x和y方向的光流大小。
[0028]
在一个实施例中，所述步骤七中对图像进行融合具体采用如下计算公式：
[0029]
p(x，y)＝w1*p1(x，y) w2*p2(x，y)
[0030]
其中p表示融合后图像的像素值，p1和p2分别表示相互重叠的两张清晰图像的重叠区域的像素值，w1，w2表示两张图像像素值取值的权重。
[0031]
本发明的另一个方面提供了一种基于superglue的两段式变焦相机多图像拼接系
统，其特征在于，所述图像拼接系统包括：
[0032]
图像采集及模板底图生成模块，所述图像采集及模板底图生成模块用于将云台相机倍率调低，拍摄若干张大视场角图像，采用特征匹配算法进行图像拼接，生成模板底图；
[0033]
模板底图块生成模块，所述模板底图块生成模块用于将所述模板底图进行上采样和分块，生成模板底图块；
[0034]
清晰图像采集模块，所述清晰图像采集模块用于通过相机的视场几何模型和需要拍摄的区域，结合云台相机视场角计算拍摄点的位置并记录，自动采集清晰图像，并使得采集的所有清晰图像覆盖指定区域；
[0035]
变换矩阵计算模块，所述变换矩阵计算模块用于选择一张清晰图像，并选择覆盖区域大致相同的所述模板底图块，采用superpoint和superglue算法将清晰图像与所述模板底图块进行特征提取和匹配，剔除误匹配点后，将匹配点中模板底图块的像素点位置复原为原模板底图中的像素位置，计算出单应性变换矩阵；
[0036]
光流计算模块，所述光流计算模块用于使用所述单应性变换矩阵将所述清晰图像变换到原模板底图的坐标系上，获取变换后的清晰图像覆盖区域的模板底图图像，并计算覆盖区域模板底图与所述变换后清晰图像之间的光流；
[0037]
像素匹配模块，所述像素匹配用于根据所述光流对变换后的清晰图像进行逐像素配准，使其对齐模板底图；
[0038]
图像融合模块，所述图像融合模块用于在所有清晰图像均已变换到模板底图的坐标系上之后，对图像进行融合。
[0039]
在一个实施例中，所述清晰图像采集模块计算拍摄点的位置，具体包括：
[0040]
假设当相机朝正下时，距离为h的成像平面上相机视场区域的四个角的空间坐标分别为分别为其中，α代表水平视场角，β代表垂直视场角；当云台左右或者上下转动角度θ时，将a，b，c，d点统一表示为v0，v
′0＝t*r(z)*r(x)*v0表示旋转平移后的坐标，则有v
′0＝t*r(z)*r(x)*v0，其中r(z)、r(x)分别表示绕z轴和x轴的旋转矩阵，再求v
′0＝t*r(z)*r(x)*v0与地面的交点即为相机视场范围四个交点的坐标。
[0041]
在一个实施例中，所述光流计算模块计算光流的过程如下：
[0042]
i(x，y，z)＝i(x dx，y dy，t dt)表示一个像素点，从一帧到下一帧，移动(dx，dy)的距离，用了dt的时间；通过泰勒展开
[0043][0044]
进一步得
[0045][0046]
设分别表示光流沿x，y轴的速度矢量，所以得到
[0047]ix
u iyv i
t
＝0
[0048]
其中，i
x
，iy，i
t
分别表示的图像像素点灰度值在x，y，t方向上的偏导，可以通过图像数据求到，(u，v)便是光流分别沿x轴与y轴的光流失量。
[0049]
在一个实施例中，所述像素匹配模块根据所述光流对变换后的清晰图像进行逐像素配准，使其对齐模板底图的过程采用如下计算公式：
[0050]
f(x u，y v)＝p(x，y)；
[0051]
其中，p为对齐模板底图前的清晰图像坐标像素值，f为对齐模板底图后的清晰图像像素值，x和y表示像素坐标，u和v表示像素位置的x和y方向的光流大小。
[0052]
在一个实施例中，所述图像模块进行图形融合具体采用如下计算公式：
[0053]
p(x，y)＝w1*p1(x，y) w2*p2(x，y)
[0054]
其中p表示融合后图像的像素值，p1和p2分别表示相互重叠的两张清晰图像的重叠区域的像素值，w1，w2表示两张图像像素值取值的权重。
[0055]
与现有技术相比，本发明至少具有如下优点：(1)将图像的拼接分解为两步，首先完成大视场角的图像拼接，再在此基础上完成清晰图像的精细拼接，每张图像的拼接之间相互独立，将拼接过程化繁为简；(2)采用superpoint和superglue算法进行特征提取和匹配，在稀疏纹理场景更具鲁棒性并速度更快；(3)引入光流场配准减小打单个单应性矩阵产生的不可避免的拼接误差。
附图说明
[0056]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0057]
图1是本发明一实施方式中的拼接方法流程图；
[0058]
图2是本发明一实施方式中的云台拍摄视场几何模型；
[0059]
图3是本发明一实施方式中的模板底图示例；
[0060]
图4是sift算法和superglue算法的特征匹配比对图；
[0061]
图5a是本发明一实施方式中的清晰图示例、图5b是本发明一实施方式中的拼接方法示意图；
[0062]
图6a、图6b分别是本发明一实施方式中采用光流配准前后局部对齐情况。
具体实施方式
[0063]
针对现有技术的不足，本发明人提出本发明的技术方案，有效解决了现有神经辐射场技术的前述缺陷或问题。本发明是基于深度动态采样的神经辐射场的三维重建方法，其所提方法与一些最先进的神经辐射场重建方法在性能上相媲美，并且有很好的视觉效果。
[0064]
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式进行详细说明。这些优选实施方式的示例在附图中进行了例示。附图中所示和根据附图描述的本发明的实施方式仅仅是示例性的，并且本发明并不限于这些实施方式。
[0065]
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅
示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
[0066]
在本技术的一个较为典型的实施方式中，包括如下步骤：
[0067]
1)为实现云台相机拍摄的一定数量的多视角图像的精准拼接，首先将云台相机倍率调低，此时视场角较大，拍摄几张覆盖指定范围的低清晰度图像。其中，云台相机倍率是变焦相机的属性，相机倍率越低，视场角越大。由于大视场角图像角度变换小，特征丰富，采用传统特征匹配方法计算单应性变换矩阵进行拼接，得到模板底图。
[0068]
2)将步骤1)中得到的模板底图进行上采样，并将其分为2*2或者4*4块，得到模板底图块。
[0069]
3)清晰图像的采集，通过相机的视场几何模型和需要拍摄的区域(如图所示)，结合云台相机视场角计算拍摄点的位置并记录，计算过程如下：
[0070]
假设当相机朝正下时的，距离为h的成像平面上相机视场区域的四个角的空间坐标为a(h*为a(h*其中，α代表水平视场角，β代表垂直视场角；当云台左右或者上下转动角度θ时，将a，b，c，d点统一表示为v0，v
′0＝t*r(z)*r(x)*v0表示旋转平移后的坐标，则有v
′0＝t*r(z)*r(x)*v0，其中r(z)、r(x)分别表示绕z轴和x轴的旋转矩阵，再求v
′0＝t*r(z)*r(x)*v0与地面的交点即为相机视场范围四个交点的坐标。
[0071]
所以通过云台相机高度、倍率和旋转角度可以得到相机的视场范围预置点包括这三组数据，设置几组预置点使得拍摄的所有图像可以覆盖指定的区域，从而自动完成清晰图像的采集。
[0072]
4)选择一张清晰图像，并选择覆盖区域大致相同的模板底图块，采用superpoint和superglue算法将清晰图像与该模板底图块进行特征提取和匹配。采用随机一致性方法剔除误匹配点后，将匹配点中模板底图块的像素点位置复原为原模板底图中的像素位置，计算出单应性变换矩阵。单应性变换矩阵表示一个具有八个自由度的图像线性几何变换矩阵，通过两张图像若干对匹配点的坐标建立线性方程，采用最小二乘法进行拟合一个最好的结果。
[0073]
5)使用步骤4)中计算出来的单应性变换矩阵对清晰图像进行变换，以模板底图的左上角为原点建立模板底图像素坐标系，使清晰图像进行旋转缩放、平移、错切和镜像等操作变换到模板底图的坐标系下，获取变换后的清晰图像覆盖区域的模板底图图像，求它和变换后清晰图像之间的稠密光流，光流是指空间三维运动场在图像上的投影，表示图像像素在某一时刻的运动大小与方向，光流的计算过程如下：
[0074]
i(x，y，z)＝i(x dx，y dy，t dt)表示一个像素点，从一帧到下一帧，移动(dx，dy)的距离，用了dt的时间；通过泰勒展开
[0075][0076]
进一步得
[0077][0078]
设分别表示光流沿x，y轴的速度矢量，所以得到
[0079]ix
u iyv i
t
＝0
[0080]
其中，i
x
，iy，i
t
分别表示的图像像素点灰度值在x，y，t方向上的偏导，可以通过图像数据求到，(u，v)便是光流分别沿x轴与y轴的光流失量。
[0081]
6)通过步骤5)中求得的光流，对变换后清晰图像进行逐像素配准，如下式，使其对齐模板底图。
[0082]
f(x u，y v)＝p(x，y)；
[0083]
其中p为对齐模板底图前的清晰图像坐标像素值，f为对齐模板底图后的清晰图像像素值，x和y表示像素坐标，u和v表示该像素位置的x和y方向的光流大小。
[0084]
7)重复步骤4)、步骤5)和步骤6)，直至所有清晰图像都已经变换到模板底图的坐标系上，最终采用加权平均法对图像进行融合，如下式：
[0085]
p(x，y)＝w1*p1(x，y) w2*p2(x，y)
[0086]
其中p表示融合后图像的像素值，p1和p2分别表示相互重叠的两张清晰图像的重叠区域的像素值，w1，w2表示两张图像像素值取值的权重，最简单的方法是设置为0.5和0.5，也可以设置为其它合适的值。
[0087]
具体地，如图1所示，本发明的一种基于superglue的两段式变焦相机多图像高效拼接方法，其具体实施过程如下：
[0088]
1)如图2所示，通过云台相机从上至下的采集图像，调节云台的倍率和俯仰、偏航角度可以拍摄不同清晰度和位置的图像。
[0089]
2)通过调节云台相机的倍率，拍摄2-3张覆盖指定范围区域的大视场角低清晰度图像，采用sift flann的传统方法进行拼接得到模板底图，并将其进行上采样和分块，如图3所示为2张大视场角图像拼接的模板底图；然后根据需要的清晰度计算拍摄预置位并自动采集清晰图像，并使所有清晰图像覆盖指定范围。
[0090]
3)选择一张清晰图像和模板底图块，采用superponit、superglue算法进行特征提取和匹配，采用随机一致性方法剔除误匹配点，得到精确的匹配点对，如图4所示，传统sift方法存在大量误匹配。
[0091]
4)将匹配点对中模板底图块的像素坐标复原回原模板底图的位置，计算得到单应性变换矩阵，如图5a、图5b所示，根据单应性变换矩阵将清晰图像变换到原模板底图的坐标系上。
[0092]
5)通过清晰图像四个顶点变换后的坐标位置，生成mask，从而获取变换后的清晰图像覆盖区域的模板底图图像，计算它和变换后的清晰图像之间的光流。
[0093]
6)计算得到的光流中包含每个像素的x、y方向的位置偏移，根据偏移对变换后的清晰图像逐像素配准，使其对齐模板底图，如图6a、图6b所示为采用光流配准前后的局部对齐情况，可以看到采用光流配准之后，重投影后的图像之间能够对齐精准。
[0094]
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说
明书作为一个整体，各实施例的技术方案也可以经适当组合形成本领域技术人员可以理解的其他实施方式。