基于SuperGlue的两段式变焦相机多图像拼接方法和系统

技术特征：
1.一种基于superglue的两段式变焦相机多图像拼接方法，其特征在于，所述图像拼接方法包括以下步骤：步骤一、将云台相机倍率调低，拍摄若干张大视场角图像，采用特征匹配算法进行图像拼接，生成模板底图；步骤二、将所述模板底图进行上采样和分块，生成模板底图块；步骤三、通过相机的视场几何模型和需要拍摄的区域，结合云台相机视场角计算拍摄点的位置并记录，自动采集清晰图像，并使得采集的所有清晰图像覆盖指定区域；步骤四、选择一张清晰图像，并选择覆盖区域大致相同的所述模板底图块，采用superpoint和superglue算法将清晰图像与所述模板底图块进行特征提取和匹配，剔除误匹配点后，将匹配点中模板底图块的像素点位置复原为原模板底图中的像素位置，计算出单应性变换矩阵；步骤五、使用所述单应性变换矩阵将所述清晰图像变换到原模板底图的坐标系上，获取变换后的清晰图像覆盖区域的模板底图图像，并计算覆盖区域模板底图与所述变换后清晰图像之间的光流；步骤六、根据所述光流对变换后的清晰图像进行逐像素配准，使其对齐模板底图；步骤七、重复所述步骤四至所述步骤六，直至所有清晰图像均已变换到模板底图的坐标系上，最终对图像进行融合。2.根据权利要求1所述的图像拼接方法，其特征在于，所述步骤三中计算拍摄点的位置，具体包括：假设当相机朝正下时，距离为h的成像平面上相机视场区域的四个角的空间坐标分别为为其中，α代表水平视场角，β代表垂直视场角；当云台左右或者上下转动角度θ时，将a，b，c，d点统一表示为v0，v
′0＝t*r(z)*r(x)*v0表示旋转平移后的坐标，则有v
′0＝t*r(z)*r(x)*v0，其中r(z)、r(x)分别表示绕z轴和x轴的旋转矩阵，再求v
′0＝t*r(z)*r(x)*v0与地面的交点即为相机视场范围四个交点的坐标。3.根据权利要求1所述的图像拼接方法，其特征在于，所述步骤五中光流的计算过程如下：i(x，y，z)＝i(x dx，y dy，t dt)表示一个像素点，从一帧到下一帧，移动(dx，dy)的距离，用了dt的时间；通过泰勒展开进一步得设分别表示光流沿x，y轴的速度矢量，所以得到i
x
u i
y
v i
t
＝0其中，i
x
，i
y
，i
t
分别表示的图像像素点灰度值在x，y，t方向上的偏导，可以通过图像数
据求到，(u，v)便是光流分别沿x轴与y轴的光流失量。4.根据权利要求3所述的图像拼接方法，其特征在于，所述步骤六中根据所述光流对变换后的清晰图像进行逐像素配准，使其对齐模板底图的过程采用如下计算公式：f(x u，y v)＝p(x，y)；其中，p为对齐模板底图前的清晰图像坐标像素值，f为对齐模板底图后的清晰图像像素值，x和y表示像素坐标，u和v表示像素位置的x和y方向的光流大小。5.根据权利要求1所述的图像拼接方法，其特征在于，所述步骤七中对图像进行融合具体采用如下计算公式：p(x，y)＝w1*p1(x，y) w2*p2(x，y)其中p表示融合后图像的像素值，p1和p2分别表示相互重叠的两张清晰图像的重叠区域的像素值，w1，w2表示两张图像像素值取值的权重。6.一种基于superglue的两段式变焦相机多图像拼接系统，其特征在于，所述图像拼接系统包括：图像采集及模板底图生成模块，所述图像采集及模板底图生成模块用于将云台相机倍率调低，拍摄若干张大视场角图像，采用特征匹配算法进行图像拼接，生成模板底图；模板底图块生成模块，所述模板底图块生成模块用于将所述模板底图进行上采样和分块，生成模板底图块；清晰图像采集模块，所述清晰图像采集模块用于通过相机的视场几何模型和需要拍摄的区域，结合云台相机视场角计算拍摄点的位置并记录，自动采集清晰图像，并使得采集的所有清晰图像覆盖指定区域；变换矩阵计算模块，所述变换矩阵计算模块用于选择一张清晰图像，并选择覆盖区域大致相同的所述模板底图块，采用superpoint和superglue算法将清晰图像与所述模板底图块进行特征提取和匹配，剔除误匹配点后，将匹配点中模板底图块的像素点位置复原为原模板底图中的像素位置，计算出单应性变换矩阵；光流计算模块，所述光流计算模块用于使用所述单应性变换矩阵将所述清晰图像变换到原模板底图的坐标系上，获取变换后的清晰图像覆盖区域的模板底图图像，并计算覆盖区域模板底图与所述变换后清晰图像之间的光流；像素匹配模块，所述像素匹配用于根据所述光流对变换后的清晰图像进行逐像素配准，使其对齐模板底图；图像融合模块，所述图像融合模块用于在所有清晰图像均已变换到模板底图的坐标系上之后，对图像进行融合。7.根据权利要求6所述的图像拼接系统，其特征在于，所述清晰图像采集模块计算拍摄点的位置，具体包括：假设当相机朝正下时，距离为h的成像平面上相机视场区域的四个角的空间坐标分别为为其中，α代表水平视场角，β代表垂直视场角；当云台左右或者上下转动角度θ时，将a，b，c，d点统一表示为v0，v
′0＝t*r(z)*r(x)*v0表示旋转平移后的坐标，则有v
′0＝t*r(z)*r(x)*v0，其中r(z)、r(x)分别表示绕z轴和x轴的旋转矩阵，再求v
′0＝
t*r(z)*r(x)*v0与地面的交点即为相机视场范围四个交点的坐标。8.根据权利要求6所述的图像拼接系统，其特征在于，所述光流计算模块计算光流的过程如下：i(x，y，z)＝i(x dx，y dy，t dt)表示一个像素点，从一帧到下一帧，移动(dx，dy)的距离，用了dt的时间；通过泰勒展开进一步得设分别表示光流沿x，y轴的速度矢量，所以得到i
x
u i
y
v i
t
＝0其中，i
x
，i
y
，i
t
分别表示的图像像素点灰度值在x，y，t方向上的偏导，可以通过图像数据求到，(u，v)便是光流分别沿x轴与y轴的光流失量。9.根据权利要求8所述的图像拼接系统，其特征在于，所述像素匹配模块根据所述光流对变换后的清晰图像进行逐像素配准，使其对齐模板底图的过程采用如下计算公式：f(x u，y v)＝p(x，y)；其中，p为对齐模板底图前的清晰图像坐标像素值，f为对齐模板底图后的清晰图像像素值，x和y表示像素坐标，u和v表示像素位置的x和y方向的光流大小。10.根据权利要求6所述的图像拼接系统，其特征在于，所述图像模块进行图形融合具体采用如下计算公式：p(x，y)＝w1*p1(x，y) w2*p2(x，y)其中p表示融合后图像的像素值，p1和p2分别表示相互重叠的两张清晰图像的重叠区域的像素值，w1，w2表示两张图像像素值取值的权重。

技术总结
本发明公开了一种基于SuperGlue的两段式变焦相机多图像拼接方法和系统，所述方法包括：步骤一、采集大视场角图像并完成拼接得到模板底图；步骤二、将所述模板底图进行上采样和分块，生成模板底图块；步骤三、计算拍摄点的位置，自动采集清晰图像，并使得采集的所有清晰图像覆盖指定区域；步骤四、选择清晰图像和模板底图块，进行特征匹配并计算单应性矩阵并变换清晰图像；步骤五、计算覆盖区域模板底图与所述变换后清晰图像之间的光流；步骤六、根据所述光流对变换后的清晰图像进行逐像素配准，使其对齐模板底图；步骤七、将所有清晰图像变换到模板底图的坐标系上，对图像进行融合。本发明的图像拼接方法具有较好的拼接效率和拼接精确度。拼接精确度。拼接精确度。


技术研发人员：刘志文 杨景翔 程思远 许根 吴佳宗 肖江剑
受保护的技术使用者：中国科学院宁波材料技术与工程研究所
技术研发日：2023.04.23
技术公布日：2023/7/25