集成亮度区域信息的特征点匹配的水下图像拼接方法

1.本发明涉及一种水下图像拼接方法，特别涉及集成亮度区域信息的特征点匹配的水下图像拼接方法。


背景技术：

2.水下图像指的是利用无人潜水器或者水下航行器等水下图像设备拍摄的位于水面下方的图像。为了获取更加广阔的视角或者更多的信息，图像拼接技术被广泛使用。由于光在水中传播时存在严重的衰减、散射和吸收，因此水下拍摄的照片往往比空气中拍摄的照片质量更低，拼接出来的图像效果也会不佳。因此，一种可广泛应用于水下图像拼接的方法亟待提出。
3.图像拼接就是将两幅或者多幅相互之间存在重叠关系的图像进行配准，进而拼接成视角更加广阔的图片。图像拼接大体有以下几类方法：基于区域的配准方法和基于特征的配准方法。
4.基于区域的配准方法是从待拼接图像的灰度值出发。合肥工业大学的胡社教等人提出了一种基于灰度相关图像拼接的改进算法(胡社教,涂桂林,江萍.基于灰度相关图像拼接的改进算法[j].合肥工业大学学报(自然科学),2008(06):863-865.)。通过在选取的特征块上计算灰度平均值和每个像素与平均值的差值，然后选取一定的阈值来减小图像的搜索范围，最后利用灰度相关法匹配待拼接两幅图像，但是其灰度匹配不够准确，同时在对应区域的叠加部分难免出现接缝。针对灰度匹配的准确度，中国飞行试验研究测试所的田伟峰等人提出了一种基于灰度相关和区域特征的图像拼接算法(田伟峰,陈贝,刘茜.基于灰度相关和区域特征的图像拼接算法[j].电子设计工程,2011,19(03):184-186.)。该算法采用灰度直方图均衡化的方法降低光照条件不同造成的灰度差异，在选取的特征块上计算灰度平均值和每个像素与平均值的绝对差值，最后引入平滑因子实现无缝拼接。但是该方法应用范围较为狭窄，不能达到较好的拼接效果。综上所述，基于区域的配准方法，不检测图像中的特征，而直接根据区域的灰度值或形状进行匹配，应用范围较为狭窄，容易产生接缝，拼接效果较差。
[0005]
基于特征的方法最有代表性的是基于尺度不变特征变换(scale-invariant feature transform，简写“sift”)算法。2021年南京工程学院的顾子善等人提出了一种基于双目相机的全景图像拼接方法(申请公布号：cn 113191954 a)，该方法采取sift特征点检测，进而使用改进的随机采样一致(random sample consensus，简写“ransac”)算法特征匹配，再对图像亮度差异进行自动校正，可以得到较清晰自然的全景图像，但是此方法只适用于空气中的图像拼接，而对于水下质量较低的图像则实现无法良好的拼接。针对水下图像质量较差的特点，2021年浙江大学的张森林等人提出了一种基于多尺度图像融合和sift特征的水下图像拼接方法(授权公告号：cn 111260543 b)，该方法将水下预处理图像通过改进sift算法进行水下图像配准，水下图像质量明显提升且对后续图像配准效果有提高作用，但是水下照片质量较低，特征点检测不稳定，在普通的预处理之下不能保证后期对特征
点匹配效果的提升。综上所述，基于特征的图像拼接方法适用于局部特征显著的区域，但是对于水下质量较差的图片特征检测困难且不稳定，容易产生误拼接现象。
[0006]
综上所述，基于区域的图像拼接方式局限性较为明显，容易产生接缝，拼接效果差，单纯的基于区域的图像拼接方法目前已很少使用；基于特征的图像拼接方法目前使用广泛，相对于区域的匹配方法其优势在于普遍适用于局部结构信息比灰度信息更显著的情况，能够处理图像之间复杂变形的情况，但是特征检测困难且不稳定，对于水下图像质量较低的情况，特征提取较为困难，有一定的局限性，因此适用于水下图像的拼接方法亟待提出。


技术实现要素：

[0007]
本发明的目的是克服现有技术缺陷，提供集成亮度区域信息的特征点匹配的水下图像拼接方法，能够有效的提高水下图像拼接的质量。
[0008]
本发明的目的是这样实现的：一种集成亮度区域信息的特征点匹配的水下图像拼接方法，其特征在于，包括以下步骤：
[0009]
步骤1)水下图像亮度区域的提取；
[0010]
步骤2)集成亮度区域信息的特征点匹配；
[0011]
步骤2.1)基于亮度显著区域的水下图像粗匹配；
[0012]
步骤2.2)基于尺度不变特征变换算法的水下图像精匹配；
[0013]
步骤3)利用加权融合方法完成图像拼接。
[0014]
进一步的，所述步骤1)具体包括：基于两个特征提取两幅图片高度显著区域；在人工光源的辅助下获取水下图像，亮度显著区具有高亮度和连通性两个特征；
[0015]
针对高亮度特征，首先得到水下图像的灰度图，设置亮度阈值，当灰度值高于该亮度阈值则取1，低于该亮度阈值取0，即所获取的亮度显著疑似区域sh中的像素灰度值满足式(1)，
[0016][0017]
其中y(x,y)为水下图像在坐标(x,y)处的灰度值，m为图像中像素灰度最大值，l为环境光强，图像中所有满足式(1)的像素点构成了亮度显著疑似区域sh；
[0018]
针对连通性特征，根据像素灰度值，将图像中灰度值接近的像素划为相同类别，求解式(2)所示的最优化目标函数：
[0019][0020]
式中，类别数目n＝8，ii是图像中的像素，ck为聚类中心，初始值在图像中等间隔选取，得到分类结果，选中最亮类别对应区域，该区域为sc，将该区域所有像素设为1，其余区域为0；
[0021]
综合考虑亮度区域的高亮度和连通性两个特征，得到亮度区域的像素集合s，如式(3)所示：
[0022]
s＝{i(x,y)|sh(x,y)＝1&sc(x,y)＝1}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0023]
其中，s表示亮度区域，i(x,y)表示亮度区域中坐标(x,y)处的像素值，sh(x,y)表示区域sh中坐标(x,y)处的像素值，sc(x,y)表示区域sc中坐标(x,y)处的像素值；通过该方法分别提取出待拼接的两幅图像的亮度显著区域sa,sb；如果至少有一张图片未提取到亮度显著区域，则先对水下图像进行图像预处理，然后直接执行步骤2.2)。
[0024]
进一步的，所述步骤2.1)具体包括：由步骤1)得到了两幅图像亮度显著区域sa,sb，基于图像亮度显著区域粗匹配过程如下：
[0025]
在两幅待拼接图像中，分别用s
a_hb
表示图像a的某个亮度显著区域，用s
b_hb
表示图像b中的某个亮度显著区域，通过公式(4)可以得到两幅图像所选亮度显著区域配准相关度μ，
[0026][0027]
其中，和分别表示图片a和b的像素灰度平均值，s
a_hb
(x,y)表示图片a亮度显著区域s
a_hb
中坐标(x,y)对应的像素灰度值，s
b_hb
(x,y)表示图片b亮度显著区域s
b_hb
中坐标(x,y)对应的像素灰度值；exp(-(nb/ns))为权值，nb为待配准两亮度区域中面积较大的一方的像素个数，ns为待配准两亮度区域中面积较小的一方的像素个数；
[0028]
假设图片a所提取m个亮度显著区域，分别表示为s
a1
,...,s
am
；图片b所提取n个亮度显著区域，分别表示为s
b1
,...,s
bn
；采用式(4)分别对图片a的m个亮度显著区域以及图片b的n个亮度显著区域分别求解配准相关度μ，选取配准相关度μ最大值所对应的两个亮度显著区域，即为图像a和图像b所对应配准的亮度显著区域，将其余区域剔除，完成基于亮度显著区域水下图像粗匹配。
[0029]
进一步的，所述步骤2.2)具体包括：
[0030]
1)尺度空间中的特征检测：从水下图像中搜索尺度空间中所有可能尺度的稳定特征，对输入图像进行卷积操作，
[0031]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0032]
其中g(x,y,σ)是高斯卷积核，i(x,y)表示原始图像；图像的尺度空间d(x,y,σ)是在卷积图像l(x,y,σ)的基础上结合高斯差值操作得到，如下式所示，
[0033]
d(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ))*i(x,y)＝l(x,y,kσ)-l(x,y,σ)
[0034]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0035]
检测邻域内的局部极大值和极小值，从而识别出水下图像的潜在极值点；
[0036]
2)关键点定位：对从水下图像中提取的尺度空间中的候选特征点进一步细化以适应位置、尺度和主曲率比；高斯差分函数的泰勒展开式为：
[0037][0038]
对x求导并让方程等于0，来确定水下图像候选特征点的位置，然后利用候选特征点处的高斯差分函数去除水下图像中对比度低的不稳定特征；
[0039]
获取关键点处的黑塞矩阵h，
[0040][0041]
矩阵的特征值为α和β，上述特征值的和以及乘积可以分别由h的迹和行列式计算得到：
[0042][0043][0044]
其中(r 1)2/r随r增加，如果特征值α和β相等，则达到最小值；通过以下等式(11)来检查主曲率的比率是否低于某个阈值r，并丢弃沿水下图像边缘定位不佳的候选特征点，
[0045][0046]
满足该公式则将关键点保留，反之剔除。
[0047]
3)方向赋值：从水下图像中提取特征点的尺度，选择尺度最接近的高斯平滑图像l，对于该比例下的每个图像样本l(x,y)，利用像素差来计算梯度幅度m(x,y)和方向θ(x,y)，
[0048][0049][0050]
从水下图像的特征点周围的区域内的梯度方向形成方向直方图，方向直方图中的峰值对应于水下图像特征点的局部梯度的优势方向；
[0051]
4)关键点描述：首先计算水下图像梯度大小和方向，并在水下图像中特征点位置周围的区域内通过高斯函数对其进行加权；上述采样被累积到方向直方图中，该直方图总结了图像子区域上的内容，箭头的长度对应于该方向附近的梯度幅度之和；在此之后，水下图像的特征向量被进一步归一化并描述为单位长度。
[0052]
5)特征匹配：通过ransac算法去除sift算法中不匹配的特征点。
[0053]
本发明采用以上技术方案，与现有技术相比，有益效果为：本发明通过提取两幅水下图像亮度显著区域；其次，基于图像亮度显著区域的进行水下图像粗匹配；然后，基于尺度不变特征变换算法利用特征点匹配完成水下图像精匹配；最后利用加权融合方法完成图像拼接；在传统的sift算法特征点匹配之前加入了基于亮度显著区域的粗匹配，符合水下图像整体偏暗容易区分出亮度区域的特点，弥补了水下图像特征检测困难且不稳定的缺陷，提升了水下图像拼接的质量。
附图说明
[0054]
图1为本发明的流程图。
具体实施方式
[0055]
如图1所示的集成亮度区域信息的特征点匹配的水下图像拼接方法，包括以下步骤：
[0056]
步骤1)水下图像亮度区域的提取；
[0057]
基于两个特征提取两幅图片高度显著区域；潜水员携带照明设备，在水下利用相机拍摄两幅位移量相差不大的照片作为待融合图片。直观上，亮度显著区具有高亮度和连通性两个特征。
[0058]
针对高亮度特征，首先得到水下图像的灰度图，设置亮度阈值，当灰度值高于该亮度阈值则取1，低于该亮度阈值取0，即所获取的亮度显著疑似区域sh中的像素灰度值满足式(1),
[0059][0060]
其中y(x,y)为水下图像在坐标(x,y)处的灰度值，m为图像中像素灰度最大值，l为环境光强，图像中所有满足式(1)的像素点构成了亮度显著疑似区域sh。
[0061]
针对连通性特征，根据像素灰度值，将图像中灰度值接近的像素划为相同类别，求解式(2)所示的最优化目标函数：
[0062][0063]
式中，类别数目n＝8，ii是图像中的像素，ck为聚类中心，初始值在图像中等间隔选取。得到分类结果，选中最亮类别对应区域，该区域为sc，将该区域所有像素设为1，其余区域为0。
[0064]
综合考虑亮度区域的高亮度和连通性两个特征，得到亮度区域的像素集合s，如式(3)所示：
[0065]
s＝{i(x,y)|sh(x,y)＝1&sc(x,y)＝1}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0066]
其中，s表示亮度区域，i(x,y)表示亮度区域中坐标(x,y)处的像素值，sh(x,y)表示区域sh中坐标(x,y)处的像素值，sc(x,y)表示区域sc中坐标(x,y)处的像素值。通过该方法分别提取出待拼接的两幅图像的亮度显著区域sa,sb。如果至少有一张图片未提取到亮度显著区域，则先对水下图像进行图像预处理，然后直接执行步骤2.2，采用传统的sift算法进行特征点匹配。
[0067]
步骤2)集成亮度区域信息的特征点匹配；
[0068]
步骤2.1)基于亮度显著区域的水下图像粗匹配；
[0069]
由步骤1)已经得到两幅图像亮度显著区域sa,sb，基于图像亮度显著区域粗匹配过程如下：
[0070]
在两幅待拼接图像中，分别用s
a_hb
表示图像a的某个亮度显著区域，用s
b_hb
表示图像b中的某个亮度显著区域，通过公式(4)可以得到两幅图像所选亮度显著区域配准相关度μ，
[0071][0072]
其中，和分别表示图片a和b的像素灰度平均值，s
a_hb
(x,y)表示图片a亮度显著区域s
a_hb
中坐标(x,y)对应的像素灰度值，s
b_hb
(x,y)表示图片b亮度显著区域s
b_hb
中坐标(x,y)对应的像素灰度值。exp(-(nb/ns))为权值，nb为待配准两亮度区域中面积较大的一方的像素个数，ns为待配准两亮度区域中面积较小的一方的像素个数，表示为所求两个亮度区域的面积关系，面积相差越大，则权值越小，即两区域匹配的可能性越小；
[0073]
由式(4)可得，若μ的值越大，则亮度显著区域s
a_hb
与s
b_hb
的配准度越高。在实际操作过程中，通常两幅水下图像所提取的高亮显著区域的数量是不一样多的，假设图片a所提取m个亮度显著区域，分别表示为s
a1
,...,s
am
；图片b所提取n个亮度显著区域，分别表示为s
b1
,...,s
bn
。采用式(4)分别对图片a的m个亮度显著区域以及图片b的n个亮度显著区域分别求解配准相关度μ，选取配准相关度μ最大值所对应的两个亮度显著区域，即为图像a和图像b所对应配准的亮度显著区域，将其余区域剔除，完成基于亮度显著区域水下图像粗匹配。
[0074]
步骤2.2)基于尺度不变特征变换算法的水下图像精匹配；
[0075]
1)尺度空间中的特征检测：从水下图像中搜索尺度空间中所有可能尺度的稳定特征，对输入图像进行卷积操作，
[0076]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0077]
其中g(x,y,σ)是高斯卷积核，i(x,y)表示原始图像。图像的尺度空间d(x,y,σ)是在卷积图像l(x,y,σ)的基础上结合高斯差值操作得到，如下式所示，
[0078]
d(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ))*i(x,y)＝l(x,y,kσ)-l(x,y,σ)
ꢀꢀꢀꢀꢀ
(6)
[0079]
检测邻域内的局部极大值和极小值，从而识别出水下图像的潜在极值点，这些极值点不随尺度和方向变化。
[0080]
2)关键点定位：上述过程求解的候选点并非都是特征点，要对其进行筛选。从水下图像中提取的尺度空间中的候选特征点被进一步细化以适应位置、尺度和主曲率比。高斯差分函数的泰勒展开式为：
[0081][0082]
对x求导并让方程等于0，来确定水下图像候选特征点的位置，然后利用候选特征点处的高斯差分函数去除水下图像中对比度较低的不稳定特征。
[0083]
此外，上述高斯差分函数本身在水下图像中具有很强的边界效应，这种边界效应对噪声不稳定，获取关键点处的黑塞(hessian)矩阵h，
[0084]
[0085]
矩阵的特征值为α和β，上述特征值的和以及乘积可以分别由h的迹和行列式计算得到：
[0086][0087][0088]
其中(r 1)2/r随r增加，如果特征值α和β相等，则达到最小值。因此，我们可以应用以下等式来检查主曲率的比率是否低于某个阈值r，并丢弃沿水下图像边缘定位不佳的候选特征点，
[0089][0090]
满足该公式则将关键点保留，反之剔除。
[0091]
3)方向赋值：当根据水下图像的局部特性为每个特征点分配一致的方向时，可以进一步实现旋转不变性。从水下图像中提取特征点的尺度，选择尺度最接近的高斯平滑图像l，从而实现尺度不变；对于该比例下的每个图像样本l(x,y)，利用像素差来计算梯度幅度m(x,y)和方向θ(x,y)，
[0092][0093][0094]
可以从水下图像的特征点周围的区域内的梯度方向形成方向直方图。方向直方图中的峰值对应于水下图像特征点的局部梯度的优势方向。
[0095]
4)关键点描述：首先计算水下图像梯度大小和方向，并在水下图像中特征点位置周围的区域内通过高斯函数对其进行加权。上述采样被累积到方向直方图中，该直方图总结了图像子区域上的内容，箭头的长度对应于该方向附近的梯度幅度之和；在此之后，水下图像的特征向量被进一步归一化并描述为单位长度。
[0096]
5)特征匹配：通过ransac算法去除sift算法中不匹配的特征点，以改善水下图像光照不均匀、对比度低、噪声明显等问题，解决水下图像匹配效率低、鲁棒性差的问题。
[0097]
步骤3)利用加权融合方法完成图像拼接；
[0098]
将两幅水下图片根据对应特征点及区域直接拼接，会产生明显的接缝。为了是拼接后的图片更加平滑，采用加权融合算法实现图像融合。设i1(x1,y1)是图像a在点(x1,y1)处的像素值，i2(x2,y2)是图像b在点(x2,y2)处的像素值，i3(x3,y3)是融合后的图像在(x3,y3)处的像素值。w1和w2分别是两幅水下图像在重叠区域的权重值，融合公式如下：
[0099][0100]
通过该融合公式，得到最后拼接的水下图像。
[0101]
本发明通过提取两幅水下图像亮度显著区域，然后基于图像亮度显著区域的进行水下图像粗匹配；基于尺度不变特征变换算法利用特征点匹配完成水下图像精匹配；最后利用加权融合方法完成图像拼接。针对水下图像质量较差的问题，在传统的尺度不变特征变换(sift)算法特征点匹配之前加入了基于亮度显著区域的粗匹配，符合水下图像整体偏暗容易区分出亮度区域的特点，弥补了水下图像特征检测困难且不稳定的缺陷，提升了水下图像拼接的质量。
[0102]
本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。