一种倾斜摄影与遥感光学图像之间立体目标空间配准方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种倾斜摄影与遥感光学图像之间立体目标空间配准方法。


背景技术：

2.随着遥感技术发展及应用需求提高，相比于2
‑
d(2
‑
dimension)信息，地物3
‑
d(3
‑
dimension)信息不管在民用还是军用领域都具有更重大的意义，在立体空间中对遥感目标进行更加完善的三维描述。由于高分辨率遥感光学图像可以为目标三维信息提供更精确完整的图像数据来源，因此，基于光学图像的遥感光学立体成像技术成为当前研究热点。现有的遥感技术可以提供的图像数据分辨率有限。


技术实现要素：

3.本发明的目的在于提供一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，该方法将倾斜摄影与遥感图像进行结合，能够提高遥感技术的图像分辨率，获得更具有真实感的遥感目标3
‑
d模型。
4.为实现上述目的，本发明采用了以下技术方案：
5.一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，该方法包括以下步骤：
6.(1)读取倾斜摄影待配准图像与遥感光学参考图像，对每一幅图片构建尺度金字塔。尺度金字塔是利用对同一个图像按比例缩放提取，以得到不同比例下都可以得到的特征点，优点是可以对于后文提及的特征点在不同的远近尺度下都可以识别，即具有尺度不变性。
7.(2)对每一幅倾斜摄影待配准图像与遥感光学参考图像提取特征点；
8.(3)将提取的特征点生成特征描述符，以使特征点具有旋转不变性。
9.(4)将提取的特征点进行匹配，并利用prosac算法剔除误匹配点对，得到正确的特征点匹配关系。
10.(5)运用自适应变异的天牛群优化算法倾斜摄影待配准图像与遥感光学参考图像进行匹配，利用正确的特征点的匹配关系进行倾斜摄影源图像与遥感光学模板图像之间的立体目标空间配准。
11.进一步的，步骤(1)中所述尺度金字塔为8层按比例缩放的图像。尺度金字塔是多层按比例缩放的图像，能够在不同尺度下检测到的同一个特征点具有尺度不变性。
12.进一步的，步骤(2)中所述的“对每一幅倾斜摄影待配准图像与遥感光学参考图像提取特征点”，其具体包括以下步骤：
13.(21)对每一幅倾斜摄影待配准图像与遥感光学参考图像的尺度金字塔的每一层进行粗提取，仅保留在每一层都被提取到的特征点，作为候选特征点。
14.(22)在特征点提取过程中，采用orb所用的fast算法对特征点进行检测，基于特征
点周围的图像灰度值，检测候选特征点周围一圈的像素值，若候选点周围邻域内有足够多的像素点超过了候选点的灰度差值的阈值，则认为该候选点为一个特征点。基于动态局部阈值法，即用自适应阈值分割的思想，采用以下公式将图像中的每个像素设置为不同的阈值；
[0015][0016]
其中，t为每个像素p的阈值，i表示候选点周围的像素点个数，16表示候选点周围的16个像素点，i
max
为圆周上亮度最大的像素点的亮度,i
min
为最低像素点的亮度,i
a
为去掉i
max
和i
min
后剩余的各个像素点亮度的平均值；由于i
max
，i
min
和i
a
均不是固定值，因此，t是动态局部阈值。
[0017]
(23)为了减少计算量，对候选特征点进行快速筛选，得到每一幅倾斜摄影待配准图像与遥感光学参考图像正确的特征点。
[0018]
快速筛选方法为：不需要将圆周上所有像素点与中心像素点p比较，直接检测圆周上第1，5，9，13个像素点的亮度(也可以选取2，6，10，14等，需间隔3个像素)。当有3个像素点的亮度大于i
p
t或者小于i
p
‑
t时，则该像素点可能是候选点，否则直接排除。判断3个像素点为候选点后，检测3个像素包围环内覆盖的剩余6个像素点亮度，若剩余6个像素点的亮度均大于i
p
t或者小于i
p
‑
t，则该p点是正确特征点。
[0019]
进一步的，步骤(3)中所述的“将提取的特征点生成特征描述符；”，其具体包括以下步骤；
[0020]
(31)采用以下公式求得特征点的灰度矩m
wq
，利用特征点的灰度矩确定特征点主方向：
[0021][0022]
其中，i(x,y)是灰度值，w与q的和为灰度矩的阶数，b为特征点邻域。
[0023]
(32)根据局部区域一阶灰度矩和确定灰度矩质心c：
[0024][0025]
(33)设特征点的主方向为质心与特征点指尖的夹角θ，通过矩来计算特征点周边以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，将特征点的主方向与brief描述子相结合，使其具有旋转不变性，该描述子为二进制串的形式：
[0026][0027]
其中，p(x)和q(y)为点对的灰度值，通过选择n个点对得到n维向量s:
[0028]
[0029]
进一步的，步骤(4)中所述利用prosac算法匹配特征点并剔除误匹配点对，此时作用的对象还是步骤(2)中已经粗略提取的在倾斜摄影待配准图像与遥感光学参考图像上面的特征点，直接进行特征点匹配的话，可能存在错误的对应关系，这个会导致后面图像配准出现误差，故用prosac算法剔除。
[0030]
步骤(4)所述的“将提取的特征点进行匹配，并利用prosac算法剔除误匹配点对，得到正确的特征点匹配关系；”，其具体包括以下步骤：
[0031]
(41)采用以下公式求得特征点匹配对的最邻近和次邻近的汉明距离的比值r：
[0032][0033]
其中，v
p
为特征点p的特征向量，v
aq
为一幅图中最邻近点q的特征向量，v
mq
为一幅图中次邻近特征点q的特征向量，d为向量之间的距离。
[0034]
(42)匹配点与非匹配点的汉明距离有着明显的不同，设定0.7倍最大汉明距离为阈值t，当r小于阈值t时，采用以下公式对采样点集合按照匹配质量由优到差排序，得到正确的特征点匹配关系：
[0035][0036]
其中，m为质量函数。
[0037]
进一步的，步骤(5)中所述的“运用自适应变异的天牛群优化算法倾斜摄影待配准图像与遥感光学参考图像进行匹配，利用正确的特征点的匹配关系进行倾斜摄影源图像与遥感光学模板图像之间的立体目标空间配准”，其具体包括以下步骤：
[0038]
选取步骤(3)所有匹配的特征点的描述子的hamming距离和作为优化函数f()，以要得到的匹配的旋转矩阵和位移向量作为优化变量x
best
，代入其中进行迭代，即可求出优化函数最优时的优化。
[0039]
(51)计算初始时(t＝0)群体最优位置和第i个体最优位置p
i0
，最优位置指待优化变量旋转矩阵和位移矢量的初始值，第t次迭代时，采用以下公式求得群体最优位置和第i个体最优位置
[0040][0041][0042]
其中，f为待优化函数，n为种群规模。其中，f为待优化函数，n为种群规模；采用以下公式建立待优化函数f与遥感光学参考图像和倾斜摄影待匹配图像的关系：
[0043][0044]
当两幅图像越相似时f越小，反之越大。
[0045]
(52)判断是否满足收敛条件，判断是否结束迭代：当最优解的优化函数值小于设
定阈值，或迭代达到最大迭代次数t时结束迭代，输出最优解，算法结束，如未满足收敛条件则执行步骤(53)。
[0046]
(53)更新个体速度和位置：
[0047]
(531)采用以下公式随机生成每个个体标准化方向向量：
[0048][0049]
其中，rand(1,2)为[0,1]的随机数构成的2维向量。
[0050]
(532)根据须长与群体最优位置和个体最优位置间距建立函数关系，采用以下公式计算第t次迭代时第i个天牛个体的左右须长度：
[0051][0052]
其中，β为缩放因子。
[0053]
(533)采用以下公式计算该天牛个体的左右须坐标：
[0054][0055]
(534)将第t次迭代时速度向量表示为采用以下公式对第i个天牛个体速度和位置进行更新：
[0056][0057][0058]
其中，ω为惯性权重，c1和c2为学习因子，a*b表示具有相同形的矩阵a和b对应元素逐个相乘。
[0059]
速度更新过程中的参数采用下式计算：
[0060][0061]
(54)更新个体最优位置和群体最优位置。
[0062]
(55)采用以下公式获取匹配值最优解x
best
：匹配值最优解即不断迭代过后最终要求出的最优的旋转矩阵和位移向量的变量。
[0063][0064]
(56)采用以下公式计算种群标准差σ与变异概率p：
[0065][0066][0067]
其中，σ0为归一化因子，取粒子群初始化时未归一化的种群标准差。ω
pσ
为变异概率标准差权重，ω
pt
为变异概率迭代次数权重，b为变异概率偏移常数。为群体质心，
[0068]
(57)判断是否进行变异操作，当rand＜p时执行变异步骤(58)，否则返回步骤(52)，rand表示[0,1]的随机数。
[0069]
(58)群体最优位置扰动变异，设随机选取群体最优位置的α％个维度进行随机扰动,其中第k维度随机抖动方式如下：
[0070][0071]
其中，a为扰动幅值,randn为服从标准正态分布的随机变量，扰动变异后返回步骤(52)。
[0072]
和现有技术相比，本发明的优点为：
[0073]
(1)本发明利用倾斜摄影技术对遥感图像纹理进行加强，倾斜摄影在获取地表目标三维信息的过程中，可以从多个角度进行拍摄，大大提高了遥感图像纹理精度。采用倾斜摄影的方法可以有效地利用多相机多角度的图像，不需要多次一张张图像的进行匹配，而是多张图片一起与遥感图像进行匹配，有效提高了图像匹配效率。
[0074]
(2)本发明采用自适应的天牛群优化算法作为遥感图像和倾斜射影图像的匹配寻优算法，针对生成的特征点描述符，利用基于自适应变异的天牛群优化算法将历史信息与粒子当前周围信息结合，引入基于种群聚集度和迭代次数的自适应多维扰动变异方式的特点，提高了模板匹配过程中的收敛速度和匹配精度。采用天牛群优化算法可以很好完成图像匹配的工作，算法自身可以避免局部最优值，从而保证倾斜射影图像匹配到遥感图像上的特征点。
附图说明
[0075]
图1是本发明的方法流程图。
具体实施方式
[0076]
下面结合附图对本发明做进一步说明：
[0077]
如图1所示的一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，该方法包括以下步骤：
[0078]
(1)读取倾斜摄影待配准图像与遥感光学参考图像，对每一幅图片构建尺度金字塔。尺度金字塔是利用对同一个图像按比例缩放提取，以得到不同比例下都可以得到的特征点，优点是可以对于后文提及的特征点在不同的远近尺度下都可以识别，即具有尺度不
变性。
[0079]
(2)对每一幅倾斜摄影待配准图像与遥感光学参考图像提取特征点；
[0080]
(3)将提取的特征点生成特征描述符，以使特征点具有旋转不变性。
[0081]
(4)将提取的特征点进行匹配，并利用prosac算法剔除误匹配点对，得到正确的特征点匹配关系。
[0082]
(5)运用自适应变异的天牛群优化算法倾斜摄影待配准图像与遥感光学参考图像进行匹配，利用正确的特征点的匹配关系进行倾斜摄影源图像与遥感光学模板图像之间的立体目标空间配准。
[0083]
进一步的，步骤(1)中所述尺度金字塔为8层按比例缩放的图像。尺度金字塔是多层按比例缩放的图像，能够在不同尺度下检测到的同一个特征点具有尺度不变性。
[0084]
进一步的，步骤(2)中所述的“对每一幅倾斜摄影待配准图像与遥感光学参考图像提取特征点”，其具体包括以下步骤：
[0085]
(21)对每一幅倾斜摄影待配准图像与遥感光学参考图像的尺度金字塔的每一层进行粗提取，仅保留在每一层都被提取到的特征点，作为候选特征点。
[0086]
(22)在特征点提取过程中，采用orb所用的fast算法检测特征点，这个定义基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值。若候选点周围邻域内有足够多的像素点超过了候选点的灰度差值的阈值，则认为该候选点为一个特征点。基于动态局部阈值法，即用自适应阈值分割的思想，采用以下公式将图像中的每个像素设置为不同的阈值；
[0087][0088]
其中，t为每个像素p的阈值，i表示候选点周围的像素点个数，16表示候选点周围的16个像素点，i
max
为圆周上亮度最大的像素点的亮度,i
min
为最低像素点的亮度,i
a
为去掉i
max
和i
min
后剩余的各个像素点亮度的平均值；由于i
max
，i
min
和i
a
均不是固定值，因此，t是动态局部阈值；
[0089]
(23)为了减少计算量，对候选特征点进行快速筛选，得到每一幅倾斜摄影待配准图像与遥感光学参考图像正确的特征点。
[0090]
快速筛选方法为：不需要将圆周上所有像素点与中心像素点p比较，直接检测圆周上第1，5，9，13个像素点的亮度(也可以选取2，6，10，14等，需间隔3个像素)。当有3个像素点的亮度大于i
p
t或者小于i
p
‑
t时，则该像素点可能是候选点，否则直接排除。判断3个像素点为候选点后，检测3个像素包围环内覆盖的剩余6个像素点亮度，若剩余6个像素点的亮度均大于i
p
t或者小于i
p
‑
t，则该p点是正确特征点。
[0091]
进一步的，步骤(3)中所述的“将提取的特征点生成特征描述符；”，其具体包括以下步骤；
[0092]
(31)采用以下公式求得特征点的灰度矩m
wq
，利用特征点的灰度矩确定特征点主方向：
[0093][0094]
其中，i(x,y)是灰度值，w与q的和为灰度矩的阶数，b为特征点邻域。
[0095]
(32)根据局部区域一阶灰度矩和确定灰度矩的质心c：：
[0096][0097]
(33)设特征点的主方向为质心与特征点指尖的夹角θ，通过矩来计算特征点周边以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，将特征点的主方向与brief描述子相结合，使其具有旋转不变性，该描述子为二进制串的形式：
[0098][0099]
其中，p(x)和q(y)为点对的灰度值，通过选择n个点对得到n维向量s:
[0100][0101]
进一步的，步骤(4)中所述利用prosac算法匹配特征点并剔除误匹配点对，此时作用的对象还是步骤(2)中已经粗略提取的在倾斜摄影待配准图像与遥感光学参考图像上面的特征点，直接进行特征点匹配的话，可能存在错误的对应关系，这个会导致后面图像配准出现误差，故用prosac算法剔除。
[0102]
步骤(4)所述的“将提取的特征点进行匹配，并利用prosac算法剔除误匹配点对，得到正确的特征点匹配关系；”，其具体包括以下步骤：
[0103]
(41)采用以下公式求得特征点匹配对的最邻近和次邻近的汉明距离的比值r：
[0104][0105]
其中，v
p
为特征点p的特征向量，v
aq
为一幅图中最邻近点q的特征向量，v
mq
为一幅图中次邻近特征点q的特征向量，d为向量之间的距离。
[0106]
(42)匹配点与非匹配点的汉明距离有着明显的不同，设定0.7倍最大汉明距离为阈值t，当r小于阈值t时，采用以下公式对采样点集合按照匹配质量由优到差排序，得到正确的特征点匹配关系：
[0107][0108]
其中，m为质量函数。
[0109]
进一步的，步骤(5)中所述的“运用自适应变异的天牛群优化算法倾斜摄影待配准图像与遥感光学参考图像进行匹配，利用正确的特征点的匹配关系进行倾斜摄影源图像与遥感光学模板图像之间的立体目标空间配准”，其具体包括以下步骤：
[0110]
选取步骤(3)所有匹配的特征点的描述子的hamming距离和作为优化函数f()，以要得到的匹配的旋转矩阵和位移向量作为优化变量x
best
，代入其中进行迭代，即可求出优化函数最优时的优化。
[0111]
(51)计算初始时(t＝0)群体最优位置和第i个体最优位置p
i0
，最优位置指待优
化变量旋转矩阵和位移矢量的初始值，第t次迭代时，采用以下公式求得群体最优位置和第i个体最优位置
[0112][0113][0114]
其中，f为待优化函数，n为种群规模。
[0115]
采用以下公式建立待优化函数f与遥感光学参考图像和倾斜摄影待匹配图像的关系：
[0116][0117]
当两幅图像越相似时f越小，反之越大。
[0118]
(52)判断是否满足收敛条件，判断是否结束迭代：当最优解的优化函数值小于设定阈值，或迭代达到最大迭代次数t时结束迭代，输出最优解，算法结束，如未满足收敛条件则执行步骤(53)。
[0119]
(53)更新个体速度和位置：
[0120]
(531)采用以下公式随机生成每个个体标准化方向向量：
[0121][0122]
其中，rand(1,2)为[0,1]的随机数构成的2维向量。
[0123]
(532)根据须长与群体最优位置和个体最优位置间距建立函数关系，采用以下公式计算第t次迭代时第i个天牛个体的左右须长度：
[0124][0125]
其中，β为缩放因子。
[0126]
(533)采用以下公式计算该天牛个体的左右须坐标：
[0127][0128]
(534)将第t次迭代时速度向量表示为采用以下公式对第i个天牛个体速度和位置进行更新：
[0129][0130][0131]
其中，ω为惯性权重，c1和c2为学习因子，a*b表示具有相同形的矩阵a和b对应元素
逐个相乘。
[0132]
速度更新过程中的参数采用下式计算：
[0133][0134]
(54)更新个体最优位置和群体最优位置。
[0135]
(55)采用以下公式获取匹配值最优解x
best
：匹配值最优解即不断迭代过后最终要求出的最优的旋转矩阵和位移向量的变量。
[0136][0137]
(56)采用以下公式计算种群标准差σ与变异概率p：
[0138][0139][0140]
其中，σ0为归一化因子，取粒子群初始化时未归一化的种群标准差。ω
pσ
为变异概率标准差权重，ω
pt
为变异概率迭代次数权重，b为变异概率偏移常数。为群体质心，
[0141]
(57)判断是否进行变异操作，当rand＜p时执行变异步骤(58)，否则返回步骤(52)，rand表示[0,1]的随机数。
[0142]
(58)群体最优位置扰动变异，设随机选取群体最优位置的α％个维度进行随机扰动,其中第k维度随机抖动方式如下：
[0143][0144]
其中，a为扰动幅值,randn为服从标准正态分布的随机变量，扰动变异后返回步骤(52)。
[0145]
综上所述，本发明首先基于改进orb算法获取倾斜摄影源图像和遥感光学模板图像的特征点。接着，为了匹配倾斜摄影源图像和遥感光学模板图像之间对应的特征点，引入自适应变异的天牛群优化算法；用自适应变异的天牛群优化算法中的个体表示匹配目标的可能位置，设定算法参数，在搜索空间内随机初始化天牛群。最后，运用自适应变异的天牛群优化算法，寻找搜索空间中具有最大相似度的特征点样本作为匹配的结果。本发明采用自适应变异的天牛群优化算法在搜索空间中寻优，实现倾斜摄影源图像和遥感光学模板图像之间特征点匹配的功能，该方法对亮度变化具有较强的适应能力，同时，计算速度和提取精度也得到了提升。
[0146]
以上所述的实施例程仅仅是对本发明的优选实施方式进行描述，并非对本发明的
范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。