一种基于显著行匹配的线扫圆柱体几何校正方法及装置与流程

1.本发明涉及人工智能技术领域，特别是涉及一种基于显著行匹配的线扫圆柱体几何校正方法及装置。


背景技术：

2.工业领域中，为了检测一些圆柱体工件的表面缺陷，需要对其表面进行成像。常见的应用有口红、圆柱铅笔等表面的缺陷检测。
3.目前针对圆柱体成像的主要方法是：将工件置于一个能够使工件转动的机构上，同时固定一个线扫相机于圆柱体工件的上方，通过机构匀速旋转圆柱体工件并给信号到线扫相机来采集图像。然而，按照该方式采集的圆柱体成像存在两个问题：
4.a.每次圆柱体展开起始位置不同。
5.原因：工件摆放时面朝线扫相机的位置对应着展开的起始位置，实际上圆柱工件很难每次摆放到相同的位置。
6.b.圆柱体图像沿展开的方向存在畸变。
7.原因：由于机构的旋转角速度并非绝对的匀速，这样会导致线扫相机得到的图像存在着变形。按照该方式圆柱体展开图像会被不同程度地拉长或缩短，而且这种拉伸是非线性。
8.基于这两个问题的存在，圆柱体工件很难像平面工件成像那样使用传统的图像匹配技术进行对齐，从而无法使用机器视觉进行大规模检测。
9.针对上述问题，目前也有技术通过采用超高精密机构设备使其角速度更加均匀来减少图像畸变，但是成本过高难于普及。


技术实现要素：

10.为克服上述现有技术存在的不足，本发明之目的在于提供一种基于显著行匹配的线扫圆柱体几何校正方法及装置，基于显著行匹配实现了将线扫得到的圆柱体图像对齐到参考图像上的目的，使得同一批圆柱体物料能够合理地进行对齐，令圆柱体物料也能够像平面物料进行大规模的视觉缺陷检测。
11.为达上述及其它目的，本发明提出一种基于显著行匹配的线扫圆柱体几何校正方法，包括如下步骤：
12.步骤s1，使用线扫相机对一个完好无损的圆柱体工件采集展开后的图像，并进行预处理以得到理想图像作为参考图像，并使用线扫相机对待校正的圆柱体工件进行线扫采集展开的图像作为待校正图像；
13.步骤s2，将所述参考图像与待校正图像分别进行梯度投影；
14.步骤s3，对所述参考图像与待校正图像根据梯度投影值进行显著行选择；
15.步骤s4，对所述参考图像的每一个显著行，在所述待校正图像上寻找与其相对应的候选匹配行；
16.步骤s5，对经过步骤s4得到的匹配行对进行采样，得到q个匹配行对，并以各匹配行对的参考图像的显著行为基准，对待校正图像上的每一个显著行的纵坐标进行校正，根据校正结果在参考图像上相应范围内查找是否存在显著行，并根据查找结果更新当前组采样匹配行对的置信度，经过多次迭代并根据置信度确定最优采样匹配行对；
17.步骤s6，以最优采样匹配行对为参考，为参考图像上的每一个显著行在待校正图像上分配一个匹配行；
18.步骤s7，利用得到的匹配行对将待校正图像进行变换得到与参考图像相对齐的图像，从而实现几何校正。
19.优选地，于步骤s1中，若是圆柱体侧面则沿图像y方向变化，则所述参考图像与待校正图像宽相同，高不同；若是圆柱体侧面则沿图像x方向变化，则所述参考图像与待校正图像高相同，宽不同。
20.优选地，于步骤s1中，圆柱体默认按照y方向展开，若圆柱体按照x方向展开，则展开的图像旋转90度。
21.优选地，于步骤s2中，将所述参考图像与待校正图像分别沿着图像的y方向计算梯度，并进行水平投影，得到长度为图像高的列向量。
22.优选地，于步骤s3中，将梯度投影值大于预设阈值的行作为显著行。
23.优选地，于步骤s4中，将所述参考图像中第i个显著行s
r
(i)与所述待校正图像中第k个显著行s
w
(k)计算匹配响应m(i,k)为:
[0024][0025]
根据其与待校正图像中各显著行的匹配响应值选择p个匹配响应最小的显著行作为候选匹配行，其中，r(s
r
(i),j)表示所述参考图像r的第i个显著行s
r
(i)上j点的灰度值，w(s
w
(k),j表示所述待校正图像w的第k个显著行s
w
(k)上j点的灰度值。
[0026]
优选地，步骤s5进一步包括如下步骤：
[0027]
步骤s500，从参考图像中的显著行中，随机抽取q个不同的显著行，并按纵坐标由小到大进行排序；
[0028]
步骤s501，对于每个抽取到的显著行，从其p个候选匹配行中按概率随机抽取匹配行；
[0029]
步骤s502，对于所述参考图像中的q个显著行，如果第i个显著行的纵坐标小于第j个显著行的纵坐标时(i,j∈{1,2,
…
,q}且i≠j)，则在所述待校正图像上抽到的匹配行也必须满足该条件，否则丢弃本次抽样重新执行步骤s500；
[0030]
步骤s503，根据采样得到的q个匹配行对，以其中所述参考图像的采样行作为基准，对所述待校正图像上的每一个显著行的纵坐标进行校正，根据校正结果在所述参考图像上相应范围内查找是否存在显著行，并根据查找结果更新当前组采样匹配对的置信度；
[0031]
步骤s504，返回步骤s500进行迭代至设定的迭代次数，保存置信度最大的匹配行对作为最优采样匹配行对。
[0032]
优选地，于步骤s501中，执行如下操作：
[0033]
step1：随机生成1～p之间的1个整数，该整数值对应选中的候选匹配行；
[0034]
step2:随机生成取值范围为[0,1]的1个值，当该值小于候选匹配行的概率时，则当前候选匹配行为采样出来的一个匹配行；反之，重新执行step1，直到选出符合条件的匹配行。
[0035]
优选地，步骤s503进一步包括：
[0036]
当每得到一组采样匹配对后，初始该匹配对的置信度为0；
[0037]
以参考图像的采样行为基准，对待校正图像上的每一个显著行的纵坐标进行校正；
[0038]
在得到校正后的纵坐标后，在参考图像上相应范围内查找是否存在显著行，若存在，则当前置信度增加1。
[0039]
优选地，于步骤s6中，将参考图像的每一个显著行位置，根据变换得到待校正图像的对应位置处，在其附近进行再次匹配寻找最佳对应行。
[0040]
为达到上述目的，本发明还提供一种基于显著行匹配的线扫圆柱体几何校正装置，包括：
[0041]
图像采集处理单元，用于使用线扫相机对一个完好无损的圆柱体工件采集展开后的图像，并进行预处理以得到理想图像作为参考图像，并使用线扫相机对待校正的圆柱体工件进行线扫采集展开的图像作为待校正图像；
[0042]
梯度投影单元，用于将所述参考图像与待校正图像分别进行梯度投影；
[0043]
显著行选择单元，用于对所述参考图像与待校正图像根据梯度投影值进行显著行选择；
[0044]
粗匹配单元，用于对所述参考图像的每一个显著行，在所述待校正图像上寻找与其相对应的候选匹配行；
[0045]
采样校正寻优单元，用于对经过粗匹配单元得到的匹配行对进行采样，得到q个匹配行对，并以各匹配行对的参考图像的显著行为基准，对待校正图像上的每一个显著行的纵坐标进行校正，根据校正结果在参考图像上相应范围内查找是否存在显著行，并根据查找结果更新当前组采样匹配行对的置信度，经过多次迭代并根据置信度确定最优采样匹配行对；
[0046]
精匹配单元，用于以最优采样匹配行对为参考，为参考图像上的每一个显著行在待校正图像上分配一个匹配行；
[0047]
几何校正单元，用于利用得到的匹配行对将待校正图像进行变换得到与参考图像相对齐的图像，从而实现几何校正。
[0048]
与现有技术相比，本发明一种基于显著行匹配的线扫圆柱体几何校正方法及装置通过利用线扫相机获得参考图像及待校正图像，然后将所述参考图像与待校正图像分别进行梯度投影，对所述参考图像与待校正图像根据梯度投影值进行显著行选择，对所述参考图像的每一个显著行，在所述待校正图像上寻找与其相对应的候选匹配行，并对得到的匹配行对进行采样，得到q个匹配行对，并以各匹配行对的参考图像的显著行为基准，对待校正图像上的每一个显著行的纵坐标进行校正，根据校正结果在参考图像上相应范围内查找是否存在显著行，并根据查找结果更新当前组采样匹配行对的置信度，经过多次迭代并根据置信度确定最优采样匹配行对，并以最优采样匹配行对为参考，为参考图像上的每一个显著行在待校正图像上分配一个匹配行，最后利用得到的匹配行对将待校正图像进行变换
得到与参考图像相对齐的图像，从而基于显著行匹配实现将线扫得到的圆柱体图像对齐到参考图像上的目的，使得同一批圆柱体物料能够合理地进行对齐，令圆柱体物料也能够像平面物料进行大规模的视觉缺陷检测。
附图说明
[0049]
图1为本发明一种基于显著行匹配的线扫圆柱体几何校正方法的步骤流程图；
[0050]
图2为本发明具体实施例中基于显著行匹配的线扫圆柱体几何校正的流程图；
[0051]
图3为本发明一种基于显著行匹配的线扫圆柱体几何校正装置的结构示意图。
具体实施方式
[0052]
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
[0053]
图1为本发明一种基于显著行匹配的线扫圆柱体几何校正方法的步骤流程图，图2为本发明具体实施例中基于显著行匹配的线扫圆柱体几何校正的流程图。如图1及图2所示，本发明一种基于显著行匹配的线扫圆柱体几何校正方法，包括如下步骤：
[0054]
步骤s1，使用线扫相机对一个完好无损的圆柱体工件采集展开后的图像，并进行预处理以得到理想图像作为参考图像，并使用线扫相机对待校正的圆柱体工件进行线扫采集展开的图像作为待校正图像。
[0055]
在本发明中，利用线扫相机对圆柱体工件进行线扫采集展开后的图像，采集的图像则为待校正图像，记为w，本发明具体实施例中，为了保证圆柱体所有的信息都被采集且避免过度重复，对圆柱体工件采集大于1.5圈且小于2圈的数据。
[0056]
同样，使用线扫相机对一个完好无损的圆柱体工件采集展开后的图像，通过手动平移、裁剪等操作得到最终想要的理想图像作为参考图像，记为r。参考图像恰好包含了圆柱体工件的展开内容，待校正图像则包含了重复的圆柱体侧面内容。两者只是沿着展开的方向上有差异，但是成像的内容不会发生变化。本发明的目标就是以参考图像为基准，对待校正图像进行校正。
[0057]
在本发明具体实施例中，若是圆柱体侧面则沿图像y方向变化，则参考图像与待校正图像宽相同，高不同；若是圆柱体侧面则沿图像x方向变化，则参考图像与待校正图像高相同，宽不同。
[0058]
为了方便描述，本发明中假设圆柱体侧面展开后沿图像的y方向变化，且参考图像和待校正图像的高分别记为h
r
和h
w
，参考图像和待校正图像的宽度相同，统一记为w。当圆柱体侧面展开后沿图像的x方向变化时，操作方式类似。
[0059]
步骤s2，将所述参考图像与待校正图像分别进行梯度投影。
[0060]
具体地，将所述参考图像与待校正图像分别沿着图像的y方向计算梯度，并进行水平投影，得到长度为图像高的列向量。
[0061]
以参考图像r为例，第i行梯度投影p
r
(i)为：
[0062][0063]
对于待校正图像的梯度投影计算方式相同，在此不予赘述。
[0064]
需说明的是，在本发明中，圆柱体默认按照y方向展开，若圆柱体按照x方向展开，则展开的图像需要旋转90度，保证参考图像和待校正图像内容在x方向无差异，只在y方向存在伸缩的差异。
[0065]
步骤s3，对所述参考图像与待校正图像根据梯度投影值进行显著行选择。
[0066]
由于，逐行匹配不仅计算量巨大，而且会因为存在大量不显著的行导致出现众多误匹配。因此，本发明筛选出相对比较显著的行。在本发明具体实施例中，人工设定阈值h
t
，将梯度投影值大于阈值h
t
的行作为显著行。
[0067]
当参考图像和待校正图像执行完显著行选择后，会分别得到一组显示行号，记为s
r
和s
w
，其元素个数分别为m和n。对于参考图像第i个显著行的纵坐标值记为y
r
(s
r
(i))，对于待校正图像第j个显著行的纵坐标值记为y
w
(s
w
(j))。显著行的存储需要按纵坐标由小到大排序。
[0068]
步骤s4，对所述参考图像的每一个显著行，在所述待校正图像上寻找与其相对应的候选匹配行。
[0069]
本步骤即粗匹配，即将所述参考图像的每一个显著行与所述待校正图像的每一个显著行进行匹配，在待校正图像上寻找p个匹配响应最小的显著行作为候选匹配行。具体地，将参考图像中第i个显著行s
r
(i)与待校正图像中第k个显著行s
w
(k)计算匹配响应m(i,k)为:
[0070][0071]
r(s
r
(i),j)表示所述参考图像r的第i个显著行s
r
(i)上j点的灰度值，w(s
w
(k),j表示所述待校正图像w的第k个显著行s
w
(k)上j点的灰度值，
[0072]
从而对于参考图像的每一个显著行，根据其与待校正图像中各显著行的匹配响应值选择p个匹配响应最小的显著行作为候选匹配行，其中，参数p由用户设定，通常取2～4，并将该p个匹配响应进行归一化(除以总的和)，使其和为1，并用1减去这p个归一化后的值得到每个候选匹配行的匹配概率。在本发明中，之所以用1减是为了保证匹配响应越小概率越大。举例说明如下：假设参考图像上的第i个显著行，在待校正图像上的2(p＝2)个最小的匹配响应行为a和b，其具体响应值为m(i,a)＝100,m(i,b)＝300,那么归一化后，两个值为100/(100 300)＝0.25,300/(100 300)＝0.75，故匹配概率为1
‑
0.25＝0.75，1
‑
0.75＝0.25.这样匹配响应行a的匹配概率为0.75，而b的匹配概率为0.25，则表示待校正图像上的a行与参考图像的i行，匹配的可能性很大，且概率为0.75。
[0073]
步骤s5，对经过步骤s4得到的匹配行对进行采样，得到q个匹配行对，并以各匹配行对的参考图像的显著行为基准，对待校正图像上对应的显著行的纵坐标进行校正。
[0074]
当经过步骤s4粗匹配后，参考图像的每个显著行与待校正图像中对应的候选匹配行构成匹配行对，这种粗匹配得到的匹配行对存在着不同程度的错误匹配，但是同样存在着大量的正确匹配行对，因此需要进一步确定各匹配行对的可靠性。在本发明具体实施例
中，通过随机抽样的方式来对匹配行对进行采样，并判断其可靠性。一次采样需要执行多次随机直到采出合适的匹配行对，步骤s5具体步骤如下：
[0075]
步骤s500，从参考图像中的显著行中，随机抽取q个不同的显著行作为采样行，并按纵坐标由小到大进行排序。参数q由用户设定，其值与实际提取的显著行及成像质量有关。当显著行较多时，且成像质量较好时，可以适当设大一些，反之需要设小一些，取值范围通常为5～30。
[0076]
步骤s501，对于每个抽取到的采样行，从其p个候选匹配行中按概率随机抽取匹配行，其具体操作为：
[0077]
step1：随机生成1个整数，取值范围为1,2,
…
,p，该值对应选中的候选匹配行；
[0078]
step2:随机生成1个值，取值范围为[0,1]，当该值小于候选匹配行的匹配概率时，则当前候选匹配行为采样出来的一个匹配行；反之，重新执行step1，直到选出符合条件的匹配行。
[0079]
步骤s502，顺序一致性验证。对于参考图像中的q个显著行(采样行)，如果第i个显著行的纵坐标小于第j个显著行的纵坐标时(i,j∈{1,2,
…
,q}且i≠j)，则在待校正图像上抽到的匹配行也必须满足该条件，否则丢弃本次抽样重新执行步骤s500。
[0080]
当执行完上述采样匹配对操作后，会得到q个匹配行对。
[0081]
步骤s503，根据采样得到的q个匹配行对，以其中参考图像的采样行作为基准，对待校正图像上的每一个显著行的纵坐标进行校正，根据校正结果在参考图像上相应范围内查找是否存在显著行，并根据查找结果更新当前组采样匹配对的置信度。
[0082]
具体地说，每得到一组采样匹配对(q个匹配行对为一组)后，初始该组采样匹配对的置信度为0。假设通过采样得到的q个匹配行对，其中在参考图像上的q个显著行的纵坐标记为在待校正图像w上与之相对应的匹配行的纵坐标记为以参考图像的采样行(显著行)为基准，对待校正图像上的每一个显著行的纵坐标进行校正(即用所有的显著行来验证当前所选的一组匹配行对是否合理)。以第j个显著行s
w
(j)为例，其原始纵坐标为y
w
(s
w
(j))，校正后的纵坐标为
[0083]
a.当时，
[0084][0085]
b.当时，k＝1,2,
…
,q
‑1[0086][0087]
c.当时
[0088][0089]
在得到校正后的纵坐标后，在参考图像上相应范围后，在参考图像上相应范围内查找是否存在显著行，若存在，则当前置信度增加1，其中，r
t
为用户设定的参数，通常取2～5，r
t
值越小则判定越严格，r
t
值越大则判定越宽松。
[0090]
步骤s504，返回步骤s500进行迭代至设定的迭代次数(例如100)，并保存置信度最大的一组匹配行对作为最优采样匹配行对，即从所有的匹配组中选择一组最好的匹配组，每一组都是q个匹配行对。
[0091]
步骤s6，以最优采样匹配行对为参考，为参考图像上的每一个显著行在待校正图像上分配一个匹配行。
[0092]
假设通过迭代寻优得到了最优采样匹配行对，其中在参考图像上的q个最优匹配行的纵坐标记为在待校正图像w上与之相对应的最优匹配行的纵坐标记为将参考图像的每一个显著行位置，根据变换得到待校正图像的对应位置处，在其附近进行再次匹配寻找最佳对应行。以参考图像上第i个显著行s
r
(i)为例，其原始纵坐标为y
r
(s
r
(i))，在待校正图像上与其相对应的纵坐标为(需说明的是，这里并非在原始参考图像上操作，而是将参考图像上的坐标变换到待校正图像上的坐标，因此其下标设为参考图像r，上标设为待校正图像w):
[0093]
a.当时，
[0094][0095]
b.当时，k＝1,2,
…
,q
‑1[0096][0097]
c.当时
[0098][0099]
对于参考图像上的显著行s
r
(i)，得到其在待校正图像上的对应位置后，在范围内进行再匹配寻找与s
r
(i)相对应的最优匹配行，令k为
范围内的整数，匹配响应值为范围内的整数，匹配响应值为将响应值最小的行作为参考图像的显著行s
r
(i)在待校正图像的对应行，为方便描述记为s
′
w
(i)，其纵坐标为y
w
(s
′
w
(i))。
[0100]
步骤s7，利用得到的匹配行对将待校正图像进行变换得到与参考图像相对齐的图像，从而实现几何校正。
[0101]
在本发明中，所对齐的图像c的第u行在待校正图像w上对应行位置u’为：
[0102]
a.当u<y
r
(s
r
(1))时，
[0103]
利用第1和第2个显著行纵坐标位置的比例关系来推测在待校正图像w上与其对应的行u’：
[0104][0105]
其中，u
′‑
y
w
(s
′
w
(1))表示图像w上第u
′
行到y
w
(s
′
w
(1))行的距离；u
‑
y
r
(s
r
(1))表示图像r上第u行到第y
r
(s
r
(1))行的距离；y
w
(s
′
w
(1))
‑
y
w
(s
′
w
(2))表示图像w上第y
w
(s
′
w
(1))行到第y
w
(s
′
w
(2))行的距离，y
r
(s
r
(1))
‑
y
r
(s
r
(2))表示图像r上第y
r
(s
r
(1))行到第y
r
(s
r
(2))行的距离，本发明则根据相邻行距离变换成比例得到上式。
[0106]
b.当y
r
(s
r
(i))≤u<y
r
(s
r
(i 1))时，i＝1,2,
…
q
‑1[0107]
利用第i和第i 1个显著行纵坐标位置的比例关系来推测在待校正图像w上与其对应的行u’：
[0108][0109]
相应地，u
′‑
y
w
(s
′
w
(i))表示图像w上第u
′
行到y
w
(s
′
w
(i))行的距离；u
‑
y
r
(s
r
(i))表示图像r上第u行到第y
r
(s
r
(i))行的距离；y
w
(s
′
w
(i))
‑
y
w
(s
′
w
(i 1))表示图像w上第y
w
(s
′
w
(i))行到第y
w
(s
′
w
(i 1))行的距离，y
r
(s
r
(i))
‑
y
r
(s
r
(i 1))表示图像r上第y
r
(s
r
(i))行到第y
r
(s
r
(i 1))行的距离。
[0110]
c.当u≥y
r
(s
r
(q))时，
[0111]
利用第q
‑
1和第q个显著行纵坐标位置的比例关系来推测在待校正图像w上与其对应的行u’：
[0112][0113]
相应地，u
′‑
y
w
(s
′
w
(q))表示图像w上第u
′
行到y
w
(s
′
w
(q))行的距离；u
‑
y
r
(s
r
(q))表示图像r上第u行到第y
r
(s
r
(q))行的距离；y
w
(s
′
w
(q))
‑
y
w
(s
′
w
(q
‑
1))表示图像w上第y
w
(s
′
w
(q))行到第y
w
(s
′
w
(q
‑
1))行的距离，y
r
(s
r
(q))
‑
y
r
(s
r
(q
‑
1))表示图像r上第y
r
(s
r
(q))行到第y
r
(s
r
(q
‑
1))行的距离。
[0114]
当得到对应关系后，行u’可能为小数值，则需要通过线性插值得到对齐图像c有第u行所有数据的灰度值：
[0115][0116]
其中，表示图像w上的灰度值，v为横坐标取值为1,2,
…
,w，w为参考图像与待校正图像的宽度。
[0117]
图3为本发明一种基于显著行匹配的线扫圆柱体几何校正装置的结构示意图。如图3所示，本发明一种基于显著行匹配的线扫圆柱体几何校正装置，包括：
[0118]
图像采集处理单元201，用于使用线扫相机对一个完好无损的圆柱体工件采集展开后的图像，并进行预处理以得到理想图像作为参考图像，并使用线扫相机对待校正的圆柱体工件进行线扫采集展开的图像作为待校正图像。
[0119]
在本发明中，图像采集处理单元201利用线扫相机对圆柱体工件进行线扫采集展开后的图像，采集的图像则为待校正图像，记为w，本发明具体实施例中，为了保证圆柱体所有的信息都被采集且避免过度重复，对圆柱体工件采集大于1.5圈且小于2圈的数据。
[0120]
同样，图像采集处理单元201使用线扫相机对一个完好无损的圆柱体工件采集展开后的图像，通过手动平移、裁剪等操作得到最终想要的理想图像作为参考图像，记为r。参考图像恰好包含了圆柱体工件的展开内容，待校正图像则包含了重复的圆柱体侧面内容。两者只是沿着展开的方向上有差异，但是成像的内容不会发生变化。本发明的目标就是以参考图像为基准，对待校正图像进行校正。
[0121]
在本发明具体实施例中，若是圆柱体侧面则沿图像y方向变化，则参考图像与待校正图像宽相同，高不同；若是圆柱体侧面则沿图像x方向变化，则参考图像与待校正图像高相同，宽不同。
[0122]
为了方便描述，本发明中假设圆柱体侧面展开后沿图像的y方向变化，且参考图像和待校正图像的高分别记为h
r
和h
w
，参考图像和待校正图像的宽度相同，统一记为w。当圆柱体侧面展开后沿图像的x方向变化时，操作方式类似
[0123]
梯度投影单元202，用于将所述参考图像与待校正图像分别进行梯度投影。
[0124]
具体地，梯度投影单元202将所述参考图像与待校正图像分别沿着图像的y方向计
算梯度，并进行水平投影，得到长度为图像高的列向量。
[0125]
以参考图像r为例，第i行梯度投影p
r
(i)为：
[0126][0127]
对于待校正图像的梯度投影计算方式相同，在此不予赘述。
[0128]
需说明的是，在本发明中，圆柱体默认按照y方向展开，若圆柱体按照x方向展开，则展开的图像需要旋转90度，保证参考图像和待校正图像内容在x方向无差异，只在y方向存在伸缩的差异。
[0129]
显著行选择单元203，用于对所述参考图像与待校正图像根据梯度投影值进行显著行选择。
[0130]
由于，逐行匹配不仅计算量巨大，而且会因为存在大量不显著的行导致出现众多误匹配。因此，本发明筛选出相对比较显著的行。在本发明具体实施例中，人工设定阈值h
t
，将梯度投影值大于阈值h
t
的行作为显著行。
[0131]
当参考图像和待校正图像执行完显著行选择后，会分别得到一组显示行号，记为s
r
和s
w
，其元素个数分别为m和n。对于参考图像第i个显著行的纵坐标值记为y
r
(s
r
(i))，对于待校正图像第j个显著行的纵坐标值记为y
w
(s
w
(j))。显著行的存储需要按纵坐标由小到大排序。
[0132]
粗匹配单元204，用于对所述参考图像的每一个显著行，在所述待校正图像上寻找与其相对应的候选匹配行。
[0133]
具体地，粗匹配单元204将所述参考图像的每一个显著行与所述待校正图像的每一个显著行进行匹配，在待校正图像上寻找p个匹配响应最小的显著行作为候选匹配行。具体地，将参考图像中第i个显著行s
r
(i)与待校正图像中第k个显著行s
w
(k)计算匹配响应m(i,k)为:
[0134][0135]
从而对于参考图像的每一个显著行，根据其与待校正图像中各显著行的匹配响应值选择p个匹配响应最小的显著行作为候选匹配行，其中，参数p由用户设定，通常取2～4，并将该p个匹配响应进行归一化(除以总的和)，使其和为1，并用1减去这p个归一化的值得到每个候选匹配行的匹配概率。在本发明中，之所以用1减是为了保证匹配响应越小概率越大。
[0136]
采样校正寻优单元205，用于对经过粗匹配单元204得到的匹配行对进行采样，得到q个匹配行对，并以各匹配行对的参考图像的显著行为基准，对待校正图像上的每一个显著行的纵坐标进行校正，根据校正结果在参考图像上相应范围内查找是否存在显著行，并根据查找结果更新当前组采样匹配行对的置信度，经过多次迭代并根据置信度确定最优采样匹配行对。
[0137]
当经过粗匹配单元204粗匹配后，参考图像的每个显著行与待校正图像中对应的候选匹配行构成匹配行对，这种粗匹配得到的匹配行对存在着不同程度的错误匹配，但是同样存在着大量的正确匹配行对，因此需要进一步确定各匹配行对的可靠性。在本发明具
体实施例中，通过随机抽样的方式来对匹配行对进行采样，并判断其可靠性。一次采样需要执行多次随机直到采出合适的匹配行对，采样校正寻优单元205包括：
[0138]
参考图像显著行抽取模块，用于从参考图像中的显著行中，随机抽取q个不同的显著行，并按纵坐标由小到大进行排序。参数q由用户设定，其值与实际提取的显著行及成像质量有关。当显著行较多时，且成像质量较好时，可以适当设大一些，反之需要设小一些，取值范围通常为5～30。
[0139]
候选匹配行抽取模块，用于对于每个抽取到的显著行，从其p个候选匹配行中按概率抽取匹配行，候选匹配行抽取模块具体操作为：
[0140]
step1：随机生成1个整数，取值范围为1,2,
…
,p，该值对应选中的候选匹配行；
[0141]
step2:随机生成1个值，取值范围为[0,1]，当该值小于候选匹配行的匹配概率时，则当前候选匹配行为采样出来的一个匹配行；反之，重新执行step1，直到选出符合条件的匹配行。
[0142]
顺序一致性验证模块，用于对候选匹配行抽取模块的抽取结果进行顺序一致性验证，具体地，对参考图像中的q个显著行，如果第i个显著行的纵坐标小于第j个显著行的纵坐标时(i,j∈{1,2,
…
,q}且i≠j)，则在待校正图像上抽到的匹配行也必须满足该条件，否则丢弃本次抽样返回参考图像显著行抽取模块。
[0143]
当执行完上述采样匹配对操作后，会得到q个匹配行对。
[0144]
显著行校正模块，用于根据采样得到的q个匹配行对，以其中参考图像的采样行作为基准，对待校正图像上的每一个显著行的纵坐标进行校正，根据校正结果在参考图像上相应范围内查找是否存在显著行，并根据查找结果更新当前组采样匹配对的置信度。
[0145]
具体地说，每得到一组采样匹配对后，初始该组采样匹配对的置信度为0。假设通过采样得到的q个匹配行对，其中在参考图像上的q个显著行的纵坐标记为在待校正图像w上与之相对应的匹配行的纵坐标记为以参考图像的采样行(显著行)为基准，对待校正图像上的每一个显著行的纵坐标进行校正。以第j个显著行s
w
(j)为例，其原始纵坐标为y
w
(s
w
(j))，校正后的纵坐标为
[0146]
a.当时，
[0147][0148]
b.当时，k＝1,2,
…
,q
‑1[0149][0150]
c.当时
[0151][0152]
在得到校正后的纵坐标后，在参考图像上相应范围后，在参考图像上相应范围内查找是否存在显著行，若存在，则当前置信度增加1，其中，r
t
为用户设定的参数，通常取2～5，r
t
值越小则判定越严格，r
t
值越大则判定越宽松。
[0153]
迭代执行模块，返回参考图像显著行抽取模块进行迭代至设定的迭代次数(例如100)，并保存置信度最大的一组匹配行对作为最优采样匹配行对，即从所有的匹配组中选择一组最好的匹配组，每一组都是q个匹配行对。
[0154]
精匹配单元206，用于以最优采样匹配行对为参考，为参考图像上的每一个显著行在待校正图像上分配一个匹配行。
[0155]
假设采样校正寻优单元通过迭代寻优得到了最优采样匹配行对，其中在参考图像上的q个最优匹配行的纵坐标记为在待校正图像w上与之相对应的最优匹配行的纵坐标记为将参考图像的每一个显著行位置，根据变换得到待校正图像的对应位置处，在其附近进行再次匹配寻找最佳对应行。以参考图像上第i个显著行s
r
(i)为例，其原始纵坐标为y
r
(s
r
(i))，在待校正图像上与其相对应的纵坐标为
[0156]
a.当时，
[0157][0158]
b.当时，k＝1,2,
…
,q
‑1[0159][0160]
c.当时
[0161][0162]
对于参考图像上的显著行s
r
(i)，得到其在待校正图像上的对应位置后，在范围内进行再匹配寻找与s
r
(i)相对应的最优匹配行，令k为范围内的整数，匹配响应值为范围内的整数，匹配响应值为将响应值最小的行作为参考图像的显著行s
r
(i)在待校正图像的对应行，为方便描述记为s
′
w
(i)，其纵坐标为y
w
(s
′
w
(i))。
[0163]
几何校正单元207，用于利用得到的匹配行对将待校正图像进行变换得到与参考图像相对齐的图像，从而实现几何校正。
[0164]
在本发明中，所对齐的图像c的第u行在待校正图像w上对应行位置u’为：
[0165]
a.当u<y
r
(s
r
(1))时，
[0166]
利用第1和第2个显著行纵坐标位置的比例关系来推测在待校正图像w上与其对应的行u’：
[0167][0168]
其中，u
′‑
y
w
(s
′
w
(1))表示图像w上第u
′
行到y
w
(s
′
w
(1))行的距离；u
‑
y
r
(s
r
(1))表示图像r上第u行到第y
r
(s
r
(1))行的距离；y
w
(s
′
w
(1))
‑
y
w
(s
′
w
(2))表示图像w上第y
w
(s
′
w
(1))行到第y
w
(s
′
w
(2))行的距离，y
r
(s
r
(1))
‑
y
r
(s
r
(2))表示图像r上第y
r
(s
r
(1))行到第y
r
(s
r
(2))行的距离，本发明则根据相邻行距离变换成比例得到上式。
[0169]
b.当y
r
(s
r
(i))≤u<y
r
(s
r
(i 1))时，i＝1,2,
…
q
‑1[0170]
利用第i和第i 1个显著行纵坐标位置的比例关系来推测在待校正图像w上与其对应的行u’：
[0171][0172]
相应地，u
′‑
y
w
(s
′
w
(i))表示图像w上第u
′
行到y
w
(s
′
w
(i))行的距离；u
‑
y
r
(s
r
(i))表示图像r上第u行到第y
r
(s
r
(i))行的距离；y
w
(s
′
w
(i))
‑
y
w
(s
′
w
(i 1))表示图像w上第y
w
(s
′
w
(i))行到第y
w
(s
′
w
(i 1))行的距离，y
r
(s
r
(i))
‑
y
r
(s
r
(i 1))表示图像r上第y
r
(s
r
(i))行到第y
r
(s
r
(i 1))行的距离。
[0173]
c.当u≥y
r
(s
r
(q))时，
[0174]
利用第q
‑
1和第q个显著行纵坐标位置的比例关系来推测在待校正图像w上与其对应的行u’：
[0175][0176]
其中，u
′‑
y
w
(s
′
w
(q))表示图像w上第u
′
行到y
w
(s
′
w
(q))行的距离；u
‑
y
r
(s
r
(q))表示图像r上第u行到第y
r
(s
r
(q))行的距离；y
w
(s
′
w
(q))
‑
y
w
(s
′
w
(q
‑
1))表示图像w上第y
w
(s
′
w
(q))行到第y
w
(s
′
w
(q
‑
1))行的距离，y
r
(s
r
(q))
‑
y
r
(s
r
(q
‑
1))表示图像r上第y
r
(s
r
(q))行到第y
r
(s
r
(q
‑
1))行的距离。
[0177]
当得到对应关系后，行u’可能为小数值，则需要通过线性插值得到对齐图像c有第u行所有数据的灰度值：
[0178][0179]
其中，v为横坐标取值为1,2,
…
,w。
[0180]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。