基于光栅尺的高精度图像拼接方法、系统及存储介质与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于光栅尺的高精度图像拼接方法及系统。


背景技术：

2.图像拼接是一种比较成熟的图像处理的应用，它允许我们对同一个物体进行多次拍摄来获取到物体各部分的图片，通过图像拼接获得该物体的完整图片，可以有效的解决相机视野比拍摄物体小的问题。
3.传统的图像拼接方法首先对拍摄所得的图片分别进行特征点的提取，这里的特征点是图像上周围像素点的灰度值有剧烈变化的像素点，可以很好地描述图片特征；接着需要通过算法对这些提取到的特征点进行匹配，常用的算法有harris、sift、surf等；然后根据匹配结果计算一张图片相对于另一张图片的投影矩阵，根据投影矩阵对图片进行变换后与另一张图片融合即可得到拼接后的图像。
4.传统的图像拼接技术可以满足绝大部分需要使用图像拼接的场景，但是其中涉及图片的投影变换导致其无法保证成图的精度，对于分辨率较高的图片甚至可能造成十像素级甚至百像素级的精度误差。因此《具重复特征的大物面自动视觉检测中的亚像素级拼接》(光学学报2014年第3期)中提出了一种基于光栅尺的亚像素级拼接技术，具体做法如下：
5.首先使用圆形标定板标定相机的放大倍数和光栅尺上移动平台移动的x、y轴与相机x、y轴对应的夹角，以这些参数作为拼图平台的平台参数；接着拍摄图片并记录拍摄时的光栅尺读数，根据读数和平台参数计算每幅图片的物理坐标，再根据图片物理坐标计算拼接后图片的物理坐标；然后对拼接后图片上的每个像素点都进行如下操作：
6.(1)计算物理坐标；(2)根据像素点物理坐标和成图物理坐标计算像素点位于哪张小图上；(3)对比小图物理坐标，将像素点映射到小图上；(4)使用双线性插值法计算像素点灰度值。
7.这样就得到了拼接后的图片。这种技术十分依赖于平台属性的标定精度，这直接决定了这种技术的拼接效果；并且这种技术也没有考虑被拍摄物在移动中可能出现的旋转问题，适用性较差；此外，这种技术并未进行拼缝优化，在光照不均匀的场景中拼接成图会有明显的拼缝影响视觉感受；同时，高分辨率的图像进行拼接时拼缝周围可能出现像素错位现象，此时使用该技术进行拼接的成图就会有明显的错位感。因此，为了解决这些问题，本发明在这种技术的基础上提出了改进后的基于光栅尺的高精度图像拼接技术。
8.具体的说，现有技术存在以下缺陷：
9.1、没有考虑被拍摄物体在移动中可能出现的旋转问题，适用性不高；
10.2、使用圆形标定板标定平台属性的方法，操作流程复杂且操作精度要求较高，对圆形标定板本身的精度依赖较高，如果圆形标定板本身精度低那么标定出的平台属性也是不准的；
11.3、没有考虑拼缝优化，得到的成图视觉感受效果较差。


技术实现要素：

12.本发明提出的一种基于光栅尺的高精度图像拼接方法，可至少解决上述技术问题之一。
13.为实现上述目的，本发明采用了以下技术方案：
14.一种基于光栅尺的高精度图像拼接方法，包括以下步骤：
15.使用匹配特征点的方法对带光栅尺的移动平台进行属性标定；
16.获取到多帧待拼接图像和每帧图像对应的光栅尺读数；
17.计算各小图实际物理坐标，计算成图实际物理坐标；
18.将成图上像素点与各小图上的像素点一一对应；
19.通过双线性插值法计算成图上每个像素点的灰度值，完成拼接。
20.进一步的，通过双线性插值法计算成图上每个像素点的灰度值，还可以使用拼缝优化算法对拼缝进行优化。
21.进一步的，使用拼缝优化算法对拼缝进行优化包括：
22.找到拼缝两侧小图上对应的一对像素点；
23.通过双线性插值法计算所述一对像素点的灰度值；
24.根据所述一对像素点中每一点距离拼缝的物理距离的比例进行加权融合，所述加权设置为距离拼缝越近的点权重越高。
25.进一步的，还包括对小图进行旋转：
26.根据小图间的特征点匹配关系计算各小图拼接时的旋转矩阵；
27.根据旋转矩阵对各小图进行变换；
28.进一步的，使用匹配特征点的方法对带光栅尺的移动平台进行属性标定包括：
29.所标定的平台属性包括相机x轴方向的放大倍数p
x
，相机y轴方向的放大倍数py、平台x轴与相机x轴的夹角θ
x
、平台y轴与相机y轴的夹角θy；
30.相机拍摄图片一，被拍摄物体沿平台x轴与y轴分别移动一段距离后拍摄图片二，并记录图像移动距离；
31.对图片一和图片二进行特征点的选取和匹配；
32.根据匹配的特征点和图像移动距离计算所述平台属性。
33.进一步的，对图片一和图片二进行特征点的选取和匹配还包括：
34.使用harris、sift、surf算法中的一种进行特征点匹配；
35.分别使用图片一和图片二为基准图片进行两次特征点匹配；
36.将两次匹配的结果组合后通过ransac算法进行筛选；
37.筛选掉不需要的特征点，剩下的特征点对作为匹配特征点对。
38.进一步的，所述通过双线性插值法计算成图上每个像素点的灰度值之后还包括：
39.根据所述匹配特征点计算亮度补偿系数；
40.根据所述补偿系数对需要进行亮度补偿的小图进行亮度补偿。
41.进一步的，所述根据匹配特征点计算亮度补偿系数包括：
42.在图片一和图片二中任一对匹配的特征点周围选取不包含其他特征点的范围；
43.计算两张图片上所述范围内的像素点的灰度值均值；
44.用图片一上所述灰度值均值除或除以图片二上所述灰度值均值，得到的结果作为
所述特征点的亮度补偿系数；
45.对两张图片上所有的匹配特征点执行上述操作得到所有特征点的亮度补偿系数；
46.取所有特征点的亮度补偿系数的均值作为需要进行亮度补偿的图片的亮度补偿系数。
47.进一步的，计算各小图实际物理坐标，使用如下公式计算：
48.(x
a0
,y
a0
),(x
a0
w*p
x
,y
a0
),(x
a0
w*p
x
,y
a0
h*py),(x
a0
,y
a0
h*py)
ꢀꢀꢀ
(1)
49.公式(1)中w和h为图片的分辨率，p
x
为相机x轴方向的放大倍数，py为相机y轴方向的放大倍数，(x
a0
,y
a0
)为小图左下角顶点的物理坐标，且有(x
a0
,y
a0
)＝(x0·
cosθ
x
y0·
sinθy,x0·
sinθ
x
y0·
cosθy)，其中(x0,y0)为记录的光栅尺读数，θ
x
为平台x轴与相机x轴的夹角、θy为平台y轴与相机y轴的夹角。
50.进一步的，将成图上像素点与各小图上的像素点一一对应包括：
51.将成图上像素点的像素坐标与实际物理坐标相对应；
52.根据成图上像素点所处的物理位置得到该像素点在对应小图上像素坐标。
53.另一方面，本发明还公开一种基于光栅尺的高精度图像拼接系统，其特征在于，包括以下模块：
54.属性标定模块，用于对带光栅尺的移动平台进行属性标定，并储存相应的平台属性；
55.图像拼接模块，用于计算各小图实际物理坐标，计算成图实际物理坐标，将成图上像素点与各小图上的像素点一一对应，通过双线性插值法计算成图上每个像素点的灰度值，完成拼接。
56.进一步的，基于光栅尺的高精度图像拼接系统还包括：
57.亮度补偿模块，用于根据所述匹配特征点计算亮度补偿系数，根据所述补偿系数对需要进行亮度补偿的小图进行亮度补偿；
58.拼缝优化模块，用于使用拼缝优化算法对拼缝进行优化；
59.旋转矫正模块，用于根据小图间的特征点匹配关系计算各小图拼接时的旋转矩阵，根据旋转矩阵对各小图进行变换。
60.再一方面，本发明还公开一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序数据，所述程序数据能够被执行以实现上述的基于光栅尺的高精度图像拼接方法。
61.由上述技术方案可知，由于传统的基于特征点匹配的图像拼接方式，虽然拼接质量较好、普适性较强，但无法保证拼接后图像的精度且拼接速度较慢，无法适用于需要保证成图精度的使用场景。针对这一问题，本发明提出了一种基于光栅尺的高精度图像拼接方法、系统及其读存介质，保证了图像拼接质量的同时，保证了图像拼接的精度可达到亚像素级。
62.具体的说，本发明提供了一种基于光栅尺的高精度图像拼接方法、系统及其读存介质，通过在拼接过程中添加旋转矩阵的计算和变换解决实际使用中被拍摄物体存在旋转的问题；通过引入特征点匹配算法，使用匹配特征点代替圆形标定板圆心的方法来去除原技术对圆形标定板的依赖，减少可能影响平台属性标定结果的因素；通过添加拼缝优化算法，优化拼接结果图。相较现有技术，本发明有更强的适用性、更简单操作流程、更少的结果
影响因素以及视觉效果更好的拼接结果图。
附图说明
63.图1是本发明的方法流程图。
具体实施方式
64.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
65.如图1所示，本实施例所述的基于光栅尺的高精度图像拼接方法，包括：
66.使用匹配特征点的方法对带光栅尺的移动平台进行属性标定；
67.获取到多帧待拼接图像和每帧图像对应的光栅尺读数；
68.计算各小图实际物理坐标，计算成图实际物理坐标；
69.将成图上像素点与各小图上的像素点一一对应；
70.通过双线性插值法计算成图上每个像素点的灰度值，完成拼接。
71.具体如下：
72.待拍摄物体放置在带光栅尺的移动平台上，相机置于平台正上方，拍摄时保持相机静止，仅运动平台。平台的运动方向是相互垂直的两个，分别记为x和y轴，理论上平台运动的x、y轴应与相机的x、y轴保持平行，但实际由于安装误差的影响，并不是完全平行的，而是会和相机的x、y形成一定的夹角，后续会在平台属性标定中标定这两个夹角的值。
73.根据匹配特征点标定移动平台属性使用的是surf算法进行特征点的选取和匹配，标定的平台属性有四个，分别为相机x轴方向的放大倍数p
x
，相机y轴方向的放大倍数py、平台x轴与相机x轴的夹角θ
x
、平台y轴与相机y轴的夹角θy。标定时，先拍摄一张图片，记为图片一，记录当前的光栅尺读数，再分别沿平台x轴方向、平台y轴方向移动一段距离后拍摄另一张图片，记为图片二，记录下移动的距离；使用这两张图片进行特征点匹配，先使用图片一为基准图片进行匹配，再使用图片二为基准图片进行匹配，将两次匹配的结果组合后再通过ransac算法进行筛选，筛选的过程是将不需要的匹配点对筛选出来并剔除，剩下的点作为匹配特征点，这样做的目的是取出尽可能多的匹配点对，最后根据匹配点对和记录的移动距离计算出平台属性。具体为：
74.放大倍数的标定：
75.采用匹配特征点进行标定，在位置1(x1,y1)拍摄一张图片，沿任一轴运动到位置2(x2，y2)再拍摄一张图片记录两位置的光栅尺读数，并计算移动距离d，单位μm。以x轴为例，其中d
x
表示一对匹配特征点之间的x轴上的像素距离，y轴的计算同理。
76.夹角的标定：
77.以x轴为例，选取两张仅在x轴方向上运动时拍摄的图片，根据一对匹配特征点的坐标向量计算夹角，其中δx为两特征点坐标x的差值，δy为两特征点坐标y的差值，这里描述的坐标均为像素坐标,y轴的计算同理。
78.由于平台属性都是固有属性，因此同一个平台进行一次准确的标定即可。
79.根据上一步标定平台属性中获得的匹配特征点对和对应图片可以计算拼图时的亮度补偿系数，选定一对相匹配的特征点周围一定范围，该范围的选取依据是所选范围不包含另外一个特征点。计算图片一和图片二上这一范围内的像素点的灰度值均值，用图片一上所述灰度值均值除或除以图片二上所述灰度值均值作为该范围内像素点的亮度补偿系数，对每一对匹配特征点都进行上述操作，得到的亮度补偿系数的均值作为最终拼接时使用的亮度补偿系数。
80.计算各小图的实际物理坐标的方法如下：可以认为相机的取景范围是一个矩形范围，首先通过记录的光栅尺读数和平台属性计算出小图矩形范围左下角顶点的物理坐标，设记录的光栅尺读数为(x0,y0)，其左下角顶点的物理坐标为(x0·
cosθ
x
y0·
sinθy,x0·
sinθ
x
y0·
cosθy)，后面为了方便描述将该坐标记为(x
a0
,y
a0
)，图片的分辨率已知，图片的物理宽度为w，物理高度为h，那么一个小图的实际物理坐标就是如下形式(x
a0
,y
a0
),(x
a0
w*p
x
,y
a0
),(x
a0
w*p
x
,y
a0
h*py),(x
a0
,y
a0
h*py)。
81.计算出各小图的实际物理坐标后，根据小图坐标即可算出拼接后的成图的实际物理坐标。进行拼接融合前对需要进行亮度补偿的小图根据之前计算的亮度补偿系数进行亮度补偿。接着对于成图上任一像素点，都可以将其像素坐标对应转换为实际物理坐标，根据该点所处的物理位置可以得到该像素点对应属于哪一张小图，再将该像素点映射到对应小图，得到其在小图上对应的像素坐标，这个像素坐标通常是亚像素级的，因此需要通过双线性插值的方式计算该点灰度值，这样就得到了成图上任一像素点的灰度值。对于拼缝周围的点进行加权融合来优化拼缝，具体做法是：找到拼缝两侧对应的小图上的像素点，通过双线性插值法计算这两点的灰度值，再根据这两点距离拼缝的物理距离的比例进行加权融合，距离拼缝越近的点权重越高。
82.下面以待拼接图像为6张为例，根据小图坐标计算出拼接后的成图的实际物理坐标：
83.1、进行物理直角坐标系的换算：
84.(1)拍摄六张待拼接图片，按照从下到上从左往右的顺序记录拍摄时的光栅尺读数(x1，y1),(x2，y2),......,(x6，y6)；
85.(2)对任一图片的拍摄坐标(x0，y0)，对其进行物理直角坐标系坐标变换，结果为(x0·
cosθ
x
y0·
sinθy,x0·
sinθ
x
y0·
cosθy)，下面为了描述方便，将该坐标记为(x
a0
,y
a0
)；
86.(3)图片的水平和垂直分辨率w和h已知,结合放大倍数,可以求得图片物理宽度和高度：w0＝w
×
p，h0＝h
×
p；
87.(4)任一图片的四角坐标为：
88.(x
a0
,y
a0
),(x
a0
w*p
x
,y
a0
),(x
a0
w*p
x
,y
a0
h*py),(x
a0
,y
a0
h*py)
89.2、计算成图：
90.(1)计算成图的四角坐标：计算成图的四角坐标需要确定的有四个值：
91.成图x的最小值x
min
，为左侧拍摄的三张图片的xa的最大值；
92.成图x的最大值x
max
，为右侧拍摄的三张图片的xa w的最小值；
93.成图y的最小值y
min
，为下方拍摄的两张图片的ya的最大值；
94.成图y的最大值y
max
，为上方拍摄的两张图片的ya h的最小值。
95.因此，成图的四角坐标应为：
96.(x
min
，y
min
)，(x
max
，y
min
)，(x
max
，y
max
)，(x
min
，y
max
)
97.3、计算成图上每个像素点的像素值：
98.成图的像素尺寸为w0和h0，
99.对成图上任一像素点(i，j)，计算其物理直角坐标系坐标为
100.(i
·
p x
min
，j
·
p y
min
)，与象限阈值作比较，确定其所属图像，象限阈值计算如下：
101.水平方向上设置一个象限阈值垂直方向上设置两个象限阈值
102.假设像素点所属图像为图像3，则使用双线性插值法计算
103.这一点的像素值，将其像素值作为成图上点(i，j)的像素值。
104.上述是以待拼接图片为6张进行计算，当待拼接图片数量为其他时，也按照同样的计算方法进行计算。
105.理想情况下通过上述流程即可完成高精度的图像拼接，但实际使用中还需要考虑拍摄物体的抖动对拼接结果的影响。实际情况下，拍摄物体随着平台进行运动的过程中可能出现轻微抖动，这种抖动一般是非常细微的，但对于高分辨率的相机来说这些抖动可以带来像素级的偏移，这会影响到拼图质量。因此在进行拼接之前，本发明先对各小图进行特征点匹配，并根据匹配结果计算出各小图拼接时的旋转矩阵，这里计算得到的旋转矩阵不包含缩放因子，仅对图片进行角度上的旋转，确保不会对拼接精度产生影响。先根据旋转矩阵对各小图进行变换后，再进行后续的成图像素点的映射操作，这样可以有效的抵消拍摄物体抖动对拼图质量的不利影响。
106.总得来说，本发明的关键点和欲保护点在于改进的基于光栅尺的高精度图像拼接流程，包括通过特征点匹配对平台固有属性的标定、旋转矩阵的计算、对原图进行旋转变换、拼接时进行亮度补偿和拼缝优化的流程。
107.本发明可以解决被拍摄物体存在旋转的使用场景，操作流程更加简单，抗噪声能力更强，拼接结果图的视觉效果也更好。
108.相应的，本发明实施例还公开一种基于光栅尺的高精度图像拼接系统，包括以下模块：
109.属性标定模块，用于对带光栅尺的移动平台进行属性标定，并储存相应的平台属性；
110.图像拼接模块，用于计算各小图实际物理坐标，计算成图实际物理坐标，将成图上像素点与各小图上的像素点一一对应，通过双线性插值法计算成图上每个像素点的灰度值，完成拼接。
111.其中，基于光栅尺的高精度图像拼接系统还包括：
112.亮度补偿模块，用于根据所述匹配特征点计算亮度补偿系数，根据所述补偿系数对需要进行亮度补偿的小图进行亮度补偿；
113.拼缝优化模块，用于使用拼缝优化算法对拼缝进行优化；
114.旋转矫正模块，用于根据小图间的特征点匹配关系计算各小图拼接时的旋转矩阵，根据旋转矩阵对各小图进行变换。
115.又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述任一方法的步骤。
116.再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一方法的步骤。
117.在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法的步骤。
118.可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
119.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
120.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
121.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。