一种多目机器视觉图像拼接方法、系统及存储介质与流程

1.本发明涉及图像拼接技术领域，特别涉及一种多目机器视觉图像拼接方法、装置及存储介质。


背景技术：

2.近年来图像拼接技术成为计算机视觉、数字图像处理和计算机图形学等领域的重点研究对象。在进行图像采集时，由于标准镜头局限于视场角，无法同时获取较大视野的场景图像。在选择短焦距镜头进行图像采集时，虽能获取较多场景信息却也牺牲了图像分辨率；而若为保证图像分辨率选择使用长焦距镜头，却又无法得到完整的场景信息，从而陷入尴尬局面。这时，图像拼接技术的引入能够很好地解决这类问题，同时得到宽视场、高分辨率场景图像。如此优势使得图像拼接技术能够广泛应用于诸多领域，例如机器视觉检测、光学遥感、智能监控、虚拟现实和医学图像应用等。
3.图像拼接的任务是在一个全局图像帧中对齐多个重叠图像生成无缝的高分辨率全景图。近年来，图像拼接算法己广泛应用于多个领域，并和人们的生活息息相关，例如智能手机中的全景摄像机，安防领域需要拼接多个摄像头视野，智能汽车中为汽车提供视野辅助等。
4.在遥感技术领域中，受限于飞行高度、机载相机焦距和视场角，无法获取完整目标图像信息。遥感技术在结合图像拼接技术后，可对所采集的同区域中具有部分重叠区域的两幅或多幅相邻图像进行匹配、拼接。在完成拼接后，精确地呈现该区域宽视场图像。促使遥感技术能够广泛运用于战场侦察等军事领域以及灾害监测等民用领域。
5.在智能监控领域中，实时监控自动驾驶导航系统被认为是最具代表性的应用之一。由于单目视觉所采集图像信息有限，无法满足车辆视觉导航中对宽视场信息的需求，而双目视觉在视野上更具优势。于是，通过模拟双目成像采集图像信息，应用多视点图像拼接技术，在接收到宽基线双目镜头获取图像后，实时拼接处理得到车前宽视场的场景信息，成功解决视觉导航系统的视野受限问题，为自动驾驶车辆提供完美的技术支持。
6.在虚拟现实领域中，人们利用图像拼接技术获得宽视场或全景图像，用于虚拟现实场景，在视觉上给体验者一种身临其境的视感冲击。在虚拟现实系统中，通过获取全景图的深度、场景的三维信息，建立三维模型，真实还原三维场景。
7.在医学图像处理领域中，受限于显微镜或超声波较小的视野，医师不能对病理部位一窥全貌而无法根据完整的结构特征做出正确诊断。医学显微图像拼接技术能精确、有效地解决高倍显微镜下因视野小而导致观察视野受限，无法清晰观察组织细胞整体结构的问题。同时，医学图像拼接技术也可以应用于实现远程会诊等系统。相同原理，在工业生产中，图像拼接技术可用于对大型生产部件进行精确数据测量。通过标准镜头采集局部生产部件的窄视野图像用于拼接，从而得到生产部件的宽视场图像。
8.图像拼接技术广泛应用于诸多领域，促使宽视场成像成为未来的发展方向和必然趋势。为获取宽视场图像信息，可利用多个标准镜头获取同场景下的具有重叠区域的一系
列图像，在经图像预处理、配准和融合拼接后，可得到大幅度、宽视角、失真小、无明显重影或裂缝的高分辨率图像。
9.现有的大量成熟的拼接方法大多适用于无视差或弱视差的图像拼接，当待拼接图像视差较大时，拼接效果会出现明显重影或者严重的目标错切等现象。
10.因而现有技术还有待改进和提高。


技术实现要素：

11.本发明的主要目的在于提供一种多目机器视觉图像拼接方法、装置及存储介质，旨在解决现有技术中当待拼接图像视差较大时，拼接效果会出现明显重影或者严重的目标错切等现象，这样就会造成图像拼接效果差的问题。
12.为了达到上述目的，本发明采取了以下技术方案：
13.一种多目机器视觉图像拼接方法，所述多目机器视觉图像拼接方法包括：
14.采集多组视差图像，并对所述多组视差图像进行预处理；
15.对经过预处理的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，并对所述多个匹配的特征点进行筛选得到多个候选单应性矩阵；
16.选取所述多个候选单应性矩阵中对应内点相对发散的单应矩阵，作为视差图像配准中经优化的最佳单应矩阵，所述内点由所述多个匹配的特征点构成；
17.对稀疏特征点的配准误差进行准稠密化后，对整个所述经过预处理的多组视差图像中的重叠区域进行误差补偿；
18.经优化的缝合线查找方法对所述多组视差图像进行无缝拼接。
19.所述多目机器视觉图像拼接方法中，所述对经过预处理的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，并对所述多个匹配的特征点进行筛选得到多个候选单应性矩阵的步骤具体包括：
20.采用sift算法对所述经过预处理的多组视差图像中特征点进行检测和匹配，得到多个匹配的特征点；
21.使用ransac算法从所述多个匹配的特征点进行筛选，得到多个候选单应性矩阵。
22.所述多目机器视觉图像拼接方法中，所述选取所述多个候选单应性矩阵中对应内点相对发散的单应矩阵，作为视差图像配准中经优化的最佳单应矩阵的步骤具体包括：
23.根据内点集合的分布情况，选取所述多个候选单应性矩阵中对应内点相对发散的单应矩阵，作为视差图像配准中经优化的最佳单应矩阵。
24.所述多目机器视觉图像拼接方法中，所述对稀疏特征点的配准误差进行准稠密化后，对整个所述经过预处理的多组视差图像中的重叠区域进行误差补偿的步骤具体包括：
25.采用插值算法对内点集合中稀疏特征点的配准误差进行准稠密化，并对整个所述经过预处理的多组视差图像中的重叠区域进行误差补偿。
26.所述多目机器视觉图像拼接方法中，所述经优化的缝合线查找方法对所述多组视差图像进行无缝拼接的步骤具体包括：
27.将内点到缝合线间的距离作为权重约束的特征，对缝合线查找的方法进行优化；
28.采用优化后的缝合线查找的方法对所述多组视差图像进行无缝拼接。
29.所述多目机器视觉图像拼接方法中，所述经优化的缝合线查找方法对所述多组视
差图像进行无缝拼接的步骤之后包括：
30.将所述经过无缝拼接后的多组视差图像中的重叠区域等分为至少两部分，分别计算至少两部分的重叠区域中图像像素点的灰度值，以对渐入渐出融合算法进行改进；
31.采用改进的渐入渐出融合算法对无缝拼接后的图片进行处理。
32.所述多目机器视觉图像拼接方法中，所述采集多组视差图像，并对所述多组视差图像进行预处理的步骤具体包括：
33.采用至少两个双目视觉相机采集多组视差图像；
34.对所述多组视差图像进行去噪、畸变矫正以及图像亮度统一处理，得到经过预处理的多组视差图像。
35.所述多目机器视觉图像拼接方法中，所述采用sift算法对所述经过预处理的多组视差图像中特征点进行检测和匹配，得到多个匹配的特征点的步骤具体包括：
36.检测尺度空间的极值点，所述尺度空间由所述特征点的多尺度特征模拟得到；
37.定位关键点的位置和尺度；
38.确定所述关键点的方向；
39.根据所述关键点生成特征点描述子；
40.根据不同图像间特征点描述子之间的相似性查找正确匹配的两个特征点，得到多个匹配的特征点。
41.此外，为实现上述目的，本发明还提供一种多目机器视觉图像拼接装置，包括：预处理模块，用于采集多组视差图像，并对所述多组视差图像进行预处理；特征点检测和匹配模块，用于对经过预处理的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，并对所述多个匹配的特征点进行筛选得到多个候选单应性矩阵；选取模块，用于选取所述多个候选单应性矩阵中对应内点相对发散的单应矩阵，作为视差图像配准中经优化的最佳单应矩阵；误差补偿模块，用于对稀疏特征点的配准误差进行准稠密化后，对整个所述经过预处理的多组视差图像中的重叠区域进行误差补偿。
42.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多目机器视觉图像拼接程序，所述多目机器视觉图像拼接程序被处理器执行时，实现如上所述的多目机器视觉图像拼接方法的步骤。
43.相较于现有技术，本发明提供的一种多目机器视觉图像拼接方法、装置及存储介质，所述方法包括：采集多组视差图像，并对多组视差图像进行预处理；对经过预处理的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，并多个匹配的特征点进行筛选得到多个候选单应性矩阵；选取多个候选单应性矩阵中对应内点相对发散的单应矩阵，作为视差图像配准中经优化的最佳单应矩阵；对稀疏特征点的配准误差进行准稠密化后，对整个经过预处理的多组视差图像中的重叠区域进行误差补偿；经优化的缝合线查找方法对多组视差图像进行无缝拼接。通过优化对最佳单应矩阵的选取，并采用优化的缝合线查找方法对多组视差图像进行无缝拼接，从而改善了图像拼接效果差的问题。
附图说明
44.图1为本发明提供的传统图像拼接的流程图；
45.图2为本发明提供的多目机器视觉图像拼接方法的流程图；
46.图3为本发明提供的畸变校正效果图；
47.图4为本发明提供的多目机器视觉图像拼接方法中步骤s20的流程图；
48.图5为本发明提供的多目机器视觉图像拼接方法中步骤s21的流程图；
49.图6为本发明提供的局部极值点检测和26个相邻点比较图；
50.图7为本发明提供的特征点主方向选取图；
51.图8为本发明提供的维度特征点描述子图；
52.图9为本发明提供的传图像统配准效果图；
53.图10为本发明提供的最佳投影平面选取图；
54.图11为本发明提供的基于改进的ransac算法筛选候选单应矩阵的代码图；
55.图12为本发明提供的优化图像配准效果图；
56.图13为本发明提供的动态规划缝合线查找图；
57.图14为本发明提供的误差补偿优化对齐后颜色差异强度图；
58.图15为本发明提供的多目机器视觉图像拼接方法中步骤s50的流程图；
59.图16为本发明提供的多目机器视觉图像拼接装置的结构框图。
具体实施方式
60.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
61.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
62.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
63.图像拼接是一种通过组合多幅具有重叠区域图像获取高分辨率宽视角图像的一项技术。目前图像拼接相关的理论和算法众多，拼接流程也基本一致，其最主要步骤为图像配准和图像融合两个阶段。现有技术中一般采用以下几个步骤对多组时差图像进行拼接，其流程如图1所示。
64.1、图像获取：
65.图像获取是完成图像拼接过程的首步，采集的图像质量的优劣会影响到后期视频拼接的质量。现在一般使用两台特定的图像采集设备完成包含重叠部分的场景图像采集。为了获取到更为可靠、有效的图像场景信息，应该遵循以下基本要求。
66.(1)使用基础参数完全一致的图像采集工具进行实验。
67.(2)在图像采集的过程中，为了确保采集到的图像具有一定程度的重叠区域，要确保两台设备间具有一定的夹角并尽量安排采集设备处于同一水平面。
68.(3)通过保证采集设备与拍摄物体之间相隔一定的距离来确保减少设备成像间的差异。
69.在采集过程中通过保持相机镜头不发生偏移，尽可能地保证相机镜头在同心约束条件下获取一组图像，从而保证所采集图像尽可能满足相邻源图的重叠区域不少于30％，如此才可以保证重叠区域内能够提取足够多的特征点用于配准。
70.2、图像预处理：
71.由于拍摄设备和场景等因素的影响和限制，很难采集到可以直接进行实验的理想图像。因此，在执行图像拼接操作之前，必须对采集到的图像执行预处理操作。近年来，监控设备采集的图像进行图像去噪等预处理操作一般由后台的计算机完成。图像预处理一般还要完成图像亮度统一、图像投影和图像去抖动等操作。
72.图像预处理主要包括对滤波去噪、图像畸变校正和图像亮度统一等操作。图像去噪主要为了排除图像中噪点对特征检测与匹配中的干扰。
73.而图像畸变校正则是由于光学透镜等作为镜头中核心部件的存在，使得透镜成像畸变不可避免。不过镜头畸变程度却受光学透镜的精度影响，高精度光学透镜的标准镜头，其畸变程度相对较小，而一般质量的标准镜头畸变程度稍大些，广角镜头畸变程度则会更大。
74.图像畸变中主要包含了径向畸变和切向畸变。在实际的镜头中，切向畸变几乎不会被考虑。而且径向畸变程度沿着半径方向往外延伸，越往边缘，其畸变程度越大，图像信息丢失也越严重。如果镜头存在径向畸变，则需要对镜头进行标定。通过镜头标定获取的畸变参数，对该镜头下采集的所有图像都适用。畸变校正消除图像中存在的畸变失真，获得标准场景图像，从而排除畸变对图像处理结果的干扰。
75.在进行图像采集时，一般采用的是双目相机，由于使用的是同型号镜头，即参数完全一致，则只需对其中一个相机镜头进行标定即可。本发明中采用棋盘标定法通过matlab中标定工具和棋盘硬板对相机镜头进行标定。详细步骤如下：
76.(1)、准备好棋盘格图像，打印于a4纸上，并将其钉于硬纸板上作为标定板。固定好镜头，将棋盘标定板变换不同姿态，采集30组左右图像，在排除了10组异常图像后，给出20组被标定的网格图像。
77.(2)、在matlab软件菜单栏功能选项中，打开camera calibration toolbox工具箱，并将采集的图像全部导入。鼠标点击calibrate键后，开始运算并生成镜头相关参数，然后将参数导入到文件中保存，得到整个标定界面，后期只需参考文件中参数便可对该镜头采集到图像进行畸变校正，而无需重复进行标定。
78.(3)、打开文件，可直接查看到该镜头各种参数。径向畸变参数和被保存于radial distortion变量中。而切向畸变tangential distortion变量，对应参数均为0，表明该镜头不存在切向畸变，也验证了切向畸变在镜头畸变中可以忽略不计。
79.在摄像头在拍摄图像时，镜头会存在暗角。暗角是由于镜头的制作及其他光学因素致使镜头拍摄出来的图像出现中间亮、边缘较暗的现象。为了使画面亮度的基本保持一
致，可以对图像进行亮度统一的操作来消除暗角造成的影响。在图像拼接过程中，重叠部分一般和暗角的变化角度是相对的，这会造成重叠部分的亮度存在不同。为了确保最后获得的全景图像更加真实，则需要分别对多个摄像头采集到的图像执行图像亮度统一的操作。
80.3、图像配准：利用局部特征提取算法(如sift)对具有重叠区域图像进行特征提与匹配，结合特征点间匹配关系估算特征点间变换参数，从而确定目标图像到参考图像间对应的投影变换模型。
81.图像配准技术是图像拼接操作中较为关键的部分。实现图像配准的方式有很多，基于特征的配准方法是当前较为常用的一种方法。这种配准方式对图像的光照和噪声等有一定的要求。常见的配置算法根据特征选取的差异，可以归纳划分为下列三类：
82.(1)基于特征点的配准。特征点是指在图像中能够唯一的标识图像中某个位置信息且携带重要信息的点，这些点都包含了大量信息并且表现出不同于其他像素点的特征或者是像素值发生突变的点。以图像中这些特殊的点所包含的信息为依据来实现图像匹配的算法，就是基于特征点的配准算法。
83.(2)基于特征区域的配准。特征区域相当于放大倍数的特征点。单个像素都是一个特征点，而邻近像素的合集被称之为区域。该区域具有相同特征的像素合集，整体表现出某一种相同特性，可以特定识别图像中的具体位置。若分别在两个图像中提取到包含相同特征的集合区域，那么判定这两个图像具备位置相关性，充分利用特征区域之间对应的相关性，可以求解出匹配之后两个图像之间的对应位置。
84.(3)基于边缘特征的配准。用来描述图像内容轮廓的是图像的边缘，可以较好地用于标识图像的方位特征。拥有相同内容的图像的边缘信息必然会保持一致。基于这样的边缘特征关联的匹配算法可以很好地实现图像拼接。在使用这种算法进行拼接的过程中，必须将图像的边缘数据依照特定的数据结构进行存储，但由于目前没有适合的表述方式，所以该算法的使用范围受到了限制。
85.4、图像融合：为优化图像拼接效果，提高拼接后图像质量，在完成图像配准后，不同图像重叠区域经刚性变换映射到同一坐标系下，消除像素点间差异。此方法经常用于无视差或弱视差图像拼接的最后一个环节，较真实的还原了场景信息。
86.本发明提供的一种多目机器视觉图像拼接方法、装置及存储介质，通过首先对经过预处理的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，再根据匹配的特征点的分布情况，优化对最佳单应矩阵的选取，最后采用优化的缝合线查找方法对多组视差图像进行无缝拼接，从而有效地避免了当待拼接图像视差较大时，拼接效果会出现明显重影或者严重的目标错切等现象，从而改善了图像拼接效果差的问题。
87.下面通过具体示例性的实施例对多目机器视觉图像拼接方法设计方案进行描述，需要说明的是，下列实施例只用于对发明的技术方案进行解释说明，并不做具体限定：
88.请参阅图2，本发明提供的一种多目机器视觉图像拼接方法，所述多目机器视觉图像拼接方法包括：
89.s10、采集多组视差图像，并对所述多组视差图像进行预处理；
90.s20、对经过预处理的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，并对所述多个匹配的特征点进行筛选得到多个候选单应性矩阵；
91.s30、选取所述多个候选单应性矩阵中对应内点相对发散的单应矩阵，作为视差图
像配准中经优化的最佳单应矩阵，所述内点由所述多个匹配的特征点构成；
92.s40、对稀疏特征点的配准误差进行准稠密化后，对整个所述经过预处理的多组视差图像中的重叠区域进行误差补偿；
93.s50、经优化的缝合线查找方法对所述多组视差图像进行无缝拼接。
94.具体地，首先，在图像采集阶段，利用多目镜头模拟视差成像条件采集多组视差图像，并对所述多组视差图像的重叠部分进行滤波去噪、图像畸变校正等预处理，从而可以有效地排除图像中噪点对特征检测与匹配中的干扰，以及透镜成像畸变对视差图像的干扰。
95.其次，在图像配准阶段，通过对经过预处理的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，结合所述多个匹配的特征点间匹配关系估算特征点间变换参数，从而确定目标图像到参考图像间对应的投影变换模型，即对所述多个匹配的特征点进行筛选得到多个候选单应性矩阵，其中，所述单应性矩阵就是所述投影变换模型。
96.然后，由所述多个匹配的特征点构成内点，并选取所述多个候选单应性矩阵中对应内点相对发散的单应矩阵，作为视差图像配准中经优化的最佳单应矩阵；再者，对稀疏特征点的配准误差进行准稠密化后，对整个所述经过预处理的多组视差图像中的重叠区域进行误差补偿，从而优化图像对齐，增加图像的局部对齐区域；最后，通过经优化的缝合线查找方法对所述多组视差图像进行无缝拼接，从而完成了图像拼接。
97.本发明中通过首先对经过预处理的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，并选取多个候选单应性矩阵中对应内点相对发散的单应矩阵，优化的最佳单应矩阵的选取，再采用优化的缝合线查找方法对多组视差图像进行无缝拼接，从而有效地避免了在待拼接图像视差较大时，拼接效果会出现明显重影或者严重的目标错切等现象，改善了图像拼接效果差的问题。
98.进一步地，所述采集多组视差图像，并对所述多组视差图像进行预处理的步骤具体包括：
99.采用至少两个双目视觉相机采集多组视差图像；
100.对所述多组视差图像进行去噪、畸变矫正以及图像亮度统一处理，得到经过预处理的多组视差图像。
101.具体地，首先利用多目镜头模拟视差成像条件，采集多组视差图像，其次，对所述多组视差图像进行去噪，从而在从其他图像数据集中下载而来的待拼接的多组视差图像时，能够有效地降低数字图像中可能存在的噪声对图像配准及拼接效果造成的影响；然后，对去噪后的多组视差图像进行畸变矫正处理，如图3所示，左边是畸变源图，右边是校正效果图，在畸变源图中人为建筑处明显可见窗户轮廓存在轻微扭曲现象。最后，对畸变矫正后的多组视差图像进行图像亮度统一处理，得到预处理后的多组视差图像。
102.通过采用至少两个双目视觉相机采集多组视差图像，并对所述多组视差图像进行去噪、畸变矫正以及图像亮度统一处理，得到经过预处理的多组视差图像。从而有效地降低数字图像中可能存在的噪声对图像配准及拼接效果造成的影响以及消除暗角造成的影响，让最终的拼接图像更加的真实、拼接效果更好。
103.进一步地，请参阅图4，所述对经过预处理的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，并对所述多个匹配的特征点进行筛选得到多个候选单应性矩阵的步骤具体包括：
104.s21、采用sift算法对所述经过预处理的多组视差图像中特征点进行检测和匹配，得到多个匹配的特征点；
105.s22、使用ransac算法从所述多个匹配的特征点进行筛选，得到多个候选单应性矩阵。
106.更进一步地，请参阅图5，所述采用sift算法对所述经过预处理的多组视差图像中特征点进行检测和匹配，得到多个匹配的特征点的步骤具体包括：
107.s211、检测尺度空间的极值点，所述尺度空间由所述特征点的多尺度特征模拟得到；
108.s212、定位关键点的位置和尺度；
109.s213、确定所述关键点的方向；
110.s214、根据所述关键点生成特征点描述子；
111.s215、根据不同图像间特征点描述子之间的相似性查找正确匹配的两个特征点，得到多个匹配的特征点。
112.具体地，所述多组视差图像经过预处理后，进入图像配准的操作，首先，采用sift算法对所述经过预处理的多组视差图像中特征点进行检测和匹配，得到多个匹配的特征点。
113.而在对预处理的多组视差图像中的特征点进行sift特征点检测时，具体包括以下步骤：
114.第一：检测尺度空间的极值点。尺度空间目的是为了模拟所述经过预处理后的多组视差图像中的多尺度特征，sift算法通过采用的高斯差分金字塔(difference of gaussian，dog)算子来检测一些对尺度缩放和旋转变换都能保持稳定的可能特征点。大尺度侧重于图像的概貌特征，而小尺度更注重图像细节特征。为了在尺度空间检测到稳定的关键点，提出了差分高斯尺度空间。同时为确保在尺度空间和二维图像空间中都可以提取到极值点，被检测到的每个点与其周围的26个点进行了对比，如图6所示。
115.第二：定位关键点的位置和尺度。通过拟合三维二次函数以精确定位关键点位置和尺度，其精度甚至于精确到亚像素级，同时筛除低对比度的关键点和不稳定边缘响应点，用以增强特征匹配的稳定性、提高抵抗噪声的能力。
116.第三：确定所述关键点的方向。sift特征点方向是由其邻域像素间梯度方向分布决定的，并以该特征点作为中心对其邻域窗口进行采样。通过直方图统计其邻域内像素的梯度方向，并以直方图中最高柱状对应方向作为该特征点主方向，如果存在另外一个柱状高度为最高柱状的80％时，便以此方向作为辅方向，如此能够增加该特征点稳定性。特征点主方向计算如图7所示。
117.第四：根据所述关键点生成特征点描述子。sift特征点描述子具有很好的稳定性、独特性等特征，其通过一组向量来描述该特征点。当该特征点所在空间内16*16大小窗口，对应8个方向梯度信息，即对应着的128维的向量便是特征点描述子，如图8所示。
118.接下来，对多组视差图像中的特征点进行sift特征点匹配，特征点匹配在很大程度上得益于特征点描述子的独特性和唯一性，是由特征点描述子相似性度量和特征点匹配搜索两部分技术组成。待配准图像在经sift算法特征检测提取后，获得大量稀疏特征点，在通过不同图像间特征点描述子相似性找到正确匹配的两个特征点，从而得到多个匹配的特
征点。
119.但是，由于多组时差图像内容的重复性和复杂性，导致在查找特征点匹配时可能存在一定概率上的误匹配，甚至于较多的误匹配点对，足以影响之后对图像变换参数的直接计算。这就需要考虑如何排除误匹配点对，只用精确匹配特征点对来计算图像变换参数。
120.所以需要使用ransac算法从所述多个匹配的特征点进行筛选，得到多个候选单应性矩阵。即从诸多误匹配点中筛选出正确匹配的特征点对用于计算图像变换参数，并估算出数学模型函数。也即采用ransac算法从多个匹配的特征点中，估算出符合该待配准图像的平面场景变换模型，便可以得到多个候选单应性矩阵。
121.而ransac算法作为最有效的、使用广泛的误匹配去除算法，其根据一组包含异常数据的原始数据序列，估算出这组数据中正确数据所应该满足的数学模型函数，并且剔除异常点以及将正确匹配点作为内点集合进行保存。传统的做法是采用ransac算法从多个匹配的特征点中筛选出最佳单应性矩阵，其中，通过随机选取4对匹配点计算平面场景图像变换模型，随后经余下匹配点重新计算更新该模型，多次迭代计算出一个符合最多匹配点对的坐标变换模型，即最佳单应矩阵。同样，目标图像中所有满足该单应矩阵的匹配点经二维投影变换后，映射到空间中某平面，该平面称为最佳投影平面。但是，ransac算法通过最大化匹配点数量筛选出的变换模型存在严重不足，因为其并未考虑到这些特征点在图像中如何分布以及该变换模型能够保证图像二维映射变换后对齐程度是否达到最佳。如果特征点集合过于集中分布，将导致图像配准后即便存在大量特征点能够粗对齐，却也只能保证特征点集中区域对齐，其余大多区域出现严重重影的现象。
122.其中，单应矩阵的计算包括以下步骤：
123.在图像配准中，两相邻图像il和ir，其对应的重叠区域分别为ilo和iro；为度量ilo和iro在图像内容上的相似性，即s(ilo，iro)，通过ilo和iro之间一系列特征点匹配关系，估算ilo和iro的空间变换关系，从而最大化s(h(ilo)，iro)；整个获取最佳h的过程既是图像配准，也是基于区域相似性度量的图像配准算法。
124.而自从基于点特征的图像配准算法出现后，主要根据点特征描述子的唯一性自适应查找匹配，ransac算法根据这些匹配点对估算出图像变换的数学模型，即投影变换关系，对应的便是单应矩阵。
125.单应矩阵是一个大小矩阵，如公式所示：
[0126][0127]
式中，h1～h8是指单应矩阵h中的8个变量，即8个自由度。
[0128]
单应矩阵h中的8个自由度，也就意味着至少需要4对特征点对才能将8个变量一一计算出来。而在实际图像配准中，特征点匹配对数量远远多于4对，如此不断的拟合优化，直接促使计算得到单应矩阵精度甚至可达到亚像素级别。通过(x
l
，y
l
)和(x
r
，y
r
)计算最佳单应矩阵，如公式所示：
[0129][0130]
式中，(x
l
，y
l
)是指待配准图像中匹配点坐标；(x
r
，y
r
)是指待配准图像中匹配点坐标。
[0131]
传统图像配准采用sift算法提取特征点，再结合ransac算法动态规划估算投影变换模型后，能够在该系统中单独展现出传统图像配准、融合拼接后的效果图，如图9所示。
[0132]
进一步地，本发明对最佳单应矩阵的选取进行了以下的优化：
[0133]
s31、根据内点集合的分布情况，选取所述多个候选单应性矩阵中对应内点相对发散的单应矩阵，作为视差图像配准中经优化的最佳单应矩阵。
[0134]
具体地，在采用ransac算法从多个匹配的特征点中，估算出符合该待配准图像的平面场景变换模型时，结合内点集合的分布情况，选择一个满足较多的匹配点对且内点较为发散分布的图像变换模型，作为最佳单应性矩阵，从而有效地保证配准后视差图像存在更多区域的粗对齐，如图10所示，其中，z轴表示的景深方向，1号线代表了实际场景深度信息，而3号线表示的传统的ransac算法进行筛选出的投影平面，按此投影平面匹配，只能保证b区域粗对齐，远离b区域的a和c区域存在严重重影现象，其相对对齐程度较差。同样，2号线代表了本发明中对所述ransac算法进行改进后对应的投影平面，如此牺牲了b区域从而确保了a和c区域能够很好的对齐。
[0135]
在ransac算法每次迭代估算得到的单应矩阵时，采用内点集合中特征点数量筛选出合适的候选单应矩阵，具体的代码参阅图11，其中η取值可根据需求设置。
[0136]
在针对视差成像下图像投影变换配准中，即便对应内点都满足该投影模型，却也不一定完全处于投影平面上，而是只能保证在一定误差允许范围内。所以此时需要对稀疏特征点的配准误差进行准稠密化，并对整个所述经过预处理的多组视差图像中的重叠区域进行误差补偿。具体步骤包括如下：
[0137]
s41、采用插值算法(例如tps函数)对内点集合中稀疏特征点的配准误差进行准稠密化，并对整个所述经过预处理的多组视差图像中的重叠区域进行误差补偿。这样的内点集合经tps函数对稀疏特征点的配准误差进行准稠密化后，图像重叠区域通过配准误差补偿优化对齐，实现所有误差较小像素点的精确对齐，从而增加了图像的对齐区域，为后期缝合线查找奠定基础。
[0138]
本发明的优化配准算法考虑到内点集合的分布这一特性，经筛选得到适合该场景下最佳单应矩阵。接着，采用tps函数准稠密化配准误差后，误差补偿，使图像微变形优化对齐，增加了图像的局部对齐区域，如图12所示。
[0139]
误差补偿结束后，进入图像融合阶段。
[0140]
在图像融合时，当重叠区域有运动物体存在时，拼接图像容易产生重影等现象，此时，最佳缝合线算法是解决该问题的一种有效方法。若在图像重叠区域的差值图像上，存在一条颜色、结构强度均最小的缝合线，则称为理想缝合线。
[0141]
基于动态规划的缝合线搜索算法：
[0142]
缝合线查找策略必须满足两个条件：其一，配准后两幅图像在缝合线上颜色差异
值或亮度差异值最小；其二，在图像的几何结构上，来自两幅图像缝合线邻近区域几何结构相差最小。
[0143]
动态规划策略作为一种在多阶段决策问题处理中使用的优化方法，已被用于计算最佳缝合线查找过程中。
[0144]
最佳缝合线查找算法主要步骤如下：
[0145]
(1)、从图像重叠区域第一行像素点开始，每个像素点作为一条初始缝合线，如图13所示，初始缝合线为p1～p7，图中圆点代表了像素点，实线为缝合线查找路径，而虚线对应于p4将考虑插入该缝合线的预像素点路径。
[0146]
(2)、通过对比当前像素点的下一个像素点及其左右相邻两像素点颜色差异值和几何结构差异值之和，并将求和数值最小的点添加到当前缝合线作为最末像素点，从而完成对当前缝合线的扩展延伸。
[0147]
(3)、缝合线集合每增加一层像素点，都需要对其更新，然后重复步骤(2)中的操作直到重叠区域最后一行。
[0148]
(4)、在所有缝合线集合中选取缝合线成本函数值最小的，其对应缝合线路径即为最佳缝合线。
[0149]
显而易见，基于动态规划的方法，最终虽能找到最优缝合线，但每次查找缝合线都必须遍历完整个重叠区域，如此效率低下。同样，由于动态规划方法是基于贪婪搜索的最优化方法，可能会在局部出现最优解处却因没有跳出的临界条件，从而无法提前得到全局最优解。而且从整体上看，基于动态规划策略的缝合线查找算法在稳定性和精确性上也存在不足。
[0150]
视差图像经过全局配准和误差补偿优化对齐后，多数对齐区域像素点颜色强度或亮度几乎一致。当然，由于图像视差的原因，存在不同场景深度导致在平面上成像顺序不同或直接出现遮挡的现象，导致在对应区域像素点颜色差异值较大，如此像素点大量聚集直接表现为重影现象，这便是缝合线该避开的区域，如图14所示。
[0151]
而本发明的使用动态规划思想，寻找一条最佳缝合线，具体步骤为：
[0152]
(1)、在多组视差图像中的重叠区域，从第1行起，计算以该行每个像素点为起始点的缝合线，将其标准值作为强度值，列值作为缝合线的当前点；
[0153]
(2)、确定缝合线的扩展方向：将每一条缝合线当前点紧邻的下一行中3个点的准则值与当前点左右两个相邻点的准则值进行比较，准则值最小的点即为扩展点，若准则值点已经在缝合线上，则选择次最小值点；
[0154]
(3)、若缝合线当前点为重叠图像的最后一行的点，则进行步骤(4)，否则返回步骤(2)，继续进行下一次扩展；
[0155]
(4)、在所有缝合线中，准则值最小的即为最佳缝合线。
[0156]
其中，最佳缝合线求解准则如下：
[0157]
e(x，y)＝e
color2
(x，y) e
geometry
(x，y)
ꢀꢀꢀꢀꢀꢀꢀ
(1)；
[0158]
式中：e
color
(x，y)表示图像颜色差异强度值；e
geometry
(x，y)表示图像结构差异强度值。其中，e
geometry
(x，y)的求解公式为：
[0159]
e
geometry
(x，y)＝[sx*(i1(x，y)－i2(x，y))]2 [sy*(i1(x，y)－i2(x，y))]2；
[0160]
式中：sx和sy分别表示3
×
3的sobel算子(sobel算子是离散微分算子，用来计算图
像灰度的近似梯度，梯度越大越有可能是边缘。)在x和y方向的模板。
[0161]
进一步地，请参阅图15，本发明对缝合线查找方法进行以下优化：所述经优化的缝合线查找方法对所述多组视差图像进行无缝拼接的步骤具体包括：
[0162]
s51、将内点到缝合线间的距离作为权重约束的特征，对缝合线查找的方法进行优化；
[0163]
s52、采用优化后的缝合线查找的方法对所述多组视差图像进行无缝拼接。
[0164]
具体地，由于视差图像投影变换完成粗配准后，通过对配准误差值进行筛除掉部分误差较大特征点，导致内点集合有所减少。在经过误差补偿后，内点集合能够精确对齐，自然特征点对齐也就意味着其周围区域也能较好的对齐。所以，通过最小化精确对齐特征点到缝合线的几何距离，使得缝合线尽可能接近对齐特征点，即接近对齐区域，从而实现对视差图像的无缝拼接。
[0165]
虽然，理想缝合线上所有像素点及其邻域完全对齐，也就意味着该缝合线能够较好地穿过了连续对齐区域。但是，传统缝合线查找算法在刚性变换配准的基础上，无法保证存在连续的对齐区域，使得该算法可以通过最小化缝合线上像素点颜色或亮度差异值和几何结构差异值查找到最优缝合线。
[0166]
而本发明通过优化配准算法增加了对齐区域后，再考虑到精确对齐的内点与缝合线之间的关系，通过计算各内点到缝合线的几何距离，再结合刚性配准中该内点对应的配准误差值作为对缝合线上像素点的影响权重，设计出内点的权重计算函数为：
[0167]
s
i
＝max(exp(
‑
||x
‑
x
i
||2/σ2)，δ)；
[0168]
式中，x
i
为内点集合s
inlier
中第i个特征点坐标；σ为尺度参数；δ为常量，取值很小，为0到1之间。
[0169]
以下通过计算内点对缝合线的权重约束函数为：
[0170][0171]
式中，为内点集合s
inlier
中特征点在粗配准中的误差值；n为内点集合s
inlier
中特征点数量。
[0172]
于是，结合缝合线查找算法中颜色差异和几何结构差异两大特征，以及精确对齐特征点到缝合线几何距离作为权重约束，优化大视差图像的拼接。因此优化后的缝合线查找的方法具有以下三大特征：
[0173]
(1)、颜色差异：视差图像配准后，缝合线附近的像素点在两幅配准后图像上的颜色差异强度值之和最小；
[0174]
(2)、几何结构差异：缝合线邻域像素点在配准后图像结构差异强度值最相似，即配准后两幅图像的几何结构差异值最小；
[0175]
(3)、权重约束：内点集合中精确对齐特征点到缝合线点间几何距离作为内点对缝合线的权重约束，最小化内点集合到缝合线几何距离之和。
[0176]
其中，用于计算优化后的缝合线的成本函数为：
[0177]
e(x，y)＝αe
c
(x，y) βe
g
(x，y) γe
w
(x，y)；
[0178]
式中，α为颜色差异项影响因子；β为几何结构差异项影响因子；γ为权重约束项影响因子。
[0179]
本发明可以单独呈现优化缝合线查找完成视差图像的拼接效果，同时也提供了最佳缝合线拼接算法的实现，用于呈现对视差图像拼接效果。而且，针对同组输入视差源图，提供同时展现两种缝合线查找算法的拼接效果，并且可选择将最优缝合线路径描绘出来，方便直观对比分析两种缝合线查找算法的拼接效果。
[0180]
在结束了图像拼接后，一般都需要采用渐入渐出融合算法对拼接图像中的重叠区域内像素点的灰度值进行处理。
[0181]
渐入渐出融合算法是针对重叠区域内像素点的灰度值进行处理的，计算公式如下：
[0182][0183]
式中：f(x，y)表示融合后图像像素点的灰度值；f1(x，y)表示待拼接左图像像素点的灰度值；f2(x，y)表示待拼接右图像像素点的灰度值；w1、w2是对应权值，并且有w1 w2＝1，0＜w1＜1，0＜w2＜1。
[0184]
根据渐入渐出融合算法，w1、w2的计算公式为：
[0185][0186][0187]
式中：x
i
为当前像素点的横坐标；x
l
为重叠区域左边界；x
r
为重叠区域右边界。
[0188]
进一步地，本发明对所述渐入渐出融合算法进行改进，具体改进如下：所述经优化的缝合线查找方法对所述多组视差图像进行无缝拼接的步骤之后包括：
[0189]
s60、将所述经过无缝拼接后的多组视差图像中的重叠区域等分为至少两部分，分别计算至少两部分的重叠区域中图像像素点的灰度值，以对渐入渐出融合算法进行改进；
[0190]
s70、采用改进的渐入渐出融合算法对无缝拼接后的图片进行处理。
[0191]
具体地，待两幅图像沿最佳缝合线完成拼接后，利用改进的渐入渐出融合算法规则确定融合后图像重叠区域的像素点的灰度值。
[0192]
针对所述经过无缝拼接后的图像的重叠区域，为了达到较好的融合效果，将重叠区域等分为n部分，考虑到算法时间和实际效果，优选n＝3，即将重叠区域从左到右依次平均划分为p1、p2、p3三部分。对于p1与p3两个部分，需要分别通过比较f1(x，y)、f2(x，y)与f
mean
之差的绝对值与设定阈值h的大小来确定融合后图像像素点的灰度值f(x，y)，而对于p2部分，f
mean
即为融合后图像像素点的灰度值。
[0193]
具体实现过程如下：
[0194]
根据经验值，阈值h设定如下式所示：
[0195][0196]
f
mean
如下式所示：f
mean
＝w1f1(x，y) w2f2(x，y)；
[0197]
在p1部分，融合图像像素点的灰度值f(x，y)为：
[0198][0199]
在p2部分，融合图像像素点的灰度值f(x，y)为：f(x，y)＝f
mean
；
[0200]
在p3部分，融合图像像素点的灰度值f(x，y)为：
[0201][0202]
最后，本发明中提出结合最佳缝合线与改进的渐入渐出融合算法的拼接算法：
[0203]
为了解决运动物体的干扰或曝光差异明显而产生的拼接缝、重影等问题，提出一种将最佳缝合线与改进的渐入渐出融合算法相结合的拼接算法。这样既有效避开了运动物体，也使图像两侧灰度过渡均匀，避免了重影、拼接缝的产生，在一定程度上提高了融合图像的质量。
[0204]
其算法实现步骤为：
[0205]
(1)、先对待拼接图像进行校正处理，避免图像失真的干扰；
[0206]
(2)、在待拼接图像的重叠区域内，根据动态规划思想寻找一条最佳缝合线；
[0207]
(3)、将待拼接两幅图像沿最佳缝合线进行拼接；
[0208]
(4)、最后采用所述改进的渐入渐出融合方法进行融合。
[0209]
进一步地，请参阅图16，本发明还提供一种多目机器视觉图像拼接装置，所述装置包括：
[0210]
预处理模块100，用于采集多组视差图像，并对所述多组视差图像进行预处理；特征点检测和匹配模块200，用于对经过预处理的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，并对所述多个匹配的特征点进行筛选得到多个候选单应性矩阵；选取模块300，用于选取所述多个候选单应性矩阵中对应内点相对发散的单应矩阵，作为视差图像配准中经优化的最佳单应矩阵，所述内点由所述多个匹配的特征点构成；误差补偿模块400，用于对稀疏特征点的配准误差进行准稠密化后，对整个所述经过预处理的多组视差图像中的重叠区域进行误差补偿；灰度值计算模块500，用于将所述经过无缝拼接后的多组视差图像中的重叠区域等分为至少两部分，分别计算至少两部分的重叠区域中图像像素点的灰度值，以对渐入渐出融合算法进行改进；图像融合模块600，用于采用改进的渐入渐出融合算法对无缝拼接后的图片进行处理。
[0211]
此外，为实现上述目的，本发明还提供一种移动终端，所述移动终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的多目机器视觉图像拼接程序，所述处理器执行所述多目机器视觉图像拼接程序时，实现如上所述的多目机器视觉图像拼接方法的步骤。
[0212]
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多目机器视觉图像拼接程序，所述多目机器视觉图像拼接程序被处理器执行时，实现如上所述的多目机器视觉图像拼接方法的步骤。
[0213]
相较于现有技术，本发明提供的一种多目机器视觉图像拼接方法、移动终端及存储介质，所述方法包括：采集多组视差图像，并对多组视差图像进行预处理；对经过预处理
的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，并多个匹配的特征点进行筛选得到多个候选单应性矩阵；选取多个候选单应性矩阵中对应内点相对发散的单应矩阵，作为视差图像配准中经优化的最佳单应矩阵；对稀疏特征点的配准误差进行准稠密化后，对整个经过预处理的多组视差图像中的重叠区域进行误差补偿；经优化的缝合线查找方法对多组视差图像进行无缝拼接。通过优化对最佳单应矩阵的选取，并采用优化的缝合线查找方法对多组视差图像进行无缝拼接，从而改善了图像拼接效果差的问题。
[0214]
综上所述，本发明提供的一种多目机器视觉图像拼接方法、装置及存储介质，所述方法包括：采集多组视差图像，并对多组视差图像进行预处理；对经过预处理的多组视差图像进行特征点检测和匹配，得到多个匹配的特征点，并多个匹配的特征点进行筛选得到多个候选单应性矩阵；选取多个候选单应性矩阵中对应内点相对发散的单应矩阵，作为视差图像配准中经优化的最佳单应矩阵；对稀疏特征点的配准误差进行准稠密化后，对整个经过预处理的多组视差图像中的重叠区域进行误差补偿；经优化的缝合线查找方法对多组视差图像进行无缝拼接。通过优化对最佳单应矩阵的选取，并采用优化的缝合线查找方法对多组视差图像进行无缝拼接，从而改善了图像拼接效果差的问题。
[0215]
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。