基于三维场景重建的立体图像拼接方法

1.本发明属于计算机视觉领域，尤其涉及基于三维场景重建的立体图像拼接方法，可应用于近景大视差立体图像的拼接处理。
2.

背景技术：

3.随着便携式立体相机的普及，为了获得更广视角的立体图像，立体图像拼接技术成为近年来的研究热点。传统的图像拼接方法主要关注平面图像拼接，平面图像拼接方法可分为基于全局变换的平面图像拼接方法和基于局部形变的平面图像拼接方法。基于全局变换的平面图像拼接方法通过全局单应性矩阵将源图像变换到目标图像中完成配准。基于局部形变的平面图像拼接方法将图像划分为网格，设计约束项通过网格优化变换网格顶点的位置，使网格内的图像通过局部形变完成图像对齐。但是该类平面图像拼接方法并不能直接用于立体图像拼接。
4.近年来，立体图像拼接取得了不错的研究成果。相关方法可以分为基于圆周视点的立体图像拼接方法和基于随意视点的立体图像拼接方法。其中，基于圆周视点的立体图像拼接方法要求采用基于圆周投影的立体图像采集设备对场景进行密集采样，采样成本较高且无法拼接随意拍摄的立体图像。基于随意视点的立体图像拼接方法主要对立体图像的左右视图进行形变，并考虑立体图像的视差一致性。zhang等学者于2015年提出一种对随意视角下拍摄的立体图像进行拼接的算法。该方法首先采用视差容忍的平面图像拼接方法拼接左视图，其次采用泊松融合方法将两幅立体图像的视差图拼接成立体全景图的视差图，最后利用拼接好的左视图和视差图引导右视图的拼接。fan等学者于2020年提出一种多视差约束项的网格形变方法进行立体图像的拼接，首先采用视差最小化的单应性矩阵分别预对齐左右视图，其次，设计多约束项的网格形变进一步优化对齐后的左右视图以保持视差一致性，最后采用接缝雕刻算法进行图像融合得到拼接后的左右视图。但是这类方法在拼接近景大视差的立体图像时，得到的拼接结果会出现图像不对齐或者视差不一致的现象。
5.综上所述，目前的立体图像拼接方法在使用上存在局限性，有必要加以改进。
6.

技术实现要素：

7.本发明提出一种基于三维场景的立体图像拼接方法。该方法将立体图像拼接转化为立体场景拼接，可以较好的解决近景大视差立体图像的拼接问题。
8.本发明所解决的技术问题可采用如下的技术解决方案来实现：本发明提供了一种基于三维场景的立体图像拼接方法，包括以下步骤：a、输入两幅立体图像的左视图和右视图；b、利用立体图像建模成对应的三维点云场景；具体的，建模步骤利用立体图像的深度图，将立体图像左视图的像素点经过坐标
转换得到三维场景的点云。
9.c、基于三维匹配点对，将两幅立体图像的三维场景拼接成感兴趣区域的三维全景；具体的，基于两个三维场景的匹配点对估算对齐矩阵进行粗配准，并采用精配准优化对齐矩阵，实现两个三维场景的拼接。
10.d、将拼接后的三维点云场景通过最佳视点区域分割，划分成视点区域和视点过渡区域的组合；具体的，通过最小化能量函数检测最佳视点过渡区域，将三维场景划分为两个视点区域以及视点过渡区域的组合。
11.e、执行逆映射算法，将三维点云场景重投影，得到立体图像的左右视图；具体的，将不同的视点区域和视点过渡区域，在其对应的视点下进行重投影，并将原图对齐到重投影图像中，最后融合重投影图像消除拼接痕迹。
12.f、输出拼接后的立体图像的左视图和右视图。
13.本发明旨在提出一种基于三维场景的立体图像拼接方法，重建立体图像的三维场景，将立体图像的拼接转化为三维场景的拼接，通过检测最佳视点过渡区域，将三维场景划分为视点区域和视点过渡区域的组合，将不同区域的三维场景在其对应的视点下进行重投影，并将原图对齐到重投影图像中，经过拼接后处理，得到拼接后的立体全景图。其特点和优点为：针对现有的立体图像拼接方法不适用于近景大视差数据的拼接，提出一种基于三维场景的立体图像拼接方法。
14.现有的立体图像拼接方法对立体图像的左右视图进行拼接，同时考虑立体图像的视差约束，试图获得对其良好且具有对应关系的左右视图。而本发明提供的立体图像拼接方法通过拼接立体图像的三维场景实现立体图像的拼接。
15.对于拼接后的三维场景直接从单个视点进行重投影，并不能获得信息完整的立体图像。采用最佳视点区域分割方法可以解决这个问题，得到最佳的重投影视点。
16.重投影生成的图像存在信息缺失的现象，通过原图对齐步骤，将原图信息加入到重投影图像中可以使图像信息更完整。
17.同时，该方法在处理近景大视差的数据时，可以生成左右视图视差一致且对齐良好的拼接结果，能较好地解决近景大视差立体图像的拼接问题。
18.附图说明
19.图1是本发明基于三维场景的立体图像拼接方法的流程图；图2是本发明对拼接后的三维场景进行重投影的示意图。
20.具体实施方式
21.为了使本发明的目的、技术方案和优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本发明，并不用
于限定本发明。
22.本发明的基本思想是：将立体图像建模生成对应的三维场景，利用三维场景拼接算法得到拼接后的三维场景，利用最佳视点区域分割算法得到不同区域的最佳的重投影视点，利用本发明提出的逆映射算法，将视点区域和视点过渡区域在其对应的视点下进行重投影，通过原图对齐步骤完善重投影图像的信息空洞，最终得到拼接后的立体图像。
23.参见图1，本发明提出一种基于三维场景的立体图像拼接方法，具体步骤如下：a、输入待拼接的两幅立体图像的左视图和右视图；设源立体图像的左右视图分别为和 ，目标立体图像的左右视图分别为和。
24.b、利用立体图像建模成对应的三维点云场景；具体的，根据立体图像，采用现有的立体匹配算法得到立体图像的深度图，建模步骤利用深度图，将左视图的像素点经过坐标转换得到三维场景的点云，其中左视图的像素点与其在世界坐标系下的对应点的转换关系表示为，其中，和分别代表摄像机在x轴和在y轴上的焦距，是图像像素坐标系的主点， z是深度图中点的深度值。
25.c、基于三维匹配点对，将两幅立体图像的三维场景拼接成感兴趣区域的三维全景；具体的，选取立体图像左视图中的二维匹配点对，并通过深度图映射到三维空间中，得到三维匹配点对，基于三维匹配点对，采用ransac算法估算对齐矩阵进行粗配准，采用icp算法优化对齐矩阵进行精配准，得到拼接后的三维点云场景。
26.d、将拼接后的三维点云场景通过最佳视点区域分割，划分成视点区域和视点过渡区域的组合；具体的，拼接后的三维点云场景直接从单个视点重投影得到的立体图像是不完整的。当重投影的视点与原视点越接近时，重投影生成的立体图像越不容易出现成像漏洞，因此采用最佳视点区域分割算法将三维场景划分为两个视点区域和视点过渡区域的组合。首先，将原视点进行微调，使两个视点保持在同一水平面，微调后的原视点作为视点区域的重投影视点。其次，通过最小化能量函数得到最佳视点过渡区域，该能量函数由深度约束项、显著性约束项、区域占比约束项和稠密约束项组成，其中，、、、分别为各个约束项的比例系数，和分别代表视点过渡区域的两个边界。
27.1） 深度约束项：在视点过渡区域，我们要求区域内的深度变化不能太大，因此通过设计深度约束项使视点过渡区域尽量保持同一深度。深度约束项由下式计算得到，其中， 为三维场景的高度，为点处的深度值，为视点过渡区域的深度平
均值。
28.2）显著性约束项：显著性约束项由下式计算得到，其中，是点对应的三维点的坐标， 表示对三维点计算显著性值。
29.3）区域占比约束项：视点过渡区域的图像最容易出现不自然的形状，因此该区域占整张图像的比例应尽可能小，因此设计区域占比约束项，其中，表示立体图像的宽度。
30.4）稠密约束项：重建的三维场景中存在三维点比较稀疏的区域，在重投影之后更容易出现空洞，因此选取的视点过渡区域应是稠密的，以保证生成图像的完整性。稠密约束项由下式计算得到，其中， 表示和围成的区域内实际的三维点个数，表示和围成的区域深度信息完整时的三维点个数。
31.e、执行逆映射算法，将三维点云场景重投影，得到立体图像的左右视图；具体的，如图2所示，基于步骤d得到的拼接后的三维场景被划分为视点区域
①②
和视点过渡区域
③
的组合。对于视点区域
①②
，在其相应的视点下基于透视投影原理将三维场景重投影生成左右视图。对于视点过渡区域
③
，首先将其划分为n等份，其次在源视点和目标视点之间选取n个均匀分布的过渡视点，在第i个过渡视点下对区域
③
的第i等份进行重投影，最终生成视点过渡区域的重投影图像。
32.由于拼接后的三维场景的稀疏性，由三维场景重投影得到的图像信息并不完整，因此将原图对齐到重投影图像中，获得信息更完整且具有对应关系的左右视图。其中，原图对齐步骤采用网格优化模型，将原图和重投影图像划分为网格，设原图的网格顶点坐标为，重投影图像的网格顶点坐标为，网格形变模型表示为，其中，表示原图和重投影图像之间的变换矩阵。为找到满足条件的变换矩阵，我们设计能量函数，通过最小化能量函数得到最佳变换矩阵。该能量函数由对齐能量项、视差能量项和形状保持能量项组成，1） 对齐能量项：通过设计对齐能量项使得原图和重投影图像的匹配点对保持位置一致，
其中，匹配点对的数量为n，每对匹配点对为。
33.2）视差能量项：对于原图和重投影图像的匹配点对，其在形变过程中产生的垂直视差需要避免，设计视差能量项进行约束，其中，和分别表示匹配点对的纵坐标。
34.3） 形状保持能量项：为了保持形变后的图像形状的平滑，避免图像失真现象，设计形状保持能量函数，其中，表示网格顶点的索引，和 为原图像网格对应位置计算得到的参数。
35.经过原图对齐步骤的重投影图像在视点过渡区域的拼接痕迹需要进行优化，采用图像拼接中常用的seam-cutting算法寻找最佳接缝线，通过多频带融合算法进行图像融合，最后对图像进行矩形剪裁，得到拼接后的左右视图。
36.f、输出拼接后的立体图像的左视图和右视图。