一种大视场环境下图像三维重建方法、装置、设备及介质与流程

1.本发明涉及三维重建领域，特别涉及大视场环境下图像三维重建方法、装置、设备及介质。


背景技术：

2.三维重建是机器视觉中的一个非常重要的技术，利用三维重建技术构建出真实景物的三维模型已经成为很多领域开始深层研究之前必不可少的一部分，在机器人、逆向工程、机械制造、施工等领域已有广泛应用。目前基于图像的三维重建方法主要是通过相机从不同角度拍摄同一参照物，计算图像对之间的视差图，然后推算出真实场景的三维模型。
3.为计算图像对之间的视差，首先需要确定相机的位姿关系。在现有技术中，用靶标标定相机位姿时，在大视场环境下靶标大小受限，不能灵活变换相机位姿；用图像特征点匹配方法时对物体图片纹理、光照敏感，导致相机位姿计算不准确，又因为图像尺度比例因子不确定性难以得到物体实际尺寸和坐标系。
4.综上可见，如何实现一种适用于大视场环境下灵活、可靠、精确、高效率的图像三维重建是本领域有待解决的问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种大视场环境下图像三维重建方法、装置、设备及介质，能够实现一种适用于大视场环境下灵活、可靠、精确、高效率的图像三维重建。其具体方案如下：
6.第一方面，本技术公开了一种大视场环境下图像三维重建方法，包括：
7.在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；
8.通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；
9.利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；
10.基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
11.可选的，所述在两个不同位置下利用相机依次对同一参照物进行拍摄之前，还包括：
12.将棱镜固定于相机上，并基于张正友标定方法对携带有棱镜的相机进行相机标定以得到包含相机焦距、畸变参数和主点位置的内部参数；
13.通过所述内部参数计算出所述相机和所述世界坐标系之间的坐标系转换关系，并基于测量所述棱镜的坐标参数以确定所述棱镜和所述相机之间的第三坐标系转换关系。
14.可选的，所述在两个不同位置下利用相机依次对同一参照物进行拍摄，包括：
15.在第一位置下利用相机对目标参照物进行拍摄，并在所述第一位置下计算所述棱镜和所述世界坐标系之间的第一坐标系转换关系；
16.在第一位置下利用相机对目标参照物进行拍摄，并在所述第一位置下计算所述棱镜和所述世界坐标系之间的第一坐标系转换关系；
17.在第二位置下利用所述相机对所述目标参照物进行拍摄，并在所述第二位置下计算所述棱镜和所述世界坐标系之间的第二坐标系转换关系；
18.利用所述第一坐标转换关系、所述第二坐标转换关系以及所述第三坐标系转换关系得到相机位置转换关系。
19.可选的，所述通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像，包括：
20.通过所述相机位置转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射；
21.基于所述初步校正映射对所述两张原始图像和所述内部参数进行校正，以得到共面行对准的两张初步校正图像以及初步校正后的内部参数。
22.可选的，所述利用所述目标视差图建立在世界坐标系下的三维点云，包括：
23.利用所述目标视差图、所述初步校正后的内部参数以及相机姿态信息计算出基于所述相机在所述第一位置下的相机坐标系中的三维点坐标；
24.将所述三维点坐标转换为三维点云，并基于所述相机位置转换关系得到所述世界坐标系下的三维点云。
25.可选的，所述利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像，包括：
26.根据匹配畸变参数对所述两张初步校正图像去畸变得到两张匹配畸变校正图像；
27.通过基础矩阵计算出投影变换关系，并根据所述投影变换关系对所述两张匹配畸变校正图像进行投影变换，以得到两张匹配校正图像。
28.可选的，所述通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系之前，还包括：
29.基于第一约束方程和第二约束方程，并根据随机抽样一致性算法确定所述基础矩阵和匹配畸变参数；所述第一约束方程为基于所述两张初步校正图像中经过畸变校正的匹配特征点之间满足的几何关系构建的约束方程，所述第二约束方程为基于用于对所述初步校正图像上的特征点进行畸变校正的公式模型构建的约束方程。
30.第二方面，本技术公开了一种大视场环境下图像三维重建装置，包括：
31.原始图像获取模块，用于在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像；
32.初步图像获取模块，用于通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；
33.特征点计算模块，用于通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；
34.匹配图像获取模块，用于利用所述匹配畸变参数和所述投影变换关系对所述两张
初步校正图像去畸变和投影变换，以得到两张匹配校正图像；
35.三维点云获取模块，用于基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
36.第三方面，本技术公开了一种电子设备，包括：
37.存储器，用于保存计算机程序；
38.处理器，用于执行所述计算机程序，以实现前述公开的大视场环境下图像三维重建方法的步骤。
39.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的大视场环境下图像三维重建方法的步骤。
40.可见，本技术首先在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。由此可见，本技术通过相机在不同位置下对同一参照物进行拍摄，获得两张原始图像，无需对拍摄位置进行限制，提高了相机位姿变换的灵活性，进而使得图像三维重建更具有适用性；初步立体校正和畸变校正提高了图像三维重建算法的鲁棒性和可靠性；通过计算投影变换后的两张匹配校正图像的视差图，更加精确；最后利用目标视差图建立在真实世界坐标系下的三维点云，将重建结果直接映射至真实尺寸下的世界坐标系，方便与测绘结果进行汇总，进而提高效率。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
42.图1为本技术公开的一种大视场环境下图像三维重建方法流程图；
43.图2为本技术公开的一种具体的大视场环境下图像三维重建方法流程图；
44.图3为本技术公开的一种具体的大视场环境下图像三维重建方法流程图；
45.图4为本技术公开的一种大视场环境下图像三维重建方法及系统示意；
46.图5为本技术公开的一种具体的大视场环境下图像三维重建方法流程图；
47.图6为本技术公开的一种大视场环境下图像三维重建装置结构示意图；
48.图7为本技术公开的一种电子设备结构图。
具体实施方式
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.目前，在现有三维重建技术确定相机位姿关系中，用靶标标定相机位姿的方法在大视场环境下靶标大小受限，不能灵活变换相机位姿；用图像特征点匹配方法时对物体图片纹理、光照敏感，导致相机位姿计算不准确，又因为图像尺度比例因子不确定性难以得到物体实际尺寸和坐标系。
51.为此，本技术相应的提供了一种大视场环境下图像三维重建方法，能够实现一种适用于大视场环境下灵活、可靠、精确、高效率的图像三维重建。
52.参见图1所示，本发明实施例公开了一种大视场环境下图像三维重建方法，包括：
53.步骤s11：在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像。
54.本实施例中所述在两个不同位置下利用相机依次对同一参照物进行拍摄之前，还包括：将棱镜固定于相机上，并基于张正友标定方法对携带有棱镜的相机进行相机标定以得到包含相机焦距、畸变参数和主点位置的内部参数。在使用前将用于反射的棱镜固定于相机上，根据张正友标定方法，利用所述相机拍摄不同位姿下标定板图像对所述相机进行标定，然后计算出所述相机的内部参数。
55.可以理解的是，在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像。利用全站仪依次测量出所述棱镜坐标系到世界坐标系之间的第一坐标系转换关系和第二坐标系转换关系，对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像，其中所述初步立体校正使得两张原始图像平面在同一平面，且同一点投影到所述两张原始图像平面时，两个像素坐标系在同一行，以便提高后续匹配时的速度。
56.步骤s12：通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系。
57.本实施例中，在所述两张初步校正图像中存在因所述相机的镜头边缘部分和中心部分的放大倍率不一样导致的畸变情况，其中所述畸变情况可以是切向畸变和/或径向畸变，所以本技术通过对所述两张初步校正图像之间的匹配特征点进行计算，得出匹配畸变参数以便后续进行畸变校正。
58.步骤s13：利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像。
59.本实施例中，通过所述匹配畸变参数对所述两张初步校正图像进行去畸变，得到两张匹配畸变校正图像，然后利用所述投影变换关系得到比所述两张匹配畸变校正图像更精确的两张匹配校正图像，以便后续计算所述两张匹配校正图像之间的视差图时，使得计算出的所述视差图更加精确。
60.步骤s14：基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
61.可以理解的是，本实施例中的所述目标视差图包含了所述参照物的深度数据，利用所述深度数据获取所述参照物的三维点坐标，并将所述三维点坐标转换为三维点云，再
利用第一坐标系转换关系和第二坐标系转换关系得到世界坐标系下的三维点云，完成精确的三维重建。
62.本技术首先在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。由此可见，本技术通过相机在不同位置下对同一参照物进行拍摄，获得两张原始图像，无需对拍摄位置进行限制，提高了相机位姿变换的灵活性，进而使得图像三维重建更具有适用性；初步立体校正和畸变校正提高了图像三维重建算法的鲁棒性和可靠性；通过计算投影变换后的两张匹配校正图像的视差图，更加精确；最后利用目标视差图建立在真实世界坐标系下的三维点云，将重建结果直接映射至真实尺寸下的世界坐标系，方便与测绘结果进行汇总，进而提高效率。
63.参见图2和图3所示，本发明实施例公开了一种具体的大视场环境下图像三维重建方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
64.步骤s21：在第一位置下利用相机对目标参照物进行拍摄，并在所述第一位置下计算所述棱镜和所述世界坐标系之间的第一坐标转换关系；在第二位置下利用所述相机对所述目标参照物进行拍摄，并在所述第二位置下计算所述棱镜和所述世界坐标系之间的第二坐标转换关系。
65.步骤s22：通过所述内部参数计算出所述相机和所述世界坐标系之间的坐标系转换关系，并基于测量所述棱镜的坐标参数以确定所述棱镜和所述相机之间的第三坐标系转换关系，然后利用所述第一坐标转换关系、所述第二坐标转换关系以及所述第三坐标系转换关系得到相机位置转换关系。
66.本实施例中，在第一位置下利用相机对目标参照物进行拍摄之前，利用全站仪测量标定板，确定标定板和全站仪坐标系之间的转换关系，并将所述全站仪坐标系作为世界坐标系，然后通过标定的内部参数，计算出相机坐标系和全站仪坐标系之间的坐标系转换关系，利用所述全站仪测量所述棱镜，最终得到所述相机坐标系和棱镜坐标系之间的第三坐标系转换关系。
67.步骤s23：通过所述相机位置转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射，对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像。
68.本实施例中，通过所述相机位置转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射建立初步校正映射，对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像，具体的包括：通过所述第一坐标系转换关系、所述第二坐标系转换关系、所述第三坐标系转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射；基于所述初步校正映射对所述两张原始图像和所述内部参数进行校正，以得到共面行对准的两张初步校正图像以及初步校正后的内部参数。需要注意的是，首先建立包含所述第一坐标系转换关系、所述第二坐标系转换关系以及所述第三坐标系转换关系建立
相机外参关系式，再利用所述相机外参关系式和所述内部参数建立所述初步校正映射，其中所述相机外参关系式如下所示：
69.t
rel
＝t
camtoprism
·
t
prismtoworld2
·
t
prismtoworld1-1
·
t
camtoprism-1
；
70.其中t
rel
表示相机外参关系，t
camtoprism
表示第三坐标系转换关系，t
prismtoworld2
表示第二坐标系转换关系，t
prismtoworld1
表示第一坐标转换关系。
71.步骤s24：通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系。
72.步骤s25：利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像。
73.步骤s26：基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
74.本实施例中，所述利用所述目标视差图建立在世界坐标系下的三维点云，包括：利用所述目标视差图、所述初步校正后的内部参数以及相机姿态信息计算出基于所述相机在所述第一位置下的相机坐标系中的三维点坐标；将所述三维点坐标转换为三维点云，并基于所述第一坐标系转换关系和所述第二坐标系转换关系得到所述世界坐标系下的三维点云。
75.其中，关于上述步骤s21、s24、以及s25更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
76.由此可见，本技术实施例利用棱镜和全站仪的测量方法，提高计算相机的位姿关系的便捷性，基于第一位置、第二位置利用相机对同一参照物进行拍摄，得到两张原始图像和坐标系转换关系，再利用对相机进行标定得到的内部参数建立用于初步立体校正的初步校正映射，以得到共面行对准的两张初步校正图像，使得后续进行匹配时提高速度，进而提高三维重建的效率。
77.参见图4所示，本发明实施例公开了一种大视场环境下图像三维重建方法，包括：
78.步骤s31：在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像。
79.步骤s32：通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系。
80.本实施例中，所述通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系之前，还包括：基于第一约束方程和第二约束方程，并根据随机抽样一致性算法(random sample consensus，即ransac算法)确定所述基础矩阵和匹配畸变参数；所述第一约束方程为基于所述两张初步校正图像中经过畸变校正的匹配特征点之间满足的几何关系构建的约束方程，所述第二约束方程为基于用于对所述初步校正图像上的特征点进行畸变校正的公式模型构建的约束方程。其中所述第一约束方程如下：
[0081][0082]
其中(r3,c3)和(r4,c4)表示对两张初步校正图像的特征点进行畸变校正后的像素
行列坐标，f表示基础矩阵。
[0083]
所述第二约束方程如下：
[0084][0085][0086]
其中和表示两张初步校正图像中特征点的像素行列坐标，k表示匹配畸变参数。
[0087]
步骤s33：根据匹配畸变参数对所述两张初步校正图像去畸变得到两张匹配畸变校正图像。
[0088]
步骤s34：通过基础矩阵计算出投影变换关系，并根据所述投影变换关系对所述两张匹配畸变校正图像进行投影变换，以得到两张匹配校正图像。
[0089]
本实施例中分解基础矩阵以计算出投影变换关系，再利用所述投影变换关系得到精确的两张匹配校正图像。
[0090]
其中根据如下关系式得到两张匹配校正图像：
[0091][0092]
其中h1和h2表示投影变换关系，(r5,c5)和(r6,c6)表示两张匹配畸变校正图像的点行列坐标，(r7,c7)和(r8,c8)表示两张匹配校正图像的点行列坐标。
[0093]
步骤s35：基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
[0094]
其中，关于上述步骤s31、s33以及s35更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0095]
由此可见，本技术实施例利用基于所述两张初步校正图像中经过畸变校正的匹配特征点之间满足的几何关系构建的约束方程消除在进行畸变校正的误校正，又计算通过投影变换关系得到的两张匹配校正图像之间的视差得到视差图，提高目标视差图的精确度，进而提高后续利用目标视差图进行三维重建的精度。
[0096]
下面以图5为例，对本技术中的技术方案进行说明。在使用之前，先将棱镜固定于相机上，并基于张正友标定方法对携带有棱镜的相机进行相机标定以得到包含相机焦距、畸变参数和主点位置的内部参数campara。在第一位置下利用相机对目标参照物进行拍摄得到原始图像image1，并在所述第一位置下计算所述棱镜和所述世界坐标系之间的第一坐标转换关系；在第二位置下利用所述相机对所述目标参照物进行拍摄原始图像image2，并在所述第二位置下计算所述棱镜和所述世界坐标系之间的第二坐标转换关系。通过所述第一坐标系转换关系、所述第二坐标系转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射；基于所述初步校正映射对所述两张原始图像和所述内部参数进行校正，以得到共面行对准的两张初步校正图像image3、image4以及初步校正后的内部参数。通过预设特征点提取算法提取所述两张初步校正图像中的特征点，然后基于所述两张初步校正
图像中经过畸变校正的匹配特征点之间满足的几何关系构建第一约束方程，基于用于对所述初步校正图像上的特征点进行畸变校正的公式模型构建第二约束方程，并基于所述第一约束方程和所述第二约束方程，根据随机抽样一致性算法确定所述基础矩阵f和匹配畸变参数k。通过所述匹配畸变参数k对所述两张初步校正图像之间的匹配特征点进行畸变校正，以得到两张匹配畸变校正图像image5、image6。通过基础矩阵f计算出投影变换关系h1和h2，并根据所述投影变换关系对所述两张匹配畸变校正图像进行投影变换，以得到两张匹配校正图像image7、image8。基于所述投影变换关系h1和h2对所述两张匹配校正图像的视差图imagedisparity1进行逆变换得到恢复匹配校正投影视差图imagedisparity2，再利用匹配畸变参数k恢复匹配畸变校正得到目标视差图imagedisparity3。利用所述目标视差图所述初步校正后的内部参数以及相机姿态信息trel计算出基于所述相机在所述第一位置下的相机坐标系中的三维点坐标；将所述三维点坐标转换为三维点云，并基于所述第一坐标系转换关系、所述第二坐标系转换关系以及所述第三坐标系转换关系得到所述世界坐标系下的三维点云。
[0097]
参见图6所示，本发明实施例公开了一种大视场环境下图像三维重建装置，包括：
[0098]
原始图像获取模块11，用于在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像；
[0099]
初步图像获取模块12，用于通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；
[0100]
特征点计算模块13，用于通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；
[0101]
匹配图像获取模块14，用于利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；
[0102]
三维点云获取模块15，用于基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
[0103]
本技术首先在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。由此可见，本技术通过相机在不同位置下对同一参照物进行拍摄，获得两张原始图像，无需对拍摄位置进行限制，提高了相机位姿变换的灵活性，进而使得图像三维重建更具有适用性；初步立体校正和畸变校正提高了图像三维重建算法的鲁棒性和可靠性；通过计算投影变换后的两张匹配校正图像的视差图，更加精确；最后利用目标视差图建立在真实世界坐标系下的三维点云，将重建结果直接映射至真实尺寸下的世界坐标系，方便与测绘结果进行汇总，进而提高效率。
[0104]
在一些具体实施例中，所述原始图像获取模块11，包括：
[0105]
标定单元，将棱镜固定于相机上，并基于张正友标定方法对携带有棱镜的相机进行相机标定以得到包含相机焦距、畸变参数和主点位置的内部参数；
[0106]
第三坐标转换关系获取单元，用于通过所述内部参数计算出所述相机和所述世界坐标系之间的坐标系转换关系，并基于测量所述棱镜的坐标参数以确定所述棱镜和所述相机之间的第三坐标系转换关系。
[0107]
第一坐标转换关系获取单元，用于在第一位置下利用相机对目标参照物进行拍摄，并在所述第一位置下计算所述棱镜和所述世界坐标系之间的第一坐标系转换关系。
[0108]
第二坐标转换关系获取单元，用于在第二位置下利用所述相机对所述目标参照物进行拍摄，并在所述第二位置下计算所述棱镜和所述世界坐标系之间的第二坐标系转换关系。
[0109]
位置转换关系获取单元，通过利用所述第一坐标转换关系、所述第二坐标转换关系以及所述第三坐标系转换关系得到相机位置转换关系。
[0110]
在一些具体实施例中，所述初步图像获取模块12，包括：
[0111]
初步校正映射建立单元，用于通过所述相机位置转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射。
[0112]
初步校正单元，用于基于所述初步校正映射对所述两张原始图像和所述内部参数进行校正，以得到共面行对准的两张初步校正图像以及初步校正后的内部参数。
[0113]
在一些具体实施例中，所述畸变图像获取模块13，包括：
[0114]
矩阵参数确定单元，用于基于第一约束方程和第二约束方程，并根据随机抽样一致性算法确定所述基础矩阵和匹配畸变参数；所述第一约束方程为基于所述两张初步校正图像中经过畸变校正的匹配特征点之间满足的几何关系构建的约束方程，所述第二约束方程为基于用于对所述初步校正图像上的特征点进行畸变校正的公式模型构建的约束方程。
[0115]
在一些具体实施例中，所述匹配图像获取模块14，包括：
[0116]
匹配畸变校正图像获取单元，用于根据匹配畸变参数对所述两张初步校正图像去畸变得到两张匹配畸变校正图像；
[0117]
投影变换单元，用于通过基础矩阵计算出投影变换关系，并根据所述投影变换关系对所述两张匹配畸变校正图像进行投影变换，以得到两张匹配校正图像。
[0118]
在一些具体实施例中，所述三维点云获取模块15，包括：
[0119]
三维点坐标获取单元，用于利用所述目标视差图、所述初步校正后的内部参数以及相机姿态信息计算出基于所述相机在所述第一位置下的相机坐标系中的三维点坐标。
[0120]
三维点云获取单元，用于将所述三维点坐标转换为三维点云，并基于所述相机位置转换关系得到所述世界坐标系下的三维点云。
[0121]
图7为本技术实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由计算机设备执行的大视场环境下图像三维重建方法中的相关步骤。
[0122]
本实施例中，电源23用于为计算机设备20上的各硬件设备提供工作电压；通信接口24能够为计算机设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选
取，在此不进行具体限定。
[0123]
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0124]
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
[0125]
其中，操作系统221用于管理与控制计算机设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是windows、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由计算机设备20执行的大视场环境下图像三维重建方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括计算机设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
[0126]
进一步的，本技术实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由大视场环境下图像三维重建过程中执行的方法步骤。
[0127]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0128]
以上对本发明所提供的一种大视场环境下图像三维重建方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。