自动对焦双目摄像头的标定、3D视觉及深度点云计算方法与流程

技术特征：
1.一种自动对焦双目摄像头的产线标定方法，其特征在于，包括：a1：在双目摄像头的一场景深度位置处配置第一标定板；a2：将所述双目摄像头的左右摄像头的镜头按照预设步长移动至一个新位置后，左右摄像头分别拍摄第一标定板以获取第一标定板图像；a3：重复步骤a2，以获取左右摄像头的镜头的多个位置处拍摄的第一标定板图像，使得左右摄像头各自分别获取一组第一标定板图像；a4：分别计算左右摄像头各自获取的一组第一标定板图像中预设区域的对比度，将各组中对比度最大时对应的镜头的位置分别确定为左右摄像头各自对于当前场景深度的最佳对焦位置；a5：重复步骤a1～a4，以获取整个深度范围内的多个场景深度下左右摄像头各自对于各个场景深度的最佳对焦位置，并依据左右摄像头各自对于各个场景深度的最佳对焦位置得到左右摄像头各自的场景深度和最佳对焦位置关系的曲线，再根据左右摄像头各自的场景深度和最佳对焦位置关系的曲线得到整个深度范围内的多个场景深度下对应的关联对焦位置，各个所述关联对焦位置分别由场景深度和对应的左摄像头最佳对焦位置、右摄像头最佳对焦位置组成；a6：根据步骤a5中获取的各个所述关联对焦位置，在每个所述关联对焦位置中的场景深度下，分别对左右摄像头进行单目标定得到左右摄像头的单目摄像头参数，并结合左右摄像头的单目摄像头参数标定双目摄像头的相对位置。2.根据权利要求1所述的产线标定方法，其特征在于，所述第一标定板为实心圆点阵列标定板，其尺寸、圆点直径及间距与场景深度成正相关。3.根据权利要求1所述的产线标定方法，其特征在于，步骤a4中的所述预设区域包括一个区域或者五个区域，其中一个区域是指图像中心的方形区域，五个区域是指图像中心的方形区域和图像中0.5或0.8视场处的四个方形区域。4.根据权利要求1所述的产线标定方法，其特征在于，步骤a4中采用公式计算第一标定板图像中预设区域的对比度，式中，l
max
和l
min
分别为预设区域中最大的像素灰度值和最小的像素灰度图。5.根据权利要求1所述的产线标定方法，其特征在于，步骤a1中配置的所述第一标定板垂直于双目摄像头的光轴，且整个深度范围分为多段深度区间，每一段使用一个尺寸的标定模板；当双目摄像头进入下一段深度区间标定时，更换与该段深度区间相适应的标定模板；在每一次执行步骤a3前执行的步骤a2中，将左右摄像头的镜头移动至对焦距离最近处，步骤a3中重复步骤a2时，依序将左右摄像头的镜头按预设步长移动，直至左右摄像头的镜头位于对焦距离最远处，以遍历完左右摄像头的镜头的全部位置。6.根据权利要求1所述的产线标定方法，其特征在于，步骤a6具体包括：a61：根据步骤a5中获取的各个所述关联对焦位置中的场景深度，整个深度范围分为多段深度区间，在各段深度区间下分别配置第二标定板；a62：左右摄像头分别从不同角度拍摄第二标定板以获取多幅第二标定板图像，基于最小化重投影误差求得左右摄像头的内参数、外参数和畸变参数，结合左右摄像头的外参数标定双目摄像头的相对位置；
a63：重复步骤a61～a62，以获取在每个所述关联对焦位置中的场景深度下左右摄像头的内参数、外参数和畸变参数以及双目摄像头的相对位置。7.根据权利要求6所述的产线标定方法，其特征在于，所述第二标定板采用黑白棋盘格标定板，其尺寸、棋盘格大小及间距与场景深度成正相关；且整个深度范围分为多段深度区间，每一段使用一个尺寸的标定模板；当双目摄像头进入下一段深度区间标定时，更换与该段深度区间相适应的标定模板。8.一种自动对焦双目摄像头的产线标定装置，其特征在于，包含有计算机程序，用于实现如权利要求1至7任一项所述的产线标定方法。9.一种自动对焦双目摄像头的3d立体视觉拍摄方法，其特征在于，包括：采用权利要求1至7任一项所述的产线标定方法对所述双目摄像头进行产线标定，以及：b1：左右摄像头的镜头分别位于对焦在同一场景深度的初始位置处，将该场景深度保存为对比深度值，左右摄像头分别拍摄当前场景的第一帧图像；b2：根据该对比深度值对应的关联对焦位置处所标定的单目摄像头参数和双目摄像头的相对位置，计算当前场景的深度；b3：比较计算得到的当前场景的深度与对比深度值是否一致，如果是，则执行步骤b6，如果否，则执行步骤b4；b4：基于计算得到的当前场景的深度，根据步骤a5得到的多个所述关联对焦位置，将左右摄像头的镜头分别推至与当前场景的深度对应的最佳对焦位置处，并将当前场景的深度保存为对比深度值；b5：左右摄像头分别拍摄当前场景的新一帧图像；b6：根据该对比深度值对应的关联对焦位置处所标定的单目摄像头参数和双目摄像头的相对位置，将左右摄像头分别拍摄的图像进行立体校正得到左图像和右图像，所述左图像是指左摄像头拍摄的图像立体校正后的图像，所述右图像是指右摄像头拍摄的图像立体校正后的图像；b7：将左图像和右图像进行拼接，输出至3d显示设备的屏幕上；b8：左右摄像头分别拍摄当前场景的新一帧图像，并返回至步骤b2。10.根据权利要求9所述的3d立体视觉拍摄方法，其特征在于，步骤b2中具体采用：基于准确匹配的特征点对和该对比深度值对应的左右摄像头的所述单目摄像头参数和双目摄像头的相对位置，使用三角测距的方法计算出特征点对应的物体点的三维空间位置，以计算当前场景的深度。11.根据权利要求9所述的3d立体视觉拍摄方法，其特征在于，步骤b6具体包括：根据该对比深度值对应的左右摄像头的所述单目摄像头参数分别消除左右摄像头分别拍摄的图像的畸变；再根据该对比深度值对应的左右摄像头的所述单目摄像头参数和双目摄像头的相对位置，把消除畸变后的左右摄像头分别拍摄的图像投影至同一平面并进行行对齐，使得一幅图像上任意一点与在另一幅图像上的对应点在相同的行，以通过立体校正得到左图像和右图像。12.根据权利要求9所述的3d立体视觉拍摄方法，其特征在于，步骤b7中将左图像和右图像进行拼接，还包括将拼接的图像的分辨率进行调整以使得拼接的图像的分辨率与3d显示设备的分辨率相同，再将拼接并调整分辨率的图像输出至3d显示设备的屏幕上。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求9至12任一项所述的3d立体视觉拍摄方法的步骤。14.一种基于自动对焦双目摄像头的计算深度点云的方法，其特征在于，包括：采用权利要求1至7任一项所述的产线标定方法对所述双目摄像头进行产线标定，以及：c1：左右摄像头的镜头分别位于对焦在同一场景深度的初始位置处，将该场景深度保存为对比深度值，左右摄像头分别拍摄当前场景的第一帧图像；c2：根据该对比深度值对应的关联对焦位置处所标定的单目摄像头参数和双目摄像头的相对位置，计算当前场景的深度；c3：比较计算得到的当前场景的深度与对比深度值是否一致，如果是，则执行步骤c6，如果否，则执行步骤c4；c4：基于计算得到的当前场景的深度，根据步骤a5得到的多个所述关联对焦位置，将左右摄像头的镜头分别推至与当前场景的深度对应的最佳对焦位置处，并将当前场景的深度保存为对比深度值；c5：左右摄像头分别拍摄当前场景的新一帧图像；c6：根据该对比深度值对应的关联对焦位置处的所标定的单目摄像头参数和双目摄像头的相对位置，将左右摄像头分别拍摄的图像进行立体校正得到左图像和右图像，所述左图像是指左摄像头拍摄的图像立体校正后的图像，所述右图像是指右摄像头拍摄的图像立体校正后的图像；c7：将左图像和右图像进行立体匹配，生成视差图；c8：基于视差图，计算双目摄像头的稠密深度点云；c9：左右摄像头分别拍摄当前场景的新一帧图像，并返回至步骤c2。15.根据权利要求14所述的计算深度点云的方法，其特征在于，步骤c2中具体采用：基于准确匹配的特征点对和该对比深度值对应的左右摄像头的所述单目摄像头参数和双目摄像头的相对位置，使用三角测距的方法计算出特征点对应的物体点的三维空间位置，以计算当前场景的深度。16.根据权利要求14所述的计算深度点云的方法，其特征在于，步骤c6具体包括：根据该对比深度值对应的左右摄像头的所述单目摄像头参数分别消除左右摄像头分别拍摄的图像的畸变；再根据该对比深度值对应的左右摄像头的所述单目摄像头参数和双目摄像头的相对位置，把消除畸变后的左右摄像头分别拍摄的图像投影至同一平面并进行行对齐，使得一幅图像上任意一点与在另一幅图像上的对应点在相同的行，以通过立体校正得到左图像和右图像。17.根据权利要求14所述的计算深度点云的方法，其特征在于，步骤c7具体包括：对所述左图像上的任意像素点在所述右图像上的同一行上进行立体匹配，匹配完成后，根据立体匹配的两个对应的像素点在图像的像素点的水平方向位置坐标计算出该像素点在所述左图像和所述右图像的视差δδ：δδ＝x
1-x2，对每个像素点计算视差得到视差图；其中，x1和x2分别是该像素点在所述左图像和所述右图像中的水平方向坐标。18.根据权利要求14所述的计算深度点云的方法，其特征在于，步骤c8具体包括：
c81：基于视差图，根据公式计算出像素点对应的物体点在立体校正后的右摄像头拍摄的图像上的深度z，以将视差图转换为深度图；其中，b为左右摄像头的光心的距离，f为左摄像头或右摄像头的焦距，δδ为像素点在立体校正后的左右摄像头分别拍摄的图像的视差；c82：根据深度图得到每个像素点在右摄像头坐标系中的第三维深度坐标z，并计算每个像素点在右摄像头坐标系中的x、y坐标：式中，(c
x
，c
y
)为右摄像头的主点，f
x
、f
y
分别为右摄像头的水平和垂直方向的焦距，(x，y)为右摄像头中对应的像素点的像素坐标；c83：根据步骤c82得到右图像的每个像素点在右摄像头坐标系下的三维坐标，结合每个像素点在右图像上的rgb色彩信息，得到各个像素点的点云为p＝{x,y,z,r,g,b}；计算出深度图中所有像素点的三维坐标和对应的rgb色彩信息，得到双目摄像头的稠密深度点云。19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求14至18任一项所述的计算深度点云的方法的步骤。

技术总结
本发明公开了一种自动对焦双目摄像头的产线标定方法，包括：A1：在双目摄像头的一场景深度位置处配置第一标定板；A2：左右摄像头的镜头移动至一个新位置获取第一标定板图像；A3：重复步骤A2；A4：确定左右摄像头各自对于当前场景深度的最佳对焦位置；A5：重复步骤A1～A4以获取整个深度范围内的多个场景深度下左右摄像头各自对于各个场景深度的最佳对焦位置，得到左右摄像头各自的场景深度和最佳对焦位置关系的曲线，并得到整个深度范围内的多个场景深度对应的关联对焦位置；A6：根据步骤A5中获取的各个关联对焦位置，分别对左右摄像头进行单目及双目摄像头标定。本发明还公开了自动对焦双目摄像头的3D立体视觉拍摄方法和计算稠密深度点云的方法。算稠密深度点云的方法。算稠密深度点云的方法。


技术研发人员：蔡瑜 罗富城
受保护的技术使用者：像工场(深圳)科技有限公司
技术研发日：2021.12.30
技术公布日：2022/4/15