基于双目光度立体视觉的三维测量方法及设备与流程

1.本发明实施例涉及物体三维检测技术领域，尤其涉及一种基于双目光度立体视觉的三维测量方法及设备。


背景技术：

2.当前，光视觉技术广泛应用于逆向建模、文物修复和三维检测项目中。但是由于结构光测量方法细节捕捉能力较弱，无法对物体表面的微观裂纹进行分析检测，且由于绝对测量精度低，无法胜任高精度测量场合。因此，开发一种基于双目光度立体视觉的三维测量方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。


技术实现要素：

3.针对现有技术存在的上述问题，本发明实施例提供了一种基于双目光度立体视觉的三维测量方法及设备。
4.第一方面，本发明的实施例提供了一种基于双目光度立体视觉的三维测量方法，包括：对双目结构光的光源方向和位置进行标定，投影仪投射光栅触发相机进行拍照，采集光栅编码图像，解码光栅编码图像，确定左右相机亚像素对应关系；控制光源依次点亮，触发左侧相机和右侧相机采集不同光源照射下的图像，获取左侧相机拍摄图像的第一梯度值与第一像素灰度值，并获取右侧相机拍摄图像的第二梯度值与第二像素灰度值；对右侧相机的第二梯度值进行插值得到第三梯度值，根据所述左右相机亚像素对应关系，确定左右相机之间的旋转变换矩阵，以及第三梯度值与第一梯度值之间的联系；根据第三梯度值或第一梯度值，对待测物体进行三维重建。
5.在上述方法实施例内容的基础上，本发明实施例中提供的基于双目光度立体视觉的三维测量方法，所述获取左侧相机拍摄图像的第一梯度值与第一像素灰度值，包括：
[0006][0007]
其中，为左侧相机拍摄的图像的第i个像素点的第一像素灰度值；ρ为反照率；l1为光源在左侧相机方向中组成的矩阵；n1为第i个像素点的第一梯度值；t为转置矩阵标记。
[0008]
在上述方法实施例内容的基础上，本发明实施例中提供的基于双目光度立体视觉的三维测量方法，所述并获取右侧相机拍摄图像的第二梯度值与第二像素灰度值，包括：
[0009][0010]
其中，为右侧相机拍摄的图像的第i个像素点的第二像素灰度值；l2为光源在右侧相机方向中组成的矩阵；n2为第i个像素点的第二梯度值。
[0011]
在上述方法实施例内容的基础上，本发明实施例中提供的基于双目光度立体视觉的三维测量方法，所述对右侧相机的第二梯度值进行插值得到第三梯度值，包括：
[0012]
[0013][0014][0015][0016][0017]
其中，q
11
、q
12
、q
21
和q
22
均为原始梯度值；(x,y)为第二像素灰度值对应的坐标点；为取整数符号；r1和r2均为中间变量；(x1,y1)为点q
11
的坐标；(x1,y2)为点q
12
的坐标；(x2,y1)为点q
21
的坐标；(x2,y2)为点q
22
的坐标；f为插值函数；p为插值点。
[0018]
在上述方法实施例内容的基础上，本发明实施例中提供的基于双目光度立体视觉的三维测量方法，所述根据所述左右相机亚像素对应关系，确定左右相机之间的旋转变换矩阵，以及第三梯度值与第一梯度值之间的联系，包括：
[0019][0020]
其中，r为左右相机之间的旋转变换矩阵，由左右相机亚像素对应关系确定；为第三梯度值。
[0021]
在上述方法实施例内容的基础上，本发明实施例中提供的基于双目光度立体视觉的三维测量方法，所述根据第三梯度值或第一梯度值，对待测物体进行三维重建，包括：对第三梯度或第一梯度进行积分，得到待测物体表面三维点云数据；对第三梯度或第一梯度进行差分，得到待测物体表面曲率数据。
[0022]
第二方面，本发明的实施例提供了一种基于双目光度立体视觉的三维测量系统，包括：投影仪，用于投射光栅，触发左右相机采集图像；左侧相机及右侧相机，均用于采集图像数据；第一光源、第二光源、第三光源及第四光源，均用于打光；控制器，用于实现如第一方面中任一实施例所述的基于双目光度立体视觉的三维测量方法。
[0023]
第三方面，本发明的实施例提供了一种基于双目光度立体视觉的三维测量装置，包括：第一主模块，用于对双目结构光的光源方向和位置进行标定，投影仪投射光栅触发相机进行拍照，采集光栅编码图像，解码光栅编码图像，确定左右相机亚像素对应关系；第二主模块，用于控制光源依次点亮，触发左侧相机和右侧相机采集不同光源照射下的图像，获取左侧相机拍摄图像的第一梯度值与第一像素灰度值，并获取右侧相机拍摄图像的第二梯度值与第二像素灰度值；第三主模块，用于对右侧相机的第二梯度值进行插值得到第三梯度值，根据所述左右相机亚像素对应关系，确定左右相机之间的旋转变换矩阵，以及第三梯度值与第一梯度值之间的联系；第四主模块，用于根据第三梯度值或第一梯度值，对待测物体进行三维重建。
[0024]
第四方面，本发明的实施例提供了一种电子设备，包括：
[0025]
至少一个处理器；以及
[0026]
与处理器通信连接的至少一个存储器，其中：
[0027]
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方
面的各种实现方式中任一种实现方式所提供的基于双目光度立体视觉的三维测量方法。
[0028]
第五方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种实现方式中任一种实现方式所提供的基于双目光度立体视觉的三维测量方法。
[0029]
本发明实施例提供的基于双目光度立体视觉的三维测量方法及设备，通过确定左右相机亚像素对应关系，根据所述左右相机亚像素对应关系，确定左右相机之间的旋转变换矩阵，以及第三梯度值与第一梯度值之间的联系，最后根据第三梯度值或第一梯度值，对待测物体进行三维重建，可以对待测物体的表面微观裂纹进行检测，并且检测结果的精度较高。
附图说明
[0030]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]
图1为本发明实施例提供的基于双目光度立体视觉的三维测量方法流程图；
[0032]
图2为本发明实施例提供的基于双目光度立体视觉的三维测量装置结构示意图；
[0033]
图3为本发明实施例提供的电子设备的实体结构示意图；
[0034]
图4为本发明实施例提供的基于双目光度立体视觉的三维测量系统结构示意图；
[0035]
图5为本发明实施例提供的对点梯度进行插值的原理示意图。
具体实施方式
[0036]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0037]
本发明实施例提供了一种基于双目光度立体视觉的三维测量方法，参见图1，该方法包括：对双目结构光的光源方向和位置进行标定，投影仪投射光栅触发相机进行拍照，采集光栅编码图像，解码光栅编码图像，确定左右相机亚像素对应关系；控制光源依次点亮，触发左侧相机和右侧相机采集不同光源照射下的图像，获取左侧相机拍摄图像的第一梯度值与第一像素灰度值，并获取右侧相机拍摄图像的第二梯度值与第二像素灰度值；对右侧相机的第二梯度值进行插值得到第三梯度值，根据所述左右相机亚像素对应关系，确定左右相机之间的旋转变换矩阵，以及第三梯度值与第一梯度值之间的联系；根据第三梯度值或第一梯度值，对待测物体进行三维重建。
[0038]
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基
于双目光度立体视觉的三维测量方法，所述获取左侧相机拍摄图像的第一梯度值与第一像素灰度值，包括：
[0039][0040]
其中，为左侧相机拍摄的图像的第i个像素点的第一像素灰度值；ρ为反照率；l1为光源在左侧相机方向中组成的矩阵；n1为第i个像素点的第一梯度值；t为转置矩阵标记。
[0041]
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于双目光度立体视觉的三维测量方法，所述并获取右侧相机拍摄图像的第二梯度值与第二像素灰度值，包括：
[0042][0043]
其中，为右侧相机拍摄的图像的第i个像素点的第二像素灰度值；l2为光源在右侧相机方向中组成的矩阵；n2为第i个像素点的第二梯度值。
[0044]
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于双目光度立体视觉的三维测量方法，所述对右侧相机的第二梯度值进行插值得到第三梯度值，包括：
[0045][0046][0047][0048]
其中，q
11
、q
12
、q
21
和q
22
均为原始梯度值；(x,y)为第二像素灰度值对应的坐标点；为取整数符号；r1和r2均为中间变量；(x1,y1)为点q
11
的坐标；(x1,y2)为点q
12
的坐标；(x2,y1)为点q
21
的坐标；(x2,y2)为点q
22
的坐标；f为插值函数；p为插值点。
[0049]
具体可以参见图5，点q
11
、q
12
、q
21
和q
22
为原始梯度值，点p为插入的梯度值插值点，其坐标也为(x,y)，点q
11
与q
21
之间以点r1作为过渡的中间变量，点q
12
与q
22
之间以点r2作为过渡的中间变量，将各点的坐标代入(3)至(5)式即可实现点p的插值过程。
[0050]
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于双目光度立体视觉的三维测量方法，所述根据所述左右相机亚像素对应关系，确定左右相机之间的旋转变换矩阵，以及第三梯度值与第一梯度值之间的联系，包括：
[0051][0052]
其中，r为左右相机之间的旋转变换矩阵，由左右相机亚像素对应关系确定；为第三梯度值。
[0053]
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于双目光度立体视觉的三维测量方法，所述根据第三梯度值或第一梯度值，对待测物体进
行三维重建，包括：对第三梯度或第一梯度进行积分，得到待测物体表面三维点云数据；对第三梯度或第一梯度进行差分，得到待测物体表面曲率数据。需要说明的是，所述对第三梯度或第一梯度进行的差分和积分均采用现有的差分和积分手段，此处不再赘述。
[0054]
本发明实施例提供的基于双目光度立体视觉的三维测量方法，通过确定左右相机亚像素对应关系，根据所述左右相机亚像素对应关系，确定左右相机之间的旋转变换矩阵，以及第三梯度值与第一梯度值之间的联系，最后根据第三梯度值或第一梯度值，对待测物体进行三维重建，可以对待测物体的表面微观裂纹进行检测，并且检测结果的精度较高。
[0055]
本发明实施例提供了一种基于双目光度立体视觉的三维测量系统，参见图4，该系统包括：投影仪，用于投射光栅，触发左右相机采集图像；左侧相机及右侧相机，均用于采集图像数据；第一光源、第二光源、第三光源及第四光源，均用于打光；控制器，用于实现如前述方法实施例中任一实施例所述的基于双目光度立体视觉的三维测量方法。具体地，首先投影仪投射光栅，触发相机采集图像；然后控制器控制光源依次点亮，触发相机采集不同光源下的图像；最后利用采集的图像数据进行待测物体的三维重建。
[0056]
本发明实施例提供的一种基于双目光度立体视觉的三维测量系统，可以稳定可靠的实现半透明、黑色、不透明各种物体表面的三维形貌、梯度和曲率的测量；通过采集三维点云、梯度和曲率等多模态数据为缺陷检测提供了充足全面的数据，在缺陷与背景高度一致的测量中表现优异。
[0057]
本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种基于双目光度立体视觉的三维测量装置，该装置用于执行上述方法实施例中的基于双目光度立体视觉的三维测量方法。参见图2，该装置包括：第一主模块，用于对双目结构光的光源方向和位置进行标定，投影仪投射光栅触发相机进行拍照，采集光栅编码图像，解码光栅编码图像，确定左右相机亚像素对应关系；第二主模块，用于控制光源依次点亮，触发左侧相机和右侧相机采集不同光源照射下的图像，获取左侧相机拍摄图像的第一梯度值与第一像素灰度值，并获取右侧相机拍摄图像的第二梯度值与第二像素灰度值；第三主模块，用于对右侧相机的第二梯度值进行插值得到第三梯度值，根据所述左右相机亚像素对应关系，确定左右相机之间的旋转变换矩阵，以及第三梯度值与第一梯度值之间的联系；第四主模块，用于根据第三梯度值或第一梯度值，对待测物体进行三维重建。
[0058]
本发明实施例提供的基于双目光度立体视觉的三维测量装置，采用图2中的若干模块，通过确定左右相机亚像素对应关系，根据所述左右相机亚像素对应关系，确定左右相机之间的旋转变换矩阵，以及第三梯度值与第一梯度值之间的联系，最后根据第三梯度值或第一梯度值，对待测物体进行三维重建，可以对待测物体的表面微观裂纹进行检测，并且检测结果的精度较高。
[0059]
需要说明的是，本发明提供的装置实施例中的装置，除了可以用于实现上述方法实施例中的方法外，还可以用于实现本发明提供的其他方法实施例中的方法，区别仅仅在于设置相应的功能模块，其原理与本发明提供的上述装置实施例的原理基本相同，只要本领域技术人员在上述装置实施例的基础上，参考其他方法实施例中的具体技术方案，通过组合技术特征获得相应的技术手段，以及由这些技术手段构成的技术方案，在保证技术方
案具备实用性的前提下，就可以对上述装置实施例中的装置进行改进，从而得到相应的装置类实施例，用于实现其他方法类实施例中的方法。例如：
[0060]
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于双目光度立体视觉的三维测量装置，还包括：第一子模块，用于实现所述获取左侧相机拍摄图像的第一梯度值与第一像素灰度值，包括：
[0061][0062]
其中，为左侧相机拍摄的图像的第i个像素点的第一像素灰度值；ρ为反照率；l1为光源在左侧相机方向中组成的矩阵；n1为第i个像素点的第一梯度值；t为转置矩阵标记。
[0063]
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于双目光度立体视觉的三维测量装置，还包括：第二子模块，用于实现所述并获取右侧相机拍摄图像的第二梯度值与第二像素灰度值，包括：
[0064][0065]
其中，为右侧相机拍摄的图像的第i个像素点的第二像素灰度值；l2为光源在右侧相机方向中组成的矩阵；n2为第i个像素点的第二梯度值。
[0066]
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于双目光度立体视觉的三维测量装置，还包括：第三子模块，用于实现所述对右侧相机的第二梯度值进行插值得到第三梯度值，包括：
[0067][0068][0069][0070][0071][0072]
其中，q
11
、q
12
、q
21
和q
22
均为原始梯度值；(x,y)为第二像素灰度值对应的坐标点；为取整数符号；r1和r2均为中间变量；(x1,y1)为点q
11
的坐标；(x1,y2)为点q
12
的坐标；(x2,y1)为点q
21
的坐标；(x2,y2)为点q
22
的坐标；f为插值函数；p为插值点。
[0073]
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于双目光度立体视觉的三维测量装置，还包括：第四子模块，用于实现所述根据所述左右相机亚像素对应关系，确定左右相机之间的旋转变换矩阵，以及第三梯度值与第一梯度值之间的联系，包括：
[0074][0075]
其中，r为左右相机之间的旋转变换矩阵，由左右相机亚像素对应关系确定；为第三梯度值。
[0076]
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基
于双目光度立体视觉的三维测量装置，还包括：第五子模块，用于实现所述根据第三梯度值或第一梯度值，对待测物体进行三维重建，包括：对第三梯度或第一梯度进行积分，得到待测物体表面三维点云数据；对第三梯度或第一梯度进行差分，得到待测物体表面曲率数据。
[0077]
本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图3所示，该电子设备包括：至少一个处理器(processor)、通信接口(communications interface)、至少一个存储器(memory)和通信总线，其中，至少一个处理器，通信接口，至少一个存储器通过通信总线完成相互间的通信。至少一个处理器可以调用至少一个存储器中的逻辑指令，以执行前述各个方法实施例提供的方法的全部或部分步骤。
[0078]
此外，上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0079]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0080]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0081]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0082]
在本专利中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有
明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括
……
"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0083]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。