一种三维焊缝提取方法及系统与流程

1.本发明涉及焊接技术领域，尤其涉及一种三维焊缝提取方法及系统。


背景技术：

2.随着工业技术的不断进步，焊接技术成为一项重要的金属热加工技术，同时在应用的过程中也对该项技术提出越来越高的要求。传统的人工焊接焊接质量受焊接人员的影响很大，难以保证焊接的品质，焊接自动化成为焊接的主要发展方向。
3.利用焊接机器人进行焊接是实现焊接自动化的途径之一。在利用焊接机器人进行焊接之前首先要完成对焊接工件的焊缝提取。本发明中的焊缝指焊接工件中未填充焊料的缝隙，如图1所示，图1中的1为本发明所述的焊缝。目前，焊缝提取的方法主要是利用双目结构光视觉传感器对焊接工件进行三维重建，进而提取焊接工件的焊缝。但该方法存在一定缺陷: 比如，双目结构光视觉传感器的体积大、成本高，提取精度低，不适用于大多数焊接机器人工作场景等。


技术实现要素：

4.本发明提供一种三维焊缝提取方法及系统，用以解决现有技术中三维焊缝提取精度低和提取成本高等缺点的缺陷，可以保证对三维焊缝的精确提取。
5.第一方面，本发明提供了一种三维焊缝提取方法，包括：通过投影仪向目标焊接工件表面分别投射格雷编码图案和相移编码图案；通过摄像机采集投射有所述格雷编码图案的所述目标焊接工件表面的图像和投射有所述相移编码图案的所述目标焊接工件表面的图像；对所述摄像机采集到的图像中的所述格雷编码图案进行解码，得到所述格雷编码对应的十进制数，对所述摄像机采集到的图像中的所述相移编码图案进行解码，得到所述相移编码对应的相位主值，根据所述十进制数和所述相位主值，确定所述摄像机采集到的图像中任意一点的绝对相位值；根据所述摄像机采集到的图像中任意一点的绝对相位值、所述摄像机的内外参数矩阵和所述投影仪的内外参数矩阵，确定所述目标焊接工件的对应点的三维坐标；根据所述目标焊接工件的对应点的三维坐标，对所述目标焊接工件进行三维重建，得到所述目标焊接工件的三维重建模型；提取所述三维重建模型表面的焊缝路径点，对所述焊缝路径点进行拟合，得到焊缝的三维位置模型；基于所述焊缝的三维位置模型中焊缝路径点的方向向量，接近向量和法向量，确定焊缝的三维姿态模型；其中，所述方向向量为单位向量，用于表征焊缝的三维曲线在各采样点处的切线方向；所述接近向量为单位向量，用于表征焊缝的三维曲线在各采样点处与所述焊缝垂直的方向；所述法向量为单位向量，用于表征所述方向向量与所述接近向量做向量积运算在各采样点处得到的方向。
6.根据本发明提供的三维焊缝提取方法，所述根据所述目标焊接工件的对应点的三维坐标，对所述目标焊接工件进行三维重建，得到所述目标焊接工件的三维重建模型，包括：根据所述目标焊接工件的对应点的三维坐标，得到所述目标焊接工件的三维点云；根据所述目标焊接工件的三维点云进行三维建模，得到所述目标焊接工件的三维重建模型。
7.根据本发明提供的三维焊缝提取方法，所述根据所述摄像机采集到的图像上任意一点的绝对相位值、所述摄像机内外参数矩阵和所述投影仪内外参数矩阵确定所述目标焊接工件任一点的三维坐标，包括：根据所述摄像机采集到的图像上任意一点的绝对相位值，得到该点在所述投影仪平面内对应的直线的坐标；根据所述该点在所述投影仪平面内对应的直线的坐标、所述摄像机内外参数矩阵和所述投影仪内外参数矩阵得到所述目标焊接工件的对应点的三维坐标。根据本发明提供的三维焊缝提取方法，所述提取所述三维重建模型表面的焊缝路径点，包括：根据焊接工件表面先验形状信息，对所述三维重建模型表面进行拟合，得到拟合的目标焊接工件表面；计算所述目标焊接工件表面的三维点云中每个点到所述拟合的目标焊接工件表面的最近距离；根据所述最近距离得到所述焊缝路径点。
8.根据本发明提供的三维焊缝提取方法，所述根据焊接工件表面先验形状信息，对所述三维重建模型表面进行拟合，得到拟合的目标焊接工件表面之前，还包括：对所述三维重建模型表面的三维点云进行滤波处理，得到降噪后的三维点云。
9.根据本发明提供的三维焊缝提取方法，所述对所述摄像机采集到的图像中的所述格雷编码图案进行解码，得到所述格雷编码对应的十进制数，包括：对所述摄像机采集到的图像中的所述格雷编码图案二值化处理，对二值化处理后的格雷编码图案进行解码，得到所述格雷编码对应的二进制码；将所述二进制码进行转换，得到所述格雷编码对应的十进制数。
10.第二方面，本发明还提供了一种三维焊缝提取系统，包括：投影仪，用于通过投影仪向目标焊接工件表面分别投射格雷编码图案和相移编码图案；摄像机，用于通过摄像机采集投射有所述格雷编码图案的所述目标焊接工件表面的图像和投射有所述相移编码图案的所述目标焊接工件表面的图像；工业计算机，用于对所述摄像机采集到的图像中的所述格雷编码图案进行解码，得到所述格雷编码对应的十进制数，对所述摄像机采集到的图像中的所述相移编码图案进行解码，得到所述相移编码对应的相位主值，根据所述十进制数和所述相位主值，确定所述摄像机采集到的图像中任意一点的绝对相位值；根据所述摄像机采集到的图像中任意一点的绝对相位值、所述摄像机的内外参数矩阵和所述投影仪的内外参数矩阵，确定所述目标焊接工件的对应点的三维坐标；根据所述目标焊接工件的对应点的三维坐标，对所述目标焊接工件进行三维重建，得到所述目标焊接工件的三维重建模型；提取所述三维重建模型表面的焊缝路径点，对所述焊缝路径点进行拟合，得到焊缝的三维位置模型；基于所述焊缝的三维位置模型中焊缝路径点的方向向量，接近向量和法向量，确定焊缝的三维姿态模型；其中，所述方向向量为单位向量，用于表征焊缝的三维曲线在各采样点处的切线方向；所述接近向量为单位向量，用于表征焊缝的三维曲线在各采样点处与所述焊缝垂直的方向；所述法向量为单位向量，用于表征所述方向向量与所述接近向量做向量积运算在各采样点处得到的方向。
11.第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的三维焊缝提取方法的步骤。
12.第四方面，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的三维焊缝提取方法的步骤。
13.第五方面，本发明还提供了一种计算机程序产品，其上存储有可执行指令，该指令被处理器执行时使处理器实现如第一方面所述的三维焊缝提取方法的步骤。
14.本发明提供的一种三维焊缝提取方法及系统，通过投影仪向目标焊接工件表面分别投射格雷编码图案和相移编码图案；通过摄像机采集投射有格雷编码图案的目标焊接工件表面的图像和投射有相移编码图案的目标焊接工件表面的图像；对摄像机采集到的图像中的格雷编码图案进行解码，得到格雷编码对应的十进制数，对摄像机采集到的图像中的相移编码图案进行解码，得到相移编码对应的相位主值，根据十进制数和相位主值，确定摄像机采集到的图像中任意一点的绝对相位值；根据摄像机采集到的图像中任意一点的绝对相位值、摄像机的内外参数矩阵和投影仪的内外参数矩阵，确定目标焊接工件的对应点的三维坐标；根据目标焊接工件的对应点的三维坐标，对目标焊接工件进行三维重建，得到目标焊接工件的三维重建模型；提取三维重建模型表面的焊缝路径点，对焊缝路径点进行拟合，得到焊缝的三维位置模型；基于焊缝的三维位置模型中焊缝路径点的方向向量，接近向量和法向量，确定焊缝的三维姿态模型；其中，方向向量为单位向量，用于表征焊缝的三维曲线在各采样点处的切线方向；接近向量为单位向量，用于表征焊缝的三维曲线在各采样点处与焊缝垂直的方向；法向量为单位向量，用于表征方向向量与接近向量做向量积运算在各采样点处得到的方向。通过对目标焊接工件进行三维重建，根据目标焊接工件的三维重建模型得到三维焊缝的位置模型和三维焊缝的姿态模型，可以实现对三维焊缝的精确提取。
附图说明
15.图1为本发明提供的一种三维焊缝结构示意图；图2是本发明提供的一种三维焊缝提取方法实施例的流程示意图；图3（a）是本发明提供的格雷编码示意图；图3（b）是本发明提供的相移编码示意图；图4（a）是本发明提供的摄像机采集投射有格雷编码图案的目标焊接工件表面的图像；图4（b）是本发明提供的摄像机采集投射有相移编码图案的目标焊接工件表面的图像；图5是本发明提供的相位主值图；图6是本发明提供的相位展开原理图；图7（a）是本发明提供的搭接焊缝的示意图；图7（b）是本发明提供的角接焊缝的示意图；图8 是本发明提供的单位向量的计算原理图；图9是本发明提供的三维焊缝位姿模型示意图；图10是本发明提供的p点在不同坐标系下的相对位置图；图11是本发明提供的一种三维焊缝提取系统实施例的结构示意图；图12 是本发明提供的一种电子设备的实体结构示意图。
具体实施方式
16.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.图2为本发明提供的一种三维焊缝提取方法实施例的流程示意图。如图2所示，该三维焊缝提取方法包括以下步骤：s201，通过投影仪向目标焊接工件表面分别投射格雷编码图案和相移编码图案；通过摄像机采集投射有格雷编码图案的目标焊接工件表面的图像和投射有相移编码图案的目标焊接工件表面的图像。
18.在步骤s201中，投影仪首先向目标焊接工件表面投射ｎ幅格雷码图案，将测量视野划分为2
n
个条纹区域，每个条纹区域具有相同的格雷编码值。为了提高格雷编码的鲁棒性，对每个格雷编码图案增加了一个逆变换。然后投影仪向目标焊接工件表面投射标准的n步相移编码图案，保证格雷码编码图案的最小周期为相移编码图案周期的4倍。格雷编码图案和相移编码图案分别如图3（a）和图3（b）所示。其中，相移编码图案是正弦光栅图像，是根据公式1生成的。
19.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式1）其中，为第张图像中像素点处的灰度值；为所生成图像的宽度等于投影仪分辨率的宽度；表示生成的正弦光栅的幅度；表示第张图像的相位；表示正弦光栅条纹的周期。在一组相移光栅图像中，只有相位呈规律性变化。本实施例中，可以采用四步相移法生成正弦光栅图像，四步相移法表示在这一组光栅中，相位移动四次，共生成四幅正弦光栅图像。
20.摄像机采集投射有格雷编码图案的目标焊接工件表面的图像和投射有相移编码图案的目标焊接工件表面的图像分别如图4（a）和图4（b）所示。
21.s202，对摄像机采集到的图像中的格雷编码图案进行解码，得到格雷编码对应的十进制数，对摄像机采集到的图像中的相移编码图案进行解码，得到相移编码对应的相位主值，根据十进制数和相位主值，确定摄像机采集到的图像中任意一点的绝对相位值。
22.在步骤s202中，格雷编码与二进制编码一样都只用１和0组成。在一组二进制数的编码中，若任意两个相邻的代码只有一位二进制数不同，则称这种编码为格雷编码。并且在格雷码中，最大数与最小数之间也仅有一位数不同，即“首尾相连”。因此，格雷码可以与二进制码和十进制数相互转换。
23.相移法图像解码主要是通过采集多帧有一定相移的条纹图案来计算相位主值，用于细分具有相同格雷码值的区域。投影仪投射出的正弦光栅条纹投射到目标焊接工件表面后，摄像机采集到的投射有相移编码的目标焊接工件表面每一个像素点处的灰度值如公式2所示：
ꢀꢀꢀꢀꢀꢀꢀ
（公式2）
其中，为采集到的第张图像中像素点处的灰度值，第张图像的相位，为经被测物体高度调制后的相位值。对相移编码图案进行解码，得到的相位主值图如图5所示。
24.由于函数中，，三个为未知数，因此通过至少三幅光栅条纹可完成求解，利用四步相移法求得相位主值，相位主值的求解公式如公式3所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式3）由于被包裹在之间，在不同周期中相位主值都相同，需要对包裹的相位主值进行相位展开得到绝对相位值。格雷编码与相移编码相位展开原理如图6所示，使用每一区域内的格雷编码值去确定不同周期的绝对相位值。利用相位展开公式可以计算绝对相位值，相位展开公式可以表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式4）其中，为绝对相位值，为对应像素的格雷码值，为相对相位值即相位主值。
25.s203，根据摄像机采集到的图像中任意一点的绝对相位值、摄像机的内外参数矩阵和投影仪的内外参数矩阵，确定目标焊接工件的对应点的三维坐标；根据目标焊接工件的对应点的三维坐标，对目标焊接工件进行三维重建，得到目标焊接工件的三维重建模型。
26.在步骤s203中，根据摄像机采集到的目标焊接工件表面的图像上任意一点的绝对相位值可以得到在目标焊接工件表面任意一点的像素坐标，根据摄像机内外参数矩阵和投影仪内外参数矩阵可以对该点在目标焊接工件表面的像素坐标进行坐标变换，得到该点在世界坐标系下的坐标，即三维坐标。根据得到的目标焊接工件对应点的三维坐标可以对目标焊接工件进行三维重建，得到目标焊接工件的三维重建模型。
27.s204，提取三维重建模型表面的焊缝路径点，对焊缝路径点进行拟合，得到焊缝的三维位置模型。
28.在步骤s204中，可以根据焊缝先验形状信息预设点云提取算子，根据预设的点云提取算子提取三维重建模型表面的焊缝路径点。其中，焊缝先验形状信息可以包括v型焊缝、搭接焊缝和角接焊缝。v型焊缝、搭接焊缝和角接焊缝分别如图1、图7（a）和图7（b）所示。
29.为了保证拟合得到的焊缝曲线精度和平滑性，可以采用平滑三次b样条函数对焊缝路径点进行最小二乘拟合。即给定个控制点和个节点，由这些控制点和节点可以定义三次b样条函数为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（ 公式5）其中，是三次b样条的基函数, ,为样条函数的次数，三次b样条函数的控制点可以通过优化目标函数得到，目标函数表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式6）其中，目标函数包括两部分，第一部分是接近函数用来度量原始数据和拟合数据
之间的接近程度，第二部分是正则项，用于惩罚函数的曲率，保证拟合曲线的光滑性，正则项系数
휆
用于建立二者之间的权衡，通过优化目标函数使其值最小，可求得三次平滑b样条拟合函数控制点的最优解。可以利用拉格朗日优化方法，对目标函数所有变量求偏导，这样即可将最小化目标函数的问题转换为求解方程组的问题，然后利用svd分解等方程组求解方法获得三次平滑b样条函数控制点的最优解。当然，也可以通过迭代式的优化方法梯度下降法或者启发式优化方法如遗传算法、蚁群算法以及粒子群算法等求取最优解。求得三次平滑b样条拟合函数控制点之后，就可以得到三次平滑b样条拟合函数，即空间焊缝的位置模型。
30.s205，基于所述焊缝的三维位置模型中焊缝路径点的方向向量，接近向量和法向量，确定焊缝的三维姿态模型；其中，方向向量为单位向量，用于表征焊缝的三维曲线在各采样点处的切线方向；接近向量为单位向量，用于表征焊缝的三维曲线在各采样点处与所述焊缝垂直的方向；法向量为单位向量，用于表征方向向量与接近向量做向量积运算在各采样点处得到的方向。
31.在步骤s205中，单位方向向量，单位接近向量和单位法向量分别如公式7、公式8和公式10所示。
32.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）单位向量的计算原理如图8所示，向量 v1 为由特征点 p1与p2确定的边缘向量；向量 v2为由特征点 p3和p2确定的边缘向量。单位向量为焊缝路径点在第个采样点处向量与向量平分线的单位向量，其表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）单位法向量的计算原理根据右手定则，单位法向向量由单位方向向量与单位接近向量做向量积运算得到，计算公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（10）三维焊缝姿态模型是在三维焊缝位置模型的焊缝路径点上建立的，将二者融合可以得到三维焊缝位姿模型。三维焊缝的位姿模型如图9所示，其中曲线代表对焊缝路径点进行拟合的得到的三维焊缝位置模型，各单位向量代表根据焊缝路径点确定的三维焊缝姿态模型。
33.根据本发明实施例提供的三维焊缝提取方法，通过投影仪向目标焊接工件表面分别投射格雷编码图案和相移编码图案；通过摄像机采集投射有格雷编码图案的目标焊接工件表面的图像和投射有相移编码图案的目标焊接工件表面的图像；对摄像机采集到的图像中的格雷编码图案进行解码，得到格雷编码对应的十进制数，对摄像机采集到的图像中的相移编码图案进行解码，得到相移编码对应的相位主值，根据十进制数和相位主值，确定摄
像机采集到的图像中任意一点的绝对相位值；根据摄像机采集到的图像中任意一点的绝对相位值、摄像机的内外参数矩阵和投影仪的内外参数矩阵，确定目标焊接工件的对应点的三维坐标；根据目标焊接工件的对应点的三维坐标，对目标焊接工件进行三维重建，得到目标焊接工件的三维重建模型；提取三维重建模型表面的焊缝路径点，对焊缝路径点进行拟合，得到焊缝的三维位置模型；基于焊缝的三维位置模型中焊缝路径点的方向向量，接近向量和法向量，确定焊缝的三维姿态模型；其中，方向向量为单位向量，用于表征焊缝的三维曲线在各采样点处的切线方向；接近向量为单位向量，用于表征焊缝的三维曲线在各采样点处与焊缝垂直的方向；法向量为单位向量，用于表征方向向量与接近向量做向量积运算在各采样点处得到的方向。通过对目标焊接工件进行三维重建，根据目标焊接工件的三维重建模型得到三维焊缝的位置模型和三维焊缝的姿态模型，可以实现对三维焊缝的精确提取。
34.在一些可选的实施例中，根据目标焊接工件的对应点的三维坐标，对目标焊接工件进行三维重建，得到目标焊接工件的三维重建模型，可以包括：根据目标焊接工件的对应点的三维坐标，得到目标焊接工件的三维点云；根据目标焊接工件的三维点云进行三维建模，得到目标焊接工件的三维重建模型。
35.点云，也称三维点云，是指在逆向工程中通过测量仪器得到的产品外观表面的点数据集合，可以根据目标焊接工件对应点的三维坐标，得到目标焊接工件对应的三维点云。利用三维点云得到三维重建模型可以包括：点云配准、数据融合以及表面生成等过程。
36.在一些可选的实施例中，根据摄像机采集到的图像上任意一点的绝对相位值、摄像机内外参数矩阵和投影仪内外参数矩阵确定目标焊接工件任一点的三维坐标，可以包括：根据摄像机采集到的图像上任意一点的绝对相位值，得到该点在投影仪平面内对应的直线的坐标；根据该点在投影仪平面内对应的直线的坐标、摄像机内外参数矩阵和投影仪内外参数矩阵得到目标焊接工件的对应点的三维坐标。
37.假设目标焊接工件表面上的一点p在世界坐标系下坐标为，点p在摄像机采集到的目标焊接工件表面的图像上的绝对相位值为，点p在摄像机采集到的目标焊接工件表面的图像上像素坐标为，则点p在摄像机采集到的目标焊接工件表面的图像上对应该点在投影仪平面内目标焊接工件表面对应的直线的坐标为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式11）点p在世界坐标系、点p在摄像机采集到的目标焊接工件表面的图像上上以及点p在投影仪平面内目标焊接工件表面对应的直线的关系如图10所示。其中，点p＇为点p在摄像机采集到的目标焊接工件表面的图像上的对应点，up为点p在投影仪平面内目标焊接工件表面对应的直线。
38.然后结合立体标定结果，即可求得空间中点p的三维坐标：
ꢀꢀꢀꢀꢀꢀ
（公式12）其中：、和是已知的，为摄像机内外参数矩阵通过标定得到，为
投影仪内外参数矩阵通过标定得到。因此，共有六个未知变量，共有六个线性无关的方程，目标焊接工件上点的三维坐标可以唯一确定。令
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式13）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式14）则目标焊接工件上点p的三维坐标由下式计算得到：
ꢀꢀ
（公式15）在一些可选的实施例中，提取三维重建模型表面的焊缝路径点，可以包括：根据焊接工件表面先验形状信息，对三维重建模型表面进行拟合，得到拟合的目标焊接工件表面；计算所述目标焊接工件表面的三维点云中每个点到所述拟合的目标焊接工件表面的最近距离；根据最近距离得到焊缝路径点。
39.其中，焊接工件表面先验形状信息可以包括曲面和平面。如果三维重建模型表面是平面，确定该平面对应的平面方程，利用ransac算法对该平面方程进行拟合，建立该三维重建模型表面的数学模型；类似的，如果三维重建模型表面是曲面，确定该曲面对应的曲面方程，利用ransac算法对该曲面方程进行拟合，建立该三维重建模型表面的数学模型。三维重建模型表面的数学模型也就是得到的拟合的目标焊接工件表面。计算目标焊接工件表面的三维点云中每个点到拟合的目标焊接工件表面的最近距离，如果该点的最近距离大于预设的阈值，那么认为该点是焊缝路径点。
40.在一些可选的实施例中，根据焊接工件表面先验形状信息，对三维重建模型表面进行拟合，得到拟合的目标焊接工件表面之前，还包括：对三维重建模型表面的三维点云进行滤波处理，得到降噪后的三维点云。
41.其中，可以采用双边滤波算法对三维点云进行滤波，双边滤波是一种非线性滤波器，它可以达到保持边缘和降噪平滑的效果。双边滤波算法可以通过取邻近采样点的加权平均来修正当前采样点的位置，达到降噪的效果；同时该方法也会有选择地剔除部分与当前采样点差异过大的相邻采样点，从而达到保持原特征的目的。
42.在一些可选的实施例中，对摄像机采集到的图像中的格雷编码图案进行解码，得到格雷编码对应的十进制数，可以包括：对格雷编码图案进行二值化处理，对二值化处理后的格雷编码图案进行解码，得到格雷编码对应的二进制码；将二进制码进行转换，得到格雷编码对应的十进制数。其中，二值化处理就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。对经过二值化处理的格雷编码利用公式16进行解码。
43.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式16）其中, 表示二进制码,
ꢀꢀ
表示格雷码,
ꢀꢀ
表示对应码字的位数。
44.图11是本发明提供的一种三维焊缝提取系统实施例的结构示意图。如图11所示，该三维焊缝提取系统，包括：投影仪，用于通过投影仪向目标焊接工件表面分别投射格雷编码图案和相移编码图案；摄像机，用于通过摄像机采集投射有格雷编码图案的目标焊接工件表面的图像和投射有相移编码图案的目标焊接工件表面的图像；工业计算机，用于对摄像机采集到的图像中的格雷编码图案进行解码，得到格雷编码对应的十进制数，对摄像机采集到的图像中的相移编码图案进行解码，得到相移编码对应的相位主值，根据十进制数和相位主值，确定摄像机采集到的图像中任意一点的绝对相位值；根据摄像机采集到的图像中任意一点的绝对相位值、摄像机的内外参数矩阵和投影仪的内外参数矩阵，确定目标焊接工件的对应点的三维坐标；根据目标焊接工件的对应点的三维坐标，对目标焊接工件进行三维重建，得到目标焊接工件的三维重建模型；提取三维重建模型表面的焊缝路径点，对焊缝路径点进行拟合，得到焊缝的三维位置模型；基于焊缝的三维位置模型中焊缝路径点的方向向量，接近向量和法向量，确定焊缝的三维姿态模型；其中，方向向量为单位向量，用于表征焊缝的三维曲线在各采样点处的切线方向；接近向量为单位向量，用于表征焊缝的三维曲线在各采样点处与所述焊缝垂直的方向；法向量为单位向量，用于表征所述方向向量与接近向量做向量积运算在各采样点处得到的方向。
45.可选地，工业计算机，还用于根据目标焊接工件的对应点的三维坐标，得到目标焊接工件的三维点云；根据目标焊接工件的三维点云进行三维建模，得到目标焊接工件的三维重建模型。
46.可选地，工业计算机，还用于根据摄像机采集到的图像上任意一点的绝对相位值，得到该点在投影仪平面内对应的直线的坐标；根据该点在投影仪平面内对应的直线的坐标、摄像机内外参数矩阵和投影仪内外参数矩阵得到目标焊接工件的对应点的三维坐标。
47.可选地，工业计算机，还用于根据焊接工件表面先验形状信息，对三维重建模型表面进行拟合，得到拟合的目标焊接工件表面；计算目标焊接工件表面的三维点云中每个点到拟合的目标焊接工件表面的最近距离；根据最近距离得到焊缝路径点。
48.可选地，工业计算机，还用于对三维重建模型表面的三维点云进行滤波处理，得到降噪后的三维点云。
49.可选地，工业计算机，还用于对摄像机采集到的图像中的格雷编码图案进行二值化处理，对二值化处理后的格雷编码图案进行解码，得到格雷编码对应的二进制码；将二进制码进行转换，得到格雷编码对应的十进制数。
50.图12是本发明提供的一种电子设备的实体结构示意图，如图12所示，该电子设备
可以包括：处理器(processor)1201、通信接口(communications interface)1202、存储器(memory)1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信。处理器1201可以调用存储器1203中的逻辑指令，以执行三维焊缝提取方法，该方法包括：通过投影仪向目标焊接工件表面分别投射格雷编码图案和相移编码图案；通过摄像机采集投射有格雷编码图案的目标焊接工件表面的图像和投射有相移编码图案的目标焊接工件表面的图像；对摄像机采集到的图像中的格雷编码图案进行解码，得到格雷编码对应的十进制数，对摄像机采集到的图像中的相移编码图案进行解码，得到相移编码对应的相位主值，根据十进制数和相位主值，确定摄像机采集到的图像中任意一点的绝对相位值；根据摄像机采集到的图像中任意一点的绝对相位值、摄像机的内外参数矩阵和投影仪的内外参数矩阵，确定目标焊接工件的对应点的三维坐标；根据目标焊接工件的对应点的三维坐标，对目标焊接工件进行三维重建，得到目标焊接工件的三维重建模型；提取三维重建模型表面的焊缝路径点，对焊缝路径点进行拟合，得到焊缝的三维位置模型；基于焊缝的三维位置模型中焊缝路径点的方向向量，接近向量和法向量，确定焊缝的三维姿态模型；其中，方向向量为单位向量，用于表征焊缝的三维曲线在各采样点处的切线方向；接近向量为单位向量，用于表征焊缝的三维曲线在各采样点处与焊缝垂直的方向；法向量为单位向量，用于表征方向向量与接近向量做向量积运算在各采样点处得到的方向。
51.此外，上述的存储器1203中的逻辑指令可以通过软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read
‑
only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
52.另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的三维焊缝提取方法，该方法包括：通过投影仪向目标焊接工件表面分别投射格雷编码图案和相移编码图案；通过摄像机采集投射有格雷编码图案的目标焊接工件表面的图像和投射有相移编码图案的目标焊接工件表面的图像；对摄像机采集到的图像中的格雷编码图案进行解码，得到格雷编码对应的十进制数，对摄像机采集到的图像中的相移编码图案进行解码，得到相移编码对应的相位主值，根据十进制数和相位主值，确定摄像机采集到的图像中任意一点的绝对相位值；根据摄像机采集到的图像中任意一点的绝对相位值、摄像机的内外参数矩阵和投影仪的内外参数矩阵，确定目标焊接工件的对应点的三维坐标；根据目标焊接工件的对应点的三维坐标，对目标焊接工件进行三维重建，得到目标焊接工件的三维重建模型；提取三维重建模型表面的焊缝路径点，对焊缝路径点进行拟合，得到焊缝的三维位置模型；基于焊缝的三维位置模型中焊缝路径点的方向向量，接近向量和法向量，确定焊缝的三维姿态模型；其中，方向向量为单位向量，用于表征焊缝的三维曲线在各采样点处的切线方向；接近向量为
单位向量，用于表征焊缝的三维曲线在各采样点处与焊缝垂直的方向；法向量为单位向量，用于表征方向向量与接近向量做向量积运算在各采样点处得到的方向。
53.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的三维焊缝提取方法，该方法包括：通过投影仪向目标焊接工件表面分别投射格雷编码图案和相移编码图案；通过摄像机采集投射有格雷编码图案的目标焊接工件表面的图像和投射有相移编码图案的目标焊接工件表面的图像；对摄像机采集到的图像中的格雷编码图案进行解码，得到格雷编码对应的十进制数，对摄像机采集到的图像中的相移编码图案进行解码，得到相移编码对应的相位主值，根据十进制数和相位主值，确定摄像机采集到的图像中任意一点的绝对相位值；根据摄像机采集到的图像中任意一点的绝对相位值、摄像机的内外参数矩阵和投影仪的内外参数矩阵，确定目标焊接工件的对应点的三维坐标；根据目标焊接工件的对应点的三维坐标，对目标焊接工件进行三维重建，得到目标焊接工件的三维重建模型；提取三维重建模型表面的焊缝路径点，对焊缝路径点进行拟合，得到焊缝的三维位置模型；基于焊缝的三维位置模型中焊缝路径点的方向向量，接近向量和法向量，确定焊缝的三维姿态模型；其中，方向向量为单位向量，用于表征焊缝的三维曲线在各采样点处的切线方向；接近向量为单位向量，用于表征焊缝的三维曲线在各采样点处与焊缝垂直的方向；法向量为单位向量，用于表征方向向量与接近向量做向量积运算在各采样点处得到的方向。
54.以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
55.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
56.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。