激光清洗轨迹生成方法、装置、设备及存储介质与流程

1.本发明涉及激光清洗技术领域，尤其涉及一种激光清洗轨迹生成方法、装置、设备及存储介质。


背景技术：

2.现行在清洗行业中得到广泛应用的清洗方法包括机械清洗法、化学清洗法和超声波清洗法，但在环境保护约束和高精细市场的要求下，其应用受到很大的限制。机械清洗方法：无法满足高清洁度清洗要求。化学清洗法：容易导致环境污染，获得的清洁度也很有限，特别是当污垢成分复杂时，必须选用多种清洗剂反复清洗才可能满足表面清洁度的要求。超声波清洗法：清洗效果较好，但对亚微米级污粒的清洗效果甚微，清洗槽的尺寸限制了加工零件的范围和复杂程度，而且清洗后对工件的干燥亦是一大难题。
3.激光清洗是工业中常用的表面处理技术，用于除去工件表面上的油脂、灰尘、锈垢及残留的溶剂、粘结剂等污物，以确保下道工序的质量，如电镀、磷化、喷涂、焊接、包装以及集成线路装配等过程，必须先去除表面污渍。激光清洗是一种“干式”清洗，不需要清洁液或其他化学溶液，且清洁度远远高于化学清洗工艺，能适应各种表面污物的清洗，对环境污染极小，可以做到不损伤基体。目前该方法已成为传统清洗方法的补充和延伸，并因其固有的许多优点而展示了广阔的应用前景。但现有激光清洗中通常人工进行清洗路径的识别规划，效率低，消耗劳动力，也存在清洗不全面等问题。因此，如何准确生成清洗路径，实现自动化操作，减少劳动力和污染是亟待解决的技术问题。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种激光清洗轨迹生成方法、装置、设备及计算机存储介质，旨在解决现有技术中激光清洗的自动化程度低、消耗劳动力、清洗路径不准确及清洗不全面的技术问题。
6.为实现上述目的，本发明提供一种激光清洗轨迹生成方法，所述激光清洗轨迹生成方法包括以下步骤：
7.获取待扫描工件的有序点云，根据所述有序点云生成四角网格；
8.对所述四角网格进行平面分割，获得待扫描工件网格；
9.提取所述待扫描工件网格的四角网格轮廓；
10.根据所述四角网格轮廓计算最小有向包围盒；
11.根据所述最小有向包围盒生成扫描轨迹。
12.可选地，所述对所述四角网格进行平面分割，获得待扫描工件网格之前，还包括：
13.对所述四角网格进行背景网格剪裁，获得料框内网格；
14.相应地，所述对所述四角网格进行平面分割，获得待扫描工件网格，包括：
15.对所述料框内网格进行平面分割，获得待扫描工件网格。
16.可选地，所述对所述料框内网格进行平面分割，获得待扫描工件网格，包括：
17.计算所述料框内网格中任意两个四角面片的法向量夹角；
18.若所述法向量夹角的余弦值大于预设值，则认为对应的两个四角面片属于同一平面，以对所述料框内网格进行平面分割，获得待扫描工件网格。
19.可选地，所述根据所述四角网格轮廓计算最小有向包围盒，包括：
20.根据所述四角网格轮廓，计算所述待扫描工件网格在相机坐标系下的质心；
21.计算所述待扫描工件网格在所述相机坐标系下相对于所述质心的惯性张量矩阵；
22.根据所述惯性张量矩阵计算所述待扫描工件网格在所述质心的坐标系下的初步位姿矩阵；
23.根据所述初步位姿矩阵计算所述待扫描工件的最小有向包围盒。
24.可选地，所述根据所述最小有向包围盒生成扫描轨迹，包括：
25.计算所述最小有向包围盒上表面的顶点坐标；
26.按照预设规则计算扫描方向和扫描顺序；
27.根据所述顶点坐标、所述扫描方向和所述扫描顺序，生成扫描轨迹。
28.可选地，所述根据所述顶点坐标、所述扫描方向和所述扫描顺序，生成扫描轨迹，包括：
29.根据所述顶点坐标和给定激光宽度阈值，计算扫描轨迹数量；
30.基于所述扫描轨迹数量，计算每条扫描轨迹的起点和终点；
31.根据每条扫描轨迹的起点和终点、所述扫描方向和所述扫描顺序，生成扫描轨迹。
32.可选地，所述根据每条扫描轨迹的起点和终点、所述扫描方向和所述扫描顺序，生成扫描轨迹，包括：
33.对任意扫描轨迹，将扫描轨迹起点和终点坐标由工件坐标系转换到相机坐标系；
34.计算所述相机坐标系下扫描轨迹中每个点的扫描位姿，并通过手眼标定将每个点的所述扫描位姿、所述扫描方向和所述扫描顺序转换到机器人坐标系，获得扫描轨迹。
35.此外，为实现上述目的，本发明还提出一种激光清洗轨迹生成装置，所述激光清洗轨迹生成装置包括：
36.生成模块，获取待扫描工件的有序点云，根据所述有序点云生成四角网格；
37.平面分割模块，用于对所述四角网格进行平面分割，获得待扫描工件网格；
38.提取模块，用于提取所述待扫描工件网格的四角网格轮廓；
39.计算模块，用于根据所述四角网格轮廓计算最小有向包围盒；
40.所述生成模块，还用于根据所述最小有向包围盒生成扫描轨迹。
41.此外，为实现上述目的，本发明还提出一种激光清洗轨迹生成设备，所述激光清洗轨迹生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的激光清洗轨迹生成程序，所述激光清洗轨迹生成程序被所述处理器执行时实现如上文所述的激光清洗轨迹生成方法的步骤。
42.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有激光清洗轨迹生成程序，所述激光清洗轨迹生成程序被处理器执行时实现如上文所述的激光清洗轨迹生成方法的步骤。
43.本发明中，获取待扫描工件的有序点云，根据所述有序点云生成四角网格，对所述四角网格进行平面分割，获得待扫描工件网格，通过将有序点云处理为四角网格，算法运算速度快，能够方便快捷地实现工件的三维立体信息表达，实现了更强大的感知识别效果；提取所述待扫描工件网格的四角网格轮廓，根据所述四角网格轮廓计算最小有向包围盒，从而能够准确识别任意形状物体的位姿，鲁棒性高，计算量小，识别效率高；根据所述最小有向包围盒生成扫描轨迹，准确性高，实现自动化操作，效率高，减少劳动力和污染。
附图说明
44.图1是本发明实施例方案涉及的硬件运行环境的激光清洗轨迹生成设备的结构示意图；
45.图2为本发明激光清洗轨迹生成方法第一实施例的流程示意图；
46.图3为本发明激光清洗轨迹生成方法实施例中扫描轨迹实际效果图；
47.图4为本发明激光清洗轨迹生成装置第一实施例的结构框图。
48.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
49.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
50.参照图1，图1为本发明实施例方案涉及的硬件运行环境的激光清洗轨迹生成设备结构示意图。
51.如图1所示，该激光清洗轨迹生成设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为usb接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
52.本领域技术人员可以理解，图1中示出的结构并不构成对激光清洗轨迹生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
53.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及激光清洗轨迹生成程序。
54.在图1所示的激光清洗轨迹生成设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述激光清洗轨迹生成设备通过处理器1001调用存储器1005中存储的激光清洗轨迹生成程序，并执行本发明实施例提供的激光清洗轨迹生成方法。
55.基于上述硬件结构，提出本发明激光清洗轨迹生成方法的实施例。
56.参照图2，图2为本发明激光清洗轨迹生成方法第一实施例的流程示意图，提出本发明激光清洗轨迹生成方法第一实施例。
57.在第一实施例中，所述激光清洗轨迹生成方法包括以下步骤：
58.步骤s10：获取待扫描工件的有序点云，根据所述有序点云生成四角网格。
59.应理解的是，本实施例的执行主体是所述激光清洗轨迹生成设备，所述激光清洗轨迹生成设备可为个人电脑、工控机、机器人或服务器等电子设备，本实施例对此不加以限制。将3d相机固定于待焊接工件正上方，触发拍照获取待扫描工件有序点云。对于所述有序点云中的任意一点v
i,j
，依照行列排序的索引规则查找v
i,j
的相邻点v
i,j 1
，v
i 1,j 1
，v
i 1,j
。其中，有序点云数据中第i行j列、第i行j 1列、第i 1行j 1列、第i 1行j列分别对应的v
i,j
，v
i,j 1
，v
i 1,j 1
，v
i 1,j
四个点，这四个点构成一个四角面片，构成四角面片的点称为网格顶点。依据索引关系，添加四角面片，直至搜索完有序点云中的所有顶点，顶点和四角面片共同构成四角网格。其中每个顶点v
i,j
的3d空间位置坐标记为(x,y,z)。根据四角面片的顶点位置坐标，计算出每个四角面片的法向量，所有四角面片法向，构成四角网格的面法向集合其中nf为四角网格所包含的四角面片个数。
60.步骤s20：对所述四角网格进行平面分割，获得待扫描工件网格。
61.需要说明的是，设定四角面片法相夹角阈值θ，若任意两个四角面片fi,fj的法相夹角余弦值cos(ni,nj)＞cos(θ)，则认为两个四角面片属于同一个平面，否则fi,fj属于不同的平面，由此分割出待扫描工件网格。所述四角面片法相夹角阈值θ通常根据经验值进行设定。
62.进一步地，在本实施例中，所述步骤s20之前，还包括：
63.对所述四角网格进行背景网格剪裁，获得料框内网格；
64.相应地，所述对所述四角网格进行平面分割，获得待扫描工件网格，包括：
65.对所述料框内网格进行平面分割，获得待扫描工件网格。
66.在具体实现中，设置料框长度l、宽度w、限高尺寸h、料框位姿(x,y,z,r
x
,ry,rz)，此时料框外的网格为背景网格，裁剪掉料框外的网格，保留料框内网格。
67.进一步地，所述对所述料框内网格进行平面分割，获得待扫描工件网格，包括：
68.计算所述料框内网格中任意两个四角面片的法向量夹角；
69.若所述法向量夹角的余弦值大于预设值，则认为对应的两个四角面片属于同一平面，以对所述料框内网格进行平面分割，获得待扫描工件网格。
70.步骤s30：提取所述待扫描工件网格的四角网格轮廓。
71.可理解的是，由四角网格顶点间的拓扑关系，任意一个网格的内顶点v
i,j
，它的相邻顶点数必然为四个，否则顶点v
i,j
为边缘点。从而提取出待扫描工件网格轮廓。
72.步骤s40：根据所述四角网格轮廓计算最小有向包围盒。
73.应理解的是，为了准确识别任意形状物体的位姿，根据所述四角网格轮廓点云计算所述待扫描工件的最小包络下的位姿，即获得所述最小有向包围盒。
74.进一步地，所述步骤s40，包括：
75.根据所述四角网格轮廓，计算所述待扫描工件网格在相机坐标系下的质心；
76.计算所述待扫描工件网格在所述相机坐标系下相对于所述质心的惯性张量矩阵；
77.根据所述惯性张量矩阵计算所述待扫描工件网格在所述质心的坐标系下的初步
位姿矩阵；
78.根据所述初步位姿矩阵计算所述待扫描工件的最小有向包围盒。
79.应理解的是，质心指的是质量的中心，认为是物体质量集中于此点的假想点。物体质心坐标pc计算公式如下：
80.其中，m为物体的总质量，mi为将物体分为i份，第i份物体的质量，ri为mi的坐标。根据物体质心坐标计算公式计算所述待扫描工件网格在相机坐标系下的质心。
81.惯性张量是描述刚体作定点转动惯性大小的物理量，刚体作定点转动时，只有一点始终保持不动。此外惯性张量是一个实值的三维对称矩阵，对于三维空间中任意一参考点q与以此参考点为原点的直角坐标系q
xyz
，其惯性张量表示方法如下：
[0082][0083]
其中，对角元素i
xx
，i
yy
，i
zz
分别为对于x轴，y轴，z轴的惯性矩。惯性矩一般是指截面抵抗弯曲的性质，设定(x，y，z)为微小质量dm对于点q的相对位置。则这些惯性矩的计算公式如下：
[0084][0085][0086][0087]
而非对角元素，成为惯性积，可定义为：
[0088][0089][0090][0091]
求所述四角网格轮廓相对于质心的惯性张量矩阵，根据平行轴定理，令
[0092]
xi'＝x
i-p
x
[0093]
yi'＝y
i-py[0094]
zi'＝z
i-pz[0095]
其中(p
x
，py，pz)为所述四角网格轮廓在相机坐标系下质心的坐标，(xi，yi，zi)为点云在相机坐标系下的坐标。即可得到所述四角网格轮廓相对于质心的惯性张量矩阵，其最终计算公式如下：
[0096][0097]
遍历所有四角网格轮廓，带入上述公式，计算获得所述四角网格轮廓在相机坐标系下相对于质心的惯性张量矩阵i。
[0098]
采用对角线化方法，使惯性积为零，使惯性张量成为一个对角矩阵。而对称阵的主元素均为正数，所得到的三个特征值必为正实数，三个特征向量必定互相正交，从而计算获得所述惯性张量矩阵的特征值λ1、λ2、λ3。
[0099]
根据所述惯性张量矩阵的特征值，求解所述惯性张量矩阵的特征向量公式如下：iω＝λω。根据所述惯性张量矩阵的特征向量，也是惯性主轴，根据惯性主轴定义四角网格轮廓在质心的坐标系，从而获得四角网格轮廓在相机坐标系下对质心转动主轴的旋转矩阵r
o2c
，根据所述旋转矩阵和所述相机坐标系中的质心，计算相机坐标系到点云质心坐标系的旋转平移矩阵，获得所述待扫描工件的初步位姿矩阵t
o2c
，即所述最小有向包围盒。其中，相机坐标系到点云质心平移矩阵t
o2c
等于质心pc坐标。
[0100]
步骤s50：根据所述最小有向包围盒生成扫描轨迹。
[0101]
需要说明的是，查找所述最小有向包围盒最小点b
min
和最大点b
max
。由b
min
和b
max
可以给出有向包围盒上表面顶点坐标分别为a(x
min
,y
min
,z
min
)，b(x
min
,y
max
,z
min
)，c(x
max
,y
max
,z
min
)，d(x
max
,y
min
,z
min
)，四个顶点按照逆时针方向排列。按照单条轨迹沿x轴正向扫描，多条轨迹沿y轴正向排列的方式生成扫描轨迹。也可以是，四个顶点按照顺时针方向排列，按照单条轨迹沿x轴反向扫描，多条轨迹沿y轴反向排列的方式生成扫描轨迹。对此本实施例不加以限制。
[0102]
在本实施例中，获取待扫描工件的有序点云，根据所述有序点云生成四角网格，对所述四角网格进行平面分割，获得待扫描工件网格，通过将有序点云处理为四角网格，算法运算速度快，能够方便快捷地实现工件的三维立体信息表达，实现了更强大的感知识别效果；提取所述待扫描工件网格的四角网格轮廓，根据所述四角网格轮廓计算最小有向包围盒，从而能够准确识别任意形状物体的位姿，鲁棒性高，计算量小，识别效率高；根据所述最小有向包围盒生成扫描轨迹，准确性高，实现自动化操作，效率高，减少劳动力和污染。
[0103]
继续参照图2，基于上述第一实施例，提出本发明激光清洗轨迹生成方法的第二实施例。
[0104]
在第二实施例中，所述步骤s50，包括：
[0105]
计算所述最小有向包围盒上表面的顶点坐标；
[0106]
按照预设规则计算扫描方向和扫描顺序；
[0107]
根据所述顶点坐标、所述扫描方向和所述扫描顺序，生成扫描轨迹。
[0108]
应理解的是，根据所述最小有向包围盒上表面的顶点坐标a(x
min
,y
min
,z
min
)，b(x
min
,y
max
,z
min
)，c(x
max
,y
max
,z
min
)，d(x
max
,y
min
,z
min
)，计算有向包围盒沿x轴方向边长
则激光清洗轨迹数量为：
[0109][0110]
其中，为向下取整符号，d为给定激光宽度阈值。
[0111]
①
计算和的方向向量：
[0112][0113][0114]
②
计算单次扫描轨迹起终点坐标。
[0115]
对任意扫描轨迹ti，i∈[0,n)，轨迹起终点坐标为：
[0116][0117][0118]
其中p
si
，p
ei
分别为第i条扫描轨迹起终点坐标，p_a为顶点a的坐标，p_b为顶点b的坐标，d为给定激光宽度阈值。
[0119]
③
计算扫描轨迹方向。对任意扫描轨迹ti，i∈[0,n)，如果i为奇数，扫描方向为p
si
→
p
ei
，否则扫描方向为p
ei
→
p
si
，即当i为偶数时，交换扫描轨迹ti的起点和终点坐标值。进一步地，在本实施例中，所述根据所述顶点坐标、所述扫描方向和所述扫描顺序，生成扫描轨迹，包括：根据所述顶点坐标和给定激光宽度阈值，计算扫描轨迹数量；基于所述扫描轨迹数量，计算每条扫描轨迹的起点和终点；根据每条扫描轨迹的起点和终点、所述扫描方向和所述扫描顺序，生成扫描轨迹。
[0120]
进一步地，在本实施例中，所述根据每条扫描轨迹的起点和终点、所述扫描方向和所述扫描顺序，生成扫描轨迹，包括：
[0121]
对任意扫描轨迹，将扫描轨迹起点和终点坐标由工件坐标系转换到相机坐标系；
[0122]
计算所述相机坐标系下扫描轨迹中每个点的扫描位姿，并通过手眼标定将每个点的所述扫描位姿、所述扫描方向和所述扫描顺序转换到机器人坐标系，获得扫描轨迹。
[0123]
需要说明的是，对任意扫描轨迹ti，将扫描轨迹起点和终点坐标由工件坐标系转换到相机坐标系。由最小包围盒计算得出，工件坐标系到相机坐标系的变换矩阵t
o2c
为：
[0124]
[0125]
则任意扫描轨迹ti的起点和终点在相机坐标系下的坐标为：
[0126][0127]
计算相机坐标系下扫描轨迹ti中每个点的位姿，并通过手眼标定将每个点的扫描位姿转换到机器人坐标系，作为最终扫描轨迹。基于最小包围盒生成的扫描轨迹实际效果如图3所示。
[0128]
在本实施例中，通过计算所述最小有向包围盒上表面的顶点坐标，按照预设规则计算扫描方向和扫描顺序，根据所述顶点坐标、所述扫描方向和所述扫描顺序，生成扫描轨迹，使其完全覆盖被扫描物体表面，实现全面清洗，提高清洗质量。
[0129]
此外，本发明还提出一种存储介质，所述存储介质上存储有激光清洗轨迹生成程序，所述激光清洗轨迹生成程序被处理器执行时实现如上文所述的激光清洗轨迹生成方法的步骤。
[0130]
此外，参照图4，本发明实施例还提出一种激光清洗轨迹生成装置，所述激光清洗轨迹生成装置包括：
[0131]
生成模块10，获取待扫描工件的有序点云，根据所述有序点云生成四角网格；
[0132]
平面分割模块20，用于对所述四角网格进行平面分割，获得待扫描工件网格；
[0133]
提取模块30，用于提取所述待扫描工件网格的四角网格轮廓；
[0134]
计算模块40，用于根据所述四角网格轮廓计算最小有向包围盒；
[0135]
所述生成模块10，还用于根据所述最小有向包围盒生成扫描轨迹。
[0136]
本发明所述激光清洗轨迹生成装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
[0137]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0138]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
[0139]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(read only memory image，rom)/随机存取存储器(random access memory，ram)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0140]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。