一种基于图像配准的工件碰撞检测方法及喷涂系统与流程

1.本发明属于喷涂技术领域，具体涉及一种基于图像配准的工件碰撞检测方法及喷涂系统。


背景技术：

2.在喷涂生产线上，待喷涂的工件多以悬挂的方式随传送链条运动。在这种悬挂工件的方式下，工件的晃动几乎是不可避免的，尤其在传送链条启停过程中，工件的晃动尤为明显；而通过实时检测工件晃动的范围，对超出安全范围的晃动工件进行报警，甚至紧急停传送链条，成为检测的重点之一。具体来说，检测工件的晃动是为了避免晃动幅度较大的工件在进入喷涂房后对喷涂房或者喷枪形成碰撞，从而造成设备的损坏或者影响工件的喷涂质量。
3.现有技术中，光栅和激光扫描都是比较常用的位置检测手段，在宽度、高度等几个方向上布置之后，在其工作平面上对工件进行检测；但是，其局限在于检测的平面是固定的，对于已经穿过其工作平面的工件，如果发生晃动，则无法持续跟踪报警。


技术实现要素：

4.有鉴于此，本发明的目的是提供一种可对工件进行实时的碰撞检测，并可实现不同区域的分级报警的基于图像配准的工件碰撞检测方法及喷涂系统。
5.为了解决上述技术问题，本发明所使用的技术方案是：
6.一种基于图像配准的工件碰撞检测方法，其包括如下步骤：
7.s1、选定检测区域；
8.s2、在所述检测区域内设置实体坐标系；
9.s3、使用摄像装置捕捉并生成所述实体坐标系的点云；
10.s4、根据捕捉到的所述点云拟合出参照坐标系；
11.s5、将所述参照坐标系对所述实体坐标系进行对比，若所述参照坐标系相于所述实体坐标系的误差小于预设值，则表示所述参照坐标系拟合成功，否则，调整所述实体坐标系和/或摄像装置。
12.作为对所述的基于图像配准的工件碰撞检测方法的进一步改进，还包括如下步骤：
13.s6、当所述参照坐标系拟合成功后，则固定所述摄像装置相对于所述待检测区域的位置；
14.s7、将捕捉到的所述参照坐标系转换成世界坐标系；
15.s8、设定所述世界坐标系的参数以确定碰撞预警的触发条件。
16.作为对所述的基于图像配准的工件碰撞检测方法的进一步改进，还包括如下步骤：
17.s9、当所述参照坐标系拟合成功后，撤除设置在所述待检测区域内的所述实体坐
标系。
18.作为对所述的基于图像配准的工件碰撞检测方法的进一步改进，所述实体坐标系包括三只球体，三只所述球体分别形成所述实体坐标系的x轴线、y轴线和z轴线的端点，且所述球体为所述点云的捕捉对像。
19.作为对所述的基于图像配准的工件碰撞检测方法的进一步改进，所述球体的表面经打磨或拉丝处理。
20.作为对所述的基于图像配准的工件碰撞检测方法的进一步改进，所述摄像装置针对三只所述球体的所在区域分别进行点云捕捉，并利用最小二乘法拟合出所述参照坐标系。
21.作为对所述的基于图像配准的工件碰撞检测方法的进一步改进，在步骤s7中还包括获取所述参照坐标系的参数值并构成pc矩阵，获取所述世界坐标系的参数值并构成pw矩阵，所述pc矩阵逆运算乘以pw矩阵而得出旋转偏移矩阵tctw；
22.其中，所述pw矩阵表示为：pw＝(r l 0 0 r l/3、0 r l 0 r l/3、0 0 r l r l/3、1 1 1 1)；
23.所述pc矩阵表示为：pc＝(p
1x p
2x p
3x p
1x
p
2x
p
3x
/3、p
1y p
2y p
3y p
1y
p
2y
p
3y
/3、p
1z p
2z p
3z p
1z
p
2z
p
3z
/3、1 1 1 1)。
24.作为对所述的基于图像配准的工件碰撞检测方法的进一步改进，所述摄像装置设置有两个，所述摄像装置分别位于检测区域的两侧，且的述摄像装置为深度相机。
25.作为对所述的基于图像配准的工件碰撞检测方法的进一步改进，所述摄像装置距离检测区域的距离为0.6
‑
1.3m。
26.一种喷涂系统，包括喷涂房、链条传送机构和摄像装置，所述摄像装置安装于所述述喷涂房前的两侧处，所述链条传送机构位于所述喷涂房的顶部，所述链条传送机构用于将工件送入送出所述喷涂房，工件进入所述喷涂房之前，所述摄像装置通过如上所述的基于图像配准的工件碰撞检测方法检测工件相对于喷涂房的晃动量；
27.当所述工件的晃动量超出预设值时则停止链条传送机构或者发出碰撞预警。
28.作为对所述喷涂系统的进一步改进，所述摄像装置视野覆盖的检测区域内设置有碰撞检测区和安全区，所述碰撞检测区对应于所述喷涂房的边界，所述安全区对应于所述工件的移动区，所述碰撞检测区外为非检测区域。
29.相对于现有技术本发明的有益效果主要体现在：本发明利用结构光深度相机工作范围广的特点，从侧面对全范围进行实时的碰撞检测，并利用算法实现了不同区域的分级报警，使得碰撞检测或者说对喷涂设备的保护更加具备针对性；进一步来说，挖掘摄像装置(深度相机)在碰撞检测方面的潜力，(发现了消费级结构光相机在视野范围内在金属拉丝球的表面得到的点云质量可以满足球面拟合算法的要求)，并开发成套的算法成功解决了深度相机的定位问题，详解了空间坐标转换的矩阵构造计算方法，并落地实现了工程应用；与常用的光栅和线激光扫描只能对其装设的工作平面工作相比，本发明可实现大范围的实时检测，而不局限于特定的工作平面。
附图说明
30.通过附图中所示的本发明优选实施例更具体说明，本发明上述及其它目的、特征
和优势将变得更加清晰。在全部附图中相同的附图标记指示相同的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。
31.图1为本发明中摄像装置从实体坐标系中获取到的点云；
32.图2为本发明中碰撞检测示意图；
具体实施方式
33.下面结合附图和具体实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在本实施例中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限定。
34.需要说明的是，当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件并与之结合为一体，或者可能同时存在居中元件。本发明中所使用的术语“安装”、“一端”、“另一端”以及类似的表述只是为了说明的目的。
35.如图1
‑
2所示，本实施例提供了一种基于图像配准的工件碰撞检测方法，其包括如下步骤：
36.s1、选定检测区域；具体来说，在工件进入喷涂房后或者相应的喷涂工件前，要保证工件的晃动幅度保持在安全的范围内，从而避免因为工件的晃动而撞击喷涂房或者喷涂设备；因此，为了能对工件进行有效的碰撞检测，就需设定一个检测区域，在本实施例中，这个检测区域是喷涂房中的内轮廓所形成的边界，又或者说可供工件通过的相应区域。
37.s2、在检测区域内设置实体坐标系；在本实施例中，将三个已知半径r的金属表面拉丝球通过已知长度l的连杆焊接为相互垂直状。将该定位装置安装在三脚架上，放置在深度相机的视野中，利用水平仪调平。虽然本发明中的算法并不限制球的位置，只要成像质量满足球面拟合的要求即可，球可以任意放置以建立任意适合现场使用的坐标系，但是与本项目贴合的最佳实践是让x轴平行于输送链条方向，y轴和z轴分别处于水平和竖直方向(y轴方向可以向粉房内侧或外侧，没有本质区别)，三条连杆的连接点放在与粉房的竖直边缘平齐的位置。这样粉房边缘就可以作为报警参数设置的参照物，y坐标＝0，方便后续操作。
38.s3、使用摄像装置捕捉并生成实体坐标系的点云，图1中红圈圈出的图形则是由深度相机捕捉并生成的球体点云；在工程中使用测量仪器得到的产品外观表面的点数据集合也称之为点云；即，点云是指目标表面特性的海量点集合。通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。
39.s4、根据捕捉到的点云拟合出参照坐标系；
40.s5、将参照坐标系对实体坐标系进行对比，若参照坐标系相于实体坐标系的误差小于预设值，则表示参照坐标系拟合成功，否则，调整实体坐标系和/或摄像装置。进一步来说，本实施例中的摄像装置为深度相机，进一步来说，使用深度相机，在三个球(实体坐标系)所在的区域分别进行点云捕捉。捕捉的方法为球心半径法：利用球面一点作为球心，以r为半径，截取点云，以保证得到的点云中只有球球面的点，没有其他干扰。将捕捉到的球面
点云，利用最小二乘法拟合出该球的球心坐标(相机坐标系)与球的半径r0。在本实施例中使用半径为75mm的球，拟合球的半径误差为
±
1mm以内，则认为拟合成功。若球面拟合的半径符合要求，则再计算三个球心之间的距离，若均满足√2l
±
3mm则认为拟合成功。若拟合半径不满足误差要求，多为两方面原因所致，一个是球与相机之间超过最佳拍摄距离，一个是现场有强光干涉，导致点云捕捉残缺，需要从遮光处理和移动小球两个方面进行尝试，通常是对摄像装置的位置进行合理调整，直到拟合成功。实验结果表明，消费级单目结构光的拟合最佳距离为0.6m
‑
1.3m，又如0.7m、0.8m、0.9m、1.0m、1.1m、1.2m，当然，如果预算满足，可以选用参数更好的相机。
41.进一步的，在优选实施例中，还包括如下步骤：
42.s6、当参照坐标系拟合成功后，则固定摄像装置相对于待检测区域的位置；具体来说，针对不同规格的喷涂房或者说不同大小的检测区域、不同的安装环境、以及不同规格的摄像装置都会对拟合产生影响，因此需要在拟合成功后，才能最终确定并固定摄像装置的具体位置，即，定位摄像装置的位置是为了能便于获得深度相机相对于喷涂房的旋转矩阵。
43.s7、将捕捉到的参照坐标系转换成世界坐标系；具体来说，将深度相机获得的点坐标转换为世界坐标系，才能够使得报警参数和检测参数容易设置和计算。为了获得4
×
4旋转偏移矩阵tctw(transmition camera to world),需要利用上一步中得到的坐标，构造两个4*4的矩阵pw(points of world)，pc(points of camera)，来求取tctw。下面公式中，pw的每列分别是x轴，y轴，z轴小球的球心以及三点构成的等边三角形的中心在世界坐标系下的坐标，pc的每列分别是三个小球的球心以及它们构成的等边三角形的中心在相机坐标系下的坐标，两个矩阵的最后一行填充为1，作为矩阵的增广，方便利用计算机进行求逆运算，一次性得到旋转偏移矩阵tctw。其中，
[0044][0045]
由于有pw＝tctw*pc的关系，因此tctw＝pw*pc
‑
1。将tctw左乘所有相机坐标系得到的坐标，就可以得到所有该世界坐标系下的坐标。至此空间坐标系转换矩阵计算完毕。具体来说，由三个球心在相机坐标系里的值(参照坐标系)，和它们在世界坐标系的值，分别构成的pc矩阵和pw矩阵，经过矩阵乘法运算得到旋转矩阵，当然pc矩阵需要逆运算。进一步的，pw的值，我们是已知的(球的半径 杆的长度)，pc的值就是通过球面点云拟合出的三个球心的坐标生成。有了旋转矩阵之后就可以把相机测量出来的点坐标进行校正，使得它能够和实际的喷涂房进行比对，进而实现工件的碰撞检测。
[0046]
s8、设定世界坐标系的参数以确定碰撞预警的触发条件。
[0047]
在优选实施例中，还包括如下步骤：
[0048]
s9、当参照坐标系拟合成功后，表示为碰撞检测系统成功建立了基准坐标系，此时，即可撤除设置在待检测区域内的实体坐标系。
[0049]
在优选实施例中，实体坐标系包括三只球体，三只球体分别形成实体坐标系的x轴
线、y轴线和z轴线的端点，且球体为点云的捕捉对像。其中，球体的表面经打磨或拉丝处理，从而有助摄像装置获取并生成点云。
[0050]
如图2所示，本实施例还提供了一种喷涂系统，包括喷涂房、链条传送机构和摄像装置，摄像装置安装于述喷涂房前的两侧处，链条传送机构位于喷涂房的顶部，链条传送机构用于将工件送入送出喷涂房，工件进入喷涂房之前，摄像装置通过如上的基于图像配准的工件碰撞检测方法检测工件相对于喷涂房的晃动量；
[0051]
当工件的晃动量超出预设值时则停止链条传送机构或者发出碰撞预警。
[0052]
如图2所示，在优选实施例中，摄像装置视野覆盖的检测区域内设置有碰撞检测区和安全区，碰撞检测区对应于喷涂房的边界，安全区对应于工件的移动区，碰撞检测区外为非检测区域。在本实施例中，报警范围设定：将两个相机分别按照上述方式进行设置并固定后，按照现场碰撞检测可接受的安全裕度，设定碰撞检测的世界坐标范围。为了排除旁边人员或其他物品进入到相机检测范围而误触发碰撞预警，本发明在相机的覆盖范围内设定绿色安全区、红色碰撞检测区、灰色非检测区三个区域。红色范围是碰撞检测区(喷涂房边界)；红色内框以内的区域，是绿色安全区(工件区)；红色外框以外的区域，是灰色非检测区(喷涂房边界外的区域)。为了防止链条和挂具穿过产生误报警，在红色碰撞检测区域的顶端设计了长方形开口区域,开口的范围由uyl，uyh，uzl，uzh4个参数来确定，x范围与红色碰撞检测区相同。
[0053]
相对于现有技术本发明的有益效果主要体现在：本发明利用结构光深度相机工作范围广的特点，从侧面对全范围进行实时的碰撞检测，并利用算法实现了不同区域的分级报警，使得碰撞检测或者说对喷涂设备的保护更加具备针对性；进一步来说，挖掘摄像装置(深度相机)在碰撞检测方面的潜力，(发现了消费级结构光相机在视野范围内在金属拉丝球的表面得到的点云质量可以满足球面拟合算法的要求)，并开发成套的算法成功解决了深度相机的定位问题，详解了空间坐标转换的矩阵构造计算方法，并落地实现了工程应用；与常用的光栅和线激光扫描只能对其装设的工作平面工作相比，本发明可实现大范围的实时检测，而不局限于特定的工作平面。
[0054]
在本说明书中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0055]
在本说明书的描述中，参考术语“优选实施例”、“再一实施例”、“其他实施例”或“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0056]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述
实施例进行变化、修改、替换和变型。