一种机器人自动钻孔视觉定位方法与流程

1.本发明涉及自动钻孔机器人视觉定位领域，具体是一种机器人自动钻孔视觉定位方法。


背景技术：

2.航空机械修造过程中需要对外部蒙皮进行打孔，因打孔位置根据需求实时确定，且对定位精度和垂直度有较高要求，目前为人工量具定位及手钻作业。通过自动移动机器人可实现打孔的自动化，需要一套高精度视觉定位系统，实现打孔过程中钻孔位置和入钻角度的精确定位。
3.如中国专利号为201910443683.0的一种用于机器人钻孔中优化钻头位姿的方法中，属于机器人钻孔作业中优化调整钻头位姿的领域。该方法首先搭建基于条纹投影法和视觉伺服控制的机器人钻孔系统并进行系统参数标定，然后进行机器人钻孔作业的离线规划得到一系列路径点；在每个路径点，计算钻头在该路径点期望位姿下的相位图，设计视觉特征并推导交互矩阵和视觉伺服控制律；最后利用视觉伺服控制律对离线规划的每个路径点的钻头位姿进行优化，直到每个路径点的视觉伺服收敛完成，以提高钻头轴线与待钻孔点处的切面的垂直度，进而提高钻孔质量和表面平整度。本发明结合条纹投影轮廓测量法测量精度高和视觉伺服控制精度高的优点，能有效优化实际机器人钻孔作业中钻头的位姿，但是在定位上，仅靠普通的视觉无法精准定位，需要两组不同的视觉进行定位才能更加精准的提高准确率。


技术实现要素：

4.为了解决上述问题，本发明提出一种机器人自动钻孔视觉定位方法。
5.一种机器人自动钻孔视觉定位方法，其具体步骤如下：
6.s1、初始误差标定：按照顺序安装标定工装，孔底部在二维码坐标系中的位置提前精确测得，记为(xb,yb,0)，测量目标位置与理论位置偏差，保存次偏差做为误差补偿数据，写成位姿公式t
tipinmark
；
7.s2、设置孔位定位标记：在指定制孔的位置处设置定位标记，可使用aruco码或二维码，也可使用其他标记；
8.s3、3d视觉相机扫描平面：上位机搭载3d视觉相机扫描钻孔平面，获得平面点运数据；
9.s4、2d视觉相机标定坐标系：系统发送指令给机械臂，调整姿态使2d视觉相机与上述识别的平面垂直；
10.s5、计算精确位姿：采用小孔成像模型，将标定的坐标系投影到钻孔平面，按照设置的钻孔行数、孔距、列数、行距类参数方案，结合预设的转速、进给量、孔径类钻孔策略，自动算法计算精确的目标位置和姿态；
11.s6、位置补偿：由于标定误差和机器人运动及钻头安装误差，计算出的钻孔位置需
要进行补偿，误差补偿直接通过计算到机器人tcp的方式进行；
12.s7、实施钻孔：按照定位算法和补偿算法计算出钻孔位置，发送给上位机，自动控制进行钻孔作业；
13.s8、垂直度精确调整：在钻孔过程中使用一个或多个距离传感器精细测量钻头轴线与目标平面间角度，反馈上位机对钻头角度进行更精确调整。
14.作为本发明的进一步改进，所述的步骤s1的标定工装安装具体为包括底板，在底板上设置有标定视觉二维码，还包括立柱，立柱上设有圆孔，圆孔的底部和底板的底部平齐，在钻头上安装标定用的圆棒，并测量圆棒伸出长度l，通过示教的方式将标定的圆棒插入到标定工装立柱的圆孔内。
15.作为本发明的进一步改进，所述的步骤s2的其他标记可以为形状、颜色标记类。
16.作为本发明的进一步改进，所述的步骤s3中使用ransac平面拟合或其他算法对点云数据进行处理，根据距离传感器提供的信息利用大小筛选出正确平面。
17.作为本发明的进一步改进，所述的步骤s4中的相机采集2d图像，查找图像中的定位标记，匹配2d目标中心并标定二维坐标系t
markincam
。
18.作为本发明的进一步改进，所述的步骤s6中综合计算机器人法兰姿态，具体为：
19.t
tipinflange
＝t
tipinmark
*t
markincam
*t
caminflange
20.其中，t
tipinmark
为初始误差标定获得，t
markincam
为前述算法计算二维坐标系在相机坐标系的位姿，t
caminflange
则通过相机的手眼标定提前完成。
21.具体的，t
tipinmark
＝(x
t-x
b，yt-y
b，zt
)；
22.t
markincam
＝(x
m，ym，
0)；
23.t
caminflange
＝(x
c，yc，
zc)；
24.初始标定理论坐标(xb,yb,0),初始标定实测坐标(x
t
,y
t
,z
t
),2d图像标定坐标(xm,ym,0),相机手眼标定坐标(xc,yc,zc)。
25.本发明的有益效果是：本发明使用3d视觉相机、2d视觉相机、距离传感器来实现钻孔平面的及钻孔位置的精确定位，与机器人及自动导航agv配合，实现视觉定位引导钻孔，算法集合高精度的3d视觉相机、2d视觉相机、高精度的距离传感器来融合点云平面信息，2d视觉相机标记位置信息，距离传感器换算角度信息；使用预先系统误差测量和补偿方法提高系统总体精度。
附图说明
26.下面结合附图和实施例对本发明进一步说明。
27.图1为本发明的标定工装立体结构示意图；
28.图2为本发明的初始误差示意图；
29.图3为本发明的2d视觉相机标定坐标系示意图；
30.图4为本发明的小孔成像模型示意图；
31.图5为本发明的标定工装俯视结构示意图；
32.图6为本发明的流程示意图；
33.图7为本发明的立柱剖视结构示意图；
34.图8为本发明的投影位姿示意图。
具体实施方式
35.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面对本发明进一步阐述。
36.如图1至图7所示，一种机器人自动钻孔视觉定位方法，其具体步骤如下：
37.s1、初始误差标定：如图1所示，按照顺序安装标定工装，孔底部在二维码坐标系中的位置提前精确测得，记为(xb,yb,0)，测量目标位置与理论位置偏差，保存次偏差做为误差补偿数据，写成位姿公式t
tipinmark
；
38.s2、设置孔位定位标记：在指定制孔的位置处设置定位标记，可使用aruco码或二维码，也可使用其他标记；
39.s3、3d视觉相机扫描平面：上位机搭载3d视觉相机1扫描钻孔平面，获得平面点运数据；
40.s4、2d视觉相机标定坐标系：系统发送指令给机械臂，调整姿态使2d视觉相机2与上述识别的平面垂直；
41.s5、计算精确位姿：采用小孔成像模型，将标定的坐标系投影到钻孔平面，按照设置的钻孔行数、孔距、列数、行距类参数方案，结合预设的转速、进给量、孔径类钻孔策略，自动算法计算精确的目标位置和姿态；
42.s6、位置补偿：由于标定误差和机器人运动及钻头安装误差，计算出的钻孔位置需要进行补偿，误差补偿直接通过计算到机器人tcp的方式进行；
43.s7、实施钻孔：按照定位算法和补偿算法计算出钻孔位置，发送给上位机，自动控制进行钻孔作业；
44.s8、垂直度精确调整：在钻孔过程中使用一个或多个距离传感器8精细测量钻头轴线与目标平面间角度，反馈上位机对钻头角度进行更精确调整。
45.本发明实现自动钻孔过程中的钻孔平面找正、钻孔位置定位和入钻角度测量，突破了传统作业手工钻孔方法，实现定位自动精准，以达到提高工作效率，提升产品质量，同时节约了成本。
46.所述的步骤s1的标定工装安装具体为包括底板7，在底板7上设置有标定视觉二维码3，还包括立柱5，立柱5上设有圆孔6，圆孔6的底部和底板7的底部平齐，在钻头上安装标定用的圆棒4，并测量圆棒4伸出长度l，通过示教的方式将标定的圆棒4插入到标定工装立柱5的圆孔6内。
47.使用3d视觉相机1、2d视觉相机2、距离传感器8来实现钻孔平面的及钻孔位置的精确定位，与机器人及自动导航agv配合，实现视觉定位引导钻孔，算法集合高精度的3d视觉相机1、2d视觉相机2、距离传感器8，融合点云平面信息，2d视觉相机2标记位置信息，距离传感器换算角度信息；使用预先系统误差测量和补偿方法提高系统总体精度。
48.3d视觉相机1用于确定平面，经控制系统传达指令给机械臂，机械臂移动找正，使2d视觉相机2与平面垂直。
49.所述的步骤s2的其他标记可以为形状、颜色标记类。
50.所述的步骤s3中使用ransac平面拟合或其他算法对点云数据进行处理，根据距离传感器8提供的信息利用大小筛选出正确平面。
51.自动算法识别平面和定位标记，根据工艺参数设定计算出钻孔位置，发送给上位
机进行钻孔作业；钻孔过程中距离传感器8测量计算钻头与目标平面角度，对钻头入钻角度进行精确调整。
52.所述的步骤s4中的相机采集2d图像，查找图像中的定位标记，匹配2d目标中心并标定二维坐标系t
markincam
，。
53.所述的步骤s6中综合计算机器人法兰6姿态，具体为：
54.t
tipinflange
＝t
tipinmark
*t
markincam
*t
caminflange
55.其中t
tipinmark
为初始误差标定获得，t
markincam
为前述算法计算二维坐标系在相机坐标系的位姿，t
caminflange
则通过相机的手眼标定提前完成。
56.具体的，t
tipinmark
＝(x
t-x
b，yt-y
b，zt
)；
57.t
markincam
＝(x
m，ym，
0)；
58.t
caminflange
＝(x
c，yc，
zc)；
59.初始标定理论坐标(xb,yb,0),初始标定实测坐标(x
t
,y
t
,z
t
),2d图像标定坐标(xm,ym,0),相机手眼标定坐标(xc,yc,zc)。
60.所述的步骤s6是由于机器人运动以及安装误差，计算出的钻孔位置需要进行误差补偿，误差补偿测量方法，在标定装置上识别目标，并移动标定用钻头到目标位置，测量目标位置与理论位置偏差，保存此偏差做为误差补偿数据。
61.如图8所示，机器人通过识别定位基准，按照设置的参数例如：行数、列数、钉距、排距等，计算得出钻孔孔位，这个图就是得到钻孔孔位之后，以投影方式在钻孔平面上展现空位排布，操作人员可直观判断其正确与否，确认之后再执行钻孔。简而言之，就是把系统计算出的孔位投影到实际操作面，以供验证确认，这样可以对例如：排孔过密/过疏、孔位偏移、钉孔数超限等误差情况，进行有效规避和调整。
62.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。