飞机蒙皮移动机器人制孔视觉定位及检测方法与流程

1.本发明涉及飞机制造相关技术领域，具体涉及一种飞机蒙皮移动机器人制孔视觉定位及检测方法。


背景技术：

2.航空航天产品不仅外形庞大，并且零件众多，协调关系复杂，对部件的加工和装配要求非常严格，在航空航天产品的装配过程中，铆接是十分常见的链接方式，其制孔质量对飞机安全性和寿命影响巨大，目前，制孔越来越多的使用机器人进行自动制孔，但是如何精准定位加工点是至关重要的难点，而现在通常采用的定位技术在精度上仍有待提高，尤其是针对机器人移动产生的误差较难补偿，另外，现阶段对制孔锪窝的检测主要还是以人工操作为主，不仅工作效率低，同时检测的精度也不高，给产品的质量增加了很多不确定的因素，限制了产品的质量和稳定性。


技术实现要素：

3.本发明的目的在于克服上述不足问题，提供一种飞机蒙皮移动机器人制孔视觉定位及检测方法。
4.本发明为实现上述目的所采用的技术方案是：飞机蒙皮移动机器人制孔视觉定位及检测方法，包括以下步骤：
5.步骤一：对安装在移动机器人的末端法兰上的双目相机的标定
6.双目相机通过不同角度对标准标定板进行拍摄，获得双目相机的内参、外参以及双目相机之间的位姿关系，完成双目相机的标定；
7.步骤二：双目相机与移动机器人的标定
8.通过上述标定的双目相机对双目视觉检测标定板进行拍摄，获得双目视觉检测标定板的特征点在相机坐标系上的位姿，并用激光跟踪仪建立相机坐标系与机器人法兰坐标系之间的位姿关系，通过已知的机器人法兰坐标系与机器人坐标系的位姿关系，获得相机坐标系与机器人坐标系的位姿关系，完成双目相机与移动机器人的标定；
9.步骤三：匹配模板的建立
10.通过标定后的双目相机对飞机蒙皮上的参考基准孔的特征点进行拍摄，图片经过图像处理后建立成匹配模板；
11.步骤四：机器人坐标系与飞机坐标系的位姿关系建立
12.再次通过双目相机对飞机蒙皮上的基准孔特征点进行拍摄，并通过相机坐标系与机器人坐标系的位姿关系，建立机器人坐标系与飞机坐标系之间的位姿关系；
13.步骤五：制孔
14.将移动机器人的末端执行器移动至飞机蒙皮的基准孔位置进行拍摄，获得的基准孔的特征点与匹配模板进行匹配，经过参数判断确定特征点是否满足要求，满足要求的即可以基准孔为基准进行制孔；
15.步骤六：锪窝深度检测
16.制孔后，通过末端执行器侧端上安装的检测相机对飞机蒙皮上的加工孔进行拍摄，识别加工孔的内径与外径进而计算出锪窝深度，经过参数判断确定锪窝深度是否满足要求。
17.所述相机坐标系与机器人法兰坐标系的位姿关系的约束条件：
18.建立匹配模板的图片要选择清晰完整的图片，经过图片矫正、仿射变换、图片预处理、阈值处理和blob分析将特征区域分割出来，经高斯滤波、形态学分析、增加对比度、边缘检测、xld分析后建立匹配模板。
19.所述匹配模板的匹配采用图像金字塔分层搜索策略。
20.制孔时拍摄的基准孔的图片经过图片矫正、roi分析，将特征区域分割出来，通过高斯滤波滤除图像中的白噪声，并通过增强对比度强化边缘轮廓后与匹配模板匹配。
21.机器人法兰坐标系与机器人坐标系的位姿关系模型为：
22.b
p
x
＝trans
x
‑
f
p
y
(cos(a)*sin(b)
‑
cos(c)*sin(a)*sin(b))
f
p
z
*(sin(a)*sin(c) cos(a)*cos(c)*sin(b))
f
p
x
*cos(b)*cos(c)
23.b
p
y
＝trans
y

f
p
y
(cos(a)*cos(c) sin(a)*sin(b)*sin(c))
f
p
z
*(cos(c)*sin(a)
‑
cos(a)*sin(b)*sin(c))
f
p
x
*cos(b)*sin(c)
24.b
p
z
＝trans
z
‑
f
p
x
*sin(b)
f
p
z
*cos(a)*cos(b)
f
p
y
*cos(b)*sin(a)。
25.本发明的特点是：通过双目相机的视觉定位大幅提高了飞机蒙皮制孔效率和精度，尤其解决了曲面薄蒙皮的制孔难题，而且制孔后并可自动化检测锪窝深度，满足飞机蒙皮高精度制孔及检测的要求，提供了整体工作效率。
附图说明
26.图1是本发明的流程示意图。
27.图2是本发明中采用的搜索策略图像金字塔。
具体实施方式
28.如图1所示，本发明为飞机蒙皮移动机器人制孔视觉定位及检测方法，包括以下步骤：
29.步骤一：对安装在移动机器人的末端法兰上的双目相机的标定
30.双目相机通过不同角度对标准标定板进行拍摄，获得双目相机的内参、外参以及双目相机之间的位姿关系，完成双目相机的标定；
31.所述标准标定板为高精度的7x7孔的方形板，所述标准标定板设置在双目相机视野范围内(1/3左右)拍摄一定数量(大于15张)的图片，通过软件执行双目相机的标定，获得相机的内参[focus，kappa，sx，sy，cx，cy，imagewidth，imageheight]和外参[x，y，z，a，b，c]及双目相机间的位姿关系，其中，focus：焦距；kappa：扭曲畸变；sx，sy：像素大小；cx，cy：图像中心点坐标；imagewidth，imageheight：图像的宽和高；x，y，z：位置坐标；a，b，c：偏航角、俯仰角、滚动角；
[0032]
双目相机标定完成后，双目相机的焦距、光圈及位姿都不能再变动；
[0033]
步骤二：双目相机与移动机器人的标定
[0034]
通过上述标定的双目相机对双目视觉检测标定板进行拍摄，获得双目视觉检测标定板的特征点在相机坐标系上的位姿，并用激光跟踪仪建立相机坐标系与机器人法兰坐标系之间的位姿关系，所述激光跟踪仪的使用相比传统的他标定方法进一步提升了关系模型的精度，所述相机坐标系与机器人法兰坐标系的位姿关系的约束条件：(
f
p：法兰坐标系下点的坐标，相机坐标系在法兰坐标下的位姿，
c
p：相机坐标系下点的坐标)，并通过已知的机器人法兰坐标系与机器人坐标系的位姿关系，
[0035]
b
p
x
＝trans
x
‑
f
p
y
(cos(a)*sin(b)
‑
cos(c)*sin(a)*sin(b))
f
p
z
*(sin(a)*sin(c) cos(a)*cos(c)*sin(b))
f
p
x
*cos(b)*cos(c)
[0036]
b
p
y
＝trans
y

f
p
y
(cos(a)*cos(c) sin(a)*sin(b)*sin(c))
f
p
z
*(cos(c)*sin(a)
‑
cos(a)*sin(b)*sin(c))
f
p
x
*cos(b)*sin(c)
[0037]
b
p
z
＝trans
z
‑
f
p
x
*sin(b)
f
p
z
*cos(a)*cos(b)
f
p
y
*cos(b)*sin(a)
[0038]
获得相机坐标系与机器人坐标系的位姿关系，完成双目相机与移动机器人的标定；
[0039]
双目相机的标定以及双目相机与机器人法兰关系模型的建立，仅在产品入厂调试时标定一次即可，不受机器人在不同的加工工位之间行走移动的影响，相对于传统机械加工生产方式，不仅提升制孔精度，同时极大的提高了机器人的使用价值；
[0040]
步骤三：匹配模板的建立
[0041]
通过标定后的双目相机对飞机蒙皮上的参考基准孔的特征点进行拍摄，图片经过图像处理后建立成匹配模板，建立匹配模板的图片要选择清晰完整的图片，经过图片矫正、仿射变换、图片预处理、阈值处理和blob分析将特征区域分割出来，经高斯滤波、形态学分析、增加对比度、边缘检测、xld分析后建立匹配模板，为后续的匹配模板的匹配提供依据，如图2所示匹配模板的匹配采用的是图像金字塔分层搜索策略，这种匹配方式减少运算复杂度，提高速度和搜索的精确度；
[0042]
步骤四：机器人坐标系与飞机坐标系的位姿关系建立
[0043]
再次通过双目相机对飞机蒙皮上的基准孔特征点(数量大于等于3)进行拍摄，结合理论值，通过相机坐标系与机器人坐标系的位姿关系，计算出各特征点在机器人坐标系下的值，从而建立机器人坐标系与飞机坐标系之间的位姿关系，并通过opc协议将相关数据下发至移动机器人的控制系统，之后就可以再次通过拍摄基准孔计算出加工孔的位置，从而引导移动机器人进行精准制孔，其中，机器人法兰坐标系与机器人坐标系的位姿关系模型为：
[0044]
b
p
x
＝trans
x
‑
f
p
y
(cos(a)*sin(b)
‑
cos(c)*sin(a)*sin(b))
f
p
z
*(sin(a)*sin(c) cos(a)*cos(c)*sin(b))
f
p
x
*cos(b)*cos(c)
[0045]
b
p
y
＝trans
y

f
p
y
(cos(a)*cos(c) sin(a)*sin(b)*sin(c))
f
p
z
*(cos(c)*sin(a)
‑
cos(a)*sin(b)*sin(c))
f
p
x
*cos(b)*sin(c)
[0046]
b
p
z
＝trans
z
‑
f
p
x
*sin(b)
f
p
z
*cos(a)*cos(b)
f
p
y
*cos(b)*sin(a)
b
p
x
，
b
p
y
，
b
p
z
分别表示点p在base坐标系下的坐标。
[0047]
f
p
x
，
f
p
y
，
f
p
z
分别表示点p在法兰坐标系下的坐标。
[0048]
trans
x
，trans
y
，trans
z
分别表示坐标系在x，y，z轴上的平移量a，b，c分表表示偏航角、俯仰角、滚动角；
[0049]
步骤五：制孔
[0050]
将移动机器人的末端执行器移动至飞机蒙皮的基准孔位置进行拍摄，图片经过图片矫正、roi分析，将特征区域分割出来，通过高斯滤波滤除图像中的白噪声，并通过增强对比度强化边缘轮廓后与匹配模板匹配获得的基准孔的特征点与匹配模板进行匹配，经过参数判断确定特征点是否满足要求，满足要求的即可以基准孔为基准进行制孔，通过三维重构特征点能够精确实现基准孔的位置定位(x，y，z)，因此不受飞机蒙皮曲面等因素的影响，能够引导机器人精准制孔，其中，采用的高斯滤波函数：
[0051][0052]
σ代表数据分布情况，σ值越大，数据分布越分散，σ越小，数据越聚集，
[0053]
步骤六：锪窝深度检测
[0054]
制孔完成后，末端执行器侧端上安装的检测相机移动至目标位置对飞机蒙皮上的加工孔进行拍摄，检测相机使用前需要通过标准标定板进行标定，在对图片进行矫正的同时计算获得像素距离物理距离，像素物理距离计算公式：
[0055][0056]
pd
pixel_r
指单个像素实际物理距离，d
r
指实际的距离，d
pixel
指像素距离
[0057]
标定后的检测相机进行加工孔拍摄，经过亚像素级的图像处理算法，识别加工孔的内径r1和外径r2进而算出锪窝深度h，大大提高检测的精度深度计算公式：
[0058]
h＝(r2‑
r1)*tanθ
[0059]
h指锪窝深度，r2外圆轮廓半径，r1内圆轮廓半径，tanθ锪窝角度正切。
[0060]
本发明通过双目相机的视觉定位大幅提高了飞机蒙皮制孔效率和精度，尤其解决了曲面薄蒙皮的制孔难题，而且制孔后并可自动化检测锪窝深度，满足飞机蒙皮高精度制孔及检测的要求，提高了整体工作效率。
[0061]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。