一种基于特征学习的飞机表面多圆孔检测方法与流程

1.本发明涉及航空制造技术领域，具体而言涉及到一种基于特征学习的飞机表面多圆孔检测方法。


背景技术：

2.在航空制造领域，现代化飞机装配时的装配连接的主要方式是铆钉连接，而铆钉孔的精度决定着铆接的质量，进而影响着飞机制造质量和使用寿命。飞机表面圆孔检测技术是飞机自动制孔质量的重要保障。传统的接触式检测由于易破环孔表面、效率低等问题，难以满足自动化的要求。非接触式的二维视觉的方法在自动化和精度方面存在局限性，圆孔参数检测不完整。三维测量能够获取圆孔表面的完整结构，但由于飞机表面粗糙、反射、遮挡或测量范围限制，得到的圆孔三维点云数据往往存在一定缺陷的，直接从中检测所有圆孔结构是非常困难的。为解决上述问题，本发明提出一种基于特征学习的飞机表面多圆孔检测方法，有效解决飞机表面多圆孔检测精度低、效率低、稳定性低和检测参数不完整等问题，降低飞机表面多圆孔的检测难度。


技术实现要素：

3.针对现有技术中存在的问题，本发明提供了一种基于特征学习的飞机表面多圆孔检测方法。该飞机表面多圆孔检测方法通过获取飞机表面多圆孔的点云数据，基于学习权重的加权最小二乘法方法计算圆孔参数，提高圆孔检测的精确度和稳定性，有效解决飞机表面多圆孔检测问题，实现飞机表面圆孔的自动化检测，提高飞机装配质量。
4.为实现上述目的，本发明采用如下技术方案：一种基于特征学习的飞机表面多圆孔检测方法，包括以下步骤：（1）扫描获取飞机表面上所有圆孔的点云数据；（2）将点云数据输入三维点云特征学习网络中提取所有圆孔边界特征点，将提取的所有圆孔边界特征点分类到圆孔上，并根据分类的结果和点云数据学习对应圆孔的法向和边界特征点的拟合权重； （3）将学习得到的圆孔的法向和拟合权重采用最小二乘法计算对应圆孔参数，并将计算的圆孔参数与真实圆孔参数的差作为损失函数，训练三维点云特征学习网络，直至损失函数收敛，完成对三维点云特征学习网络的训练；（4）再次扫描飞机表面上的圆孔点云数据，输入训练好的三维点云特征学习网络中，输出对应圆孔的参数。
5.进一步地，步骤（1）包括如下子步骤：（1.1）将扫描仪固定在机械臂上，用机械臂调整扫描仪的位姿，使得圆孔表面到扫描仪的距离满足扫描仪参数需求；（1.2）控制机械臂移动扫描仪，使得飞机表面的圆孔位于扫描仪视野内，然后采集该扫描仪视野内的所有圆孔的点云数据；
（1.3）重复通过机械臂调整扫描仪的视野范围，直至获取飞机表面上所有的圆孔的点云数据。
6.进一步地，所述三维点云特征学习网络包括：第一图卷积层、第一多层感知器、第一最大池化层、第二图卷积层、第二多层感知器、第二最大池化层、transformer、第一全连接层、第二全连接层、第三最大池化层、第三全连接层，所述第一图卷积层、第一多层感知器、第一最大池化层依次连接，所述第二图卷积层、第二多层感知器、第二最大池化层依次连接，所述第一最大池化层、第二最大池化层均与transformer连接，所述transformer分别与第一全连接层第二全连接层、第三全连接层连接，所述第二全连接层、第三最大池化层连接。
7.进一步地，步骤（2）中提取所有待测圆孔的边界特征点具体过程为：将扫描的点云数据使用两个不同半径大小的球查询获取每个圆孔点云数据的局部邻域点集和全局邻域点集，对局部域点集经第一图卷积层、第一多层感知器、第一最大池化层得到每个圆孔点云数据的局部特征，同时对全局邻域点集经第二图卷积层、第二多层感知器、第二最大池化层得到每个圆孔点云数据的的全局特征，通过transformer融合每个圆孔点云数据的局部特征和全局特征得到融合特征，将每个圆孔点云数据的融合特征通过第一全连接层降到二维，利用softmax函数计算得到每个圆孔点云数据为圆孔边界普通点和圆孔边界特征点的概率，若圆孔边界特征点的概率大于圆孔边界普通点的概率，则将该圆孔点云数据作为圆孔边界特征点，将圆孔边界特征点组成圆孔边界点集。
8.进一步地，所述全局邻域点集采用球查询的半径为最大圆孔半径的2倍，所述局部邻域点集采用球查询的半径为最大圆孔半径的1/4。
9.进一步地，所述圆孔边界特征点的分类方法包括：基于圆孔的位置关系的分类方法、ransac方法或聚类方法。
10.进一步地，每个圆孔的法向学习方法具体为：将分类到圆孔上的圆孔边界特征点对应的融合特征输入到第二全连接层、第三最大池化层中，输出三维数据，将输出的三维数据进行单位化后得到所述圆孔的法向。
11.进一步地，每个圆孔的边界特征点的拟合权重的学习方法具体为：将分类到圆孔上的圆孔边界特征点对应的融合特征输入到第三全连接层中，经softmax函数得到边界特征点的拟合权重。
12.进一步地，每个圆孔参数的计算方法具体为：根据圆孔的法向和边界特征点在三维空间点云坐标系中的三维坐标均值确定投影平面，建立二维坐标系，将所述圆孔的边界特征点投影到二维坐标系上，得到二维边界特征点，将所述圆孔边界特征点的拟合权重通过加权最小二乘法将二维边界特征点拟合成圆孔，得到圆孔的参数，所述圆孔的参数包括半径和圆心，将圆心转回到三维空间点云坐标系中，得到圆心的三维坐标。
13.与现有技术相比，本发明具有如下有益效果：本发明基于特征学习的圆孔边界点检测和基于学习的加权最小二乘拟合技术，提出了飞机表面多圆孔检测方法。该方法通过通过获取飞机表面圆孔的点云数据，通过特征学习的圆孔边界点检测方法提取出圆孔边界点，然后学习圆孔的法向和边界特征点拟合权重，解决了机表面多圆孔检测问题，实现飞机表面圆孔的自动化检测，同时提高了圆孔检测的精确度和稳定性，提高飞机装配质量。
附图说明
14.图1是本发明基于特征学习的飞机表面多圆孔检测方法的流程图；图2是本发明中圆孔特征点扫描示意图；图3为本发明中三维点云特征学习网络的结构示意图；图4是通过本发明飞机表面多圆孔检测方法检测出圆孔的示意图。
具体实施方式
15.以下结合附图对本发明的技术方案作进一步地详细描述。
16.如图1是本发明基于特征学习的飞机表面多圆孔检测方法的流程图，该飞机表面多圆孔检测方法，包括如下步骤：（1）由于飞机表面上圆孔检测精度需求较高，如果扫描仪视野大，会导致扫描的分辨率降低，在扫描时不能选择较大的视野，导致无法一次采集所有的圆孔的点云数据。因此，本发明中扫描获取飞机表面上所有圆孔的点云数据，具体包括如下子步骤：（1.1）将扫描仪固定在机械臂上，用机械臂调整扫描仪的位姿，使得圆孔表面到扫描仪的距离满足扫描仪参数需求；（1.2）控制机械臂移动扫描仪，使得飞机表面的圆孔位于扫描仪视野内，然后采集该扫描仪视野内的所有圆孔的点云数据；（1.3）重复通过机械臂调整扫描仪的视野范围，直至获取飞机表面上所有的圆孔的点云数据。
17.（2）如图2是本发明中圆孔特征点扫描示意图，由于实际扫描的点云数据的圆孔内壁点不完整且具有一定随机性，这会导致圆孔部分点的邻域不完整，从而增大边界特征点的提取难度，因此本发明通过将点云数据输入三维点云特征学习网络中提取所有圆孔边界特征点，将提取的所有圆孔边界特征点分类到圆孔上，并根据分类的结果和点云数据学习对应圆孔的法向和边界特征点的拟合权重，通过检测每一个点云数据是否为边界特征点来提高圆孔边界特征点提取稳定性和准确度。
18.如图3是本发明中涉及的三维点云特征学习网络结构示意图，该三维点云特征学习网络结构包括：第一图卷积层、第一多层感知器、第一最大池化层、第二图卷积层、第二多层感知器、第二最大池化层、transformer、第一全连接层、第二全连接层、第三最大池化层、第三全连接层，第一图卷积层、第一多层感知器、第一最大池化层依次连接，第二图卷积层、第二多层感知器、第二最大池化层依次连接，第一最大池化层、第二最大池化层均与transformer连接，transformer分别与第一全连接层第二全连接层、第三全连接层连接，第二全连接层、第三最大池化层连接。
19.具体地，步骤（2）包括如下子步骤：（2.1）将扫描的点云数据使用两个不同半径大小的球查询获取每个圆孔点云数据的局部邻域点集和全局邻域点集，其中，全局邻域点集采用球查询的半径为最大圆孔半径的2倍，2倍的最大圆孔半径能够覆盖整个圆孔，从而使边界点获取到整个圆孔的全局结构信息，并判断圆孔点云数据是否属于圆孔；局部邻域点集采用球查询的半径为最大圆孔半径的1/4， 1/4的最大圆孔半径只能够覆盖单个圆孔边界的局部区域，从而获取局部结构信息，从而精确判断该断圆孔点云数据是否位于圆孔的边界上；通过两个不同半径大小的球
查询方法，从而能够提取除只属于圆孔的边界点。对局部域点集经第一图卷积层、第一多层感知器、第一最大池化层得到每个圆孔点云数据的局部特征，同时对全局邻域点集经第二图卷积层、第二多层感知器、第二最大池化层得到每个圆孔点云数据的的全局特征，通过transformer融合每个圆孔点云数据的局部特征和全局特征得到融合特征，将每个圆孔点云数据的融合特征通过第一全连接层降到二维，利用softmax函数计算得到每个圆孔点云数据为圆孔边界普通点和圆孔边界特征点的概率，若圆孔边界特征点的概率大于圆孔边界普通点的概率，则将该圆孔点云数据作为圆孔边界特征点，将圆孔边界特征点组成圆孔边界点集。
20.（2.2）根据飞机表面上圆孔的分布结构，将提取的所有圆孔边界特征点分类到圆孔上，本发明中采用的圆孔边界特征点的分类方法包括：基于圆孔的位置关系的分类方法、ransac方法或聚类方法。
21.（2.3）将分类到圆孔上的圆孔边界特征点对应的融合特征输入到第二全连接层、第三最大池化层中，输出三维数据，将输出的三维数据进行单位化后得到所述圆孔的法向。通过学习法向，结合圆孔中心点确定一个平面，将圆孔的边界点投影到该平面上在进行拟合，将三维圆拟合转化为二维圆拟合问题，降低了圆拟合的难度。
22.（2.4）将分类到圆孔上的圆孔边界特征点对应的融合特征输入到第三全连接层中，经softmax函数得到边界特征点的拟合权重。圆孔边界点拟合圆孔半径，不同于常规的给定一些点的圆拟合，圆孔边界点主要分布于圆孔边界圆的外侧，常规的圆拟合的最佳结果并不是圆孔的半径，通过学习的方法获取的权重结合了圆孔边界的结构信息，能够获取边界点中的关键点并赋予更高的权重，使得拟合的结果相对于真实孔径具有更高的精度。
23.（3）将学习得到的圆孔的法向和拟合权重采用最小二乘法计算对应圆孔参数，并将计算的圆孔参数与真实圆孔参数的差作为损失函数，训练三维点云特征学习网络，直至损失函数收敛，完成对三维点云特征学习网络的训练。本发明中每个圆孔参数的计算方法具体为：根据圆孔的法向和边界特征点在三维空间点云坐标系中的三维坐标均值确定投影平面，建立二维坐标系，将所述圆孔的边界特征点投影到二维坐标系上，得到二维边界特征点，将所述圆孔边界特征点的拟合权重通过加权最小二乘法将二维边界特征点拟合成圆孔，得到圆孔的参数，圆孔的参数包括半径和圆心，由于圆心是位于投影平面上的二维点，需要将圆心转回到三维空间点云坐标系中，得到圆心的三维坐标。
24.（4）再次扫描飞机表面上的圆孔点云数据，输入训练好的三维点云特征学习网络中，输出对应圆孔的参数。
25.如图4为采用本发明飞机表面多圆孔检测方法检测出圆孔的示意图，本发明飞机表面多圆孔检测方法从飞机表面多圆孔的真实扫描数据上准确的提取出所有的圆孔边界点，并精确稳定地拟合圆孔参数。本发明飞机表面多圆孔检测方法与其他方法获得圆孔的精度比较：通过本发明方法检测的圆孔的半径误差为0.016643 mm，半径误差的方差为0.000384 mm2，其他方法包括：“超”方法、线性最小二乘法、随机采样一致性算法、重复最小二乘法、商业检测软件polyworks，测量的半径误差分别为0.027201、0.028264、0.052397、0.176154、0.0267，半径误差的方差分别为0.001113、0.001166、0.005844、0.077724、0.001045，因此，本发明飞机表面多圆孔检测方法检测出圆孔参数最为精确稳定。
26.以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施方
式，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。