一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法与流程

1.本发明涉及复合材料智能加工技术领域，尤其涉及一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法。


背景技术：

2.随着复合材料成形技术的不断发展，先进复合材料在航空工业得到了大量的应用，可以有效地减轻飞机总体重量，改善飞机的性能。最新的大型客机，如波音787的复合材料用量已经达到50％；空客a350xwb的复合材料用量将会达到52％；现代军用直升机和小型飞机的机体为了减重也采用全复合材料结构。虽然复合材料具有较好的力学性能，但其抗冲击性能较差，复合材料结构在制造、安装、使用过程中可能出现或多或少的损伤。以汉莎2006年复材维修统计为例，在243架次飞机的1647宗复材损伤中，地面误操作引起的占到1248宗，雷击216宗，鸟撞184宗。
3.随着复合材料修补技术的发展，已有的结果表明，如采用适当的修理技术，复合材料构件可有效地修复，甚至可恢复到原来的强度。胶接修理是复合材料修补的一项关键技术，主要用于裂纹止裂、强度恢复和振动阻尼三种情况，其中用于强度恢复最流行的是斜接挖补。挖补修理因其修理后强度高，能够保持原有结构气动外形等优点，在飞机结构的修理中有广阔的发展前景。航空业所使用的复合材料修复方法也可以应用于其他领域，如风车行业和游艇，航空行业修复必须满足严格的规定和要求，目前这些还没进入船舶或者汽车行业，但是汽车车身车间组织能为复合材料结构部件提供高质量的修复。
4.值得注意的是，在复合材料构件修补后修补区域是高于非修补区域的，这在一定程度上影响了其气动性能。为了达到气动外形的要求，现存的方法是对修补区域进行人工磨削修复，在进行磨削的过程中，工程师只能靠手触摸来判断磨削时的平整度，缺乏相应的评价指标和评价手段。因此，发明一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，能够在复合材料蒙皮修补后进行磨削修复时实时进行分析引导，具有重大意义。


技术实现要素：

5.本发明针对现有技术中的不足，提供一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，该方法具有能够定量计算修补后进行磨削修复时的复合材料蒙皮表面平整度并且直观显示在工件表面的优点。
6.为实现上述目的，本发明采用以下技术方案：
7.本发明公开一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，基于如下硬件装置，包括：结构光扫描仪、投影仪、视觉传感器、机械臂以及小车；所述分析方法包括如下的步骤：
8.s1、架设扫描仪及辅助设备；
9.s2、复材蒙皮表面数据采集，包括点云数据及可见光数据；
10.s3、复材蒙皮修补区域点云分割，使用几何特征融合的点云分割网络实现复材蒙
皮修补区域与周围非修补区域的分割；
11.s4、非修补区域曲面拟合，在s3的基础上，得到复材蒙皮非修补区域点云，并进行曲面拟合，得到曲面参数；
12.s5、获取距离云图，计算s3中分割出的复材蒙皮修补区域点云与s4中拟合曲面的距离，并转化为距离云图；
13.s6、云图三维投影可视化，将s5中获取的距离云图与复材蒙皮可见光图像配准，并使用已与视觉传感器标定的投影仪将距离云图投影至复材蒙皮表面；
14.s7、判断是否满足平整度要求，对修复区域表面平整度进行自动化分析，判断是否满足要求，若满足，则结束引导任务；否则根据s6中的投影信息引导磨削修复不平整区域，修复结束后，重复s2-s6。
15.为进一步优化本技术方案，还采取措施如下：
16.进一步地，所述小车能够移动、固定和升降，结构光扫描仪具备sdk功能，所述s1包括：小车移动到指定位置并固定，机械臂安装在小车上，升降到使机械臂末端能够到达修补区域的高度；所述结构光扫描仪、投影仪以及视觉传感器均安装于机械臂的末端，投影仪、视觉传感器和机械臂已进行位姿标定。
17.进一步地，所述s2具体包括：利用机械臂带动结构光扫描仪移动到修补区域位置并调整结构光扫描仪到最佳扫描姿态，结构光扫描仪在固定位姿扫描获取复材蒙皮修补区域及其周围的表面点云数据，视觉传感器获取复材蒙皮可见光图像。
18.进一步地，所述s3具体包括：
19.s3-1、对s2中获取的复材蒙皮修补区域及周围点云数据的几何敏感不变性进行强化；所述强化步骤为：首先计算pca的主轴，接着通过将pca主轴方向与笛卡尔空间对齐来对齐输入点云，以此提高每个扫描数据的方向一致性和几何敏感不变性；
20.s3-2、对pca对齐后的复材蒙皮修补区域及周围点云进行平均曲率、法线和表面密度计算并进行数据拼接，得到n*8的几何特征融合点云；
21.s3-3、构建适用于几何特征融合点云的复材蒙皮修补区域点云分割网络结构；所述分割网络基于改进的pointnet网络，分为全局特征感知模块和逐点分割模块；所述全局特征感知模块通过两个共享权值多层感知机提取点云中每个点的特征，且每个多层感知机的输入是前面所有感知机输出拼接的特征向量，在经过一系列特征提取后，通过最大池化层得到一个一维全局特征；所述逐点分割模块的输入是将所述一维全局特征复制n次并与全局特征感知模块中的第一个多层感知机的输出进行拼接得到特征向量，接着同样使用两个共享权值多层感知机实现最终点的语义分割预测；
22.s3-4、将s3-2的几何特征融合点云输入到复材蒙皮修补区域分割网络，得到复材蒙皮修补区域与非修补区域的语义分割结果，再计算预测的语义分割结果与groundtruth之间的损失函数，损失函数使用交叉熵，计算公式为：
[0023][0024]
式中，表示为onehot编码后的标签，为网络的输出，b为batch数，n为点数，c为语义类别总数；
[0025]
s3-5、用反向传播的adam优化算法对复材蒙皮修补区域分割网络的参数进行不断更新优化训练，使所述分割网络的输出不断接近groundtruth；当验证集的准确率稳定时，网络训练完成；
[0026]
s3-6、使用训练好的所述点云语义分割网络实现复合材料蒙皮修补区域与非修补区域的分割。
[0027]
进一步地，所述s4中，非修补区域点云曲面拟合，具体包括：根据s3获取的分割结果将中间修补区域去除后，利用高斯滤波算法对周围区域点云完成去噪，最后使用最小二乘法进行曲面拟合，拟合函数可表示为：
[0028][0029]
其中λi(x)为待求系数，pi(x)为基函数，x为点坐标，n为点云个数；将拟合出的曲面作为理想曲面用以后续运算。
[0030]
进一步地，所述s5中，获取距离云图主要包括：
[0031]
s5-1、计算有向距离，计算s3中分割的修补区域点云到s4中拟合平面的有向距离；
[0032]
s5-2、形成点云包围盒，点云包围盒深度方向沿曲面高度方向大小取固定值，长度和宽度大小与扫描仪在最佳扫描距离的视野大小相同，长度、宽度方向形成的平面与所述视野方向垂直；
[0033]
s5-3、分割包围盒并统计点数，将包围盒在长度和宽度方向上根据设定生成图像的分辨率分割成若干个小区域，并统计每个区域中所包含的点的个数；
[0034]
s5-4、区域赋值，若该区域中含有点，则该区域的值为所有点的有向距离的平均值，若该区域中没有点，则该区域的值为周围含有点的邻域小包围盒值的平均值；
[0035]
s5-5、生成二维图像，将s5-4中每个区域的标量值进行rgb三通道的灰度值转换，获得距离云图，即用不同颜色表示复材蒙皮修补区域各个小区域点集到周围非复材蒙皮修补区域曲面的误差距离图。
[0036]
进一步地，所述s6具体包括：
[0037]
s6-1、特征描述子获取，计算s1中获取的可见光图像以及s5中获取的二维距离云图的surf描述符；
[0038]
s6-2、特征匹配，利用相似性度量算法获取两张图像的对应像素点；
[0039]
s6-3、元组测试筛选，随机获取三对对应像素点，分别记为(p
1 p
2 p3)，(q
1 q
2 q3)，计算其在各自图像中的相对位置关系是否满足要求，即：
[0040][0041]
其中，λ为阈值，||
·
||2代表欧氏距离；若位置关系满足阈值要求，则筛选通过，否则不通过；其中，随机原则为：优先选取被选取次数较少的点，筛选通过的点不再选取；结束
原则为，所有未通过的点已经被选取三次以上或通过的点数达到阈值要求；
[0042]
s6-4、获取变换矩阵，根据对应点利用最小二乘法计算距离云图与可见光图像的最优变换矩阵；并利用提前标定好的视觉传感器、投影仪以及机械臂计算机械臂的位姿变换矩阵；
[0043]
s6-5、位姿变换及投影，根据s6-4中的位姿变换矩阵对机械臂进行位姿调整，然后利用投影仪将距离云图投影至复合材料表面。
[0044]
与现有技术相比，本发明的有益效果是：
[0045]
本发明可以定量化对复合材料蒙皮磨削修复时的表面平整度进行实时分析，并通过投影仪直观地在复合材料表面投影显示，降低人为主观性的干扰；这对于促进航空智能维修，提高维修数字化水平，减少工作人员劳动强度具有重大意义。
附图说明
[0046]
图1是一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法中硬件装置相对位置图；
[0047]
图2是一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法总体方法流程图；
[0048]
图3是一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法点云分割网络结构；
[0049]
图4是一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法复材蒙皮修补区域点云分割流程图；
[0050]
图5是一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法获取距离云图方法流程图；
[0051]
图6是一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法云图三维投影可视化流程图；
[0052]
图7是一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法复材蒙皮修复后的样件图；
[0053]
图8是一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法扫描获取的复材蒙皮修复区域与周围表面点云数据；
[0054]
图9是一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法复材蒙皮修复区域分割结果；
[0055]
图10是一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法复材蒙皮修复区域周围曲面拟合结果；
[0056]
图11是一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法生成的距离云图。
具体实施方式
[0057]
现在结合附图对本发明作进一步详细的说明。
[0058]
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无
实质变更技术内容下，当亦视为本发明可实施的范畴。
[0059]
请参阅图1-11，本实施例的一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，基于如下硬件装置，包括：机械臂1、视觉传感器2、结构光扫描仪3、投影仪4、以及小车5,请参阅图2，在本实施例中，所述分析方法包括如下的步骤：
[0060]
s1、架设扫描仪及辅助设备；
[0061]
s2、复材蒙皮表面数据采集，包括点云数据及可见光数据；
[0062]
s3、复材蒙皮修补区域点云分割，使用一种几何特征融合的点云分割网络实现复材蒙皮修补区域与周围非修补区域的分割；
[0063]
s4、非修补区域曲面拟合，在s3的基础上，得到复材蒙皮非修补区域点云，并进行曲面拟合，得到曲面参数，曲面拟合结果如图10；
[0064]
s5、获取距离云图，计算s3中分割出的复材蒙皮修补区域点云与s4中拟合曲面的距离，并转化为距离云图；
[0065]
s6、云图三维投影可视化，将s5中获取的距离云图与复材蒙皮可见光图像配准，并使用已与视觉传感器标定的投影仪将距离云图投影至复材蒙皮表面；
[0066]
请参阅图1，本实施例中，小车5可以移动、固定和升降，结构光扫描仪3具备sdk功能，s1包括：小车5移动到指定位置并固定，机械臂1安装在小车5上，升降到使机械臂1末端能够到达修补区域的高度；所述结构光扫描仪3、投影仪4以及视觉传感器2均安装于机械臂1的末端，投影仪4、视觉传感器2和机械臂1已进行位姿标定。
[0067]
s2具体包括：利用机械臂1带动结构光扫描仪3移动到修补区域位置并调整结构光扫描仪3到最佳扫描姿态，结构光扫描仪3在固定位姿扫描获取复材蒙皮修补区域及其周围的表面点云数据，如图8，视觉传感器2获取复材蒙皮可见光图像，如图7。
[0068]
请参阅图4，本实施例中，s3具体包括：
[0069]
s3-1、对s2中获取的复材蒙皮修补区域及周围点云数据的几何敏感不变性进行强化。首先计算pca的主轴，接着通过将pca主轴方向与笛卡尔空间对齐来对齐输入点云。具体地，我们首先将第一个主轴与z轴对齐，然后将第二主轴与x轴对齐，以此提高每个扫描数据的方向一致性和几何敏感不变性。
[0070]
s3-2、对pca对齐后的复材蒙皮修补区域及周围点云进行平均曲率、法线和表面密度计算，并进行数据拼接，得到n*8的几何特征融合点云。
[0071]
s3-3、构建适用于几何特征融合点云的复材蒙皮修补区域点云分割网络结构。其网络结构基于改进的pointnet网络，可分为全局特征感知模块和逐点分割模块。首先对于全局特征感知模块，通过两个共享权值多层感知机提取每个点的特征，且每个多层感知机的输入是前面所有感知机输出拼接的特征向量，在经过一系列特征提取后，通过最大池化层得到一个一维全局特征(1x1096)。对于逐点分割模块，其输入是将一维全局特征复制n次并与全局特征感知模块中的第一个多层感知机的输出进行拼接得到(nx1168)特征向量，接着同样使用两个共享权值多层感知机实现最终点的语义分割预测。
[0072]
s3-4、将s3-2的几何特征融合点云输入到复材蒙皮修补区域分割网络，得到复材蒙皮修补区域与非修补区域的语义分割结果，再计算预测的语义分割结果与groundtruth之间的损失函数，损失函数使用交叉熵，计算公式为：
[0073][0074]
式中，表示为onehot编码后的标签，为网络的输出，b为batch数，n为点数，c为语义类别总数。
[0075]
s3-5、用反向传播的adam优化算法，对复材蒙皮修补区域分割网络的参数进行不断更新优化，使输出不断接近groundtruth，当验证集的准确率稳定时，网络训练完成。
[0076]
s3-6、使用训练好的点云语义分割网络实现复合材料蒙皮修补区域与非修补区域的分割，分割结果如图9。
[0077]
s4中，非修补区域点云曲面拟合，具体包括：将中间修补区域去除后，利用高斯滤波算法对周围区域点云完成去噪，利用最小二乘法进行曲面拟合，拟合函数可表示为：
[0078][0079]
其中λi(x)为待求系数，pi(x)为基函数，x为点坐标，n为点云个数。将拟合出的曲面作为理想曲面用以后续运算。
[0080]
请参阅图5，本实施例中，s5中，获取距离云图主要包括：
[0081]
s5-1、计算有向距离，计算s3中分割的修补区域点云到s4中拟合平面的有向距离；
[0082]
s5-2、形成点云包围盒，点云包围盒深度方向沿曲面高度方向，大小取固定值，长度和宽度大小为扫描仪在最佳扫描距离的视野大小，长度、宽度方向形成的平面与视野方向垂直；
[0083]
s5-3、分割包围盒并统计点数，将包围盒在长度和宽度方向上根据设定生成图像的分辨率分割成若干个小区域，并统计每个区域中所包含的点数；
[0084]
s5-4、区域赋值，若该区域中含有点，则该区域的值为所有点的有向距离的平均值，若该区域中没有点，则该区域的值为周围含有点的邻域小包围盒值的平均值。
[0085]
s5-5、生成二维图像，将s5-4中每个区域的标量值进行rgb三通道的灰度值转换，获得距离云图，即用不同颜色表示复材蒙皮修补区域各个小区域点集到周围非复材蒙皮修补区域曲面的误差距离图，如图11。
[0086]
请参阅图6，本实施例中，所述s6具体包括：
[0087]
s6-1、特征描述子获取，计算s1中获取的可见光图像以及s5中获取的二维距离云图的surf描述符；
[0088]
s6-2、特征匹配，利用相似性度量算法获取两张图像的对应像素点；
[0089]
s6-3、元组测试筛选，随机获取三对对应像素点，分别记为(p
1 p
2 p3)，(q
1 q
2 q3)，计算其在各自图像中的相对位置关系是否满足要求，即：
[0090][0091]
其中，λ为阈值，||
·
||2代表欧氏距离。若位置关系满足阈值要求，则筛选通过，否则不通过。随机原则为：优先选取被选取次数较少的点，筛选通过的点不再选取；结束原则为，所有未通过的点已经被选取三次以上或通过的点数达到阈值要求；
[0092]
s6-4、获取变换矩阵，根据对应点利用最小二乘法计算距离云图与可见光图像的最优变换矩阵；并利用提前标定好的视觉传感器2、投影仪4以及机械臂1计算机械臂1的位姿变换矩阵；
[0093]
s6-5、位姿变换及投影，根据s6-4中的位姿变换矩阵对机械臂1进行位姿调整，然后利用投影仪4将距离云图投影至复材蒙皮表面。
[0094]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。