一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法与流程

技术特征：
1.一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，基于如下硬件装置，包括：结构光扫描仪、投影仪、视觉传感器、机械臂以及小车；其特征在于，所述分析方法包括如下的步骤：s1、架设扫描仪及辅助设备；s2、复材蒙皮表面数据采集，包括点云数据及可见光数据；s3、复材蒙皮修补区域点云分割，使用几何特征融合的点云分割网络实现复材蒙皮修补区域与周围非修补区域的分割；s4、非修补区域曲面拟合，在s3的基础上，得到复材蒙皮非修补区域点云，并进行曲面拟合，得到曲面参数；s5、获取距离云图，计算s3中分割出的复材蒙皮修补区域点云与s4中拟合曲面的距离，并转化为距离云图；s6、云图三维投影可视化，将s5中获取的距离云图与复材蒙皮可见光图像配准，并使用已与视觉传感器标定的投影仪将距离云图投影至复材蒙皮表面；s7、判断是否满足平整度要求，对修复区域表面平整度进行自动化分析，判断是否满足要求，若满足，则结束引导任务；否则根据s6中的投影信息引导磨削修复不平整区域，修复结束后，重复s2-s6。2.根据权利要求1所述的一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，其特征在于，所述小车能够移动、固定和升降，结构光扫描仪具备sdk功能，所述s1包括：小车移动到指定位置并固定，机械臂安装在小车上，升降到使机械臂末端能够到达修补区域的高度；所述结构光扫描仪、投影仪以及视觉传感器均安装于机械臂的末端，投影仪、视觉传感器和机械臂已进行位姿标定。3.根据权利要求1所述的一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，其特征在于，所述s2具体包括：利用机械臂带动结构光扫描仪移动到修补区域位置并调整结构光扫描仪到最佳扫描姿态，结构光扫描仪在固定位姿扫描获取复材蒙皮修补区域及其周围的表面点云数据，视觉传感器获取复材蒙皮可见光图像。4.根据权利要求1所述的一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，其特征在于，所述s3具体包括：s3-1、对s2中获取的复材蒙皮修补区域及周围点云数据的几何敏感不变性进行强化；所述强化步骤为：首先计算pca的主轴，接着通过将pca主轴方向与笛卡尔空间对齐来对齐输入点云，以此提高每个扫描数据的方向一致性和几何敏感不变性；s3-2、对pca对齐后的复材蒙皮修补区域及周围点云进行平均曲率、法线和表面密度计算并进行数据拼接，得到n*8的几何特征融合点云；s3-3、构建适用于几何特征融合点云的复材蒙皮修补区域点云分割网络结构；所述分割网络基于改进的pointnet网络，分为全局特征感知模块和逐点分割模块；所述全局特征感知模块通过两个共享权值多层感知机提取点云中每个点的特征，且每个多层感知机的输入是前面所有感知机输出拼接的特征向量，在经过一系列特征提取后，通过最大池化层得到一个一维全局特征；所述逐点分割模块的输入是将所述一维全局特征复制n次并与全局特征感知模块中的第一个多层感知机的输出进行拼接得到特征向量，接着同样使用两个共享权值多层感知机实现最终点的语义分割预测；
s3-4、将s3-2的几何特征融合点云输入到复材蒙皮修补区域分割网络，得到复材蒙皮修补区域与非修补区域的语义分割结果，再计算预测的语义分割结果与groundtruth之间的损失函数，损失函数使用交叉熵，计算公式为：式中，表示为onehot编码后的标签，为网络的输出，b为batch数，n为点数，c为语义类别总数；s3-5、用反向传播的adam优化算法对复材蒙皮修补区域分割网络的参数进行不断更新优化训练，使所述分割网络的输出不断接近groundtruth；当验证集的准确率稳定时，网络训练完成；s3-6、使用训练好的所述点云语义分割网络实现复合材料蒙皮修补区域与非修补区域的分割。5.根据权利要求1所述的一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，其特征在于，所述s4中，非修补区域点云曲面拟合，具体包括：根据s3获取的分割结果将中间修补区域去除后，利用高斯滤波算法对周围区域点云完成去噪，最后使用最小二乘法进行曲面拟合，拟合函数可表示为：其中λ
i
(x)为待求系数，p
i
(x)为基函数，x为点坐标，n为点云个数；将拟合出的曲面作为理想曲面用以后续运算。6.根据权利要求1所述的一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，其特征在于，所述s5中，获取距离云图主要包括：s5-1、计算有向距离，计算s3中分割的修补区域点云到s4中拟合平面的有向距离；s5-2、形成点云包围盒，点云包围盒深度方向沿曲面高度方向大小取固定值，长度和宽度大小与扫描仪在最佳扫描距离的视野大小相同，长度、宽度方向形成的平面与所述视野方向垂直；s5-3、分割包围盒并统计点数，将包围盒在长度和宽度方向上根据设定生成图像的分辨率分割成若干个小区域，并统计每个区域中所包含的点的个数；s5-4、区域赋值，若该区域中含有点，则该区域的值为所有点的有向距离的平均值，若该区域中没有点，则该区域的值为周围含有点的邻域小包围盒值的平均值；s5-5、生成二维图像，将s5-4中每个区域的标量值进行rgb三通道的灰度值转换，获得距离云图，即用不同颜色表示复材蒙皮修补区域各个小区域点集到周围非复材蒙皮修补区域曲面的误差距离图。7.根据权利要求1所述的一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，其特征在于，所述s6具体包括：s6-1、特征描述子获取，计算s1中获取的可见光图像以及s5中获取的二维距离云图的surf描述符；
s6-2、特征匹配，利用相似性度量算法获取两张图像的对应像素点；s6-3、元组测试筛选，随机获取三对对应像素点，分别记为(p
1 p
2 p3)，(q
1 q
2 q3)，计算其在各自图像中的相对位置关系是否满足要求，即：其中，λ为阈值，||
·
||2代表欧氏距离；若位置关系满足阈值要求，则筛选通过，否则不通过；其中，随机原则为：优先选取被选取次数较少的点，筛选通过的点不再选取；结束原则为，所有未通过的点已经被选取三次以上或通过的点数达到阈值要求；s6-4、获取变换矩阵，根据对应点利用最小二乘法计算距离云图与可见光图像的最优变换矩阵；并利用提前标定好的视觉传感器、投影仪以及机械臂计算机械臂的位姿变换矩阵；s6-5、位姿变换及投影，根据s6-4中的位姿变换矩阵对机械臂进行位姿调整，然后利用投影仪将距离云图投影至复合材料表面。

技术总结
本发明公开了一种引导飞机复合材料蒙皮修复的表面平整度实时分析方法，属于复合材料智能加工技术领域；基于如下硬件装置，包括：结构光扫描仪、投影仪、视觉传感器、机械臂、小车等；分析方法包括如下的步骤：S1、架设扫描仪及辅助设备；S2、数据采集；S3、复材蒙皮修补区域点云分割；S4、非修补区域曲面拟合；S5、获取距离云图；S6、云图三维投影及可视化；S7、判断是否满足要求，即对修复区域表面平整度进行自动化分析，判断是否满足修复表面平整度要求，若满足，则结束引导任务；否则根据S6的投影信息引导技术人员对不平整区域进行磨削修复，修复结束后，重复S2-S6步骤。S6步骤。S6步骤。


技术研发人员：汪俊 闫号 黄安义 易程
受保护的技术使用者：南京航空航天大学
技术研发日：2021.10.12
技术公布日：2022/1/6