一种飞机蒙皮图像损伤检测与2D-3D定位方法

一种飞机蒙皮图像损伤检测与2d-3d定位方法
技术领域
1.本发明涉及飞机损伤检测技术领域，特别涉及一种飞机蒙皮图像损伤检测与2d-3d定位 方法。


背景技术：

2.撞击损伤、裂纹损伤、腐蚀损伤这三大类蒙皮损伤会使大型飞机蒙皮结构强度严重下降， 在高空高速飞行过程中极易致使蒙皮撕裂，影响飞行安全。因此，蒙皮损伤检测是大型飞机 维护中的重要环节。大型飞机外形蒙皮损伤数据较少，目标语义信息不丰富，即存在对比度 低、边缘模糊及尺寸较小损伤目标，易受正常零部件、喷漆图案干扰。如何改进transformer 中的自注意力机制，使卷积网络充分学习损伤数据集中的特征信息，降低误检和漏检概率是 关键。另外，以往的技术只检出损伤却无法进行定位，如何实现损伤区域到点云的自动定位 功能，弥补以往相关技术的缺陷，为大型飞机外形蒙皮损伤检测提供定位依据是本发明的突 破技术。
3.针对大型飞机外形蒙皮损伤数据较少，目标语义信息不丰富，即存在大量对比度低、边 缘模糊及尺寸较小损伤目标，导致误检和漏检情况严重的问题，本项目将改进transformer 中的自注意力机制，通过不同的特征交互模块，采取结合全局位置信息和多尺度上下文信息 的特征交互方式，使卷积网络充分学习损伤数据集中的特征信息，更好地适应大型飞机外形 损伤检测任务。另外，以往的方法只检出损伤却无法进行定位，无法按照飞机结构维修手册 要求判定损伤程度，本发明将提出基于关键点特征对应机制的损伤图像和点云数据关键点联 合学习网络，实现损伤区域到点云的自动定位功能，弥补以往相关技术的缺陷，为大型飞机 外形蒙皮损伤检测提供定位依据。


技术实现要素：

4.本发明针对现有技术中的不足，提供一种飞机蒙皮图像损伤检测与2d-3d定位方法；以 对飞机蒙皮损伤进行检测，降低误检和漏检概率；同时，还为大型飞机外形蒙皮损伤检测提 供定位，以及时确定损伤位置。
5.为实现上述目的，本发明采用以下技术方案：
6.一种飞机蒙皮图像损伤检测与2d-3d定位方法，包括以下步骤：
7.s1：采集飞机外表面图像得到样本数据，通过预处理构建数据样本集；
8.s2：基于transformer对数据样本集进行蒙皮图像损伤检测；
9.s3：采集飞机的损伤图像和点云数据，基于triplet网络对损伤图像和点云关键点描述 子联合学习，确定损伤图像所匹配的点云关键点；
10.s4：确定损伤图像以及所匹配的点云关键点的权重，完成飞机蒙皮损伤的2d-3d定位。
11.为优化上述技术方案，采取的具体措施还包括：
12.进一步地，步骤s1的具体内容为：
13.s1.1：利用成像设备对飞机蒙皮图像进行采集，得到样本数据；
14.s1.2：对样本数据进行筛选、裁剪、统一尺寸、目标标注和数据增广的预处理得到数据 集；
15.s1.3：根据步骤s1.2的数据集，构建用于实验的数据样本集：图像标注数据集。
16.进一步地，步骤s2的具体内容为：
17.s2.1：输入图像标注数据集，经过编码结构得到多个不同尺度的特征图；
18.s2.2：将各个特征图输入到transformer模块中，按照不同的特征交互模块设置，进而 transformer模块将输入的特征图分为查询图q、键值图k、值图v三个部分；
19.s2.3：在transformer模块中，获取查询图q中的每个像素qi、键值图k中的每个像素kj， 并计算每个像素qi与每个像素kj之间的相关性；即qi∈q与kj∈k之间的相关性 s
i，j
＝f
sim
(qi，kj)；
20.s2.4：使用归一化函数，得到相关性s
i，j
＝f
sim
(qi，kj)所对应的权重w
i，j
＝f
norm
(s
i，j
)；
21.s2.5：对值图v中的每个像素vj依据w
i，j
进行加权操作，得到各个特征图融合结果以通过该融合结果判断检测蒙皮图像的损伤状况。
22.进一步地，步骤s3的具体内容为：
23.s3.1：采集飞机损伤图像和点云数据；使用2d尺度不变特征变换算子sift和3d内部 形态描述子iss分别对损伤图像和点云提取一组关键点，形成关键局部块；
24.s3.2：将关键局部块表示为三元组即损伤图像的锚点图像块以及点云局 部块xm的正例和负例作为triplet网络输入；
25.s3.3：triplet网络的一个分支学习损伤图像的特征点描述子即，将图 像小块xi映射到描述符p，其中该特征描述子为2d；
26.s3.4：triplet网络的另外两个分支采用同样权重，学习点云的特征点描述子f(xm；θm)：xm→
q；即，将点云局部块xm映射到描述符q；其中，对于点云局部块xm的正 例有对于点云局部块xm的负例有且均为3d的特征描述子；
27.s3.5：定义锚点和正例匹配对之间的相似距离d
pos
，以及锚点和负例非匹配对 之间的相似距离d
neg
；
28.s3.6：根据相似距离d
pos
和相似距离d
neg
计算特征向量之间的欧式距离d，并根据欧式距 离d计算每对2d-3d特征描述子之间的相关性度量矩阵，按照相关性度量对每个关键点的特 征点进行排序；
29.s3.7：选取前k个点云关键点作为匹配对。
30.进一步地，步骤s3.5中的具体内容为：
31.定义锚点和正例匹配对之间的相似距离d
pos
：
[0032][0033]
定义锚点和负例非匹配对之间的相似距离d
neg
：
[0034]
[0035]
并对相似距离d
pos
和相似距离d
neg
使用加权soft margin损失函数。
[0036]
进一步地，步骤s3.6中“根据相似距离d
pos
和相似距离d
neg
计算特征向量之间的欧式距 离d”的具体计算公式为：
[0037]
d＝d
pos-d
neg
。
[0038]
进一步地，s4.1：使用残差网络对损伤图像和点云关键点匹配对的匹配程度赋予评价权 重；s4.2：估计相机位姿投影矩阵，并根据s4.1中损伤图像与点云关键点匹配对的评价权重， 完成飞机蒙皮损伤的2d-3d的定位。
[0039]
本发明的有益效果是：
[0040]
本发明提出了基于transformer与triplet网络的大型飞机蒙皮图像损伤检测与2d-3d定 位技术，优点在于通过改进transformer中的自注意力机制，通过不同的特征交互模块，结合 全局位置信息和多尺度上下文信息进行特征交互，进行图像损伤检测；同时设计triplet网络 将损伤图像和点云映射到同一特征空间中，联合学习损伤图像和点云关键点描述子，进行 2d-3d定位。
[0041]
通过本技术的方式以对飞机蒙皮损伤进行检测，降低误检和漏检概率；同时，还为大型 飞机外形蒙皮损伤检测提供定位，以及时确定损伤位置。
附图说明
[0042]
图1是本发明整体方案的结构流程示意图。
[0043]
图2是本发明基于transformer的飞机蒙皮图像损伤检测网络结构示意图。
[0044]
图3是本发明基于triplet网络的损伤图像和点云关键点描述子联合学习网络结构示意 图。
具体实施方式
[0045]
本技术的主要技术方案如下：
[0046]
一种飞机蒙皮图像损伤检测与2d-3d定位方法(基于transformer与triplet网络的大型飞 机蒙皮图像损伤检测与2d-3d定位方法)，其特征在于，包括以下步骤：
[0047]
(1)采集飞机外表面图像，对样本数据进行预处理，构建数据样本集；
[0048]
(2)基于transformer的蒙皮图像损伤检测；
[0049]
(3)基于triplet网络的损伤图像和点云关键点描述子联合学习；
[0050]
(4)损伤图像和点云关键点对应权重系数评价与2d-3d定位。
[0051]
进一步，步骤(1)采集飞机外表面图像，对样本数据进行预处理，构建数据样本集包括：
[0052]
(1.1)利用多种成像设备对大型飞机蒙皮图像进行采集，例如，采用无人机装配高清相 机进行采集；
[0053]
(1.2)对采集到的样本数据进行图像筛选、裁剪、统一尺寸、目标标注和数据增广等一 系列预处理操作，为样本制作标签得到所需的数据集；
[0054]
(1.3)根据(1.2)的数据集，构建用于实验的图像标注数据集。
[0055]
进一步，步骤(2)基于transformer的蒙皮图像损伤检测包括：
[0056]
(2.1)输入带有标注的图像数据集，经过编码结构得到多个不同尺度的特征图；
[0057]
(2.2)将(2.1)中的特征图输入到transformer模块，按照不同的交互模块设置， transformer模块将输入特征图分为查询图q、键值图k、值图v三个部分；
[0058]
(2.3)在transformer模块中，计算出查询图q与键值图k中每个像素，即qi∈q与kj∈k 之间的相关性s
i，j
＝f
sim
(qi，kj)；
[0059]
(2.4)使用归一化函数，得到对应的权重w
i，j
＝f
norm
(s
i，j
)；
[0060]
(2.5)对值图v中的每个像素vj依据w
i，j
进行加权操作，得到特征图融合结果(特征图融合指的是融合多个不同尺度的特征图，增加更多空间与尺度上 的全局信息，特征图融合结果中包含丰富的上下文信息，目的是帮助模型学习到更加准确的 损伤特征。得到特征融合图后，通过全连接层回归分割结果，对分割结果中的损伤情况进行 分类，实现撞击损伤、裂纹损伤、腐蚀损伤3类蒙皮表面损伤的检测)。
[0061]
进一步，步骤(3)基于triplet网络的损伤图像和点云关键点描述子联合学习包括：
[0062]
(3.1)使用2d尺度不变特征变换算子sift(scale-invariant feature transform)和3d 内部形态描述子iss(intrinsic shape signatures)分别对损伤图像和点云提取一组关键点；
[0063]
(3.2)将(3.1)中的关键局部块作为triplet网络输入(表示为三元组也 就是损伤图像的锚点图像块以及点云局部块的正例和负例一起被送到网络中)；
[0064]
(3.3)triplet网络的一个分支学习损伤图像特征点描述子将图像小 块xi映射到描述符p。图像描述符函数设计为vgg卷积网络后接完全连接层，提取 图像小块关键点描述子；
[0065]
(3.4)triplet网络的另外两个分支共享权重，学习点云特征点描述子f(xm；θm)：xm→
q， 将点云局部小块xm映射到其描述符q(θi和θm是网络权重)。点云特征点描述子函数f(xm；θm) 设计为pointnet网络来提取点云局部小块描述子；
[0066]
(3.5)对锚点和正例匹配对之间的相似距离，和锚点和负例非匹配对之间的 相似距离使用加权soft margin损失函数；
[0067]
(3.6)根据特征向量之间的欧氏距离，计算每对2d-3d特征描述子之间的相关性度量矩 阵，按照相关性度量对每个图像关键点的特征点进行排序；
[0068]
(3.7)选取前k个最近的点云关键点作为匹配对。
[0069]
进一步，步骤(4)损伤图像和点云关键点对应权重系数评价与2d-3d定位包括：
[0070]
(4.1)使用残差神经网络对损伤图像和点云关键点匹配对的匹配程度赋予评价权重；
[0071]
(4.2)估计相机位姿投影矩阵，完成大型飞机蒙皮损伤2d-3d定位。
[0072]
结合附图，对整体技术方案作进一步补充说明：
[0073]
结合图1，本发明提及基于transformer与triplet网络的大型飞机蒙皮图像损伤检测与 2d-3d定位方法，包括以下步骤：
[0074]
第一、采集飞机外表面图像，对样本数据进行预处理，构建数据样本集；
[0075]
依据无损检测原则，利用多种成像设备对大型飞机蒙皮图像进行采集(例如，采用无人 机装配高清相机进行采集)，获取包含无损伤的大型飞机蒙皮图像和包含有多种损伤类型的大 型飞机蒙皮图像。首先，对采集到的样本数据进行图像筛选、裁剪、统一尺寸、目标标注和 数据增广等一系列预处理操作，为样本制作标签得到所需的数据集。然后，构建用于实验的 图像标注数据集。
[0076]
第二、基于transformer的蒙皮图像损伤检测，在结合丰富的全局场景信息的基础上， 将高维的抽象特征与低维蒙皮损伤的细节信息进行加权融合。
[0077]
改进transformer中的自注意力机制，设计“自融合”、“高层-低层融合”和“低层-高层 融合”三种不同的特征交互模块，采取结合全局位置信息和多种尺度上下文信息的特征交互 方式，使卷积神经网络充分学习图像块数据集中的特征信息，如图2所示，在一个网络中同 时实现2类蒙皮表面损伤的检测；(其中，特征交互指的是，在结合丰富的全局场景信息的基 础上，将高维的抽象特征与低维蒙皮损伤的细节信息进行加权融合。低层特征指的是细节更 多，语义性低的特征尺度。高层特征指的是语义信息更强，细节感知更少的特征尺度。“自融 合”指的是，基于经典的同级特征图内的非局部non-local交互，输出与输入具有相同的尺度。
ꢀ“
高层-低层融合”是以自上而下的方式，输出与下层特征图具有相同的比例。直观地说，将 上层特征图的"概念"与下层特征图的"像素"接地。“低层-高层融合”是以自下而上的方式， 输出与上层特征图具有相同的比例。直观地说，将上层"概念"与下层"像素"的视觉属性进 行渲染)。
[0078]
具体地，改进transformer注意力机制，用于设计图像损伤检测网络：输入图像经过编码 结构得到多个不同尺度的特征图，输入到transformer模块，增加更多空间与尺度上的全局信 息，提高相关特征的使用效率。按照不同的交互模块设置，transformer模块将输入特征图分 为查询图q、键值图k、值图v三个部分。首先，计算出查询图与键值图中每个像素，即qi∈q 与kj∈k之间的相关性s
i，j
＝f
sim
(qi，kj)；然后，使用归一化函数得到对应的权重 w
i，j
＝f
norm
(s
i，j
)；最后，对值图v中的每个像素vj依据w
i，j
进行加权操作，得到特征图融合结 果果中包含丰富的上下文信息，可以帮助模型学习到更加准确的损伤特 征。
[0079]
第三、基于triplet网络的损伤图像和点云关键点描述子联合学习，使用深度网络将损伤 图像和点云映射到同一特征空间中，联合学习图像和点云关键点描述子。
[0080]
具体步骤是：首先使用2d尺度不变特征变换算子sift(scale-invariant feature transform) 和3d内部形态描述子iss(intrinsic shape signatures)分别对损伤图像和点云提取一组关键 点；然后使用triplet网络联合学习损伤图像和点云关键点描述子，使用的网络结构如图3所 示。具体地，分别提取损伤图像和点云关键点位置局部块作为网络输入(表示为三元组也就是锚点图像块以及点云局部块的正例和负例一起被送到网络中)。
[0081]
如图3所示，triplet网络由三个分支组成，其中一个分支学习损伤图像特征点描述子 将图像小块xi映射到描述符p；另外两个分支共享权重，学习点云特征点 描述子f(xm；θm)：xm→
q，将点云局部小块xm映射到其描述符q(θi和θm是网络权重)。通 过损失函数实现联合学习损伤图像和点云特征点之间的相似性，最后利用随机梯度下
降法优 化网络参数。图像描述符函数设计为vgg卷积网络后接完全连接层，以提取图像小 块关键点描述子。全局平均池化层应用于卷积的特征图上。在网络末端连接两个完全连接层 输出期望的描述子维度。点云特征点描述子函数f(xm；θm)可以设计为pointnet网络来提取 点云局部小块描述子。
[0082]
定义锚点和正例匹配对之间的相似距离为锚点和负例非匹配对之间的相似距离为为加快深度网络收敛 速度，使用加权soft margin损失函数：
[0083][0084]
根据特征向量之间的欧氏距离，计算每对2d-3d特征描述子之间的相关性度量矩阵，并 按照相关性度量对每个图像关键点的特征点进行排序，选取前k个最近的点云关键点作为匹配 对。
[0085]
第四、损伤图像和点云关键点对应权重系数评价。
[0086]
使用残差神经网络对匹配程度赋予评价权重，并同时估计相机位姿投影矩阵，完成大型 飞机蒙皮损伤2d-3d定位。
[0087]
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语， 亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在 无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0088]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于 本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术 人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。