一种基于胶囊网络的飞机表面缺陷检测方法和系统与流程

1.本发明涉及飞机表面检测技术，特别涉及一种基于胶囊网络的飞机表面缺陷检测方法和系统。


背景技术：

2.随着民航事业的不断发展，飞机安全事故的发生频率也在不断提高，所以飞机健康安全检查务必得到重视。现今国内外对机体表面缺陷检查都是采用目视绕机检查的方式和定期检查相结合的方式，其中目视绕机检查，即飞行员和机务人员按照绕机检查规定路线通过目视的方式检查飞机各个设备的状态的方法。随着人工智能技术特别是深度神经网络的发展，使得基于深度神经网络的计算机视觉技术代替航前绕机检查成为可能。深度神经网络(dnn)的概念源于人工神经网络的研究。dnn通过组合低层特征形成更加抽象的高层特征，表示出属性类别或特征，以发现数据的分布式特征。
3.目前国内外将深度神经网络模型用于图像识别在民航领域大规模应用的主要是在机场安检，不明飞行器的识别等方面，在民航机务方面并没有应用。将深度神经网络模型引入航线维护中代替人工实现航前检查的智能化，且相比于传统的基于特征提取的技术易受外部环境影响，深度神经网络识别率高，抗干扰性强。


技术实现要素：

4.本发明其中一个发明目的在于提供一种基于胶囊网络的飞机表面缺陷检测方法和系统，所述方法和系统在飞机表面蒙皮缺陷的基础上采用基于及胶囊网络的飞机表面缺陷检测模型，通过建立高效的卷积神经网络算法，简化了一般目标检测的程序和步骤，优化图像缺陷分类，使得所述胶囊网络的目标检测和分类可以高效进行。
5.本发明其中一个发明目的在于提供一种基于胶囊网络的飞机表面缺陷检测方法和系统，所述方法和系统通过胶囊网络技术大幅提高表面缺陷的识别率，且相比于传统的技术抗外界干扰能力强。
6.本发明其中一个发明目的在于提供一种基于胶囊网络的飞机表面缺陷检测方法和系统，所述方法和系统改变primary caps层胶囊组合方式以减少动态路由算法计算开销，提高网络的训练速度，并通过增加胶囊携带信息能力的胶囊压缩函数，以提高模型识别的准确率。
7.为了实现至少一个上述发明目的，本发明进一步提供一种基于胶囊网络的飞机表面缺陷检测方法，所述方法包括如下步骤：
8.获取飞机表面缺陷样本，并将所述飞机表面缺陷样本进行降采样处理；
9.建立胶囊网络模型，模型训练好后将处理后的飞机表面缺陷样本输入到所述胶囊网络模型中；
10.根据所述胶囊网络模型中的损失函数计算样本的缺陷置信度；
11.将所述置信度最大的计算所结果作为最终的缺陷预测结果。
12.根据本发明其中一个较佳实施例，在获取飞机表面缺陷样本后，对所述缺陷样本进行修复，所述缺陷样本的修复方法包括：
13.识别并确定待修复区域的边缘，并在所述边缘上选取优先级最高的像素点 p；
14.以所述像素点p进行建立模板块，通过所述模板块匹配完整的图像；
15.采用图像匹配算法得到最小的样本修复模块；
16.并更新已修复像素点的置信度和修复区域的边缘。
17.根据本发明另一个较佳实施例，上述像素点p优先级的计算方法包括：
18.p(p)＝c(p)d(p)；
19.其中c(p)为置信度项，表示的含义是样本块中的已知像素点的多少；d(p) 是数据项，表示结构信息量。
20.根据本发明另一个较佳实施例，所述方法在获取缺陷样本数据后对所述缺陷样本数据进行数据增强，所述数据增强的方法包括：旋转、翻转和随机裁剪。
21.根据本发明另一个较佳实施例，所述降采样的方法包括通过立方卷积插值法将样本图像统一进行降采样：
[0022][0023][0024]
其中row表示图像行，col表示图像列，a为常数，x为在目标图像中相邻的 16个像素到p的距离；v、u代表的行数偏量以及列数偏量，i、j代表的是原始图像图在插值后的图像上的映射，f表示映射函数，f(i v，j u)代表的插值后图上对应的坐标点；s(x)为立方卷积插值公式。
[0025]
根据本发明另一个较佳实施例，所述胶囊网络的卷积层为4层，且每层卷积层的通道数为128，并采用尺度为3*3的卷积滤波器。
[0026]
根据本发明另一个较佳实施例，在所述胶囊网络训练识别的过程中，将像素值进行归一化处理：首先计算像素点值x
i
的平均值和方差：
[0027][0028][0029]
进一步计算像素的归一化值：
[0030][0031]
其中ε表示卷积层参数，μ
b
表示像素点值x
i
的平均值，σ
2b
表示像素点值 x
i
的方差。
[0032]
根据本发明另一个较佳实施例，采用动态路径算法替代胶囊网络中的池化操作，所述动态路径算法包括：
[0033]
[0034][0035][0036]
其中为全连接结构的输入向量，v
j
为输出向量，b
ij
为动态路由参数，c
ij
为调节参数，k为动态路由参数数量，s
j
为动态路由调节后的中间向量。
[0037]
为了实现至少一个上述发明目的，本发明进一步提供一种基于胶囊网络的飞机表面缺陷检测系统，所述系统执行上述种基于胶囊网络的飞机表面缺陷检测方法，
[0038]
本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器执行上述一种基于胶囊网络的飞机表面缺陷检测方法。
附图说明
[0039]
图1显示的是本发明一种基于胶囊网络的飞机表面缺陷检测方法的流程示意图。图2显示的是本发明一种基于胶囊网络的飞机表面缺陷检测分类系统的架构示意图。
[0040]
图3显示的是本发明中图像预处理的流程示意图。
[0041]
图4显示的是本发明不同方法降采样的效果对比示意图。
具体实施方式
[0042]
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
[0043]
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
[0044]
请结合图1
‑
图4，本发明公开了一种基于胶囊网络的飞机表面缺陷检测方法和系统，所述方法主要包括如下步骤：
[0045]
首先需要获取飞机表面缺陷的样本，其中所述飞机表面缺陷可以从国内外的在役飞机和飞机大修厂中获取，通过调研的方式获取飞机表面缺陷图像样本，并对各类样本进行汇总分类，进一步判断获取的飞机表面缺陷图像是否因为图像不完整而需要进行图像修复，由于飞机表面图像可能存在遮挡物、拍照方式和拍照角度等问题会存在图像非正常的缺失，因此需要对该缺失的图像进行匹配补充，从而避免受到图像样本的影响而导致最终输出结果准确性较差的问题。
[0046]
也就是说，在获取飞机缺陷图像样本后，首先需要做的是飞机缺陷图像的预处理，所述预处理过程包括修复飞机缺陷样本图像，其中所述修复方法包括：
[0047]
确定待修复区域的边缘ω，其中待修复区域的确定方式包括但不仅限于人工识别，机器识别，若无法确定待修复区域，则说明不存在待修复区域，则修复完成；
[0048]
在确定好待修复区域后，获取待修复区域边缘上优先级最高的像素点p；
[0049]
将所述优先级最高的像素点p为中心构建模板块，优先的，所述模板块的尺寸为9*9,通过查找完好区域图像来匹配所述模板块内的图像，使得完好区域内图像可填充到对应的模板块中；
[0050]
采用ssd(图像匹配算法)匹配到最小的样本修复模板块中的图像；
[0051]
进一步更新已修复图像点的置信度和修复区域的边缘。
[0052]
值得一提的是，所述像素点优先级的计算公式包括：
[0053]
p(p)＝c(p)d(p)；
[0054]
其中c(p)为置信度项，表示的含义是样本块中的已知像素点的多少。c(p) 越大，说明以像素点p为中心构造的像素块中包含的已知信息所占有的比例越大，即置信度越大，应优先修复。d(p)是数据项，表示结构信息量。d(p)越大说明表面线性结构越复杂，应优先修复。
[0055]
进一步所述预处理步骤还包括对样本进行图像增加，所述图像增强方法包括但不仅限于旋转、翻转和随机裁剪，其中：
[0056]
旋转：随即旋转样本图像一定度数，改变样本种特征的相对位置。旋转角度在90
‑
270度之间由脚本随机生成。
[0057]
翻转：以某一个点或者某一条线为中轴，将样本进行对称镜像。
[0058]
随机裁剪：对样本中的缺陷，进行随机的剪裁，将剪切的部分作为新的样本。
[0059]
所述预处理步骤包括采用高斯模糊算法解决飞机表面缺陷图像的纯净度问题，采用白平衡方法解决飞机表面缺陷图像的光照问题，针对采样模糊采用拉普拉斯锐化方法解决。
[0060]
所述预处理步骤还包括对样本图像进行降采样，其中所述降采样的方法包括：采用立方卷积插值法将样本图像统一降采样到400*400*3，具体降采样公式为：
[0061][0062][0063]
其中所述立方卷积插值法涉及到目标像素点，以及围绕所述目标像素点4 行和4列共16个像素点的计算，上述公式中：row表示行像素点,col表示列像素点，a为常数，可以根据需求自行设定，x为在目标图像中相邻的16个像素到p的距离，v、u代表的行数偏量以及列数偏量，i、j代表的是原始图像图在插值后的图像上的映射，f(i v，j u)代表的插值后图上对应的坐标点，s(x) 为立方卷积插值公式，插值公式的变化会改变插值效果。
[0064]
在完成飞机表面缺陷图像的预处理后，进一步建立胶囊网络模型，并训练所述胶囊网络，首先将预处理后的飞机表面缺陷图像输入到卷积层进行特征提取，然后将提取的特征输入到胶囊网络中，采用动态路由算法替换传统图像计算中的池化操作，且根据损失函数计算出缺陷的置信度，所述胶囊网络可以对飞机表面缺陷图像进行多次预测，并计算每次预测的置信度值，并采用非极大抑制算法取最大的置信度值作为最终的缺陷预测结果。
[0065]
由于所述胶囊网络在是基于分类的飞机表面缺陷样本，因此训练的胶囊网络可以实现避免胶囊网络迭代过程中的梯度消失来提高图像分类的准确率这一技术问题。
[0066]
本发明中所述胶囊网络的卷积层被设置为4层，通过增加卷积层深度的方式提高了网络滤波能力和特征提取能力，且每层卷积层的通道数为128，采用尺寸为3*3的卷积滤波器进行滤波，使得卷积层的参数量较少且使得所述胶囊网络具有更多的非线性。
[0067]
本发明需要对训练的数据进行归一化处理，所述归一化处理公式包括：
[0068][0069][0070]
然后按下式对数据进行归一化处理
[0071][0072]
其中ε表示卷积层参数，μ
b
表示像素点值x
i
的平均值，σ
2b
表示像素点值 x
i
的方差，m为所取样本数据个数。
[0073]
进一步的，动态路由调节公式为：
[0074][0075][0076][0077]
其中为全连接结构的输入向量，v
j
为输出向量，b
ij
为动态路由参数，c
ij
为调节参数，k为动态路由参数数量，s
j
为动态路由调节后的中间向量。
[0078]
其中所述输出向量v
j
的计算函数为：
[0079][0080]
本发明进一步将所述胶囊网络进行网络重构，重构方法包括：
[0081]
输入：28*28特征图经过卷积核为(3,3)，步长为1的卷积操作得到128个大小为26*26的特征图：参数1*28*28*128＝100352个；
[0082]
128个26*26特征图卷积(卷积核3*3)到128个24*24特征图：参数 128*3*3*128＝147456个；
[0083]
128个24*24特征图卷积(卷积核3*3)到128个22*22特征图：参数 128*3*3*128＝147456个；
[0084]
进入胶囊网络层：128个22*22特征图卷积(卷积核3*3，步长为2)到128 个10*10特征图：参数128*3*3*128＝147456个；
[0085]
128个10*10特征图经过动态路由算法变为3*16的向量：没有参数；
[0086]
所以，新的重构网络总参数量为：100352 147456 147456 147456＝542720 个。将所述胶囊网络中输出向量置信度最大值为最终的识别结果。
[0087]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线段、电线段、光缆、rf等等，或者上述的任意合适的组合。
[0088]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0089]
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。