一种弹药底火表面缺陷检测方法、系统及存储介质与流程

1.本发明涉及表面缺陷检测技术领域，具体而言，涉及一种弹药底火表面缺陷检测方法、系统及存储介质。


背景技术：

2.小口径弹药是武装力量使用最基本、数量最大和应用最广泛的作战装配之一，是国防科技工业最基础的产品之一。底火作为枪弹的关键部件，其装配结果直接决定弹药质量，长期以来枪弹的缺陷检测大多采用人工操作方式，存在检验质量受人为因素影响较大，检验效率低，工作强度大等特点，目前国内现有小口径枪弹底火装配过程少数已采用基于图像检测的剔废工艺，主要利用高分辨率工业摄像头及配套led光源对刚装配的底火进行静态图像采集，结合相关软件平台对图像进行处理分析完成缺陷检测。
3.但是，国内现有小口径枪弹底火图像检测仍主要采用基于传统的机器视觉算法对图像进行手工特征选取，很难确保枪弹底火缺陷特征完整的建模和迁移使用，需要区分工况，复用性不强；常用的深度学习模型往往需要大量已经人工标注的训练样本，其中还要包括一定数量的缺陷样本，而实际生产过程中尽管由于产品装配质量的不确定性存在缺陷，但缺陷数量占比毕竟较少，收集大量的缺陷样本以及样本的人工标注需要耗费大量的时间和精力，成本较高，因此造成对弹药底火表面检测的效率低、检测精度低，且检测容易出错的情况发生，严重时，可能会带来安全隐患。
4.有鉴于此，特提出本技术。


技术实现要素：

5.本发明所要解决的技术问题是现有技术中，通过人工标注的方法来检测弹药底火是否存在缺陷造成的检测效率低以及检测精度低，目的在于提供一种弹药底火表面缺陷检测方法、系统及存储介质，提高了对弹药底火表面缺陷检测的速度以及增加了对弹药底火表面检测的精确度。
6.本发明通过下述技术方案实现：
7.一种弹药底火表面缺陷检测方法，方法步骤包括：
8.s1：获取第一图像集，所述第一图像集为装配底火的正样本图像集；
9.s2：对所述第一图像集进行图像预处理，获得第二图像集；
10.s3：构建缺陷生成模块，并将所述第二图像集输入到所述缺陷生成模块中，获得缺陷图像集，采用生成式对抗网络，对所述缺陷图像集进行修复处理，获得修复图像集；
11.s4：构建wgan-dae网络模型，并将所述修复图像集与所述第二图像集作为训练数据集，对所述wgan-dae网络模型进行训练，获得最优wgan-dae网络模型；
12.s5：将待检测图像输入到所述最优wgan-dae网络模型中，获得修复图像；
13.s6：采用lbp算子结合双线性插值方法，分别提取所述待检测图像的lbp特征值以及所述修复图像的lbp特征值，并判断提取的两个lbp特征值之间是否存在差异，若存在，则
该待检测图像存在缺陷图像。
14.传统的弹药底火表面缺陷检测的时候，通常采用的是传统的机器视觉算法对图像进行手工特征选取，在进行深度学习的时候，还需要通过人工进行标注相关的训练样本，当训练的图像数据过大的时候，往往需要消耗大量的时间，降低检测速度，且数据量过大，容易造成差错，从而使得检测的结果不精确；本发明提供了一种弹药底火表面缺陷检测方法，通过将生成式对抗网络与lbp算子算法进行融合的方法，对待检测图像是否存在缺陷进行检测，提高了对待检测图像的检测效率，增加了对待检测图像检测的精度。
15.优选地，所述检测方法步骤还包括：将所述待检测图像进行反归一化处理，显示缺陷图像。
16.优选地，所述步骤s2的具体子步骤包括：
17.采用canny算法对所述第一图像集进行边缘搜索，检测出弹壳底部含底火在内的图像轮廓；
18.对带有图像轮廓的图像集进行裁剪，获得第二子图像集；
19.并对得到的第二子图像集进行归一化处理，获得第二图像集。
20.优选地，所述缺陷生成模块中，缺陷图像的生成方法具体包括：
21.在所述第二图像集中，选定缺陷区域和缺陷中心位置，并围绕缺陷中心加入部分高斯噪声点，通过反复多次的噪声膨胀和腐蚀生成独立于背景的缺陷特征，利用泊松融合将缺陷特征与正样本背景融合，获得缺陷图像集。
22.优选地，所述修复图像集获得的具体子步骤包括：
23.将缺陷图像集输入到所述生成式对抗网络中的生成器中，通过生成器对所述缺陷图像集进行图像重构，获得修复图像集。
24.优选地，所述生成对抗网络包括编码器与解码器；所述第二图像集通过生成对抗网络后生成缺陷图像，所述缺陷凸显沟通过编码器进行进行数据压缩，压缩后的图像数据通过解码器进行反向解码，获得修复图像集。
25.优选地，所述检测方法步骤还包括：
26.将所述待检测图像进行通过canny算法边缘检测对所述待检测图像的轮廓边缘进行搜索，并对轮廓图像进行裁剪，将裁剪后的图像进行归一化处理，并将预处理后的图像进行步骤s5～s6处理。
27.优选地，所述步骤s6的子步骤包括：
28.采用圆形lbp算子结合双线性插值分别对所述待检测图像以及所述修复图像进行处理，在所述待检测图像以及所述修复图像中，将大于中心像素点值的像素点记为1，否则记为0；标记完成后，对比标记后的所述待检测图像以及所述修复图像之间的lbp特征值，存在差异的lbp特征值对应的点位为存在缺陷点位的图像。
29.本发明还提供了一种弹药底火表面缺陷检测系统，系统包括图像获取模块、处理模块、缺陷图像生成模块、第一修图图像模块、模型调优模块、第二修复图像模块以及判断模块；
30.所述图像获取模块，用于获取第一图像集，所述第一图像集为装配底火的正样本图像集；
31.所述处理模块，用于对所述第一图像集进行图像预处理，获得第二图像集；
32.所述缺陷图像生成模块，用于构建缺陷生成模块，并将所述第二图像集输入到所述缺陷生成模块中，获得缺陷图像集；
33.所述第一修复图像模块，用于采用生成式对抗网络，对所述缺陷图像集进行修复处理，获得修复图像集；
34.所述模型调优模块，用于构建wgan-dae网络模型，并将所述修复图像集与所述第二图像集作为训练数据集，对所述wgan-dae网络模型进行训练，获得最优wgan-dae网络模型；
35.所述第二修复图像模块，用于将待检测图像输入到所述最优wgan-dae网络模型中，获得修复图像；
36.所述判断模块，用于采用lbp算子结合双线性插值方法，分别提取所述待检测图像的lbp特征值以及所述修复图像的lbp特征值，并判断提取的两个lbp特征值之间是否存在差异，若存在，则该待检测图像存在缺陷图像。
37.本发明还提供了一种计算机存储介质，其上存储有计算程序，该计算机程序被处理器执行时，实现如上所述的方法。
38.本发明与现有技术相比，具有如下的优点和有益效果：
39.本发明实施例提供的一种弹药底火表面缺陷检测方法、系统及存储介质，通过将生成式对抗网络与lbp算子算法进行融合的方法，对待检测图像是否存在缺陷进行检测，减少了人工对相关训练样本进行标记的过程，增加了对图像的检测速度，提高了对待检测图像的检测精确度。
附图说明
40.为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
41.图1为检测方法流程示意图
42.图2为生成网络对抗示意图
43.图3为检测系统示意图
具体实施方式
44.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
45.在以下描述中，为了提供对本发明的透彻理解阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本本发明。在其他实施例中，为了避免混淆本本发明，未具体描述公知的结构、电路、材料或方法。
46.在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“一个实施例”、“实施例”、“一个示例”或“示
例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
47.在本发明的描述中，术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
48.实施例一
49.本实施例公开了一种弹药底火表面缺陷检测方法，如图1所示，在本实施例中，通过获取不带有缺陷的样本图像，采用wgan(gan网络的一种)和深度去噪自编码器(dae)建立重建网络对输入样本进行样本重构，然后将重构样本与输入样本利用局部二值模式(lbp)进行特征提取比较，如果重构样本特征与输入样本特征差异较小，则判断其为正样本，否则为缺陷样本，并准确标识出缺陷位置，具体方法步骤包括：
50.s1：获取第一图像集，所述第一图像集为装配底火的正样本图像集；
51.在步骤s1中，获得的正样本图像集即为底火不带有缺陷的图像。
52.s2：对所述第一图像集进行图像预处理，获得第二图像集；
53.所述步骤s2的具体子步骤包括：
54.采用canny算法对所述第一图像集进行边缘搜索，检测出弹壳底部含底火在内的图像轮廓；
55.对带有图像轮廓的图像集进行裁剪，获得第二子图像集；由于样本图像除弹壳底部关键部位图形外一般留有足够的空白，结合前面边缘检测结果，裁剪出roi(感兴趣区域)图像；
56.并对得到的第二子图像集进行归一化处理，获得第二图像集，为加快wgan网络训练速度，对正样本图像数据进行归一化处理。
57.s3：构建缺陷生成模块，并将所述第二图像集输入到所述缺陷生成模块中，获得缺陷图像集，采用生成式对抗网络，对所述缺陷图像集进行修复处理，获得修复图像集；
58.所述缺陷生成模块中，缺陷生成模块用于将正样本转换成人工缺陷样本，缺陷图像的生成方法具体包括：
59.在所述第二图像集中，选定缺陷区域和缺陷中心位置，并围绕缺陷中心加入部分高斯噪声点，通过反复多次的噪声膨胀和腐蚀生成独立于背景的缺陷特征，利用泊松融合将缺陷特征与正样本背景融合，获得缺陷图像集。
60.所述修复图像集获得的具体子步骤包括：
61.将缺陷图像集输入到所述生成式对抗网络中的生成器中，通过生成器对所述缺陷图像集进行图像重构，获得修复图像集。
62.所述生成对抗网络包括编码器与解码器；所述第二图像集通过生成对抗网络后生成缺陷图像，所述缺陷凸显沟通过编码器进行进行数据压缩，压缩后的图像数据通过解码器进行反向解码，获得修复图像集。
63.s4：构建wgan-dae网络模型，并将所述修复图像集与所述第二图像集作为训练数
据集，对所述wgan-dae网络模型进行训练，获得最优wgan-dae网络模型；
64.如图2所示，编码器和解码器共同构成自动编码器，其中编码器的输入为正样本经缺陷模块转化后的人工缺陷样本，编码器的输出为压缩后的缺陷样本，编码器作用是将人工缺陷样本进行数据压缩；解码器的输出为修复样本集，解码器作用是将人工缺陷样本反向解码为修复样本，训练时深度去噪自编码器(dae)的损失函数判断修复样本与正样本之间的差别，目的是缩小修复样本与正样本之间的误差，完成人工缺陷样本的图像重构，从而实现缺陷样本的修复功能。同时将深度去噪自编码器(dae)整体作为生成式对抗网络(wgan)的生成器，生成修复图像，训练时修复样本和正样本放入wgan辨识器进行辨识，当辨识器几乎无法辨认两者之间区别时，输出概率值无限接近于0.5时，表示训练阶段完成，可以进行使用或测试。
65.测试阶段是将训练好的wgan-dae模型进行使用，待测样本指需要判断是否有缺陷的样本，测试(使用)时待测样本图像作为gan生成器的输入，通过生成器内部dae的编码、解码恢复输出待测样本的修复图像，然后通过lbp算子提取待测样本、修复样本图像特征，利用两者图像之间的像素差异准确判断出缺陷形状与位置s_l。
66.其中训练阶段，缺陷样本经过dae自编码器后的修复样本应尽可能与正样本保持一致，这里我们使用wasserstein距离来度量修复样本与正样本的相似性，wasserstein距离w(pg，pr)与js散度相比优点在于，即使生成数据分布pg与真实数据分布pr之间没有重叠，也能反映两者之间的距离远近。w(pg，pr)可表示为：
[0067][0068]
式中k表示lipschits常数；sup为最小上界；表示生成的数据；||f||
l
≤k表示函数f满足k-lipschits连续；e(
·
)表示求期望函数，x～pr(x)表示x的真实数据分布，表示的生成数据分布。
[0069]
wgan中生成器的损失函数为：
[0070][0071]
式中：v(
·
)表示损失函数；d(
·
)表示辨识器函数；g(
·
)表示生成器函数；z表示噪声数据。
[0072]
同时为实现lipschits连续条件，在wgan辨识器的损失函数中添加梯度范数惩罚项，辨识器的损失函数为：
[0073][0074]
式中：表示求梯度，λ为正则化系数，||
·
||m表示求m范数，表示为的分布，其中为生成数据与真实数据的均匀采样。
[0075]
使用wasserstein距离来度量正样本、修复样本间的相似性，wasserstein距离与js散度相比优点在于，即使生成数据分布pg与真实数据分布pr之间没有重叠，也能反映两者之间的距离远近。wgan-gp网络基本解决了传统gan网络训练不稳定、不收敛以及模式崩溃问题。在wgan网络训练阶段，通过adam随机优化器迭代运算降低生成器和辨识器损失函
数值完成整个训练过程网络参数的优化。
[0076]
s5：将待检测图像输入到所述最优wgan-dae网络模型中，获得修复图像；
[0077]
所述检测方法步骤还包括：将所述待检测图像进行通过canny算法边缘检测对所述待检测图像的轮廓边缘进行搜索，并对轮廓图像进行裁剪，将裁剪后的图像进行归一化处理。并将预处理后的图像进行步骤s5～s6处理。
[0078]
在步骤s5中，通过将获取的待检测图像进行相关的图像处理，在对图像处理后的数据进行缺陷确认以及测试操作，能够除去外界的干扰图像因素。
[0079]
s6：采用lbp算子结合双线性插值方法，分别提取所述待检测图像的lbp特征值以及所述修复图像的lbp特征值，并判断提取的两个lbp特征值之间是否存在差异，若存在，则该待检测图像存在缺陷图像。
[0080]
所述步骤s6的子步骤包括：
[0081]
采用圆形lbp算子结合双线性插值分别对所述待检测图像以及所述修复图像进行处理，在所述待检测图像以及所述修复图像中，将大于中心像素点值的像素点记为1，否则记为0；标记完成后，对比标记后的所述待检测图像以及所述修复图像之间的lbp特征值，存在差异的lbp特征值对应的点位为存在缺陷点位的图像。
[0082]
所述检测方法步骤还包括：将所述待检测图像进行反归一化处理，显示缺陷图像。
[0083]
本实施例公开的一种弹药底火表面缺陷检测方法，通过将生成式对抗网络与lbp算子算法进行融合的方法，对待检测图像是否存在缺陷进行检测，减少了人工对相关训练样本进行标记的过程，增加了对图像的检测速度，提高了对待检测图像的检测精确度；wgan-gp网络解决了传统gan网络训练不稳定以及模式崩溃问题，不再需要特别注意平衡生成器与辨识器训练程度，确保了生成样本的多样性，与传统gan相比，wgan可分别判断生成器与辨识器训练结果是否收敛。
[0084]
实施例二
[0085]
本实施例公开了一种弹药底火表面缺陷检测系统，本实施例是为了实现如实施例一中的检测方法，如图3所示，系统包括图像获取模块、处理模块、缺陷图像生成模块、第一修图图像模块、模型调优模块、第二修复图像模块以及判断模块；
[0086]
所述图像获取模块，用于获取第一图像集，所述第一图像集为装配底火的正样本图像集；
[0087]
所述处理模块，用于对所述第一图像集进行图像预处理，获得第二图像集；
[0088]
所述缺陷图像生成模块，用于构建缺陷生成模块，并将所述第二图像集输入到所述缺陷生成模块中，获得缺陷图像集；
[0089]
所述第一修复图像模块，用于采用生成式对抗网络，对所述缺陷图像集进行修复处理，获得修复图像集；
[0090]
所述模型调优模块，用于构建wgan-dae网络模型，并将所述修复图像集与所述第二图像集作为训练数据集，对所述wgan-dae网络模型进行训练，获得最优wgan-dae网络模型；
[0091]
所述第二修复图像模块，用于将待检测图像输入到所述最优wgan-dae网络模型中，获得修复图像；
[0092]
所述判断模块，用于采用lbp算子结合双线性插值方法，分别提取所述待检测图像
的lbp特征值以及所述修复图像的lbp特征值，并判断提取的两个lbp特征值之间是否存在差异，若存在，则该待检测图像存在缺陷图像。
[0093]
实施例三
[0094]
本实施例公开了一种计算机存储介质，其上存储有计算程序，该计算机程序被处理器执行时，实现如实施例一所述的检测方法。
[0095]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0096]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序发布指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序发布指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的发布指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0097]
这些计算机程序发布指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的发布指令产生包括发布指令装置的制造品，该发布指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0098]
这些计算机程序发布指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的发布指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0099]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。