一种基于ViG的手机麦克风零件缺陷检测方法

一种基于vig的手机麦克风零件缺陷检测方法
技术领域
1.本发明涉及零件缺陷检测技术领域，尤其涉及一种基于vig的手机麦克风零件缺陷检测方法。


背景技术：

2.近年来,将深度学习应用到处理图结构数据的任务中越来越受到人们的关注，图神经网络的出现使其在计算机视觉任务中取得了重大突破。而随着计算机视觉、工业成像、和深度学习等领域的新技术不断创新与完善,基于机器视觉的工业缺陷检测技术也得到了发展,为工业生产中零件的缺陷检测贡献了多种高效的解决方案。
3.传统的缺陷检测方法，大多采用了基于卷积神经网络(convolutional neural network,cnn)的异常检测，虽然cnn具有强大的特征提取能力和高维数据的表征能力的框架，提高了工业元件的检测效率。但这种方法在本质上只停留在图片像素级的识别与处理，图像数据通常用欧几里得空间中像素的规则网格表示，物理含义不明确。忽略了图片中背景以及各元素之间的结构与属性的关系，对于不规则和复杂物体的特征学习能力不足。


技术实现要素：

4.针对现有技术中所存在的不足，本发明提供了一种基于vig的手机麦克风零件缺陷检测方法，实现了工业生产中零件缺陷检测，提升了网络的缺陷检测效率。
5.本发明的上述技术目的是通过以下技术方案得以实现的：
6.一种基于vig的手机麦克风零件缺陷检测方法，步骤一：首先将正常麦克风零件样本图分为大小相同的patch，每个patch代表图结构中的一个节点，对于每个节点通过k近邻(k-nearest neighbor，knn)算法找到它的k个最近邻节点并为其添加边，实现基于图像的图表示；
7.步骤二：然后将待测图输入到vig(vision graph neural network)框架中，使用训练好的图卷积网络(graph convolutional network，gcn)模型对正常样本麦克风零件图进行特征提取；
8.步骤三：使用马氏距离以并行计算的方式测出所提取到的节点特征之间的距离，并得出所测试图的异常分数，实现麦克风零件图的缺陷检测。
9.本发明进一步设置为：将w
×h×
3像素大小的麦克风正常样本图，每张平均划分成n个相同像素大小的patch，每个patch代表图结构中的一个节点，使用knn算法测量不同节点特征值之间的距离，用距离目标节点最近的k个样本节点数据的分类来代表目标节点的分类，对目标节点找到与其最相似的k个节点，这k个节点出席次数最多的分类，即是目标节点的分类，将目标节点与所找到的k个最近邻节点进行边的连接，即构建了一个规则图g＝(v，e)，从而实现基于图像图表示。
10.本发明进一步设置为：步骤2中，将待测图输入到vig框架中，使用训练好的gcn模型通过卷积的方式对麦克风零件正常样本图进行特征提取，并将提取到的节点特征进行合
并。
11.本发明进一步设置为：使用马氏距离计算测试图中节点vj与模型学习到的正常样本节点vi之间的距离，根据设定好的阈值，给出测试图中目标节点vj的异常分数。
12.本发明进一步设置为：在测量马氏距离的过程中，对测试图中每个节点使用并行计算，增加异常检测速度。
13.在本发明中，我们提出了一种基于vig的对手机中的麦克风零件进行机器视觉缺陷检测的方法。考虑到在实际的工业应用场景之中，手机中的麦克风零件结构复杂、体积微小。该方法将麦克风零件图像用图结构表示，使用vig框架对麦克风零件图进行特征提取，并使用马氏距离以并行计算的方式测出所提取到的节点特征之间的距离，实现了工业生产中手机麦克风零件的缺陷检测。
14.本发明提出的基于vig的对手机中的麦克风零件进行机器视觉缺陷检测的方法，将麦克风零件图像中的像素解释成图结构中具有相互关联的节点，处理图像的方式更加灵活，构建了样本局部结构与全局之间的关系，实现了对麦克风整体结构数据的真实建模。在实际的工业视觉缺陷检测中，由于待测对象的形状通常是不规则的，本方法中使用gcn模型对待测图想进行特征提取，能更有效地学习图中不规则和复杂物体的特征，减少了参数量，提高了训练速度，对模型的训练效率大幅提升。使用马氏距离以并行计算的方式测出所提取到的节点特征之间的距离，提高了缺陷检测速度，大幅度地提升了手机中麦克风零件缺陷检测的精度和效率。
15.本发明具有的有益效果为：将手机麦克风零件图像用图结构进行表示，基于vig框架实现对麦克风零件图中节点的特征提取，并使用马氏距离以并行计算的方式测出所提取到的节点特征之间的距离，从而得出节点异常得分图，较好地实现了工业生产中零件缺陷检测，提升了网络的缺陷检测效率。
附图说明
16.图1为手机麦克风零件检测全流程图；
17.图2为手机麦克风零件正常样本图；
18.图3为手机麦克风零件缺陷样本图；
19.图4为手机麦克风零件区域结构图；
20.图5为手机麦克风零件样本图结构表示过程；
21.图6为vig模型框架。
具体实施方式
22.下面结合附图及实施例对本发明中的技术方案进一步说明。
23.请参阅图1，本发明实施例提供了一种基于vig对手机中的麦克风零件进行缺陷检测的方法，包括：
24.步骤一：首先将正常麦克风零件样本图分为大小相同的patch，每个patch代表图结构中的一个节点，对于每个节点通过knn算法找到它的k个最近邻节点并为其添加边，实现了将图像视为图形数据。
25.步骤二：然后将待测图输入到vig框架中，使用训练好的gcn模型对正常样本麦克
风零件图进行特征提取。
26.步骤三：使用马氏距离以并行计算的方式测出所提取到的节点特征之间的距离，并得出所测试图的异常分数，实现麦克风零件图的缺陷检测。
27.在本发明实施案例中,请参阅表1数据集类别分布，需要说明的是，所采用的数据集，其中图片100％来源于工业生产中实际拍摄，实际拍摄主要获取的生产流水线上固定点位置的摄像头所拍摄。实验参数如表1所示：
[0028][0029]
表1.数据集类别分布
[0030]
在本发明实施案例中，请参阅图5，将大小为w
×h×
3的麦克风零件正常样本图分为n个大小相同的patch，每个patch代表着图中的一个节点。通过将每个patch转换成一个特征向量xi∈rd，我们有x＝{x1，x2，
···
，xn}，d是特征维度。这些特征可以被视为一组无序节点表示为v＝{v1,v2...vn}。
[0031]
在本发明实施案例中，对于每个节点vi，我们找到它的k个最近邻n(vi)。使用knn算法测量不同节点特征值之间的距离，用距离目标节点vi最近的k个样本节点数据的分类来代表目标节点vi的分类。我们找到它的k个最近邻n(vi)后，并为所有vj∈n(vi)添加一个从vj到vi的边e
ji
。然后我们得到一个图g＝(v，e)，其中e表示所有的边。
[0032]
在本发明实施案例中，将待测图输入到vig框架中，vig由两个基本模块组成，一个是具有图卷积功能的用于提取图中节点特征的gcn模块，另一个是用于处理提取到的特征并增加特征多样性的ffn模块。
[0033]
在gcn模块中，我们使用gcn模型提取麦克风零件图的特征表示。使用卷积的方式对图中的节点特征信息进行汇聚与更新，在训练gcn模型的过程中，将输入的图与一个可训练矩阵a进行卷积后，通过反向传播算法计算出训练权重矩阵w0和w1的损失函数。如果损失在几个时期内没有减少，训练过程将会停止，最终模型学习到麦克风正常样本图的节点特征。
[0034]
其中可训练矩阵a，在公式中，
[0035]
其中x是所输入模型的麦克风零件图g，a代表图g的邻接矩阵，是的度矩阵(degree matrix)。
[0036]
其中，in是一个n
×
n的单位矩阵，relu是激活函数。
[0037]
在ffn模块中，为了进一步提高特征转换能力，缓解过平滑现象，我们在每个节点上使用了前馈网络。ffn模块是一个简单的多层感知器，有两个完全连接的层。为了增加所提取到的节点特征的多样性，具体公式如下：
[0038]
z＝σ(yw1)w2 y，
[0039]
其中,z∈rn×
d w1和w2为全连通层的权值，忽略偏差项。ffn的隐含维数通常大于d。
[0040]
在grapher和ffn模块中，每一个全连通层或图卷积层后都进行批归一化处理。由grapher模块和ffn模块组成的vig块是构建网络的基本构建单元。
[0041]
在本发明实施案例中，我们部署了马氏距离，它考虑了数据相关性的内在表示。给定每个节点vi的d维特征向量fi,fi∈rd，定义节点vi和vj的特征fi与fj之间的马氏距离为如下公式:
[0042][0043]
其中m∈rd×d，是反映特征相关性的马氏距离度量矩阵。
[0044]
在本发明实施案例中，通过并行计算的方式计算待测节点特征与模型学习到的正常节点特征之间的距离，基于设定好的阈值，得出整张测试图的异常得分图，从而实现手机麦克风零件缺陷检测。
[0045]
在本发明实施案例中，模型评估指标主要引入两个评价指标来对分割结果进行客观评价。一个是骰子相似系数(dsc)，另一个是体积差比(vdr)。其计算方法如下：
[0046][0047][0048]
tp表示将正类别预测为正类别的个数，fn表示将正类别预测为负类别的个数，fp表示将负类别预测为正类别的个数。
[0049]
dsc值反映了分割结果与地面真实值之间的相似性，而vdr衡量了它们之间的差异。dsc越高，vdr越低，检测效果越好。
[0050]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。