基于深度学习的电路板塞孔缺陷检测方法及装置与流程

技术特征：
1.一种基于深度学习的电路板塞孔缺陷检测方法，其特征在于，包括：获取电路板塞孔图像样本；构建电路板塞孔缺陷检测模型以及所述电路板塞孔缺陷检测模型的损失函数，其中，所述电路板塞孔缺陷检测模型包括依次连接的特征提取网络、多层感知神经网络和softmax分类器，所述电路板塞孔缺陷检测模型的损失函数包括焦点损失函数、软损失函数和引力损失函数；将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型；将待检测的电路板塞孔图像输入到训练好的所述电路板塞孔缺陷检测模型中，获取所述电路板塞孔图像的缺陷识别结果；根据所述电路板塞孔图像的缺陷识别结果，确定缺陷类别。2.根据权利要求1所述的基于深度学习的电路板塞孔缺陷检测方法，其特征在于，所述将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型的步骤，包括：将所述电路板塞孔图像样本输入至所述特征提取网络进行特征提取，获得特征图，并根据所述特征图以及所述引力损失函数，计算所述引力损失值，且所述引力损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络的网络参数，以根据设定的迭代次数重复计算所述引力损失值，直至所述引力损失值下降至预设阈值；将所述特征图输入至所述多层感知神经网络，得到概率向量；将所述概率向量输入至所述softmax分类器，得到归一化的第一概率向量，并根据所述第一概率向量以及所述焦点损失函数，计算所述焦点损失值，且所述焦点损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述焦点损失值，直至所述焦点损失值下降至预设阈值；将所述概率向量除以调和因子，输入至所述softmax分类器，得到归一化的第二概率向量，并根据所述第二概率向量以及所述软损失函数，计算所述软损失值，且所述软损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述软损失值，直至所述软损失值下降至预设阈值。3.根据权利要求2所述的基于深度学习的电路板塞孔缺陷检测方法，其特征在于，所述焦点损失函数的公式为：
其中，l
c
表示所述焦点损失函数，y
′
i
是所述电路板塞孔缺陷检测模型给出的预测类别概率，y是真实样本标签，α和γ是常数；所述软损失函数的公式为：其中，l
s
表示软损失函数，n
u
表示不确定样本对应的特征图集合大小，y
u
表示不确定样本的标签集，所述标签集通过所述数据集标注处理得到，表示预测的概率值，表示不确定样本的标签；所述引力损失函数的公式为：l
g
＝l
f
l
u
l
d
其中，l
g
为引力损失函数，l
f
表示对无缺陷样本的吸引力项，l
u
表示对不确定样本的吸引力项，l
d
表示对缺陷样本的排斥项，h
f
表示无缺陷样本对应的特征图集合，h
u
表示不确定样本对应的特征图集合，h
d
表示缺陷样本对应的特征图集合，n
f
、n
u
和n
d
分别表示所述特征图集合h
f
、h
u
和h
d
的大小，x
i
表示所述特征图集合的第i个特征图，c表示无缺陷样本特征中心，r1、r2和r3代表距离参数，|| ||为欧几里得距离，[x]

＝max(0，x)；则所述电路板塞孔缺陷检测模型的损失函数的公式为：l＝λ1l
g
λ2l
s
l
c
其中，l表示所述损失函数，λ1和λ2为权重系数。4.根据权利要求3所述的基于深度学习的电路板塞孔缺陷检测方法，其特征在于，在每次迭代重复计算之后，通过更新方程更新所述无缺陷特征的中心，所述更新方程为：其中，c
n
为当前无缺陷特征的中心，c
n 1
为迭代之后无缺陷特征的中心，β是小于1的正调节因子。5.根据权利要求1所述的基于深度学习的电路板塞孔缺陷检测方法，其特征在于，所述特征提取网络包括3个池化层、5个卷积层、1个批归一化bn层和relu激活函数，所述多层感知神经网络包括3个全连接层。6.根据权利要求1所述的基于深度学习的电路板塞孔缺陷检测方法，其特征在于，所述
获取电路板塞孔图像样本的步骤之后，还包括：对所述电路板塞孔图像样本进行数据扩充，获得扩充后的电路板塞孔图像样本；其中，所述数据扩充包括平移、旋转、对称、缩放、裁剪、填充、左右翻转以及颜色变换操作。7.一种基于深度学习的电路板塞孔缺陷检测装置，其特征在于，包括：第一获取模块，用于获取电路板塞孔图像样本；构建模块，用于构建电路板塞孔缺陷检测模型以及所述电路板塞孔缺陷检测模型的损失函数，其中，所述电路板塞孔缺陷检测模型包括依次连接的特征提取网络、多层感知神经网络和softmax分类器，所述电路板塞孔缺陷检测模型的损失函数包括焦点损失函数、软损失函数和引力损失函数；训练模块，用于将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型；第二获取模块，用于将待检测的电路板塞孔图像输入到训练好的所述电路板塞孔缺陷检测模型中，获取所述电路板塞孔图像的缺陷识别结果；确定模块，用于根据所述电路板塞孔图像的缺陷识别结果，确定缺陷类别。8.根据权利要求7所述的基于深度学习的电路板塞孔缺陷检测装置，其特征在于，所述训练模块，包括：第一输入单元，用于将所述电路板塞孔图像样本输入至所述特征提取网络进行特征提取，获得特征图，并根据所述特征图以及所述引力损失函数，计算所述引力损失值，且所述引力损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络的网络参数，以根据设定的迭代次数重复计算所述引力损失值，直至所述引力损失值下降至预设阈值；第二输入单元，用于将所述特征图输入至所述多层感知神经网络，得到概率向量；第三输入单元，用于将所述概率向量输入至所述softmax分类器，得到归一化的第一概率向量，并根据所述第一概率向量以及所述焦点损失函数，计算所述焦点损失值，且所述焦点损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述焦点损失值，直至所述焦点损失值下降至预设阈值；第四输入单元，用于将所述概率向量除以调和因子，输入至所述softmax分类器，得到归一化的第二概率向量，并根据所述第二概率向量以及所述软损失函数，计算所述软损失值，且所述软损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述软损失值，直至所述软损失值下降至预设阈值。9.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至6中任意一项所述的基于深度学习的电路板塞孔缺陷检测方法。10.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的基于深度学习的电路板塞孔缺陷检
测方法。

技术总结
本发明涉及一种基于深度学习的电路板塞孔缺陷检测方法、装置、存储介质以及电子设备，该方法包括：获取电路板塞孔图像样本，构建电路板塞孔缺陷检测模型以及损失函数，将电路板塞孔图像样本输入至特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过焦点损失函数、软损失函数和引力损失函数对进行优化，获得训练好的电路板塞孔缺陷检测模型，将待检测的电路板塞孔图像输入到训练好的电路板塞孔缺陷检测模型中，获取电路板塞孔图像的缺陷识别结果，确定缺陷类别。综合焦点损失函数、软损失函数和引力损失函数的联合监督，使电路板塞孔缺陷检测模型考虑了缺陷特征的巨大变化和不确定样本的模糊性，从而提高了电路板塞孔缺陷检测精度。板塞孔缺陷检测精度。板塞孔缺陷检测精度。


技术研发人员：吕杰 张晖
受保护的技术使用者：深圳康微视觉技术有限公司
技术研发日：2021.07.30
技术公布日：2021/10/18