一种面向缺陷检测的卷积神经网络正则化方法与流程

1.本发明涉及机器视觉领域，更具体的说是涉及一种面向缺陷检测的卷积神经网络正则化方法。


背景技术：

2.对于生产型企业而言，产品出现缺陷将直接影响到企业的经济效益和市场竞争力，因此对产品质量的把控尤为重要。随着技术的发展，机器视觉由于其非接触的工作方式，安全可靠效率高，可在恶劣环境下工作等优势，逐渐被用来替代人工进行缺陷检测。其中，得益于gpu算力的提升，卷积神经网络在图像领域应用中显示出巨大潜力。目前使用的方法多为需要标签的监督学习方法。
3.以分割任务为例，本发明人发现，不同于如车辆、行人等物体的检测，大多数缺陷不存在明确的边界，因此，不同人对缺陷标记的边界是不一致的。这虽然不会影响质检工人最后的评判，但会大大增加模型过拟合的风险。因为对需要依靠被标记的缺陷标签来训练、更新参数的神经网络模型来说，一旦边界确定，像素点是否为缺陷的概率便确定。模糊的边界被明确地标记后会造成大量像素的差异，从而使得模型对缺陷特征，尤其是对边界特征的提取产生不利影响。对此，往往需要对模型进行正则化来防止过拟合。
4.所谓的正则化，就是给模型加入先验条件，来限制其求解空间，从而防止模型出现过拟合情况。目前的正则化方法主要包括如l1、l2正则化等限制模型参数权重的方法，如drop out、drop block、早停等来自训练过程的方法，如label smooth等针对分类标签的方法等。这些正则化方法并不是针对缺陷标签边缘的模糊特性而提出的。


技术实现要素：

5.有鉴于此，本发明提供了一种面向缺陷检测的卷积神经网络正则化方法。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种面向缺陷检测的卷积神经网络正则化方法，其特征在于，包括以下步骤：
8.获取缺陷区域a，处理所述缺陷区域a，得到缺陷区域b；
9.缺陷区域a和缺陷区域b的差集外点的像素值保持不变；计算缺陷区域a和缺陷区域b的差集内点的像素值f(x,y)，得到正则化后的标签图。
10.优选的，处理所述缺陷区域a采用形态学中的膨胀/腐蚀操作扩大/缩小缺陷区域。
11.优选的，处理所述缺陷区域a采用图像处理中的仿射变换。
12.优选的，确定差集内点的像素值f(x,y)大小的方法如下：
13.若区域中不存在边界，则以该区域的几何中心(x,y)作为边界，计算如下：
[0014][0015]
[0016]
其中，x
i
为该区域中第i个像素点的行坐标，y
i
为该区域中第i个像素点的列坐标，n为该区域中所含像素点的数量；
[0017]
计算差集区域内点(x,y)的像素值f(x,y)，计算如下：
[0018][0019]
其中，d1为差集区域内点(x,y)距离内边界的最短距离，d2为差集区域内点(x,y)距离外边界最短距离。
[0020]
优选的，其中，0≤f(x,y)≤1。
[0021]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种面向缺陷检测的卷积神经网络正则化方法，具有以下有益效果：
[0022]
1.本发明充分考虑缺陷检测中缺陷标签边界模糊这一特点，更符合实际情况，使得检测结果更不容易产生过拟合现象；
[0023]
2.本发明由于对缺陷标签的边界进行了平滑，使得采用本方法训练得到的模型来预测的缺陷边界更加平滑。
附图说明
[0024]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0025]
图1为本发明的原始缺陷标签图；
[0026]
图2为本发明的原始缺陷标签图中某一横截面的示意图；
[0027]
图3为本发明的原始缺陷标签扩大后图像；
[0028]
图4为本发明的原始缺陷标签扩大后某一横截面的示意图；
[0029]
图5为本发明的原始缺陷标签经过正则化后图像；
[0030]
图6为本发明的原始缺陷标签经过正则化后某一横截面的示意图；
[0031]
图7为本发明的流程示意图；
[0032]
图8.1
‑
图8.5为本发明对原始缺陷标签图处理过程图；
[0033]
图9.1
‑
图10.3为本发明对原始缺陷标签图确定边界的过程图。
具体实施方式
[0034]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]
本发明实施例公开了一种面向缺陷检测的卷积神经网络正则化方法，以图1所示的织物断纱缺陷标签为例，该方法包括以下步骤，其中步骤流程图如图7所示：
[0036]
步骤1)将标签中缺陷区域进行扩大，如图3所示。并将扩大后的区域边界记为外界，原缺陷区域边界记为内边界；
[0037]
步骤2)将外边界以外区域概率标记为0，内边界以内区域概率标记为1；
[0038]
步骤3)计算原缺陷区域与扩大后缺陷区域的差集内的像素值f(x,y)，得到最后的标签图，如图5所示。
[0039]
通过上述步骤得到的新标签图边缘概率分布更加平滑，从而能有效缓解模型因缺陷边界模糊的原因产生的过拟合现象，以及提高模型对缺陷边缘预测的准确性，同时也能使得预测的边界更为平滑。
[0040]
在本实施例中，上述步骤1)中采用扩大原缺陷区域的方法，用户可根据实际情况自行选择扩大还是缩小原缺陷区域，也可以先缩小再扩大，或先扩大再缩小。
[0041]
上述扩大或缩小原缺陷区域的方法可以包括形态学、仿射变换等任意图像处理方法。本实施例使用形态学中的膨胀操作，结构元素为3
×
3的矩阵，锚点为结构元素的中心。
[0042]
上述步骤3)中，差集区域及为缺陷的模糊边界。在本实施例中，考虑到越接近内边界的像素越倾向认为是缺陷，而越接近外边界的像素越倾向认为不是缺陷，则计算差集区域内像素值f(x,y)大小的方法如下：
[0043][0044]
其中，d1为差集区域内点(x,y)距离内边界的最短距离，d2为差集区域内点(x,y)距离外边界的最短距离。
[0045]
上述确定差集区域内像素值得方法可以是多种多样的，例如使用指数函数或多项式函数，甚至是常数。但需要注意的是，对于标签而言，其图像上每一个像素值均表示该像素是否为缺陷的概率，因此要保证0≤f(x,y)≤1。
[0046]
另外，若差集区域中不存在内或外边界，则需要计算该区域的几何中心(x,y)作为内或外边界，计算如下：
[0047][0048][0049]
其中：x
i
为该区域中第i个像素点的行坐标，y
i
为该区域中第i个像素点的列坐标，n为该区域中所含像素点的数量。
[0050]
在本实施例中，设原始缺陷标签某一横截面为图8.1，区域a。正则化步骤如下：
[0051]
1、先依某方法(如本实施例采用形态学操作)对区域a扩大(如图8.2)或缩小得到区域b(如图8.4)；
[0052]
2、区域a和区域b的差集内像素依某一方法(如本实施例中采用的线性函数)进行计算得出，其他区域的像素值保持不变。正则化后标签图如图8.3或8.5所示。
[0053]
图中可以看出正则化后得到的标签，其缺陷边缘与原始标签中的更平滑。
[0054]
具体的，设原始缺陷标签某一横截面为图9.1或图10.1，区域a。一般区域a和区域b的差集的边界由区域a和区域b的边界共同构成。
[0055]
当采用缩小区域a的策略时，若区域a较小(如图9.1)或缩小的程度较大导致区域b为空(如图9.2)，则差集中便不存在区域b的边界(如图9.3)，因此将该区域的几何中心视为区域b的边界；
[0056]
当采用扩大区域a的策略时，若扩大的程度较大导致多个区域a(如图10.1)合并(如图10.2)，则差集中便不存在区域b的边界(如图10.3)，将该区域的几何中心视为区域b的边界。
[0057]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。