一种基于由粗到精检测策略的细微缺陷检测方法

1.本发明属于产品缺陷检测技术领域，具体涉及一种基于由粗到精检测策略的细微缺陷检测方法。


背景技术：

2.随着当今社会科技和工业的迅速发展，人们生活质量的大大提高，国家对各种工业产品提出的要求也越来越严格。传统的工业生产制造，由于研究技术的限制，仍然采用人工检测为主的缺陷检测方法检测产品表面的缺陷，这种方法由于人工的限制和技术的落后，不仅检测产品的速度慢、效率低下、耗费大量人工成本，而且在检测的过程中，由于缺陷的随机性，缺陷的类型多样，大小不一，很多工件上的细微缺陷无法被人工检测到，很容易出现缺陷漏检、错检的情况。
3.而当今社会，随着科学技术的发展，人工智能等科学技术的出现和发展，以及研究的深入，在图像缺陷检测领域出现了基于机器视觉的图像表面缺陷检测技术。该技术的出现大大提高了检测工作的效率，被广泛利用于马路隧道工程检测、工件表面质量检测、航空航天领域，该技术避免了人工检测存在的主观判断的不准确性。但该技术在图像细微缺陷检测方面效果不是很好，产品的细小瑕疵无法被准确检测出来。


技术实现要素：

4.本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于由粗到精检测策略的细微缺陷检测方法，能对物体表面的细小缺陷进行准确的定位和分类，进一步减少了缺陷检测的漏检率，解决了人工细微缺陷检测漏检率高、准确度低，以及现有技术中无法对细微缺陷进行准确定位提取的问题，提高了细微缺陷检测的精准度和高效性。
5.为实现上述技术目的，本发明采取的技术方案为：一种基于由粗到精检测策略的细微缺陷检测方法，包括：步骤1、采用ccd相机获取待测图像数据；步骤2、构造缺陷区域定位网络并对待测图像进行预处理，初步定位缺陷位置；步骤3、构造缺陷点检测网络，采用缺陷分割loss函数对缺陷点检测网络进行训练；步骤4、采用缺陷点检测网络对初步定位缺陷位置后的图像中存在的细微缺陷进行定量提取分割。
6.为优化上述技术方案，采取的具体措施还包括：上述的步骤2包括：1）构造缺陷区域定位网络，包括骨干网、分类网络和回归网络；2）将待测图像送入骨干网，使用一个1
×
1和一个3
×
3的卷积核进行图像中的缺陷信息提取；3）将缺陷信息送入分类网络和回归网络中，分类网络预测每个锚中是否有同一个
缺陷特征，回归网络预测每个锚盒的位置，实现缺陷位置初步定位。
7.上述的分类网络和回归网络共享同一层次的特征权重；所述骨干网中的主干中，前五层是由四个卷积层和一个池化层组成的。
8.上述的缺陷点检测网络包括：包含六个阶段的骨干网，双向特征金字塔网络，分类网络，回归网络；所述包含六个阶段的骨干网中的输入图像为缺陷区域定位网络输出的图像，用于提取输入图像的缺陷特征；所述六个阶段中，第一阶段包括一个卷积层和一个7
×
7的卷积核；第二阶段包括一个3
×
3的最大池化层和一个密集块；且第二阶段包含交替的1
×
1和3
×
3卷积核；第三阶段和第四阶段分别由两个结构不同的密集块组成，用于加快特征的传播，提高缺陷特征图的利用率；第五阶段由两个扩展的瓶颈组成，用于捕捉细小目标缺陷特征；第六阶段由一个扩展的瓶颈组成，用于防止小目标特征丢失。
9.上述的双向特征金字塔网络用于对输入的缺陷特征进行融合特征映射，具体的：先通过双向连接，获取不同缺陷特征的信息，再通过变加权特征融合，平衡不同层次的缺陷特征，运用的公式如下所示：其中，为双向特征金字塔网络输出特征；为保证的变权值，≥0;ε是一个避免分母为零的参数;表示来自第层的特征。
10.上述的缺陷点检测网络中，分类网络用于进行缺陷位置预测，回归网络对缺陷进行定位回归，最后输出缺陷识别定位检测图。
11.上述的缺陷点检测网络中的分类网络和回归网络都各含两个卷积核，且共享一个公共输入特征映射，即融合特征映射。上述的步骤3采用缺陷分割loss函数对缺陷点检测网络进行精度训练以及缺陷定量分割提取；所述缺陷分割loss函数包括：语义分割损失、边缘损失，以及两个正则化损失函数；所述语义分割损失和边缘损失，使用标准交叉熵ce损失和标准二叉交叉熵bce损失来预测语义分割f和特征映射s；其中，语义分割损失、边缘损失定义如下：
其中，和为缺陷标号，和为两个平衡参数且、[0,1]。
[0012]
上述的缺陷分割loss函数的后两部分为两个正则化损失函数，即第一个正则化损失函数和第二个正则化损失函数；第一个正则化损失函数用于避免缺陷边缘与预测边缘不匹配，定义为：其中，为表示像素是否属于缺陷边缘值的置信值；为预测的像素坐标集合；为相似值；第二个正则化函数用于使用边缘预测来匹配语义预测，防止过拟合，定义如下：第二个正则化函数用于使用边缘预测来匹配语义预测，防止过拟合，定义如下：其中，p和k分别表示为像素集和标签集，为指标函数；thrs为阈值，和为两个平衡参数，使得精度分割性能最佳。
[0013]
本发明具有以下有益效果：本发明在获取目标检测品的图像后，能够准确识别和定位图像中的细微缺陷，解决现有技术中图像细微缺陷检测漏检率高的问题，进一步提高缺陷检测的准确率。
附图说明
[0014]
图1是本发明一种基于由粗到精细微缺陷检测方法的流程图；图2是本发明实施例中缺陷定位网络中骨干网的六阶段；图3是本发明实施例中设计的缺陷点检测网络框架；图4是本发明实施例的相机获取待测物表面图像信息；图5是本发明实施例的基于由粗到精细微缺陷检测的结果图。
具体实施方式
[0015]
以下结合附图对本发明的实施例作进一步详细描述。
[0016]
如图1所示，本发明一种基于由粗到精检测策略的细微缺陷检测方法包括如下步
骤：步骤1、采用ccd相机获取待测图像数据，即利用高分辨率电荷耦合相机（即ccd相机）采集高分辨率的目标图像数据，参照图4；步骤2、对图像表面数据进行预处理，即将采集到的图像数据输入至定位模块（brlm），进行图像粗检测，进行缺陷的大致定位和提取，减少复杂背景的干扰；构造缺陷区域定位网络并对待测图像进行预处理，初步定位缺陷位置，包括：1）构造缺陷区域定位网络，包括骨干网、分类网络和回归网络；2）将待测图像送入骨干网，使用一个1
×
1和一个3
×
3的卷积核进行图像中的缺陷信息提取；3）将缺陷信息送入分类网络和回归网络中，分类网络预测每个锚中是否有同一个缺陷特征，回归网络预测每个锚盒的位置，实现缺陷位置初步定位。
[0017]
所述分类网络和回归网络共享同一层次的特征权重；所述骨干网中的主干中，前五层是由四个卷积层和一个池化层组成的，少量的卷积层能够减少冗余计算，提高了缺陷检测速度。
[0018]
步骤3、将粗检测输出的图像输入至精检测模块（即缺陷点检测网络），提高缺陷提取定位的精度；构造缺陷点检测网络，采用缺陷分割loss函数对缺陷点检测网络进行训练，用于进一步提取预处理后图像表面的缺陷特征；如图3所示，所述缺陷点检测网络包括：包含六个阶段的骨干网，双向特征金字塔网络，分类网络，回归网络；1、所述包含六个阶段的骨干网中的输入图像为缺陷区域定位网络输出的图像，用于提取输入图像的缺陷特征；即设计缺陷点检测网络中的骨干网，将预处理后的图像数据信息输入至骨干网，所述设计的骨干网包含六个阶段，如图2所示：所述六个阶段中，第一阶段包括一个卷积层和一个7
×
7的卷积核；第二阶段包括一个3
×
3的最大池化层和一个密集块；且第二阶段包含交替的1
×
1和3
×
3卷积核；第三阶段和第四阶段分别由两个结构不同的密集块组成，用于加快特征的传播，提高缺陷特征图的利用率；第五阶段由两个扩展的瓶颈组成，用于捕捉细小目标缺陷特征；第六阶段由一个扩展的瓶颈组成，用于防止小目标特征丢失。
[0019]
2、骨干网提取到的缺陷特征输入双向特征金字塔网络；所述双向特征金字塔网络用于对输入的缺陷特征进行融合特征映射，具体的：先通过双向连接，获取不同缺陷特征的信息，再通过变加权特征融合，平衡不同层次的缺陷特征，运用的公式如下所示：
其中，为双向特征金字塔网络输出特征；为保证的变权值，≥0；ε是一个避免分母为零的参数；表示来自第层的特征。
[0020]
3、缺陷位置预测及定位回归：所述缺陷点检测网络中，分类网络用于对图像进行缺陷位置预测，回归网络对缺陷进行定位回归，最后输出缺陷识别定位检测图。其中，分类网络和回归网络都各含两个卷积核，且共享一个公共输入特征映射，即融合特征映射。4、采用缺陷分割loss函数对缺陷点检测网络进行精度训练以及缺陷定量分割提取；所述缺陷分割loss函数包括：语义分割损失、边缘损失，以及两个正则化损失函数；所述语义分割损失和边缘损失，使用标准交叉熵ce损失和标准二叉交叉熵bce损失来预测语义分割f和特征映射s；其中，语义分割损失、边缘损失定义如下：定义如下：其中，和为缺陷标号，和为两个平衡参数且、[0,1]。
[0021]
所述缺陷分割loss函数的后两部分为两个正则化损失函数，即第一个正则化损失函数和第二个正则化损失函数；第一个正则化损失函数用于避免缺陷边缘与预测边缘不匹配，定义为：其中，为表示像素是否属于缺陷边缘值的置信值；为预测的像素坐标集合；为相似值；第二个正则化函数用于使用边缘预测来匹配语义预测，防止过拟合，定义如下：
其中，p和k分别表示为像素集和标签集，为指标函数；thrs为阈值，和为两个平衡参数，使得精度分割性能最佳。
[0022]
本实施例中阈值设置为0.8，为0.15，为0.12，使以获得最佳的精度分割性能。
[0023]
步骤4、采用缺陷点检测网络对初步定位缺陷位置后的图像中存在的细微缺陷进行定量提取分割。即将用缺陷分割loss函数训练好的缺陷点检测网络对图像数据进行缺陷识别定位提取，实现对细微缺陷的精确高效检测。本发明实施例中基于由粗到精细微缺陷检测的结果如图5所示。
[0024]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。