不规则孔洞形态缺陷图像生成方法与流程

1.本发明属于机器视觉检测技术领域，具体涉及一种不规则孔洞形态缺陷图像生成方法。


背景技术：

2.目前在半导体缺陷检测项目中，一般采用传统图像处理或者深度学习两种方式检测。其中传统图像处理需要手动设计规则，且开发人员对于缺陷必须有很深刻的理解，这也导致设计规则鲁棒性不强、实际开发困难等问题的出现。而深度学习算法的发展使得无需手动设计特征和反复调参，但是缺陷检测效果依赖于大量缺陷样本的数据集，在实际项目中缺陷样本的数据往往很难收集，这就导致项目初期训练出来的模型，其准确性和鲁棒性均有不够理想，严重影响实际项目进度。对于一个新的产品，由于其缺陷图像数据在短期内无法大量收集，更加导致算法无法很好的适应新的产品，从而影响算法的检测性能。
3.如cn109087370a 一种铸件海绵状缺陷图像生成方法、cn105095581a一种铸造缩孔缺陷图像生成方法、cn110930470a一种基于深度学习的布匹缺陷图像生成方法、cn107358636a一种基于纹理合成的疏松缺陷图像生成方法等等。缺陷图像生成的方法目前已经有人在研究了（不同缺陷的设计方法都不相同），但是针对半导体缺陷检中的孔洞形态缺陷目前尚未有人涉及。


技术实现要素：

4.本发明的目的在于提供一种不规则孔洞形态缺陷图像生成方法，本方法采用算法随机快速生成大量孔洞形态的缺陷样本，能够在短期内快速提升深度学习模型的检测效果，大幅度减小算法的迭代周期。
5.为实现上述目的，本发明提供如下技术方案：一种不规则孔洞形态缺陷图像生成方法，其特征在于：选取无缺陷图片作为背景图像，在背景图像上随机生成两个封闭的不规则圆形，两个不规则圆形嵌套布置，给两个不规则圆形填充不同的颜色。
6.进一步地，两个不规则圆形的生成包括：在背景图像上随机生成若干第一轮廓点和第二轮廓点，将第一轮廓点和第二轮廓点分别拟合成第一不规则圆形和第二不规则圆形。
7.进一步地，在背景图像中设定缺陷区域，在所述缺陷区域内随机采样像素坐标点作为圆心，并以预设半径定义圆，随机选择若干个圆内的像素坐标点作为第一轮廓点。
8.进一步地，满足以下条件的点作为第二轮廓点：由第一轮廓点拟合的第一不规则圆形的圆度大于阈值。
9.进一步地，将第一不规则圆形作为孔洞形态缺陷的底部区域，同时进行开操作平滑边缘毛刺。
10.进一步地，将第一不规则圆形的每个像素点进行随机偏移，剔除偏移至第一不规
则圆形内部的像素点，剩余像素点作为第二轮廓点；第二轮廓点拟合的第二不规则圆形与第一不规则圆形之间的区域作为孔洞形态缺陷的边缘区域。
11.进一步地，同时满足以下条件的点作为第二轮廓点：（1）偏移像素点的数量，大于未偏移像素点数量的1/2，且大于6个；（2）边缘区域面积小于底部区域面积的2/3。
12.进一步地，位于内部的不规则圆形为孔洞形态缺陷的底部区域，根据真实缺陷样本图中孔洞形态缺陷的颜色特征，对底部区域赋值到对应的颜色，同时引入高斯噪声并进行噪声平滑处理。
13.进一步地，位于两个不规则圆形之间的区域为孔洞形态缺陷的边缘区域，将边缘区域赋上介于产品表面正常颜色和底部区域颜色之间的随机值，值服从高斯分布。
14.进一步地，提取底部区域和边缘区域的像素值，得到均值和方差，并根据均值和方差对缺陷图像整体像素值进行随机平移和伸缩。
15.与现有技术相比，本发明的有益效果如下：在缺乏大量数据集的情况下，通过对于缺陷特征的理解，本发明的方法能够在无缺陷样本的基础上随机快速生成大量不规则孔洞形态的缺陷样本，能够在项目初期利用少量的样本，根据其特征的分布和位置信息合成新的缺陷图片，保证前期训练深度学习算法模型的稳定性，能够有效的避免模型过拟合问题，同时模型也能尽量上线并收集新的缺陷数据，大大缩短深度学习模型上线周期和模型迭代周期。能够在短期内快速提升深度学习模型的检测效果，大幅度减小算法的迭代周期。
附图说明
16.图1为不规则孔洞形态缺陷图像生成的流程图。
17.图2为轮廓点选择、拟合及过滤的流程图。
18.图3为实施例一中正常无缺陷图片。
19.图4为实施例一中随机挑选的圆心和圆半径定义圆的示意图。
20.图5为实施例一中随机生成n个轮廓点的示意图。
21.图6为实施例一中贝塞尔曲线拟合形成的不规则圆形的示意图。
22.图7为实施例一中生成孔洞形态缺陷边缘轮廓的示意图。
23.图8为实施例一中生成孔洞形态缺陷的图像。
24.图9为真实的孔洞形态缺陷图片一。
25.图10为真实的孔洞形态缺陷图片二。
具体实施方式
26.下面将结合具体实施例对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.下面以产品表面被腐蚀出来的凹坑为孔洞形态缺陷，说明一种不规则孔洞形态缺陷图像生成方法，如图1、2所示，具体包括：1.从无缺陷正常样本数据集中随机挑选一张无缺陷图片作为不规则孔洞形态缺
陷图像生成的背景图像。
28.2.随机确定n个像素坐标点《p_x1,p_y1》《p_x2,p_y2》 ......《p_xn,p_yn》，作为缺陷的底部区域轮廓点，作为优选其中n属于[5,15]，具体包括以下步骤：（1）根据背景图像中产品的特征分布，在背景图像上在根据先验信息，预先设定可能出现缺陷的缺陷区域，其最大范围定义为c，在设定区域内随机采样坐标点《p_x,p_y》作为圆心，以距离r作为半径，定义一个圆，作为孔洞形态缺陷生成的区域；（2）随机选择n个圆内的像素坐标点作为底部区域轮廓点，其中r属于[0, c-5]，以免生成的底部区域轮廓点超出缺陷最大范围导致失真。
[0029]
3.将n个底部区域轮廓点用贝塞尔曲线拟合，曲线的形状因子k为随机选择，k属于[0.2,0.6]，得到一个封闭的不规则圆形。
[0030]
4.判断上述不规则圆形的区域圆度是否大于0.5，如果满足条件则进行下一步，否者回到第2步重新选择n对像素坐标点，用于筛选出相对平滑的圆形。
[0031]
5.将上述不规则圆形作为孔洞形态缺陷的底部区域，同时引入开操作平滑边缘毛刺，使得圆形更平滑而更接近孔洞缺陷底部形状，开操作核大小设为《w,h》，其中w属于[1,4]，h属于[1,4]。
[0032]
6.将上述平滑后的不规则圆形的每个像素点随机偏移m个像素，其中m≤5，如果偏移像素点在多边形区域内部，则剔除或者重新偏移。
[0033]
7.判断偏移像素点数量，要大于未偏移像素点的1/2，且个数大于6，否者回到第6步重新偏移，避免轮廓像素点过少而拟合失败或者和旧轮廓相交等问题。
[0034]
8.把偏移后的多个像素点用贝塞尔曲线拟合，得到一个封闭的新不规则圆形，并将新旧不规则圆形之间的区域作为孔洞形态缺陷的边缘区域。检测边缘区域面积是否小于底部区域面积的2/3，保证边缘足够窄以符合孔洞形态缺陷形成特点，满足条件进入下一步，否者回到第6步重新偏移。
[0035]
9.根据缺陷样本图孔洞形态颜色特征，外深里浅，对底部区域赋值到一个比较接近的颜色（可以是缺陷样本图底部区域颜色均值的一定范围内取值），同时引入高斯噪声并进行噪声平滑，保证生成缺陷底部区域颜色和缺陷样本图颜色接近。
[0036]
10.将边缘区域赋上介于产品表面正常颜色和缺陷样本图底部区域颜色之间的随机值，值服从高斯分布，越靠近中心颜色越接近底部区域的颜色，反之越接近背景颜色（产品表面正常颜色），使其边缘区域颜色渐变更符合缺陷样本颜色特征分布。
[0037]
11.提取底部区域和边缘区域的像素值，得到均值和方差，并根据均值和方差对整张图的像素值进行随机平移和伸缩，获取色彩更丰富的孔洞形态缺陷样本。
[0038]
重复以上步骤，生成多个孔洞形态缺陷图像。
[0039]
实施例一1.随机从项目数据集中挑选一张正常图片作为缺陷生成的背景图像，如图3所示。
[0040]
2.在设定区域内随机采样坐标点《p_x,p_y》作为圆心，以距离r作为半径，定义一个圆，作为孔洞形态缺陷生成的区域，如图4所示。随机在图片中选择n个像素坐标点《p_x1,p_y1》《p_x2,p_y2》......《p_xn,p_yn》作为底部区域轮廓点，其中各点位置分别为《256,113》《240,124》 ......《260,99》，如图5所示。
[0041]
3.用贝塞尔曲线方法拟合上一步中随机选择的底部区域轮廓点，随机选择曲线的
形状因子k，其中k属于[0.2,0.6]。当前k值为0.3，并得到一个如图6中的封闭不规则圆形，其轮廓区域圆度大于0.5。
[0042]
4.以步骤3生成的封闭不规则圆形定义为孔洞形态缺陷底部区域，并以之为基础引入开操作平滑边缘毛刺，开操作核大小设为《w,h》，其中w属于[1,4]，h属于[1,4]，这里w值和h值均取2。
[0043]
5.将底部区域转换成像素点并随机偏移m个像素，当前每个像素偏移值为3、4 ......1，偏移像素点在底部区域内部的剔除。最终偏移像素点数量是大于未偏移点的1/2，且数量大于6的。
[0044]
6.将步骤5中像素点重新贝塞尔曲线拟合，得到一个封闭的新不规则圆形，并将新旧不规则圆形之间的区域作为孔洞形态缺陷的边缘区域，检测边缘区域面积是小于底部区域面积的1/3，图7所示。
[0045]
7.根据缺陷样本图孔洞形态颜色特征，如图9、10所示，对底部区域赋值并引入高斯噪声并进行噪声平滑。将边缘区域附上介于表面正常颜色和底部区域中心颜色之间且服从高斯分布的随机值。
[0046]
8.获取孔洞形态缺陷底部和边缘区域像素值的均值和方差，对其进行随机平移和伸缩，生成不规则孔洞形态缺陷图像，如图8所示。
[0047]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。