一种无需标准样片的光学检测方法及其应用与流程

1.本发明属于光学检测技术领域，具体涉及一种无需标准样片的光学检测方法及其应用。


背景技术：

2.传统的aoi(automated optical inspection)光学检测技术广泛用于线条、区块、电子组件的检测，在操作过程中须预先加载标准样片，利用标准样片与被测照片的差异比对进行判读，差异部分即为被测照片的异常点(defect)。但由于现在技术的不断革新，少量多样多变性的产品生产越来越普及，而如果继续采用传统的aoi光学检测技术，将会由于每一组产品都需要制作一个标准片，从而导致传统aoi的成本不断攀升。


技术实现要素：

3.本发明针对现有技术存在的问题，提供了一种无需标准样片的光学检测方法，包括：s1. 连续获取目标产品的图形信息；s2. 对获取的目标产品的图形信息进行灰化处理；s3. 通过基准点计算获取每一个灰化后图形的基准点；s4. 将至少n个连续目标产品的的灰化图形基于基准点叠加后，获取其中的相似点和差异点；s5. 以步骤s4中的相似点为基础构建虚拟标准样，并以虚拟标准样作为后续目标产品灰化图形对比检测的标准样，同时记录每一个目标产品与虚拟标准样对比的结果。
4.进一步的，步骤s2所述灰化处理的方法包括：首先，获取图形数据中每一个像素点的三原色数值构成，采用x-y构成体系表示为：[[b11,g11,r11][b12,g12,r12][b13,g13,r13]...[b1n,g1n,r1n]][[b21,g21,r21][b22,g22,r22][b23,g23,r23]...[b2n,g2n,r2n]][[b31,g31,r31][b32,g32,r32][b33,g33,r33]...[b3n,g3n,r3n]]...[[bm1,gm1,rm1][bm2,gm2,rm2][bm3,gm3,rm3]...[bmn,gmn,rmn]]；然后，采用对每一个像素点的三原色数值构成进行下述数值转化：[max(b11,g11,r11)-min(b11,g11,r11)][max(b12,g12,r12)-min(b12,g12,r12)]...[max(b1n,g1n,r1n)-min(b1n,g1n,r1n)][max(b21,g21,r21)-min(b21,g21,r21)][max(b22,g22,r22)-min(b22,g22,r22)]...[max(b2n,g2n,r2n)-min(b2n,g2n,r2n)]...[max(bm1,gm1,rm1)-min(bm1,gm1,rm1)][max(bm2,gm2,rm2)-min(bm2,gm2,
rm2)]...[max(bmn,gmn,rmn)-min(bmn,gmn,rmn)]；全部像素点的三原色数值转换后，完成所述灰化处理；每一个像素点的三原色数值取整数部分后归入0-255数值区间。
[0005]
进一步的，步骤s3所述获取每一个灰化后图形的基准点的方法，包括：首先，取三原色数值转换后的点阵中每一横排的中位数构成纵向基准点，取三原色数值转换后的点阵中每一纵排的中位数构成横向基准点；然后，取将纵向基准点和横向基准点得交叉点，标记为该灰化图形的基准点。
[0006]
进一步的，步骤s4所述获取其中的相似点和差异点的方法，包括：首先，将n个连续目标产品的x轴累加成为y轴变换曲线，使用ffd傅立叶变换即可找到y轴的高频重复规律与低频重复规律；同理，将n个连续目标产品的y轴累加成为x轴变换曲线，使用ffd傅立叶变换即可找到x轴的高频重复规律与低频重复规律；然后将x轴和y轴的高频重复区域定为相似点，将x轴和y轴的低频重复区域定为差异点。
[0007]
进一步的，步骤s5所述目标产品灰化图形对比检测的方法包括：（1）将目标产品灰化图形的数据整列中每一个像素点位的数值a与虚拟标准样片中一一对应的每一个像素点位的数值b进行计算：c=a-b，当c的计算值处于预设阈值范围内时，认为该数值a为正常点；当c的计算值处于预设阈值范围外时，认为该数值a为疑似异常点，并进行特征色标记；当疑似异常点数量超过预设阈值数量时，对全部疑似异常点进行特征色标记，并剔除该产品；（2）将目标产品灰化图形的数据整列与虚拟标准样片叠加后进行线性傅里叶转换，其中低于预设频率的目标产品灰化图形区域为疑似异常点区域。
[0008]
进一步的，构成步骤s5所述虚拟标准样片后，首先以差异色标准的方式，标注该虚拟标准样片形成时参考的n个连续目标产品中的差异点部分；然后根据二次判断的方式判定这些差异点部分是否保留后作为虚拟标准样片的一部分。
[0009]
进一步的，所述二次判断采用：人工判断、具有深度学习功能的ai深度学习后进行判断中的至少一种。
[0010]
进一步的，对于产品面积小于等于km2的产品，采用整体对比的方法，即将产品整体的灰化图形与虚拟标准样片进行对比；对于产品面积大于km2的产品，采用局部对比的方法，即将产品灰化图形和虚拟标准样片进都分为至少两部分，然后对每一部分依次获取基准点后进行叠加对比。
[0011]
此外，本发明还提供了一种无需标准样片的光学检测方法在半导体晶圆的表面线路异常检测中的应用，采用上述无需标准样片的光学检测方法对半导体晶圆的表面线路进行异常检测。
[0012]
此外，本发明还提供了一种无需标准样片的光学检测方法在印刷电路板印刷线路异常检测中的应用，采用上述无需标准样片的光学检测方法对印刷电路板的印刷线路进行异常检测。
[0013]
本发明至少具有以下优点之一：1. 本发明无需再制作标准样片，而是通过形成虚拟标准样片的方法直接采用虚拟标准样片作为参考样，节约了制作标准样片的成本。
[0014]
2. 本发明可以准确的找到各样品中的相似点和差异点，从而实现准确的产品检
测。
[0015]
3. 本发明技术可与人工智能技术相结合，显著降低光学检测领域的人工智能进行深度学习时的样本量，提高学习效率、提升人工智能的判断准确率。
附图说明
[0016]
图1所示为一种印刷线路板产品的拍照原图。
[0017]
图2所示为图1产品的灰化处理后的灰化图形。
[0018]
图3所示为图2灰化图形获取纵向基准点的示意图。
[0019]
图4所示为图2灰化图形获取横向基准点的示意图。
[0020]
图5所示为图3和图4叠加后获取图2灰化图形的基准点的示意图。
[0021]
图6所示为图1所示产品经过本发明方法获取的虚拟标准样图。
[0022]
图7所示为图1所示产品后续产品的灰化图形。
[0023]
图8所示为图7产品与图6虚拟标准样图的对比结果图。
[0024]
图9所示为一种半导体晶圆的表面线路的拍照原图。
[0025]
图10所示为图9产品经过本发明方法获取的基准点的示意图。
[0026]
图11所示为图9同批次其余产品经过本发明方法获取的虚拟标准样图。
[0027]
图12所示为图9产品与图11虚拟标准样图的对比结果图。
具体实施方式
[0028]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0029]
本发明示例性的提供了一种无需标准样片的光学检测方法，包括：s1. 连续获取目标产品的图形信息；s2. 对获取的目标产品的图形信息进行灰化处理；s3. 通过基准点计算获取每一个灰化后图形的基准点；s4. 将至少n个连续目标产品的的灰化图形基于基准点叠加后，获取其中的相似点和差异点；s5. 以步骤s4中的相似点为基础构建虚拟标准样，并以虚拟标准样作为后续目标产品灰化图形对比检测的标准样，同时记录每一个目标产品与虚拟标准样对比的结果。
[0030]
传统的aoi光学检测技术必须要制作一个绝对准确的标准样片，由于标准样片的准确性要求，因此其制作成本一向不低。对于需要大批量生产的产品，标准样品的制作成本经过分摊后就不会显得非常高，因此可被生产方接受。但是随着现代工艺的革新，小批量、多变性的产品生产越来越多，如果每一小批次的产品，每一次变形的产品都要制作一个标准样品，则会显著增加生产成本。而采用本发明无需标准样片的光学检测方法，通过形成虚拟标准样的方式规避了必须通过标准样品进行对比检测的传统方式，有效降低了小批量、多变性产品的生产成本。
[0031]
本发明示例性的提供了一种步骤s2中灰化处理的方法，包括：首先，获取图形数据中每一个像素点的三原色数值构成，采用x-y构成体系表示
为：[[b11,g11,r11][b12,g12,r12][b13,g13,r13]...[b1n,g1n,r1n]][[b21,g21,r21][b22,g22,r22][b23,g23,r23]...[b2n,g2n,r2n]][[b31,g31,r31][b32,g32,r32][b33,g33,r33]...[b3n,g3n,r3n]]...[[bm1,gm1,rm1][bm2,gm2,rm2][bm3,gm3,rm3]...[bmn,gmn,rmn]]；然后，采用对每一个像素点的三原色数值构成进行下述数值转化：[max(b11,g11,r11)-min(b11,g11,r11)][max(b12,g12,r12)-min(b12,g12,r12)]...[max(b1n,g1n,r1n)-min(b1n,g1n,r1n)][max(b21,g21,r21)-min(b21,g21,r21)][max(b22,g22,r22)-min(b22,g22,r22)]...[max(b2n,g2n,r2n)-min(b2n,g2n,r2n)]...[max(bm1,gm1,rm1)-min(bm1,gm1,rm1)][max(bm2,gm2,rm2)-min(bm2,gm2,rm2)]...[max(bmn,gmn,rmn)-min(bmn,gmn,rmn)]；全部像素点的三原色数值转换后，完成所述灰化处理；每一个像素点的三原色数值取整数部分后归入0-255数值区间。
[0032]
现有aoi光学检测技术一般是基于彩色图像进行对比，该方法在整体对比时有比较准确的检测准确率，但是在细节处对比时，往往会由于色彩变化过于浅显而难以识别。而申请人经过研究，在实际生产过程中，经过灰化处理后产品的瑕疵点往往近似中性灰，采用本发明的方法进行像素点数值转化后，瑕疵点数值会最小化(即便为白点、灰点、黑点瑕疵，均会转换成最小值)，从而在灰化后的图形上会非常显著的体现出来，数值上也会有显著的差异性，从而显著提高后续检测时的准确率。
[0033]
本发明示例性的提供了一种获取每一个灰化后图形的基准点的方法，包括：首先，取三原色数值转换后的点阵中每一横排的中位数构成纵向基准点，取三原色数值转换后的点阵中每一纵排的中位数构成横向基准点；然后，取将纵向基准点和横向基准点得交叉点，标记为该灰化图形的基准点。
[0034]
基础点时图形对比的基础，如果基准点寻找不准则会严重影响后续检测的准确度。本发明取x轴和y轴的中位数而非平均值的原因在于，中位数相比平均值可以更好的排出偏差值，从而使得基准点更趋向均一，避免由于基准点误差导致的对比错误。
[0035]
本发明示例性的提供了一种获取其中的相似点和差异点的方法，包括：首先，x轴累加成为y轴变换曲线，使用ffd傅立叶变换即可找到y轴的高频重复规律与低频重复规律；同理，y轴累加成为x轴变换曲线，使用ffd傅立叶变换即可找到x轴的高频重复规律与低频重复规律；然后将x轴和y轴的高频重复区域定为相似点，将x轴和y轴的低频重复区域定为差异点。
[0036]
基于一定数量的产品图形进行叠加后的傅里叶转换，可以得到这些产品图形个像素点出现的频率，而对于工业品，在现代制造工艺条件下，其重复性一般是极高的，因此，数个连续产品的高频重复部分是可以作为确定的非异常部分的。本发明基于该原理，通过对数个连续产品的重复部分的出现频率进行分析，选取其中的高频重复部分构建虚拟标准样品，可以得到准确性极高的虚拟标准样品，从而避免了制作实际标准样品的成本付出。
[0037]
本发明示例性的提供了一种目标产品灰化图形对比检测的方法，包括：（1）将目标产品灰化图形的数据整列中每一个像素点位的数值a与虚拟标准样片中一一对应的每一个像素点位的数值b进行计算：c=a-b，当c的计算值处于预设阈值范围内时，认为该数值a为正常点；当c的计算值处于预设阈值范围外时，认为该数值a为疑似异常点，并进行特征色标记；当疑似异常点数量超过预设阈值数量时，对全部疑似异常点进行特征色标记，并剔除该产品；（2）将目标产品灰化图形的数据整列与虚拟标准样片叠加后进行线性傅里叶转换，其中低于预设频率的目标产品灰化图形区域为疑似异常点区域。
[0038]
本发明同时对产品图形进行了点分析和面分析，即通过对像素点颜色的变化找到出现颜色显著有异的像素点，这是因为产品的异常点经过本发明的灰化处理后其图形颜色往往呈浅白色或深灰色，与其他区域的中位灰度会形成显著的差异，因此可以通过像素的颜色数值对比找到这些异常点。而有时异常点出现的方式会是区域性的，但从像素颜色上难以辨识，因此需要引入傅里叶变换分析，将出现频率低的区域标记出来作为疑似异常点。通过本发明的对比分析，异常点的检测准确率可以提升至95%以上，而如果采用ai进行学习后再进行检测判断，则需要深度学习数百次后才能使准确率达到90%以上。
[0039]
本发明示例性的提供了一种目标产品灰化图形对比检测的补充方法，包括：对于产品面积小于等于km2的产品，采用整体对比的方法，即将产品整体的灰化图形与虚拟标准样片进行对比；对于产品面积大于km2的产品，采用局部对比的方法，即将产品灰化图形和虚拟标准样片进都分为至少两部分，然后对每一部分依次获取基准点后进行叠加对比。
[0040]
该方法可以根据产品待检测面积选择是否进行划分区块分析，其目的是避免对大面积产品进行检测时，由于异常点区域过小而不能准确识别的问题。经过区域划分后，可将大面积产品划分为数个可准确识别的小块区域，从而提高检测的准确率。
[0041]
本发明示例性的提供了一种构成虚拟标准样片后的补充判断方法，包括：首先以差异色标准的方式，标注该虚拟标准样片形成时参考的n个连续目标产品中的差异点部分；然后根据二次判断的方式判定这些差异点部分是否保留后作为虚拟标准样片的一部分。所述二次判断采用：人工判断、具有深度学习功能的ai深度学习后进行判断中的至少一种。
[0042]
该方法可以通过后续的补充判断进一步提高虚拟标准样品的准确度，减小虚拟标准样品与实际标准样品之间的偏差。
[0043]
本发明示例性的提供了一种无需标准样片的光学检测方法在半导体晶圆的表面线路异常检测中的应用，采用上述无需标准样片的光学检测方法对半导体晶圆的表面线路进行异常检测。
[0044]
本发明示例性的提供了一种无需标准样片的光学检测方法在印刷电路板印刷线路异常检测中的应用，采用上述无需标准样片的光学检测方法对印刷电路板的印刷线路进行异常检测。
[0045]
为更详细的解释本技术技术方案，以下结合本发明在印刷电路板印刷线路异常检测中应用的具体实施例，对本发明技术进行进一步具体表述。
[0046]
实施例1一种印刷电路板印刷线路产品，采用本发明无需标准样片的光学检测方法对其进行检测：
s1. 图1所示经过扫描/拍照后得到的该印刷电路板印刷线路产品中某一产品的原图（原图原为彩色）。
[0047]
s2. 对图1进行灰化处理，将原本彩色的图1处理得到图2所示灰化图形。
[0048]
s3. 首先，取三原色数值转换后的点阵中每一横排的中位数构成纵向基准点，如图3所示。取三原色数值转换后的点阵中每一纵排的中位数构成横向基准点，如图4所示；然后，取将纵向基准点和横向基准点得交叉点，标记为该灰化图形的基准点，如图5所示。
[0049]
s4. 首先，将n个连续目标产品的x轴累加成为y轴变换曲线，使用ffd傅立叶变换即可找到y轴的高频重复规律与低频重复规律；同理，将n个连续目标产品的y轴累加成为x轴变换曲线，使用ffd傅立叶变换即可找到x轴的高频重复规律与低频重复规律；然后将x轴和y轴的高频重复区域定为相似点，将x轴和y轴的低频重复区域定为差异点。
[0050]
此时，经过傅里叶转换后，会获得这些连续产品中的高频重复部分和低频重复部分。而作为现代工业品，其高频重复部分一般即为合规部分，低频重复部分是疑似异常的区域。
[0051]
s5. 以步骤s4中的相似点为基础构建虚拟标准样，如图6所示，并以虚拟标准样作为后续目标产品灰化图，如图7所示，形对比检测的标准样，如图8中白色圈标记的部位。同时记录每一个目标产品与虚拟标准样对比的结果。
[0052]
此时，通过将虚拟标准样与产品的图形进行对比，即可完成对印刷电路板印刷线路产品的检测工作。
[0053]
实施例2一种半导体晶圆产品的表面线路图，采用本发明无需标准样片的光学检测方法对其进行检测：s1. 经过扫描/拍照后得到的该印刷电路板印刷线路产品中某一产品的原图。如图9所示，图9中于线路面板上存在显著异常，图9同批次其余产品无此异常。
[0054]
s2. 进行灰化处理，得到灰化图形。
[0055]
s3. 首先，取三原色数值转换后的点阵中每一横排的中位数构成纵向基准点。取三原色数值转换后的点阵中每一纵排的中位数构成横向基准点；然后，取将纵向基准点和横向基准点得交叉点，标记为该灰化图形的基准点。如图10所示。
[0056]
s4. 首先，将n个连续目标产品的x轴累加成为y轴变换曲线，使用ffd傅立叶变换即可找到y轴的高频重复规律与低频重复规律；同理，将n个连续目标产品的y轴累加成为x轴变换曲线，使用ffd傅立叶变换即可找到x轴的高频重复规律与低频重复规律；然后将x轴和y轴的高频重复区域定为相似点，将x轴和y轴的低频重复区域定为差异点。
[0057]
此时，经过傅里叶转换后，会获得这些连续产品中的高频重复部分和低频重复部分。而作为现代工业品，其高频重复部分一般即为合规部分，低频重复部分是疑似异常的区域。
[0058]
s5. 以步骤s4中的相似点为基础构建虚拟标准样，如图11所示（图11所示虚拟标准样为图9所示产品同批次其余无瑕疵产品构建得到），并以虚拟标准样作为后续目标产品灰化图，形对比检测的标准样，如图12中白色框线标记的浅灰色部位。同时记录每一个目标产品与虚拟标准样对比的结果。
[0059]
此时，通过将虚拟标准样与产品的图形进行对比，即可完成对印刷电路板印刷线
路产品的检测工作。
[0060]
应该注意到并理解，在不脱离本发明权利要求所要求的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。