基于特征金字塔网络fpn的nled/qled/oled像素缺陷检测方法及系统
技术领域
1.本发明属于显示面板缺陷检测技术领域，具体涉及一种基于特征金字塔网络fpn的nled/qled/oled像素缺陷检测方法及系统。
背景技术：
2.纳米发光二极管(nano crystal light-emittingdiode，nled)是使用纳米发光材料制备的电致发光或者光致发光器件；量子点发光二极管(quantum dotlight-emittingdiode，qled)和oled结构相似，制作方法也互相兼容；有机发光二极管(organic light-emitting diode，oled)是基于有机材料的电致发光器件。在进行nled/qled/oled器件的制作时,通过喷墨打印设备的喷墨头,采用喷墨打印的方式,将墨水打入至玻璃基板的像素坑内,形成器件上的一层材料薄膜。喷墨打印像素制程中墨水、基板、打印工艺的差异等使得面板不可避免地出现各种缺陷，这些缺陷将直接影响显示器的显示效率、寿命及价格。
3.描述缺陷的类型随着缺陷检测在显示面板上应用技术的不断发展，各个专家学者及企业对这方面的深入探索，缺陷检测技术也逐渐开始从理论学术走向落地项目。nled/qled/oled常见的像素成膜完整性缺陷主要包括：像素bank之间的阻隔壁上存在卫星点、沉积在相邻像素bank中不正确的墨水颜色和墨水颜色混合、以及墨水空洞、为充分填充的像素bank、过填充的像素bank等。对于像素缺陷的检测方法有：(1)利用不同颜色的相邻像素的像素值的平均值以及指定颜色像素阈值来确定所述缺陷要被检测的像素是否有缺陷，这种方法理论比支撑比较丰富，无需训练过程，但是参数改动性太大，稳定性不强。(2)基于周期提取方式对像素缺陷进行检测，这种方式简单有效，对于采集环境高度可控的场景有很高的检测精度，当场景或者目标发生变化时，效果就会产生很大的出入。(3)基于大数据和神经网络的方法从大量数据中自动学习图像的特征，拟合数学模型，从而实现像素的缺陷检测，这类方法识别缺陷的准确率高、适应性强，对很多难以识别的缺陷也能有很好的检测效果，这种方式需要很多样本，同时需要对缺陷数据进行大量人工标注，当数据不够时，会出现欠拟合的问题，无法满足小样本，而打印像素成膜方面的缺陷检测又由于缺少实验样本，难以进行大量数据的训练。
4.因此，在nled/qled/oled打印像素缺陷检测的过程中，往往会存在检测稳定性不强、通用性弱、缺少训练数据等问题，使像素缺陷检测效果大打折扣，让带有缺陷的打印面板流入后续步骤，从而导致产品良率的降低和成本损失。
技术实现要素：
5.本发明的目的在于提供一种基于特征金字塔网络fpn的nled/qled/oled像素缺陷检测方法及系统，该方法及系统提高检测的效率与精度，降低检测成本，从而提高生产效率。
6.为实现上述目的，本发明采用的技术方案是：一种基于特征金字塔网络fpn的nled/qled/oled像素缺陷检测方法，包括以下步骤：
7.步骤s1：使用图像获取设备分块获取待测打印像素面板的原始图像；
8.步骤s2：对步骤s1得到的分块原始图像进行预处理；
9.步骤s3：接收到预处理后的图像，对同一面板的所有分块图像通过sift算法进行拼接；
10.步骤s4：对拼接后的图像建立样本数据库，使用无缺陷像素图像即正常图像作为训练图像，不同类型缺陷图像以及部分正常图像作为测试图像；
11.步骤s5：选择无缺陷像素图像，使用在imagenet数据集上预先训练的resnet-18模型作为训练网络的主干，对无缺陷像素图像特征分布进行建模；
12.步骤s6：使用与步骤s5中预训练网络相同架构的网络模型作为测试网络，输入测试图像，通过特征金字塔匹配进行数据测试；
13.步骤s7：通过测试图像与正常图像之间的异常分数得出缺陷检测结果，判断测试图像是否存在缺陷，是则判定为缺陷产品，否则进入后续工艺。
14.进一步地，所述步骤s1中，图像获取设备包括：
15.喷墨打印设备，用于将发光材料输入到喷嘴液管里面，使用显示面板的bank进行接收，提供缺陷检测对象；工业ccd相机，处于显示面板上方，用于连续采集喷墨打印分块像素图像；可移动监测平台，用于固定喷墨打印后的打印显示面板，并按照预先设置的步长对显示面板进行移动；计算机，与检测平台及相机相连接，对平台运作速度进行控制，以及对相机采集的分块像素图像进行分析。
16.进一步地，所述步骤s2中，对获取的分块原始图像进行直方图均衡化，以提高图像亮度，增强细节；并采用图像增强算法对均衡化后的图像进行增强变换，以实现图像样本的扩充。
17.进一步地，所述步骤s2中，采用图像增强算法对均衡化后的图像进行增强变换，包括统一将像素图像裁剪成256*256像素大小的图片，然后采用随机因子对图像进行翻转、角度旋转、平移、噪声变换，以对图像数据进行扩充及增强。
18.进一步地，所述步骤s3中，把采集的分块喷墨打印像素图像通过sift算法进行拼接，将具有一定重合度和差异性以及相似度极高但有标记的图像进行准确拼接，实现完整匹配图像的融合；所述sift算法的实现方法为：
19.s31：进行尺度空间的构建；图像的尺度空间是一幅图像在不同解析度下的表示，一幅图像可以产生多组octave图像，一组图像包括多层图像；构造尺度空间的方法即构造一个高斯金字塔，以原始图像作为最底层，然后对图像进行高斯模糊再降采样作为下一层图像，循环迭代下去；对图像进行尺度变换，以满足特征点的尺度不变性，保留图像轮廓和细节，使用dog函数进行计算：
20.l(x,y,σ)＝g(x,y,σ)*i(x,y)
[0021][0022]
d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*i(x,y)＝l(x,y,kσ)-l(x,y,σ)；
[0023]
其中，i(x,y)代表输入图像，g(x,y,σ)代表高斯函数，σ是尺度空间因子，*是卷积
符号，l(x,y,σ)是高斯变换的输出；为了能够有效检测尺度空间极值，将高斯差分(dog)函数即d(x,y,σ)与图像i(x,y)进行卷积得到d(x,y,σ)，其中的k代表比例系数，将σ乘以一个比例系数k，得到一个新的尺度空间因子kσ；
[0024]
s32：选定关键点；首先是局部极值点，特征点是由dog空间的局部极值点组成的，将每个像素点和其所有的相邻点的特征值作比较，若像素点的特征值大于其周围像素点的特征值，则确定其为区域的特征点即局部极值点；然后去除边缘响应点，由于dog函数在图像边缘有较强的边缘响应，因此排除边缘响应，dog函数的峰值点在边缘方向有较大的主曲率，而在垂直边缘的方向有较小的主曲率，主曲率通过计算在该点位置尺度的2
×
2的hessian矩阵得到，导数由采样点相邻差来估计：
[0025][0026]
其中，d
xx
表示dog金字塔中某一尺度的图像x方向求导两次，同理，d
yy
表示在y方向求导两次，d
xy
表示分别在x、y方向各求导一次；
[0027]
s33：关键点方向分配；通过尺度不变性求极值点，使其具有缩放不变的性质，而利用关键点邻域像素的梯度方向分布特性，为每个关键点指定方向参数方向，从而使描述子对图像旋转具有不变性，通过求每个极值点的梯度来为极值点赋予方向；像素点的梯度表示为：
[0028][0029]
梯度幅值：
[0030][0031]
梯度方向：
[0032][0033]
其中，l是关键点的尺度；
[0034]
s34：生成特征点描述子；描述子由2
×2×
8维向量表征，也即是2
×2×
8个方向的方向直方图组成，然后在4
×
4的窗口内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加形成一个种子点，一个特征点由4个种子点的信息所组成；
[0035]
s35：关键点匹配；当两幅图像的sift特征向量生成以后，建立关键点描述子集合，通过两点集内关键点描述子的对比来完成目标的识别，采用欧式距离度量具有128维的关键点描述子的相似性，欧氏距离越短，代表两个特征点的匹配度越好。
[0036]
进一步地，所述步骤s4中，建立样本数据库，从样本数据库中抽取一定数量正常图像作为训练图像，不同缺陷及正常图像各抽取20％作为测试图像。
[0037]
进一步地，所述步骤s5中，对正常图像的特征分布进行建模，具体为使用resnet-18作主干，使用其底部的三个块即conv2_x、conv3_x、conv4_x作为特征金字塔提取，对正常图像的特征分布进行提取；
[0038]
给定一个正常图像的训练集x＝[x1,x2,...........,xn]通过将l个底部层提取的
特征与测试网络对应的特征进行匹配来捕捉正常数据流形；对于输入的图像xk∈rh×w×c，其中h、w、c分别代表高度、宽度、通道数，第l个底层组输出的训练图像和测试图像的特征图分别是和其中h
l
、w
l
、d
l
分别表示特征图像的高度、宽度和通道数；图像通过训练网络输入，该网络密集地提取局部图像区域的特征。
[0039]
进一步地，所述步骤s6中，通过特征金字塔匹配进行数据测试的具体方法为：测试网络与训练网络结构相同，而参数随机化，以此来进行nled/qled/oled像素缺陷检测。
[0040]
进一步地，所述步骤s7中，在测试阶段，目标是获得一个关于测试图像大小为w
×
h的异常图ω，将测试图像样本集定义为：y＝[y1,y2,.......,yn]，测试图像yk∈rh×w×c；分数ω
ij
∈[0,1]表示位置(i,j)的像素与训练数据流形的偏差程度，使用f
tl
(y)和f
sl
(y)分别表示训练和测试网络的第l个底层所产生的特征图，计算出一个大小为w
l
×hl
的异常图ω
l
(y)，其中是位置(i,j)的损失分数，异常地图ω
l
(y)通过双线性插值被上采样为w
×
h大小的图像，最终得到的异常图像是l个大小相等的上采样异常图像元素之积：
[0041][0042]
通过测试图像与正常图像特征之间的异常分数得出缺陷检测结果，如果一个测试图像的任何区域是异常的，则该图像就被指定为缺陷图像，且异常得分越高，缺陷区域越大；因此，选择异常得分最大值即max(ω(y))作为测试图像y的异常得分。
[0043]
本发明还提供了一种基于特征金字塔网络fpn的nled/qled/oled像素缺陷检测系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
[0044]
与现有技术相比，本发明具有以下有益效果：本发明能够对喷墨打印nled/qled/oled像素缺陷智能化检测，针对大尺寸面板的缺陷检测，将分块采集的多张面板图像进行高精度拼接的算法，从而能够实现对整张打印面板的喷墨打印效果进行检测，提高了检测的效率与精度，降低检测成本，从客观上降低人员劳动强度，为行业的自动化水平提供有益的可能性。通过对缺陷类别、大小及其位置关系的统计综合考虑，可以为生产工艺的提升提供指导，降低生产的不良率，减少复核的工作量，从而优化产线的生产效率。
附图说明
[0045]
图1是本发明实施例的方法实现流程图；
[0046]
图2是本发明实施例中图像获取设备的实现原理图；
[0047]
图3是本发明实施例中喷墨打印工作原理示意图；
[0048]
图4是本发明实施例中用于图像拼接的sift算法的实现框图；
[0049]
图5是本发明实施例中计算机对图像进行检测的算法集成框图。
具体实施方式
[0050]
下面结合附图及实施例对本发明做进一步说明。
[0051]
应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0052]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0053]
步骤s1：使用图像获取设备分块获取待测打印像素面板的原始图像。
[0054]
步骤s2：对步骤s1得到的分块原始图像进行预处理。
[0055]
步骤s3：接收到预处理后的图像，对同一面板的所有分块图像通过sift算法进行拼接。
[0056]
步骤s4：对拼接后的图像建立样本数据库，使用足量无缺陷像素图像即正常图像作为训练图像，不同类型缺陷图像以及部分正常图像作为测试图像。
[0057]
步骤s5：选择无缺陷像素图像，使用在imagenet数据集上预先训练的resnet-18模型作为训练网络的主干，对无缺陷像素图像特征分布进行建模。
[0058]
步骤s6：使用与步骤s5中预训练网络相同架构的网络模型作为测试网络，输入测试图像，通过特征金字塔匹配进行数据测试。
[0059]
步骤s7：通过测试图像与正常图像之间的异常分数得出缺陷检测结果，判断测试图像是否存在缺陷，是则判定为缺陷产品，否则进入后续工艺。
[0060]
在本实施例中，所述步骤s1中，图像获取设备包括：
[0061]
喷墨打印设备，用于将发光材料输入到喷嘴液管里面，使用显示面板的bank进行接收，提供缺陷检测对象；工业ccd相机，处于显示面板上方，用于连续采集喷墨打印分块像素图像；可移动监测平台，用于固定喷墨打印后的打印显示面板，并能按照预先设置的步长对显示面板进行移动；计算机与检测平台及相机相连接，对平台运作速度进行控制，以及对相机采集的分块像素图像进行分析。
[0062]
在本实施例中，所述步骤s2中，对获取的分块原始图像进行直方图均衡化，以提高图像亮度，增强细节；使用图像增强算法对均衡化后的图像进行适当增强变换，达到图像样本的扩充。
[0063]
在本实施例中，所述步骤s2中，使用图像增强算法对均衡化后的图像进行适当增强变换，包括首先统一将像素图像裁剪成256*256像素大小的图片，然后采用随机因子对图像进行翻转、角度旋转、平移、噪声变换等对图像数据进行扩充及增强。
[0064]
在本实施例中，所述步骤s3中，把采集的分块喷墨打印像素图像通过sift算法进行拼接，将具有一定重合度和差异性以及相似度极高但有标记的图像进行准确拼接，实现完整匹配图像的融合；所述sift算法的实现方法为：
[0065]
s31：进行尺度空间的构建；图像的尺度空间是一幅图像在不同解析度下的表示，一幅图像可以产生多组octave图像，一组图像包括多层图像；构造尺度空间的方法即构造一个高斯金字塔，以原始图像作为最底层，然后对图像进行高斯模糊再降采样作为下一层图像，循环迭代下去；对图像进行尺度变换，以满足特征点的尺度不变性，保留图像轮廓和细节，使用dog函数进行计算：
[0066]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
[0067]
[0068]
d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*i(x,y)＝l(x,y,kσ)-l(x,y,σ)；
[0069]
其中i(x,y)代表输入图像，g(x,y,σ)代表高斯函数，σ是尺度空间因子，*是卷积符号，l(x,y,σ)是高斯变换的输出；为了能够有效检测尺度空间极值，将高斯差分(dog)函数即d(x,y,σ)与图像i(x,y)进行卷积得到d(x,y,σ)，其中的k代表比例系数，将σ乘以一个比例系数k，得到一个新的尺度空间因子kσ。
[0070]
s32：选定关键点；首先是局部极值点，特征点是由dog空间的局部极值点组成的，将每个像素点和它所有的相邻点的特征值作比较，看其是否比它的图像域的相邻点的特征值大或者小，若像素点的特征值大于周围像素点的特征值则可确定为该区域的特征点即局部极值点；然后去除边缘响应点，由于dog函数在图像边缘有较强的边缘响应，因此排除边缘响应，dog函数的峰值点在边缘方向有较大的主曲率，而在垂直边缘的方向有较小的主曲率，主曲率可以通过计算在该点位置尺度的2
×
2的hessian矩阵得到，导数由采样点相邻差来估计：
[0071][0072]
其中d
xx
表示dog金字塔中某一尺度的图像x方向求导两次，同理，d
yy
表示在y方向求导两次，d
xy
表示分别在x、y方向各求导一次。
[0073]
s33：关键点方向分配；通过尺度不变性求极值点，使其具有缩放不变的性质，而利用关键点邻域像素的梯度方向分布特性，为每个关键点指定方向参数方向，从而使描述子对图像旋转具有不变性，通过求每个极值点的梯度来为极值点赋予方向；像素点的梯度表示为：
[0074][0075]
梯度幅值：
[0076][0077]
梯度方向：
[0078][0079]
其中l是关键点的尺度。
[0080]
s34：生成特征点描述子；描述子由2
×2×
8维向量表征，也即是2
×2×
8个方向的方向直方图组成，然后在4
×
4的窗口内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加形成一个种子点，一个特征点由4个种子点的信息所组成。
[0081]
s35：关键点匹配；当两幅图像的sift特征向量生成以后，建立关键点描述子集合，通过两点集内关键点描述子的对比来完成目标的识别，采用欧式距离度量具有128维的关键点描述子的相似性，欧氏距离越短，代表两个特征点的匹配度越好。
[0082]
在本实施例中，所述步骤s4中，建立样本数据库，从样本库中抽取任意足够正常图像样例作为训练图像，不同缺陷及正常图像类型各抽取20％作为测试图像。
[0083]
在本实施例中，所述步骤s5中，对正常图像的特征分布进行建模，具体为使用
resnet-18作主干，使用其底部的三个块即conv2_x、conv3_x、conv4_x作为特征金字塔提取，对正常图像的特征分布进行提取。
[0084]
在本实施例中，所述步骤s5中，所述特征提取的目的是获得一个能够在正常图像上模仿固定输出的模型，给定一个正常图像的训练集x＝[x1,x2,...........,xn]通过将l个底部层提取的特征与测试网络对应的特征进行匹配来捕捉正常数据流形。对于输入的图像xk∈rh×w×c，其中h、w、c分别代表高度、宽度、通道数，第l个底层组输出的训练图像和测试图像的特征图分别是和其中h
l
、w
l
、d
l
分别表示特征图像的高度、宽度和通道数。图像通过训练网络输入，该网络密集地提取局部图像区域的特征。
[0085]
在本实施例中，所述步骤s6中，通过特征金字塔匹配进行数据测试的具体方法为：测试网络与训练网络结构相同，而参数随机化，以此来进行nled/qled/oled像素缺陷检测。
[0086]
在本实施例中，所述步骤s7中，在测试阶段，目标是获得一个关于测试图像大小为w
×
h的异常图ω，将测试图像样本集定义为：y＝[y1,y2,.......,yn]，测试图像yk∈rh×w×c。分数ω
ij
∈[0,1]表示位置(i,j)的像素与训练数据流形的偏差程度，使用和分别表示训练和测试网络的第l个底层所产生的特征图，可以计算出一个大小为w
l
×hl
的异常图ω
l
(y)，其中是位置(i,j)的损失分数，异常地图ω
l
(y)通过双线性插值被上采样为w
×
h大小的图像，最终得到的异常图像是l个大小相等的上采样异常图像元素之积：
[0087][0088]
通过测试图像与正常图像特征之间的异常分数得出缺陷检测结果，如果一个测试图像的任何区域是异常的，那么该图像就被指定为缺陷图像，且异常得分越高，缺陷区域越大。因此，选择异常得分最大值即max(ω(y))作为测试图像y的异常得分。
[0089]
本实施例还提供了一种基于特征金字塔网络fpn的nled/qled/oled像素缺陷检测系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
[0090]
请参照图2，图像获取设备包括：
[0091]
喷墨打印设备201，用于打印nled/qled/oled像素，提供检测对象。具体实现过程请参照图3，喷墨头向基板注射墨滴，同时基板在一个二维空间进行移动，通过数字脉冲驱动器对喷嘴进行控制。
[0092]
工业ccd相机202，设置处于可移动监测平台上方，用于采集待测图像。
[0093]
可移动监测平台203，用于用于固定喷墨打印后的印刷显示面板，并能按照预先设置的步长对显示面板进行移动，使用计算机对其运作速度进行控制。
[0094]
计算机控制设备204，用于接收相机采集的待测图像，对相机获得的图像进行分析处理，同时用于控制可移动监测平台的运作速度。
[0095]
所述计算机控制设备对分块获取打印像素面板图像进行处理及输出运行结果具体实现步骤如图1所示，以上已对其做出了详细说明，此处不再赘述。
[0096]
请参照图4，是本实施例步骤s3中所述对图像进行高精度拼接所使用的sift算法实现框图，具体实现过程已在步骤s3的实施例中做过详细说明，此处不再赘述。
[0097]
请参照图5，是本实施例中所述计算机对图像进行处理的算法集成框图，具体算法
流程如下：
[0098]
接收到所述步骤s4中的原始分割图像，使图像经过一个由unet网络构成的预训练分类模型网络，检测出带有缺陷的像素图像，再经过一个由resnet-18用作主干网的定位网络模块，定位缺陷区域位置坐标及mask二值掩码图，输出缺陷定位图像。
[0099]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0100]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0101]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0102]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0103]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
技术领域
1.本发明属于显示面板缺陷检测技术领域，具体涉及一种基于特征金字塔网络fpn的nled/qled/oled像素缺陷检测方法及系统。
背景技术：
2.纳米发光二极管(nano crystal light-emittingdiode，nled)是使用纳米发光材料制备的电致发光或者光致发光器件；量子点发光二极管(quantum dotlight-emittingdiode，qled)和oled结构相似，制作方法也互相兼容；有机发光二极管(organic light-emitting diode，oled)是基于有机材料的电致发光器件。在进行nled/qled/oled器件的制作时,通过喷墨打印设备的喷墨头,采用喷墨打印的方式,将墨水打入至玻璃基板的像素坑内,形成器件上的一层材料薄膜。喷墨打印像素制程中墨水、基板、打印工艺的差异等使得面板不可避免地出现各种缺陷，这些缺陷将直接影响显示器的显示效率、寿命及价格。
3.描述缺陷的类型随着缺陷检测在显示面板上应用技术的不断发展，各个专家学者及企业对这方面的深入探索，缺陷检测技术也逐渐开始从理论学术走向落地项目。nled/qled/oled常见的像素成膜完整性缺陷主要包括：像素bank之间的阻隔壁上存在卫星点、沉积在相邻像素bank中不正确的墨水颜色和墨水颜色混合、以及墨水空洞、为充分填充的像素bank、过填充的像素bank等。对于像素缺陷的检测方法有：(1)利用不同颜色的相邻像素的像素值的平均值以及指定颜色像素阈值来确定所述缺陷要被检测的像素是否有缺陷，这种方法理论比支撑比较丰富，无需训练过程，但是参数改动性太大，稳定性不强。(2)基于周期提取方式对像素缺陷进行检测，这种方式简单有效，对于采集环境高度可控的场景有很高的检测精度，当场景或者目标发生变化时，效果就会产生很大的出入。(3)基于大数据和神经网络的方法从大量数据中自动学习图像的特征，拟合数学模型，从而实现像素的缺陷检测，这类方法识别缺陷的准确率高、适应性强，对很多难以识别的缺陷也能有很好的检测效果，这种方式需要很多样本，同时需要对缺陷数据进行大量人工标注，当数据不够时，会出现欠拟合的问题，无法满足小样本，而打印像素成膜方面的缺陷检测又由于缺少实验样本，难以进行大量数据的训练。
4.因此，在nled/qled/oled打印像素缺陷检测的过程中，往往会存在检测稳定性不强、通用性弱、缺少训练数据等问题，使像素缺陷检测效果大打折扣，让带有缺陷的打印面板流入后续步骤，从而导致产品良率的降低和成本损失。
技术实现要素：
5.本发明的目的在于提供一种基于特征金字塔网络fpn的nled/qled/oled像素缺陷检测方法及系统，该方法及系统提高检测的效率与精度，降低检测成本，从而提高生产效率。
6.为实现上述目的，本发明采用的技术方案是：一种基于特征金字塔网络fpn的nled/qled/oled像素缺陷检测方法，包括以下步骤：
7.步骤s1：使用图像获取设备分块获取待测打印像素面板的原始图像；
8.步骤s2：对步骤s1得到的分块原始图像进行预处理；
9.步骤s3：接收到预处理后的图像，对同一面板的所有分块图像通过sift算法进行拼接；
10.步骤s4：对拼接后的图像建立样本数据库，使用无缺陷像素图像即正常图像作为训练图像，不同类型缺陷图像以及部分正常图像作为测试图像；
11.步骤s5：选择无缺陷像素图像，使用在imagenet数据集上预先训练的resnet-18模型作为训练网络的主干，对无缺陷像素图像特征分布进行建模；
12.步骤s6：使用与步骤s5中预训练网络相同架构的网络模型作为测试网络，输入测试图像，通过特征金字塔匹配进行数据测试；
13.步骤s7：通过测试图像与正常图像之间的异常分数得出缺陷检测结果，判断测试图像是否存在缺陷，是则判定为缺陷产品，否则进入后续工艺。
14.进一步地，所述步骤s1中，图像获取设备包括：
15.喷墨打印设备，用于将发光材料输入到喷嘴液管里面，使用显示面板的bank进行接收，提供缺陷检测对象；工业ccd相机，处于显示面板上方，用于连续采集喷墨打印分块像素图像；可移动监测平台，用于固定喷墨打印后的打印显示面板，并按照预先设置的步长对显示面板进行移动；计算机，与检测平台及相机相连接，对平台运作速度进行控制，以及对相机采集的分块像素图像进行分析。
16.进一步地，所述步骤s2中，对获取的分块原始图像进行直方图均衡化，以提高图像亮度，增强细节；并采用图像增强算法对均衡化后的图像进行增强变换，以实现图像样本的扩充。
17.进一步地，所述步骤s2中，采用图像增强算法对均衡化后的图像进行增强变换，包括统一将像素图像裁剪成256*256像素大小的图片，然后采用随机因子对图像进行翻转、角度旋转、平移、噪声变换，以对图像数据进行扩充及增强。
18.进一步地，所述步骤s3中，把采集的分块喷墨打印像素图像通过sift算法进行拼接，将具有一定重合度和差异性以及相似度极高但有标记的图像进行准确拼接，实现完整匹配图像的融合；所述sift算法的实现方法为：
19.s31：进行尺度空间的构建；图像的尺度空间是一幅图像在不同解析度下的表示，一幅图像可以产生多组octave图像，一组图像包括多层图像；构造尺度空间的方法即构造一个高斯金字塔，以原始图像作为最底层，然后对图像进行高斯模糊再降采样作为下一层图像，循环迭代下去；对图像进行尺度变换，以满足特征点的尺度不变性，保留图像轮廓和细节，使用dog函数进行计算：
20.l(x,y,σ)＝g(x,y,σ)*i(x,y)
[0021][0022]
d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*i(x,y)＝l(x,y,kσ)-l(x,y,σ)；
[0023]
其中，i(x,y)代表输入图像，g(x,y,σ)代表高斯函数，σ是尺度空间因子，*是卷积
符号，l(x,y,σ)是高斯变换的输出；为了能够有效检测尺度空间极值，将高斯差分(dog)函数即d(x,y,σ)与图像i(x,y)进行卷积得到d(x,y,σ)，其中的k代表比例系数，将σ乘以一个比例系数k，得到一个新的尺度空间因子kσ；
[0024]
s32：选定关键点；首先是局部极值点，特征点是由dog空间的局部极值点组成的，将每个像素点和其所有的相邻点的特征值作比较，若像素点的特征值大于其周围像素点的特征值，则确定其为区域的特征点即局部极值点；然后去除边缘响应点，由于dog函数在图像边缘有较强的边缘响应，因此排除边缘响应，dog函数的峰值点在边缘方向有较大的主曲率，而在垂直边缘的方向有较小的主曲率，主曲率通过计算在该点位置尺度的2
×
2的hessian矩阵得到，导数由采样点相邻差来估计：
[0025][0026]
其中，d
xx
表示dog金字塔中某一尺度的图像x方向求导两次，同理，d
yy
表示在y方向求导两次，d
xy
表示分别在x、y方向各求导一次；
[0027]
s33：关键点方向分配；通过尺度不变性求极值点，使其具有缩放不变的性质，而利用关键点邻域像素的梯度方向分布特性，为每个关键点指定方向参数方向，从而使描述子对图像旋转具有不变性，通过求每个极值点的梯度来为极值点赋予方向；像素点的梯度表示为：
[0028][0029]
梯度幅值：
[0030][0031]
梯度方向：
[0032][0033]
其中，l是关键点的尺度；
[0034]
s34：生成特征点描述子；描述子由2
×2×
8维向量表征，也即是2
×2×
8个方向的方向直方图组成，然后在4
×
4的窗口内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加形成一个种子点，一个特征点由4个种子点的信息所组成；
[0035]
s35：关键点匹配；当两幅图像的sift特征向量生成以后，建立关键点描述子集合，通过两点集内关键点描述子的对比来完成目标的识别，采用欧式距离度量具有128维的关键点描述子的相似性，欧氏距离越短，代表两个特征点的匹配度越好。
[0036]
进一步地，所述步骤s4中，建立样本数据库，从样本数据库中抽取一定数量正常图像作为训练图像，不同缺陷及正常图像各抽取20％作为测试图像。
[0037]
进一步地，所述步骤s5中，对正常图像的特征分布进行建模，具体为使用resnet-18作主干，使用其底部的三个块即conv2_x、conv3_x、conv4_x作为特征金字塔提取，对正常图像的特征分布进行提取；
[0038]
给定一个正常图像的训练集x＝[x1,x2,...........,xn]通过将l个底部层提取的
特征与测试网络对应的特征进行匹配来捕捉正常数据流形；对于输入的图像xk∈rh×w×c，其中h、w、c分别代表高度、宽度、通道数，第l个底层组输出的训练图像和测试图像的特征图分别是和其中h
l
、w
l
、d
l
分别表示特征图像的高度、宽度和通道数；图像通过训练网络输入，该网络密集地提取局部图像区域的特征。
[0039]
进一步地，所述步骤s6中，通过特征金字塔匹配进行数据测试的具体方法为：测试网络与训练网络结构相同，而参数随机化，以此来进行nled/qled/oled像素缺陷检测。
[0040]
进一步地，所述步骤s7中，在测试阶段，目标是获得一个关于测试图像大小为w
×
h的异常图ω，将测试图像样本集定义为：y＝[y1,y2,.......,yn]，测试图像yk∈rh×w×c；分数ω
ij
∈[0,1]表示位置(i,j)的像素与训练数据流形的偏差程度，使用f
tl
(y)和f
sl
(y)分别表示训练和测试网络的第l个底层所产生的特征图，计算出一个大小为w
l
×hl
的异常图ω
l
(y)，其中是位置(i,j)的损失分数，异常地图ω
l
(y)通过双线性插值被上采样为w
×
h大小的图像，最终得到的异常图像是l个大小相等的上采样异常图像元素之积：
[0041][0042]
通过测试图像与正常图像特征之间的异常分数得出缺陷检测结果，如果一个测试图像的任何区域是异常的，则该图像就被指定为缺陷图像，且异常得分越高，缺陷区域越大；因此，选择异常得分最大值即max(ω(y))作为测试图像y的异常得分。
[0043]
本发明还提供了一种基于特征金字塔网络fpn的nled/qled/oled像素缺陷检测系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
[0044]
与现有技术相比，本发明具有以下有益效果：本发明能够对喷墨打印nled/qled/oled像素缺陷智能化检测，针对大尺寸面板的缺陷检测，将分块采集的多张面板图像进行高精度拼接的算法，从而能够实现对整张打印面板的喷墨打印效果进行检测，提高了检测的效率与精度，降低检测成本，从客观上降低人员劳动强度，为行业的自动化水平提供有益的可能性。通过对缺陷类别、大小及其位置关系的统计综合考虑，可以为生产工艺的提升提供指导，降低生产的不良率，减少复核的工作量，从而优化产线的生产效率。
附图说明
[0045]
图1是本发明实施例的方法实现流程图；
[0046]
图2是本发明实施例中图像获取设备的实现原理图；
[0047]
图3是本发明实施例中喷墨打印工作原理示意图；
[0048]
图4是本发明实施例中用于图像拼接的sift算法的实现框图；
[0049]
图5是本发明实施例中计算机对图像进行检测的算法集成框图。
具体实施方式
[0050]
下面结合附图及实施例对本发明做进一步说明。
[0051]
应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0052]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0053]
步骤s1：使用图像获取设备分块获取待测打印像素面板的原始图像。
[0054]
步骤s2：对步骤s1得到的分块原始图像进行预处理。
[0055]
步骤s3：接收到预处理后的图像，对同一面板的所有分块图像通过sift算法进行拼接。
[0056]
步骤s4：对拼接后的图像建立样本数据库，使用足量无缺陷像素图像即正常图像作为训练图像，不同类型缺陷图像以及部分正常图像作为测试图像。
[0057]
步骤s5：选择无缺陷像素图像，使用在imagenet数据集上预先训练的resnet-18模型作为训练网络的主干，对无缺陷像素图像特征分布进行建模。
[0058]
步骤s6：使用与步骤s5中预训练网络相同架构的网络模型作为测试网络，输入测试图像，通过特征金字塔匹配进行数据测试。
[0059]
步骤s7：通过测试图像与正常图像之间的异常分数得出缺陷检测结果，判断测试图像是否存在缺陷，是则判定为缺陷产品，否则进入后续工艺。
[0060]
在本实施例中，所述步骤s1中，图像获取设备包括：
[0061]
喷墨打印设备，用于将发光材料输入到喷嘴液管里面，使用显示面板的bank进行接收，提供缺陷检测对象；工业ccd相机，处于显示面板上方，用于连续采集喷墨打印分块像素图像；可移动监测平台，用于固定喷墨打印后的打印显示面板，并能按照预先设置的步长对显示面板进行移动；计算机与检测平台及相机相连接，对平台运作速度进行控制，以及对相机采集的分块像素图像进行分析。
[0062]
在本实施例中，所述步骤s2中，对获取的分块原始图像进行直方图均衡化，以提高图像亮度，增强细节；使用图像增强算法对均衡化后的图像进行适当增强变换，达到图像样本的扩充。
[0063]
在本实施例中，所述步骤s2中，使用图像增强算法对均衡化后的图像进行适当增强变换，包括首先统一将像素图像裁剪成256*256像素大小的图片，然后采用随机因子对图像进行翻转、角度旋转、平移、噪声变换等对图像数据进行扩充及增强。
[0064]
在本实施例中，所述步骤s3中，把采集的分块喷墨打印像素图像通过sift算法进行拼接，将具有一定重合度和差异性以及相似度极高但有标记的图像进行准确拼接，实现完整匹配图像的融合；所述sift算法的实现方法为：
[0065]
s31：进行尺度空间的构建；图像的尺度空间是一幅图像在不同解析度下的表示，一幅图像可以产生多组octave图像，一组图像包括多层图像；构造尺度空间的方法即构造一个高斯金字塔，以原始图像作为最底层，然后对图像进行高斯模糊再降采样作为下一层图像，循环迭代下去；对图像进行尺度变换，以满足特征点的尺度不变性，保留图像轮廓和细节，使用dog函数进行计算：
[0066]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
[0067]
[0068]
d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*i(x,y)＝l(x,y,kσ)-l(x,y,σ)；
[0069]
其中i(x,y)代表输入图像，g(x,y,σ)代表高斯函数，σ是尺度空间因子，*是卷积符号，l(x,y,σ)是高斯变换的输出；为了能够有效检测尺度空间极值，将高斯差分(dog)函数即d(x,y,σ)与图像i(x,y)进行卷积得到d(x,y,σ)，其中的k代表比例系数，将σ乘以一个比例系数k，得到一个新的尺度空间因子kσ。
[0070]
s32：选定关键点；首先是局部极值点，特征点是由dog空间的局部极值点组成的，将每个像素点和它所有的相邻点的特征值作比较，看其是否比它的图像域的相邻点的特征值大或者小，若像素点的特征值大于周围像素点的特征值则可确定为该区域的特征点即局部极值点；然后去除边缘响应点，由于dog函数在图像边缘有较强的边缘响应，因此排除边缘响应，dog函数的峰值点在边缘方向有较大的主曲率，而在垂直边缘的方向有较小的主曲率，主曲率可以通过计算在该点位置尺度的2
×
2的hessian矩阵得到，导数由采样点相邻差来估计：
[0071][0072]
其中d
xx
表示dog金字塔中某一尺度的图像x方向求导两次，同理，d
yy
表示在y方向求导两次，d
xy
表示分别在x、y方向各求导一次。
[0073]
s33：关键点方向分配；通过尺度不变性求极值点，使其具有缩放不变的性质，而利用关键点邻域像素的梯度方向分布特性，为每个关键点指定方向参数方向，从而使描述子对图像旋转具有不变性，通过求每个极值点的梯度来为极值点赋予方向；像素点的梯度表示为：
[0074][0075]
梯度幅值：
[0076][0077]
梯度方向：
[0078][0079]
其中l是关键点的尺度。
[0080]
s34：生成特征点描述子；描述子由2
×2×
8维向量表征，也即是2
×2×
8个方向的方向直方图组成，然后在4
×
4的窗口内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加形成一个种子点，一个特征点由4个种子点的信息所组成。
[0081]
s35：关键点匹配；当两幅图像的sift特征向量生成以后，建立关键点描述子集合，通过两点集内关键点描述子的对比来完成目标的识别，采用欧式距离度量具有128维的关键点描述子的相似性，欧氏距离越短，代表两个特征点的匹配度越好。
[0082]
在本实施例中，所述步骤s4中，建立样本数据库，从样本库中抽取任意足够正常图像样例作为训练图像，不同缺陷及正常图像类型各抽取20％作为测试图像。
[0083]
在本实施例中，所述步骤s5中，对正常图像的特征分布进行建模，具体为使用
resnet-18作主干，使用其底部的三个块即conv2_x、conv3_x、conv4_x作为特征金字塔提取，对正常图像的特征分布进行提取。
[0084]
在本实施例中，所述步骤s5中，所述特征提取的目的是获得一个能够在正常图像上模仿固定输出的模型，给定一个正常图像的训练集x＝[x1,x2,...........,xn]通过将l个底部层提取的特征与测试网络对应的特征进行匹配来捕捉正常数据流形。对于输入的图像xk∈rh×w×c，其中h、w、c分别代表高度、宽度、通道数，第l个底层组输出的训练图像和测试图像的特征图分别是和其中h
l
、w
l
、d
l
分别表示特征图像的高度、宽度和通道数。图像通过训练网络输入，该网络密集地提取局部图像区域的特征。
[0085]
在本实施例中，所述步骤s6中，通过特征金字塔匹配进行数据测试的具体方法为：测试网络与训练网络结构相同，而参数随机化，以此来进行nled/qled/oled像素缺陷检测。
[0086]
在本实施例中，所述步骤s7中，在测试阶段，目标是获得一个关于测试图像大小为w
×
h的异常图ω，将测试图像样本集定义为：y＝[y1,y2,.......,yn]，测试图像yk∈rh×w×c。分数ω
ij
∈[0,1]表示位置(i,j)的像素与训练数据流形的偏差程度，使用和分别表示训练和测试网络的第l个底层所产生的特征图，可以计算出一个大小为w
l
×hl
的异常图ω
l
(y)，其中是位置(i,j)的损失分数，异常地图ω
l
(y)通过双线性插值被上采样为w
×
h大小的图像，最终得到的异常图像是l个大小相等的上采样异常图像元素之积：
[0087][0088]
通过测试图像与正常图像特征之间的异常分数得出缺陷检测结果，如果一个测试图像的任何区域是异常的，那么该图像就被指定为缺陷图像，且异常得分越高，缺陷区域越大。因此，选择异常得分最大值即max(ω(y))作为测试图像y的异常得分。
[0089]
本实施例还提供了一种基于特征金字塔网络fpn的nled/qled/oled像素缺陷检测系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
[0090]
请参照图2，图像获取设备包括：
[0091]
喷墨打印设备201，用于打印nled/qled/oled像素，提供检测对象。具体实现过程请参照图3，喷墨头向基板注射墨滴，同时基板在一个二维空间进行移动，通过数字脉冲驱动器对喷嘴进行控制。
[0092]
工业ccd相机202，设置处于可移动监测平台上方，用于采集待测图像。
[0093]
可移动监测平台203，用于用于固定喷墨打印后的印刷显示面板，并能按照预先设置的步长对显示面板进行移动，使用计算机对其运作速度进行控制。
[0094]
计算机控制设备204，用于接收相机采集的待测图像，对相机获得的图像进行分析处理，同时用于控制可移动监测平台的运作速度。
[0095]
所述计算机控制设备对分块获取打印像素面板图像进行处理及输出运行结果具体实现步骤如图1所示，以上已对其做出了详细说明，此处不再赘述。
[0096]
请参照图4，是本实施例步骤s3中所述对图像进行高精度拼接所使用的sift算法实现框图，具体实现过程已在步骤s3的实施例中做过详细说明，此处不再赘述。
[0097]
请参照图5，是本实施例中所述计算机对图像进行处理的算法集成框图，具体算法
流程如下：
[0098]
接收到所述步骤s4中的原始分割图像，使图像经过一个由unet网络构成的预训练分类模型网络，检测出带有缺陷的像素图像，再经过一个由resnet-18用作主干网的定位网络模块，定位缺陷区域位置坐标及mask二值掩码图，输出缺陷定位图像。
[0099]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0100]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0101]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0102]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0103]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
