基于图像处理的LED显示屏质量快速识别方法与流程

本发明涉及图像处理，尤其涉及基于图像处理的led显示屏质量快速识别方法。

背景技术：

1、随着led显示技术的快速发展，小间距led显示屏、mini led显示屏及oled显示屏已广泛应用于指挥中心、演播厅、电影屏、户外广告及虚拟拍摄等高端场景，用户对显示屏的显示质量要求日益严苛，不仅要求像素点无坏点，还对整屏的亮度均匀性、色度一致性及低灰表现提出了极高要求，现有技术中，通过工业相机采集待测显示屏在特定测试画面下的显示图像，通过基于模板比对的方法、基于固定全局阈值的方法、基于多波段成像的深度学习方法，利用图像处理算法对图像进行分析，识别并定位坏点、亮度不均缺陷；

2、综合上述分析，现有的图像处理的led显示屏质量快速识别，存在以下缺陷和不足：

3、在产线在线检测场景中，生产节拍通常要求单块屏幕的检测时间控制在30秒以内，为了满足速度要求，通常降低图像分辨率，从而会导致微小缺陷，现有技术多采用图像的全局灰度均值和预存的理想模板图像作为参考基准，将图像中的每个像素与基准值进行比较，灰度差异超过设定阈值的像素即判定为缺陷像素，由于不同时段受到的环境光照条件差异极大，会导致采集到的图像整体亮度发生漂移，在上述情况下，基于固定基准的检测方法极易将正常的老化衰减区域或光照渐变区域误判为缺陷，导致误报率急剧上升。

4、针对上述的技术缺陷，现提出一种解决方案。

技术实现思路

1、本发明采用了如下技术方案：基于图像处理的led显示屏质量快速识别方法，包括以下步骤：

2、步骤一：获取待识别显示屏的原始图像进行固定尺寸切块，计算每块图像区域的灰度信息熵，筛选目标分块作为基准参考块，基于基准参考块生成动态基准面，将原始图像逐像素减去动态基准面，得到均匀化残差图；

3、步骤二：对均匀化残差图缩放至预设分辨率，进行像素阈值判断，标记灰度值大于预设容忍范围的可疑像素点，对可疑像素点进行连通域分析，得到候选缺陷区域；

4、步骤三：当候选缺陷区域的数量为预设值时，判定当前显示屏为合格品，当候选缺陷区域的数量大于预设值时，根据候选缺陷区域的位置坐标，从原始图像中提取局部高分辨率图像区域；

5、步骤四：对局部高分辨率图像区域进行二级缺陷识别，提取局部图像区域的缺陷特征，并与预设缺陷特征库进行匹配，判定候选缺陷区域的真实缺陷与缺陷类型；

6、步骤五：输出真实缺陷的缺陷类型、位置坐标及缺陷等级，缺陷等级根据二级缺陷识别计算缺陷置信度得分，结合预设分级阈值的比较结果确定。

7、进一步的，获取待识别显示屏的原始图像进行固定尺寸切块，计算每块图像区域的灰度信息熵，筛选目标分块作为基准参考块，基于基准参考块生成动态基准面，将原始图像逐像素减去动态基准面，得到均匀化残差图，具体过程如下：

8、将采集到的待识别显示屏的原始图像转换为灰度图像，以预设的固定分块尺寸像素对灰度图像进行无重叠网格化分割，得到若干图像分块，对每个图像分块计算灰度信息熵，得到各图像分块的信息熵；

9、将各图像分块的灰度信息熵与预设的均匀度区间进行对比分析，筛选出灰度信息熵落入均匀度区间的图像分块为目标分块，并作为基准参考块，用于表示图像中亮度均匀、无明显缺陷的正常纹理区域，均匀度区间分别为通过统计正常显示屏图像中均匀纹理区域的信息熵分布所确定的下限阈值和上限阈值；

10、根据筛选出的基准参考块的中心坐标作为控制点坐标，以各基准参考块的灰度值作为控制点值，并构建插值函数将离散的基准参考块数据扩展为覆盖整幅图像的连续平滑基准面，生成与原始图像同尺寸的动态基准面；

11、将原始图像逐像素减去动态基准面，得到均匀化残差图。

12、进一步的，对均匀化残差图缩放至预设分辨率，进行像素阈值判断，标记灰度值大于预设容忍范围的可疑像素点，对可疑像素点进行连通域分析，得到候选缺陷区域，具体过程如下：

13、将均匀化残差图进行缩放处理至预设的低分辨率，预设低分辨率为原始图像分辨率的1/k，k 为预设正整数根据需求自动设定，得到低分辨率残差图 ，用于降低阈值判定的计算量；

14、对低分辨率残差图中的像素提取灰度值，将灰度值与预设容忍范围进行对比，当标记灰度值大于预设容忍上限阈值时，标记灰度值小于预设容忍下限阈值时，将像素标记为可疑像素点；

15、对可疑像素点进行连通域分析，将所有相互连通的可疑像素点归并为同一连通区域，计算各连通区域的像素面积 ，将像素面积小于预设面积阈值的连通区域判定为孤立噪声点并予以剔除；

16、将剔除孤立噪声点后剩余连通区域作为候选缺陷区域，计算剩余连通区域的最小外接矩形，以最小外接矩形在低分辨率残差图中的像素坐标作为剩余连通区域在低分辨率图像中的候选缺陷区域坐标，将各候选缺陷区域的坐标按原始图像与低分辨率图像的比例尺映射回原始图像坐标系，得到原始图像中对应的候选缺陷区域位置坐标列表。

17、进一步的，当候选缺陷区域的数量为预设值时，判定当前显示屏为合格品，当候选缺陷区域的数量大于预设值时，根据候选缺陷区域的位置坐标，从原始图像中提取局部高分辨率图像区域，具体过程如下：

18、统计输出的候选缺陷区域的总数量，将总数量与预设值进行比较，当总数量小于等于预设值时，判定当前显示屏为合格品，结束检测流程并输出合格信号；

19、当总数量大于预设值时，判定当前显示屏存在疑似缺陷，进行局部区域提取；

20、获取各候选缺陷区域在原始图像坐标系中的位置坐标，位置坐标包含各候选缺陷区域的最小外接矩形在原始图像坐标系中的左上角横坐标、左上角纵坐标、矩形宽度和矩形高度；

21、根据获取的各候选缺陷区域的最小外接矩形为基础，在原始图像上生成扩展裁剪框，根据生成的各扩展裁剪框的位置和尺寸，从原始图像中逐一提取对应的局部图像区域，将提取出的各局部图像区域与对应的候选缺陷区域标识关联存储，形成局部高分辨率图像区域集合。

22、进一步的，对局部高分辨率图像区域进行二级缺陷识别，提取局部图像区域的缺陷特征，并与预设缺陷特征库进行匹配，判定候选缺陷区域的真实缺陷与缺陷类型，具体过程如下：

23、将局部高分辨率图像区域输入预先训练的特征提取网络，将输入图像区域映射为固定维度的深度特征向量；

24、获取预设缺陷特征库，对提取的深度特征向量分别计算其与缺陷特征库中各类别参考特征向量的对比度，将对比度进行降序排列，以排序第一的对比度对应的缺陷类型作为候选缺陷区域的初步识别结果；

25、将排序第一的对比度与预设置信度阈值进行对比，当对比度大于等于预设置信度阈值时，判定候选缺陷区域为真实缺陷，以候选缺陷区域的初步识别结果作为真实缺陷的缺陷类型；

26、当对比度小于预设置信度阈值时，判定候选缺陷区域为过检区域，即该区域在第一级检测中被误判为可疑区域但实际非真实缺陷。

27、进一步的，输出真实缺陷的缺陷类型、位置坐标及缺陷等级，缺陷等级根据二级缺陷识别计算缺陷置信度得分，结合预设分级阈值的比较结果确定，具体过程如下：

28、获取判定为真实缺陷的各候选缺陷区域的缺陷类型、最大对比度及对应的位置坐标，将最大对比度作为真实缺陷的初始缺陷置信度得分；

29、获取当前真实缺陷所在位置坐标处的邻域背景复杂度系数 ，邻域背景复杂度系数为基于该缺陷位置周围预设邻域窗口内像素灰度值的标准差与均匀化残差图中全局灰度值标准差的比值，用于反映该缺陷所处区域背景纹理的复杂程度；

30、当背景复杂度系数大于预设复杂度阈值时，判定缺陷位于高纹理背景区域，执行置信度惩罚操作；

31、当背景复杂度系数小于、等于预设复杂度阈值时，判定缺陷位于平坦背景区域，初始缺陷置信度得分的可靠性较高，不执行置信度惩罚操作。

32、进一步的，执行置信度惩罚操作，具体过程如下：

33、当执行置信度惩罚操作时，其中λ为预设惩罚系数，为邻域背景复杂度系数；

34、当不执行置信度惩罚操作时，；修正后的缺陷置信度得分，用于表征综合缺陷特征匹配度和背景复杂度后的缺陷可信程度；

35、将计算得到的修正后的缺陷置信度得分与预设分级阈值进行比较，预设分级阈值至少包含第一分级阈值 t1、第二分级阈值 t2 和第三分级阈值 t3，其中 0

36、进一步的，预先训练的特征提取网络采用以下步骤构建：

37、构建缺陷样本数据集，缺陷样本数据集包含若干标注有缺陷类型标签的led显示屏局部图像区域样本，缺陷类型标签至少包含暗点、亮点、色偏和短路四类，各类型样本数量不低于预设的类别样本数量阈值；

38、将构建的缺陷样本数据集按预设比例划分为训练集和验证集，对训练集中的各样本执行数据增强操作；

39、以预设的初始网络参数初始化轻量级卷积神经网络，将增强后的训练集样本输入轻量级卷积神经网络进行前向传播计算，输出各样本在各缺陷类型上的预测概率分布；

40、计算预测概率分布与缺陷类型标签之间的交叉熵损失，采用反向传播算法和预设优化器更新轻量级卷积神经网络的网络参数，每完成一个训练轮次后，在验证集上计算分类准确率；

41、当验证集上的分类准确率达到预设最大训练轮次时，停止训练，将当前网络参数保存为预先训练的特征提取网络的最终参数，最终参数用于将输入的局部高分辨率图像区域映射为固定维度的深度特征向量。

42、综上所述，由于采用了上述技术方案，本发明的有益效果是：

43、该基于图像处理的led显示屏质量快速识别方法，通过对原始图像进行固定尺寸切块，计算每块图像区域的灰度信息熵，筛选目标分块作为基准参考块，基于基准参考块生成动态基准面，将原始图像逐像素减去动态基准面得到均匀化残差图，通过局部熵值筛选正常纹理区域作为基准参考面，使校正后的残差图消除了光照不均匀和屏幕老化带来的背景漂移，确保缺陷区域的灰度偏离在残差图中呈现为相对于零基准面的响应，能够自适应跟随图像不同区域的空间亮度变化趋势，将均匀化残差图缩放至预设低分辨率进行判定，通过连通域分析快速筛选候选缺陷区域，完成全屏可疑区域的初步筛选，仅对输出的候选缺陷区域进行高分辨率精检和深度学习特征匹配，将全部算力集中到可疑区域进行精细化判定，在保证检测精度的同时将整体检测时间压缩至满足产线节拍要求，实现检测精度与产线节拍的平衡，在缺陷识别中计算各候选缺陷区域与缺陷特征库的最大相似度得分作为缺陷置信度，结合预设的多级分级阈值将缺陷划分，实现缺陷严重程度的评估。