一种用于智能液晶屏的缺陷图像检测方法及系统与流程
本发明涉及液晶屏缺陷图像检测,尤其涉及一种用于智能液晶屏的缺陷图像检测方法及系统。
背景技术:
1、当前智能液晶屏的生产制造流程中,缺陷检测是管控产品良率的核心环节,随着高分辨率、高刷新率液晶屏的普及,其允许的缺陷尺寸阈值持续降低,对检测精度和检测效率的要求也随之提升。传统的人工目视检测依赖检测人员的经验判断,长时间作业易产生视觉疲劳,存在检测一致性差、漏检率高的问题,且检测速度无法匹配量产线的节拍,已逐步被机器视觉检测方案替代。现有的普通2d机器视觉检测方案多采用单角度光源配合普通成像模组采集图像,受液晶屏表面偏光层的镜面反射干扰,成像过程中易产生大面积高光区域,掩盖缺陷特征,对于微米级的凹点、划痕、轻微mura等低对比度缺陷的采集效果较差,极易出现漏检。
2、现有部分方案尝试引入3d形貌检测技术提升缺陷识别能力,常用的激光三角扫描法需要逐行扫描待测屏体,检测速度较慢,无法适配大屏、高节拍的量产检测需求。基于结构光的傅里叶轮廓术检测方案虽然成像速度更快,但容易受屏体局部高反光的影响,出现相位解包裹错误,生成的形貌数据存在伪影,导致重建的三维形貌精度不足,无法准确反映缺陷的实际深度信息。在缺陷识别算法层面,传统的卷积神经网络对不规则形态的缺陷适配性较差,比如异形划痕、边缘崩边等缺陷的边界特征无法有效对齐,容易出现特征丢失的问题,且通用检测头无法同时兼顾点、线、面三类尺度差异较大的缺陷检测需求,误检和漏检问题并存。
3、现有检测方案的缺陷分级多仅依赖缺陷的平面几何参数,未结合缺陷的深度、凹凸属性进行判断,而实际生产中,相同平面尺寸的缺陷,深度不同对液晶屏显示效果的影响存在明显差异,仅依据平面尺寸分级容易出现误判,将可允收的浅凹点判定为不良,或是将影响显示的深划痕判定为合格。同时现有检测系统大多缺少光源和载台的动态补偿机制,随着使用时间增加,光源老化、载台重复定位偏移等问题会导致检测精度逐步下降,需要频繁人工校准,增加了运维成本,也影响了量产线的运行效率。
技术实现思路
1、本发明提出的一种用于智能液晶屏的缺陷图像检测方法及系统,以解决上述现有技术中提到的问题。
2、为了实现上述目的,本发明采用了如下技术方案:一种用于智能液晶屏的缺陷图像检测方法,包括以下步骤:
3、s1、以多角度环形光源依次从预设仰角向待测液晶屏投射条纹结构光,同步以正交偏振成像模组采集各角度的偏振态正交图像对,建立多维度图像数据集;
4、s2、对每组偏振态正交图像对执行偏振差分运算得到去除镜面反射的差分图像,再执行暗通道散射抑制和自适应伽马校正,得到各角度的预处理差分图像;
5、s3、将同角度的预处理差分图像与条纹投射图案配准,通过傅里叶轮廓术提取液晶屏表面的亚像素级高度形貌图,对各角度高度形貌图加权融合构建液晶屏表面三维形貌模型;
6、s4、将各角度预处理差分图像沿角度维度拼接输入预训练的深度卷积骨干网络,通过特征金字塔从多阶段提取点缺陷纹理、线缺陷几何和面缺陷语义特征,构建多尺度缺陷特征图集合;
7、s5、将各层缺陷特征图输入串联设置的形变卷积注意力模块、跨尺度融合模块,形变卷积注意力模块通过可变形卷积核求取缺陷几何偏移量,跨尺度融合模块逐层上采样并加权求和,融合高层语义、低层纹理,输出缺陷强化特征图;
8、s6、将缺陷强化特征图输入多任务缺陷检测网络,该网络设有点缺陷分割分支、线缺陷检测分支和面缺陷分类分支,各分支共享骨干权重且采用独立锚点和检测头,并行输出点缺陷分割掩膜、线缺陷矢量轨迹和面缺陷边界框及置信度;
9、s7、对各分支输出执行基于三维形貌模型辅助的缺陷严重程度分级,综合缺陷平面尺寸和深度形貌参数计算缺陷危害指数,依据预设液晶屏质量标准将缺陷划分为合格、允收和拒收三级并生成全屏缺陷分布质量图谱。
10、进一步的,还包括:步骤s1中采用光谱辐射计预先标定多角度环形光源各角度对应的光谱功率分布与空间照度均匀性,建立光源标定参数查找表,采集每批次液晶屏图像时依据所述查找表对各角度偏振图像对执行辐射度校正,采用激光位移传感器测量液晶屏定位载台四角基准标记的空间坐标,并计算载台平面与成像光轴的空间倾角偏差,倾角偏差超出预设容限时驱动载台调整机构完成姿态补偿后重新采集。
11、进一步的,还包括:在步骤s3中对各角度形貌图执行局部加权回归离群点滤波,将各高度数据点局部邻域内残差超出阈值的点标记为测量离群点,采用邻域中位数高度值替换离群点,对滤波后各角度形貌图执行迭代最近点算法多视角点云精配准,以第一角度点云为基准,将其余角度点云经刚体变换对齐至参考坐标系,配准完成后依据各点到参考点云最近邻面片垂直距离确定权重,通过加权体素融合得到三维形貌模型。
12、进一步的,步骤s5中所述形变卷积注意力模块针对输入特征图各采样位置,在标准卷积采样网格上叠加附加卷积层预测得到的二维形变偏移量,卷积核采样位置依据缺陷形态产生空间偏移,各偏移后采样位置基于局部特征与对应缺陷类别原型特征向量的余弦相似度,经非线性激活映射生成注意力权重,所述附加卷积层、偏移量预测分支、注意力分支采用端到端方式,基于对齐损失与检测损失的加权组合联合优化,形变偏移量学习过程引入缺陷分割真值标注约束。
13、进一步的,步骤s6中所述点缺陷分割分支对每个连通缺陷区域执行基于主曲率分析的缺陷形貌分类:对缺陷区域内全部像素坐标通过二次曲面拟合得到高度分布曲面方程,由该曲面方程计算各像素的最大主曲率和最小主曲率,以区域内全部像素最大主曲率均值与最小主曲率均值的比值作为该缺陷区域的凹凸度判别指标,所述凹凸度判别指标通过以下公式定量计算:;
14、式中,表示第个点缺陷区域的凹凸度判别指标,为该点缺陷区域内像素总数,为像素索引;和分别表示第个像素的最大主曲率绝对值和最小主曲率绝对值,为预设正则化常数。
15、进一步的,步骤s7中所述缺陷危害指数综合平面几何参数和深度形貌参数计算,平面几何参数包括缺陷等效圆直径和长宽比,深度形貌参数包括缺陷在三维形貌模型中相对于周围正常表面基准面的最大凹陷深度或最大凸起高度;对步骤s6输出的每个缺陷从掩膜或边界框提取平面几何参数,从三维形貌模型索引对应空间坐标提取深度形貌参数,将两者输入预先基于液晶屏缺陷允收判据训练的多维阈值分类器,输出缺陷对应的合格、允收或拒收质量等级,当全屏拒收级缺陷数为零且允收级缺陷数小于预设最大允收数时判定该液晶屏整屏合格。
16、进一步的,步骤s3中所述各角度高度形貌图的加权融合权重按以下角度置信度加权公式确定:;
17、式中,表示第个照明角度对应高度形貌图在融合中的归一化权重且满足,为衰减控制系数,表示第个角度下相位解包裹的均方根误差,表示第个角度光源主方向与表面法线夹角,和分别表示第个角度的均方根误差和光线夹角,为预设仰角集合中照明角度总数且。
18、进一步的,一种用于智能液晶屏的缺陷图像检测系统,包括以下模块:
19、图像采集子系统,配置有多角度环形结构光源、正交偏振成像模组和液晶屏定位载台,用于以多角度结构光投射和正交偏振同步采集方式获取待测液晶屏的多维度偏振态正交图像对;
20、图像预处理子系统,配置有偏振差分运算模块、暗通道散射抑制模块和自适应伽马校正模块,用于对各角度偏振图像对执行镜面反射去除和增强处理以生成预处理差分图像;
21、三维形貌重建子系统,配置有傅里叶轮廓术相位提取模块、离群点滤波模块、多视角点云配准模块和加权体素融合模块,用于从结构光图案与差分图像重建液晶屏表面三维形貌模型;
22、缺陷特征提取子系统,配置有深度卷积骨干网络、特征金字塔和形变卷积注意力模块,用于从预处理差分图像提取多尺度缺陷特征并对不规则缺陷进行形变特征对齐;
23、多任务缺陷检测子系统,配置有点缺陷分割分支、线缺陷检测分支和面缺陷分类分支,用于并行输出点缺陷分割掩膜、线缺陷矢量轨迹和面缺陷边界框及置信度分数;
24、缺陷分级与评估子系统,配置有缺陷危害指数计算模块、多维阈值分类器和全屏质量图谱生成模块,用于综合平面几何参数和深度形貌参数划分缺陷质量等级并生成全屏缺陷分布质量图谱。
25、进一步的,所述图像采集子系统中的多角度环形光源由沿圆周排布的窄带led灯珠组成,各组灯珠俯仰角通过步进电机在预设仰角范围内独立调节,所述正交偏振成像模组包含线偏振片与四分之一波片,二者快轴夹角固定为四十五度,所述液晶屏定位载台四角分别嵌设激光反射基准标记,更换被测液晶屏后,激光位移传感器检测基准标记空间位置。
26、进一步的,所述缺陷分级与评估子系统的多维阈值分类器由三级级联的二分类支持向量机构成,第一级支持向量机以缺陷等效圆直径和长宽比为输入,区分合格缺陷与不合格缺陷,第二级支持向量机以缺陷最大凹陷深度与等效圆直径的比值、缺陷最大凸起高度与等效圆直径的比值及凹凸度判别指标为输入,区分允收缺陷和拒收缺陷,第三级支持向量机以缺陷危害指数和缺陷在液晶屏显示区域内的位置坐标为输入,判定拒收缺陷的返工可行性。
27、与现有的技术相比,本发明的有益效果是:
28、本发明采用多角度环形结构光结合正交偏振成像的采集方式,可有效去除液晶屏表面的镜面反射干扰,获取的多维度图像可覆盖不同朝向的各类缺陷,避免单角度成像导致的缺陷漏检问题。通过偏振差分、暗通道散射抑制和自适应伽马校正的预处理流程,可提升低对比度缺陷的特征清晰度,降低环境散射光对成像质量的影响,为后续的形貌重建和缺陷特征提取提供更可靠的输入数据。
29、本发明通过多视角高度形貌图加权融合的方式构建三维形貌模型,可降低局部高反光导致的相位解包裹伪影对建模精度的影响,重建得到的三维形貌可准确反映屏体表面的高度分布,为后续缺陷的属性判断和分级提供形貌层面的依据。采用特征金字塔结合形变卷积注意力和跨尺度融合的特征提取结构,可适配不规则缺陷的形态,完成缺陷特征的有效对齐,同时可兼顾小尺寸点缺陷的纹理特征和大尺寸面缺陷的语义特征,提升不同类型缺陷的特征提取准确性。
30、本发明采用多任务并行的缺陷检测网络结构,共享骨干权重可降低整体的计算量,独立的检测头可适配点、线、面三类不同缺陷的检测需求,点缺陷的凹凸属性分类可区分结构类缺陷和表面脏污类缺陷,降低不同类型缺陷的混判概率。结合三维形貌参数的缺陷分级方式,可更贴合液晶屏实际使用中的质量要求,减少仅依据平面参数分级导致的误判问题,生成的全屏缺陷分布质量图谱可直观呈现屏体的缺陷分布情况,为后续生产工艺的调整提供数据支撑。
31、本发明配套的检测系统设置有光源标定和载台姿态补偿机制,可降低光源老化、载台重复定位偏差对检测精度的影响,提升系统长期运行的稳定性,无需频繁人工校准,可适配不同尺寸、不同批次的液晶屏检测需求,适用范围更广。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com