一种基于模块化深度学习的工业视觉缺陷检测方法与流程
本发明属于工业视觉检测与图像处理,具体为一种基于模块化深度学习的工业视觉缺陷检测方法。
背景技术:
1、工业视觉缺陷检测通常通过工业相机获取产品表面图像,并利用深度学习缺陷检测模型从图像中识别划痕、裂纹、凹坑、点蚀、异物或涂层缺失等缺陷。随着产品表面检测范围扩大,实际生产线通常沿产品运动方向设置多个成像工位,或者由同一成像工位连续获取多幅图像,使同一产品物理表面区域能够出现在不同图像或不同观测窗口中。
2、现有缺陷检测方式通常以单幅图像或单次模型推理形成的检测框、分割区域、缺陷类别及置信程度作为结果对象。对于不同图像中形成的疑似缺陷候选,通常根据图像坐标、映射后的物理位置、候选类别或区域重叠程度进行匹配和去重。此类处理能够减少部分重复检测结果,但主要针对模型的末端输出,未持续保留疑似缺陷候选在模型各处理阶段中的来源区域及形成关系。
3、在连续观测过程中,疑似缺陷候选未在后一处理阶段或后一观测窗口中继续出现,既可能是缺陷依据在模型内部处理过程中被释放,也可能是对应产品表面区域进入视野边缘、反光区域、模糊区域或遮挡区域而发生观测中断。仅根据后一图像中是否存在检测框,通常难以区分上述不同原因。与此同时,不同观测窗口中的候选即使对应同一产品物理表面区域,也可能因观察角度、照明状态或图像位置变化而呈现不同形态,单纯依据检测框位置或类别容易产生重复计数或错误归并。
4、因此,需要一种能够将模型处理阶段中的候选来源关系与产品物理表面位置、连续观测窗口共同关联,并能够根据观测条件变化保持疑似缺陷身份连续性的工业视觉缺陷检测方法。
技术实现思路
1、本发明的目的在于提供一种基于模块化深度学习的工业视觉缺陷检测方法,以解决现有连续观测缺陷检测过程中,模型内部候选来源与产品物理表面身份相互分离,难以区分模型处理释放与观测中断,并容易造成跨窗口候选重复计数或错误归并的问题。
2、为实现上述目的,本发明提供一种基于模块化深度学习的工业视觉缺陷检测方法,包括:获取产品连续观测窗口的图像、产品位置、图像与产品物理表面的映射关系、有效观测区域,以及缺陷检测模型各处理阶段的局部输出和阶段间计算关系;根据局部输出及阶段间计算关系确定疑似缺陷候选对应的输入根区域及窗口内依据关系,将输入根区域映射至产品物理表面形成物理根,并将物理根、观测窗口、窗口内依据关系及疑似缺陷候选关联,构造疑似物理缺陷证据承接域。
3、在疑似物理缺陷证据承接域内确定窗口内依据关系的依据末端区域,根据依据末端区域与有效观测区域边界的对应关系确定模型处理释放状态或观测中断状态,并根据产品位置确定物理根是否进入后续有效观测窗口。当物理根进入后续有效观测窗口时,将后续有效观测窗口中映射至同一物理根的输入根区域构造为后续依据承载单元,并建立跨窗口承接关系;当物理根离开全部观测窗口时,形成最终观测退出状态。根据物理根、窗口内依据关系、跨窗口承接关系及承接域状态,对疑似缺陷候选进行保持、归并或抑制,形成与产品物理表面区域对应的目标缺陷检测结果集合。
4、输入根区域及窗口内依据关系的确定包括:以疑似缺陷候选对应的末端局部输出为追溯起点,根据阶段间计算关系确定各处理阶段中参与形成疑似缺陷候选的局部状态单元;根据各处理阶段之间的空间变换关系,将靠近图像输入端的局部状态单元映射至当前图像以确定输入根区域;根据相邻处理阶段局部状态单元之间的一对一、一对多及多对一计算承接关系,分别建立继承关系、拆分关系及合并关系,并由上述关系构成窗口内依据关系。
5、有效观测区域根据图像局部区域的清晰度、曝光状态及遮挡状态确定;根据相机标定参数、产品位置及图像与产品物理表面的映射关系,将有效观测区域映射至产品物理表面,并将有效观测区域对产品物理表面形成有效覆盖的时间区间确定为观测窗口。
6、疑似物理缺陷证据承接域包括物理根、与物理根对应的观测窗口序列、分别与各观测窗口对应的输入根区域、疑似缺陷候选及窗口内依据关系、依据末端区域、承接域状态、前后观测窗口之间的跨窗口承接关系,以及各疑似缺陷候选与物理根之间的候选归属关系。
7、当物理根仍位于当前观测窗口对应的产品物理表面覆盖区域内,依据末端区域与当前有效观测区域边界不对应,且末端局部状态单元未形成下一处理阶段的后继局部状态单元时,将承接域状态确定为模型处理释放状态;当依据末端区域与当前有效观测区域边界对应,或者物理根随产品运动离开当前观测窗口对应的产品物理表面覆盖区域时,将承接域状态确定为观测中断状态。
8、建立跨窗口承接关系时,将后续有效观测窗口中疑似缺陷候选对应的输入根区域映射至产品物理表面;当映射后的输入根区域对应已有物理根,且后续有效观测窗口与前一观测窗口在产品运动时序上连续,将该输入根区域构造为物理根的后续依据承载单元,并在前一观测窗口的依据末端区域与后续依据承载单元之间建立跨窗口承接关系。
9、对应同一物理根且具有跨窗口承接关系的多个疑似缺陷候选归属于同一目标缺陷结果;对应不同物理根或相互独立输入根区域的疑似缺陷候选分别予以保持;处于待承接状态的疑似缺陷候选保持其与物理根之间的候选归属关系,直至形成后续依据承载单元或形成最终观测退出状态。
10、当一个输入根区域通过拆分关系形成多个疑似缺陷候选时,将多个候选关联至同一物理根,并根据窗口内依据关系确定重复候选;当多个相互独立的输入根区域通过合并关系形成一个疑似缺陷候选时,在疑似物理缺陷证据承接域内分别保留各输入根区域的来源关系。后续输入根区域未映射至已有物理根,或前后观测窗口在产品运动时序上不连续时,不建立跨窗口承接关系,并为后续输入根区域形成独立物理根。
11、本发明的有益效果如下:
12、1、本发明根据缺陷检测模型各处理阶段的局部输出及阶段间计算关系确定疑似缺陷候选的输入根区域和窗口内依据关系,并将输入根区域映射至产品物理表面形成物理根,使单幅图像中的候选来源能够转换为产品物理表面上的持续识别对象。
13、2、本发明将物理根、观测窗口、窗口内依据关系及疑似缺陷候选关联形成疑似物理缺陷证据承接域,并根据依据末端区域与有效观测区域边界的对应关系区分模型处理释放状态和观测中断状态,从而避免将成像条件变化造成的暂时中断直接作为候选消失处理。
14、3、本发明在物理根进入后续有效观测窗口时,将后续输入根区域构造为原物理根的后续依据承载单元,并建立跨窗口承接关系,使不同图像或不同成像工位中的候选能够根据同一物理表面身份及依据承接过程进行归并,而非仅根据检测框位置或候选类别进行匹配。
15、4、本发明在窗口内依据关系中保留继承、拆分及合并关系,能够区分同一输入来源形成的重复候选和多个独立输入来源形成的候选,并根据承接域状态执行候选保持、归并或抑制,使最终检测结果与产品物理表面区域形成对应。
1.一种基于模块化深度学习的工业视觉缺陷检测方法,其特征在于,包括:
2.根据权利要求1所述的基于模块化深度学习的工业视觉缺陷检测方法,其特征在于,确定所述输入根区域及窗口内依据关系包括:
3.根据权利要求1所述的基于模块化深度学习的工业视觉缺陷检测方法,其特征在于,根据图像局部区域的清晰度、曝光状态及遮挡状态确定所述有效观测区域;
4.根据权利要求1所述的基于模块化深度学习的工业视觉缺陷检测方法,其特征在于,所述疑似物理缺陷证据承接域包括:
5.根据权利要求4所述的基于模块化深度学习的工业视觉缺陷检测方法,其特征在于,所述承接域状态按照以下方式确定:
6.根据权利要求5所述的基于模块化深度学习的工业视觉缺陷检测方法,其特征在于,建立所述跨窗口承接关系包括:
7.根据权利要求1所述的基于模块化深度学习的工业视觉缺陷检测方法,其特征在于,对所述疑似缺陷候选进行保持、归并或抑制包括:
8.根据权利要求2所述的基于模块化深度学习的工业视觉缺陷检测方法,其特征在于:
9.根据权利要求5所述的基于模块化深度学习的工业视觉缺陷检测方法,其特征在于,当所述物理根离开当前有效观测区域但尚未离开全部观测窗口时,保持所述物理根、依据末端区域及候选归属关系,并使所述疑似物理缺陷证据承接域处于待承接状态;
10.根据权利要求6所述的基于模块化深度学习的工业视觉缺陷检测方法,其特征在于,当后续有效观测窗口中的输入根区域未映射至已有物理根,或者所述后续有效观测窗口与前一观测窗口在产品运动时序上不连续时,不建立所述跨窗口承接关系,并为所述输入根区域形成独立物理根;
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com