一种条纹反射图像干预处理及跨型号检测方法及系统
本发明涉及数字图像处理及工业机器视觉,涉及条纹反射图像处理及跨型号缺陷检测,尤其是一种条纹反射图像干预处理及跨型号检测方法及系统。
背景技术:
1、镜面或高光零件表面的凹坑、凸起及局部波纹等缺陷会改变反射条纹的方向、间距和连续性。利用静态周期条纹经零件待测表面反射后形成的条纹反射图像,可以通过分析条纹形态的变化实现缺陷检测,已广泛应用于工业质量检测场景。然而,条纹经零件反射后的空间形态不仅受到缺陷的影响,还受到正常曲面曲率、零件摆放姿态、曝光条件、条纹初始相位及成像响应等多种因素的共同作用,导致基于单一型号图像训练的检测模型容易依赖该型号固定的明暗分布或轮廓特征,在结构不同的新型号零件上检测性能显著下降。
2、针对上述问题,已有技术提出了多种改进思路。一类方案在检测前增加条纹中间图的处理环节,例如通过采集多幅相移条纹图像解算包裹相位和调制度,将相位图、调制度图等与原图融合后输入检测网络进行训练;或将调制图、相位图与曲率图组合为多通道输入。此类方案通常依赖时间序列的多幅相移图像采集,对传送同步、多帧配准提出额外要求,且单纯增加条纹中间图或数据增强手段,并未改变检测模型对型号相关明暗分布的依赖。
3、另一类方案尝试通过缺陷特征与成像条件的解耦建模、成像特征模拟或镜面条纹成像的缺陷仿真来生成训练样本。然而,划痕等散射型缺陷的可见外观会随条纹背景的变化而改变,合成前后的缺陷可见性并不完全相同;若将仿真图像直接作为新的带标注样本使用,可能引入与真实成像不一致的监督信号。
4、在图像处理层面,裁剪条纹区域可以减少部分背景干扰,但会删除零件边缘及曲面连续性等全局上下文信息,导致检测模型无法利用完整的空间结构;直接使用完整图像则仍可能产生对背景的依赖。此外,仅改变图像整体亮度,或对各阶条纹分量分别任意改变相位,均无法保证处理后的像素图像仍有效表达相邻位置之间以及跨阶次之间的条纹结构关系,若将此类不可信的处理结果用于模型训练,会产生错误的监督信号。
5、因此,如何在完整条纹反射图像中实施可控且可检验的条纹相位干预,并在目标型号缺少缺陷标注的条件下,将经过有效性确认的处理结果可靠地用于检测模型的跨型号适配,是本领域亟待解决的技术问题。
技术实现思路
1、为了克服现有技术中存在的上述问题,本发明提出一种条纹反射图像干预处理及跨型号检测方法及系统。
2、本发明解决其技术问题所采用的技术方案是:一种条纹反射图像干预处理及跨型号检测方法,包括如下步骤:
3、步骤1,获取源型号零件的具有缺陷标注的完整图像和目标型号零件的未进行缺陷标注的完整图像,所述完整图像包含静态周期条纹经零件待测表面反射形成的条纹反射区域,同一拍摄视角对应一次曝光采集的图像;
4、步骤2,对所述完整图像执行条纹分量解析,得到具有共同基频及不同阶次的复条纹分量,所述复条纹分量包括一阶分量及至少一个高阶分量,并构造表征相邻位置相位关系和跨阶次相位关系的条纹结构量;
5、步骤3,对同一干预支撑区设置共同相移,按照各复条纹分量的阶次与共同相移的乘积改变各复条纹分量的相位,将相位改变前后各复条纹分量的实部差叠加至完整图像,重构得到干预图像,所述干预图像不删除完整图像的背景和未被复条纹分量解释的残差;
6、步骤4,以重构得到的干预图像为输入重新解析复条纹分量,根据重新解析得到的条纹结构量相对于原图条纹结构量的偏差、分量可分离性及饱和状态,确定辅助学习有效权重;
7、步骤5,通过共享图像特征提取模块连接缺陷检测分支和条纹结构辅助分支,以真实源型号图像的缺陷标注约束所述缺陷检测分支,并以辅助学习有效权重约束源型号和目标型号的干预图像中条纹结构辅助分支对原图条纹结构量的预测,更新共享图像特征提取模块的至少部分参数;
8、步骤6,将目标型号零件的完整实拍图像输入更新后的共享图像特征提取模块及所述缺陷检测分支,输出缺陷位置;
9、其中,所述辅助学习有效权重不作为正常或缺陷标签,所述干预图像不因所述相位的改变而自动继承缺陷标注。
10、上述的一种条纹反射图像干预处理及跨型号检测方法,所述步骤4具体为:
11、重新解析所述干预图像时,对重构后的像素图像重新执行条纹分量解析的分析算子,不直接将相位改变后的复条纹分量作为重新解析结果;根据重新解析条纹结构量与原图条纹结构量的偏差阈值、复条纹分量再分析偏差阈值、原图及干预图像的分量幅值阈值和饱和阈值,确定所述辅助学习有效权重;当一幅图像中不存在所述辅助学习有效权重大于零的位置时,跳过该图像的条纹结构辅助学习损失,且不将该图像判定为正常样本。
12、上述的一种条纹反射图像干预处理及跨型号检测方法,所述条纹结构量与原图条纹结构量的偏差、复条纹分量再分析偏差、辅助学习有效权重具体计算公式为:
13、
14、
15、
16、其中,x为像素坐标,dq为条纹结构量的通道数,为干预图像,为完整图像,为条纹结构量函数,||·||1为各通道绝对值之和,k为所选阶次集合,h为阶次,为对干预图像重新解析得到的阶次为h的复条纹分量,为对完整图像解析得到的阶次为h的复条纹分量,i为虚数单位,为各阶分量共用的相移,单位为弧度,为防止除零的正数,为表征位置x的幅值、频带可分离性及饱和状态是否满足条件的资格指示量,满足时取1,否则取0,1[]为条件成立时取1的指示函数,为预设的条纹结构量偏差阈值,为预设的复条纹分量再分析偏差阈值,为大于零的预设衰减尺度。
17、上述的一种条纹反射图像干预处理及跨型号检测方法,所述步骤2中相邻位置相位关系通过同阶复条纹分量与邻近位置的复条纹分量的共轭乘积归一化获得,所述跨阶次相位关系通过高阶复条纹分量与一阶复条纹分量共轭的对应阶次幂相乘后归一化获得;将相邻位置相位关系和跨阶次相位关系的实部和虚部按固定顺序拼接为条纹结构量,作为条纹结构辅助分支的预测目标,且条纹结构量不直接作为缺陷真值。
18、上述的一种条纹反射图像干预处理及跨型号检测方法,所述相邻位置相位关系、跨阶次相位关系具体计算公式为:
19、
20、
21、其中,x为像素坐标,e为预设方向的像素位移向量,为位置x+e处阶次为h的复条纹分量,为一阶复条纹分量,上划线表示复共轭,||表示复数的模,为防止除零的正数。
22、上述的一种条纹反射图像干预处理及跨型号检测方法,所述步骤3中同一干预支撑区内共同相移不随像素位置变化,所述支撑区内包括一阶分量和至少一个可分离的高阶分量;
23、所述步骤3中干预图像由所述完整图像与加权的条纹实部差相加得到,加权函数在干预支撑区内部取值为1、在干预支撑区边缘平滑过渡至0、在干预支撑区外取值为0;所述辅助学习有效权重在加权函数的过渡区以及由条纹分量解析的分析算子影响范围确定的边界缓冲区内取值为0;所述加权函数不用于将所述完整图像的背景置零或裁剪为单独的检测输入。
24、上述的一种条纹反射图像干预处理及跨型号检测方法,所述步骤5包括源型号预训练阶段及源型号、目标型号联合适配阶段两个阶段;在源型号、目标型号联合适配阶段,持续使用真实源型号图像及其缺陷标注计算检测损失,同时使用不包含目标型号缺陷标签的结构预测损失更新所述共享图像特征提取模块;所述结构预测损失的监督量由原图条纹分量解析得到并停止梯度,且不要求干预前后所述缺陷检测分支输出的缺陷检测概率相等。
25、上述的一种条纹反射图像干预处理及跨型号检测方法,所述步骤6中完整实拍图像经卷积特征提取或图像块编码输入所述共享图像特征提取模块,所述共享图像特征提取模块保留全幅图像的空间信息和全局上下文;所述条纹结构辅助分支仅在训练阶段参与结构学习;推理阶段,所述缺陷检测分支不以所述辅助学习有效权重对原图进行硬裁剪或背景删除。
26、上述的一种条纹反射图像干预处理及跨型号检测方法,所述步骤1中获取完整图像具体为:对多个拍摄视角分别采集一次曝光的图像,使各视角的有效条纹反射区域共同覆盖预定待检表面,各视角图像分别执行检测并按视角编号汇总检测位置和检测有效状态,不以跨视角同一表面点的图像对应关系或特征融合为必要步骤;存在未覆盖或成像无效的待检区域时输出复核状态。
27、一种条纹反射图像干预处理及跨型号检测系统,包括存储器及处理器、静态周期条纹生成装置和用于采集完整条纹反射图像的成像装置;所述存储器存储源型号真实图像及缺陷标注、未进行缺陷标注的目标型号图像和程序;所述处理器执行程序以实现上述的方法,所述处理器在执行所述程序时实现:
28、复条纹解析模块,其用于对完整图像执行条纹分量解析,得到具有共同基频及不同阶次的复条纹分量,并构造条纹结构量;
29、阶次锁定干预模块,其用于对同一干预支撑区设置共同相移,按照各复条纹分量的阶次与所述共同相移的乘积改变相位,将相位改变前后的实部差叠加至所述完整图像,重构得到干预图像;
30、再解析有效性检验模块,其用于以重构得到的所述干预图像为输入重新解析复条纹分量,根据重新解析的条纹结构量相对于原图条纹结构量的偏差、分量可分离性及饱和状态确定辅助学习有效权重;
31、检测及结构辅助学习模块,其包括共享图像特征提取模块以及分别连接于所述共享图像特征提取模块的缺陷检测分支和条纹结构辅助分支,并以真实源型号图像的缺陷标注约束所述缺陷检测分支、以所述辅助学习有效权重约束条纹结构辅助分支的学习,更新所述共享图像特征提取模块的至少部分参数;
32、结果输出模块,其用于将目标型号零件的完整实拍图像输入更新后的所述共享图像特征提取模块及所述缺陷检测分支,输出缺陷位置。
33、本发明的有益效果是,本发明通过对各阶复条纹分量施加阶次与共同相移乘积的同步相位改变,并将相位改变前后的实部差叠加至完整原图重构干预图像,使条纹明暗位置在不删除背景及未建模残差的条件下发生受控改变,同阶相邻相位关系与跨阶次相位关系在所用解析模型下保持不变,为辅助学习提供了数学上可解释、结构上可检验的图像变换手段,解决了硬裁剪删除全局上下文信息的问题。
34、本发明通过以重构后的像素图像为输入重新执行条纹分量解析,依据实测的结构偏差、复分量再分析偏差、分量可分离性及饱和状态确定辅助学习有效权重,将辅助监督严格限定在经过像素级检验的可信位置,检验不通过时放弃相应辅助约束而非删除或标为正常,避免了仅由代数关系自证可靠所导致的错误监督,解决了不可信干预破坏模型训练的问题。
35、本发明通过共享图像特征提取模块连接缺陷检测分支与条纹结构辅助分支,以真实源型号缺陷标注维持缺陷判别能力,以有效权重门控的结构学习将源型号与目标型号图像中与型号无关的条纹结构知识注入共享特征,在目标型号缺少缺陷标注的条件下完成模型适配,减少了对目标型号人工缺陷标注的依赖。
36、本发明通过单次曝光采集完整图像、推理阶段仅依赖完整实拍图像且可移除结构辅助分支,降低了图像采集与部署的复杂度;通过多视角分区覆盖、按视角汇总检测位置与有效状态并在未覆盖时输出复核状态,保证了检测结果的完整性与可核查性,提升了方案在工业质量检测场景中的实际应用价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com