一种基于多源视觉融合的车辆焊接状态识别方法及系统与流程
本发明涉及图像处理和多视图图像分析,特别涉及一种用于电动三轮车车架焊接的状态识别方法及系统。
背景技术:
1、电动三轮车车架通常包括管件、横梁和连接支架,焊接部位具有曲面与平面相接、相邻构件遮挡以及薄壁母材受热后位置变化的特点。在焊接过程中,电弧强光、飞溅、烟尘和镜面反射会影响图像中的焊缝边界;在焊后观察过程中,相机位姿变化与母材位移还会共同改变焊缝在图像中的位置。因此,可见光图像与红外图像的联合处理需要解决同一位置的关联、边界真实性判断及成像变化与实际几何变化的区分问题。
2、在一种多源图像处理方式中,先对不同图像进行配准,再分别提取焊缝特征并融合识别结果,识别存在歧义时补充采集图像。若配准时允许待检焊缝或受热变形区域参与自由拟合,则真实偏移或变窄可能被吸收到配准变换中;若分别给两侧边界附加独立误差,则共同相机平移等误差会被重复计入宽度范围。上述两种处理均可能使真实异常与成像干扰之间的区别减弱。
3、另一方面,补充采集到的图像即使边界更清晰,也不必然能够区分当前仍然成立的正常形态与异常形态。若未事先确定两类形态在何处产生不同的可见边界,或者在新图像到达后任意调整参数解释新图像,则难以确认复核图像是否提供了独立的判别依据。因此,需要一种能够约束参考估计来源、保持多边界之间共同误差关系并按实际判别需要选择复核位置的图像处理方法。
技术实现思路
1、本技术提供了一种基于多源视觉融合的车辆焊接状态识别方法及系统,用于解决多源图像处理中真实几何变化易被配准变换吸收、共同误差被重复计入以及补充观察缺少针对性而导致正常与异常难以区分的技术问题。
2、本技术的第一个方面,提供了一种基于多源视觉融合的车辆焊接状态识别方法,所述方法包括:
3、步骤一,关联同一焊接位置及阶段的多源图像,划定包含待检焊缝的保护区域;
4、步骤二,仅由保护区域外夹具参考和母材参考确定相互关联的成像参数及母材位移范围;
5、步骤三,将候选焊缝几何与所述范围内的相容参数组合投影至原始图像,使同一候选组合中的相关边界共享对应的成像参数和母材位移参数,保留符合有效实测特征及误差约束的组合,按检测项的几何允许范围区分正常候选与异常候选;
6、步骤四,两类候选均未排除时,预测其在可用复核图像中的边界范围,选择至少一对异类候选的预测范围计入误差后可分离的位置,记录预测及参数版本;
7、步骤五,有所选位置时取得实际图像,核验区域外参考及阶段有效性,核验通过后以实际边界和记录预测的不相容关系排除候选,不以待检焊缝扩展参数范围;
8、步骤六,当参考和对应检测项的图像覆盖有效,且正常候选与异常候选中的一类存在符合全部约束的具体组合、另一类候选全部排除时,输出所述存在具体组合的一类所对应的正常状态或异常状态,不满足正常或异常状态输出条件时输出无法判定并保留未排除候选;其中,两类候选仍并存且未到复核截止条件时继续复核,候选组合检验尚未完成时继续候选检验。
9、进一步,所述多源图像包括不同观察方向的可见光图像和红外图像。保护区域由预设焊缝走廊、疑似异常区域、红外辐射变化区域和图像饱和区域合并并按映射误差扩展形成;同一待检事件内新增区域并入保护区域,保护区域内像素用于检测而不用于拟合成像参数和母材位移。
10、进一步,利用夹具固定参考约束相机成像变化,利用保护区域两侧的母材参考约束母材相对于焊前基准的位置变化。保留未参与拟合的参考标记检查投影残差,参考分布退化或残差超界时记录参考估计无效。
11、进一步,从多源图像中的原始可见光图像提取焊缝边界位置、边界方向以及遮挡和饱和标记,候选检验保留同一相机、尺度及母材基准在不同边界之间的共享关系。对于不能确认的边界对应保留多个分支;对于遮挡或饱和位置不以缺少边界否定候选。采用覆盖全部允许参数取值的区间单元及其投影外包范围进行排除,未完成判别的单元仍予保留。
12、进一步,在参考估计和图像覆盖均有效时,以正常候选与异常候选的排除情况及具体可行组合确定单项状态;两类候选均被排除时记录图像约束不一致,不将其直接判为焊接异常。不能完成判别的情况输出无法判定状态。
13、进一步,在候选复核图像中预测两类候选的边界位置范围,将成像误差、相机位姿预测误差及焊缝变化误差计入预测,将正常候选分支与异常候选分支配对,选择至少一对异类分支的预测范围之间的间隔超过最小可分辨间隔的位置。记录预测及参数版本后再读取实际待检图像内容,利用实际边界完成排除;全部候选不相容时,仅依据保护区域外的新参考重新估计参数并保留版本记录。
14、进一步,按工件、焊缝、道次、位置和阶段建立状态记录,分别保存焊接过程和焊后成形表面的识别结果,分别记录当前接缝位移、焊缝相对当前接缝偏移以及焊缝相对焊前基准偏移;到达复核截止条件时保存结果和未判定位置。
15、本技术的第二个方面,提供了一种多源视觉融合的车辆焊接状态识别系统,所述系统包括:
16、图像关联模块,用于接收多源图像及观察条件,关联同一焊接位置及阶段的图像,划定包含待检焊缝的保护区域,将关联图像及保护区域传递至参考估计模块和候选检验模块,将位置、阶段及可用观察条件传递至复核选择模块;
17、参考估计模块,用于仅由保护区域外夹具参考和母材参考确定相互关联的成像参数及母材位移范围,将所述范围、关联关系、参考有效性和参数版本传递至候选检验模块、复核选择模块和复核更新模块,并将参考有效性传递至状态输出模块;
18、候选检验模块,用于接收关联图像、参考估计结果及检测项的几何允许范围,将候选焊缝几何与参考估计结果中成像参数及母材位移范围内的相容参数组合投影至原始图像,使同一候选组合中的相关边界共享对应的成像参数和母材位移参数,保留符合有效实测特征及误差约束的组合,区分正常候选与异常候选,将候选、具体可行组合及有效图像覆盖情况传递至复核选择模块和状态输出模块;
19、复核选择模块,用于在两类候选均未排除时,根据所接收的候选、参数范围、阶段及可用观察条件预测各候选的边界范围,选择至少一对异类候选的预测范围计入误差后可分离的观察位置,将记录的预测、参数版本及所选位置传递至复核更新模块,无所选位置时将该结果传递至状态输出模块;
20、复核更新模块,用于在存在所选位置时取得实际图像,经图像关联模块及参考估计模块核验区域外参考和阶段有效性,核验通过后以实际边界和记录预测的不相容关系排除候选,不以待检焊缝扩展参数范围,将实际图像约束和更新候选传回候选检验模块,将核验未通过的原因传递至状态输出模块;
21、状态输出模块,用于接收参考有效性、候选检验结果和复核结果,在参考和覆盖有效、存在符合全部约束的具体组合且另一类候选全部排除时,输出对应正常或异常状态,否则输出无法判定并保留未排除候选,在未到复核截止条件时向复核选择模块反馈待复核信息。
22、本技术中提供的技术方案,具有如下技术效果:
23、保护区域使待检焊缝、疑似异常和强辐射变化区域不能反向改变用于解释图像的参考参数,从数据来源上限制将局部真实异常拟合为相机变化的情形;夹具参考与母材参考分别约束成像变化和实际位移,使母材受热移动能够作为状态结果保留。
24、在同一候选组合中共用成像参数,使焊缝宽度、中心偏移与原始边界之间保持一致的几何关系。共同平移对两侧边界差值的影响在同一组合内抵消,尺度等不能抵消的误差继续保留,从而避免将同一误差作为两项独立误差反复放大,也避免依靠各自有利但不能同时成立的边界位置组成正常焊缝。
25、根据正常候选和异常候选的预测分离位置选择复核图像,使补充观察对应于尚未解决的具体几何歧义。先保存预测后检验实际图像,并禁止用待检区域扩展参考范围,限制根据新结果反向修改解释条件的情形,使候选排除具有可追溯的实际图像依据。
26、对覆盖不足、计算未完成及约束不一致分别保留无法判定原因,防止将缺少证据当作正常或异常证据。上述效果来源于图像区域划分、几何投影约束和复核数据处理之间的配合,无需改变焊接电流、电压或焊枪运动控制参数。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com