基于目标检测引导和极线约束的焊接点三维坐标获取方法

摘要: 本发明属于机器视觉,具体涉及基于目标检测引导和极线约束的焊接点三维坐标获取方法。背景技术:1、在高频焊接及自动化焊接中,焊接设备需在动作前获取待焊点的三维空间坐...
基于目标检测引导和极线约束的焊接点三维坐标获取方法

本发明属于机器视觉,具体涉及基于目标检测引导和极线约束的焊接点三维坐标获取方法。

背景技术:

1、在高频焊接及自动化焊接中,焊接设备需在动作前获取待焊点的三维空间坐标,其精度直接影响轨迹规划与焊接质量。传统人工示教依赖经验,效率低、重复性差,且易受装夹误差影响,难以满足高速度、高精度与高一致性要求。

2、机器视觉技术为此提供了非接触解决方案。单目视觉结构简单但深度信息获取困难,依赖额外约束,在工件姿态变化或焊点分布不规则时适应性不足;双目视觉利用左右视差恢复三维坐标,测量速度快、结构适中,更适合焊接点定位。

3、现有双目视觉方法通常先检测左右图像中的焊接点,再通过三角测量计算三维坐标。但实际应用中,焊点尺寸小、表面反光、对比度不稳定,常规图像处理易受干扰,识别慢且稳定性差。近年引入的目标检测网络可快速输出候选区域,提高粗定位效率,但存在明显局限:检测框中心点可能偏离真实焊接基准点,框位微小抖动在深度计算中被放大,且检测结果仅为区域级定位,无法满足亚像素级精度要求。

4、此外,左右图像中多个相似焊点易发生同名点误匹配,若仅依赖类别、置信度或位置顺序进行匹配,即使单帧检测置信度高,也可能输出错误三维坐标,影响设备安全。现有方法亦未充分利用极线几何约束与工作距离范围限制匹配搜索区域,抗干扰能力不足;三维坐标输出前缺少重投影误差、极线偏差、匹配质量与检测置信度的联合评价,难以及时识别二维检测成功而三维结果不可靠的情况。

5、焊接前工件相对静止,连续多帧真实坐标应稳定。单帧定位易受瞬时噪声与反光波动影响,固定多帧平均虽提高稳定性但增加计算耗时,不利于高速定位。综上,现有技术存在检测框偏差、同名点误匹配、约束利用不足、可靠性评价缺失、速度与精度难平衡等突出问题,亟需改进。

技术实现思路

1、本发明的目的在于提供一种基于目标检测引导和极线约束的焊接点三维坐标获取方法,以解决现有焊接点视觉定位方法中存在的检测框中心定位不准确、左右图像同名焊接点容易误匹配、三维坐标输出缺少可靠性验证以及定位速度与定位精度难以兼顾的问题。

2、本发明采用如下技术方案实现上述目的:

3、一种基于目标检测引导和极线约束的焊接点三维坐标获取方法,包括如下步骤:

4、步骤s1:获取双目相机同步采集的左视图像和右视图像,根据预先标定的左相机内参矩阵、右相机内参矩阵、畸变参数以及左右相机之间的旋转矩阵和平移向量,对左视图像和右视图像进行畸变校正和极线校正;

5、步骤s2:将至少一幅校正后的图像输入经焊接点样本训练得到的目标检测模型,获得焊接点候选区域、类别信息和检测置信度,其中,所述目标检测模型用于确定焊接点所在的候选区域,而不直接将候选区域的几何中心作为焊接点的最终二维定位坐标;

6、步骤s3:根据焊接点候选区域生成局部感兴趣区域,在局部感兴趣区域内执行图像增强、边缘提取、轮廓提取、关键点响应生成和几何拟合中的至少一种精定位处理,获得焊接点在图像中的亚像素级二维坐标;

7、步骤s4:基于双目相机的极线几何关系和焊接工作距离范围,在另一幅图像中确定与焊接点候选区域对应的极线搜索区域,并在极线搜索区域内进行同名焊接点匹配;

8、步骤s5:根据匹配得到的左图焊接点亚像素坐标和右图焊接点亚像素坐标,结合双目相机标定参数进行三角测量,得到焊接点在相机坐标系下的候选三维坐标;

9、步骤s6:将候选三维坐标分别重投影至左视图像和右视图像并计算重投影误差,根据检测置信度、极线偏差、匹配代价和重投影误差计算焊接点定位可信度;

10、步骤s7:当定位可信度满足预设可信度阈值且重投影误差小于预设误差阈值时,输出焊接点三维坐标;当不满足输出条件时,扩大局部感兴趣区域重新精定位,或者重新执行目标检测,并对异常焊接点输出异常状态标识。

11、进一步地,步骤s2中,所述目标检测模型为单阶段目标检测网络,优选为yolov8系列目标检测网络;所述目标检测模型通过采用labelimg标注得到的焊接点训练集、验证集和测试集进行训练,用于在焊接图像中快速输出焊接点候选区域,以减少后续精定位算法的全图搜索范围。

12、进一步地,所述步骤s3中,所述局部感兴趣区域由所述焊接点候选区域按大于1的预设扩展比例向外扩展得到;在所述局部感兴趣区域内生成焊接点关键点响应图,并在所述关键点响应图的响应峰值邻域内采用加权重心法计算焊接点的亚像素级二维坐标。

13、进一步地,步骤s3中,所述精定位处理包括如下至少一种方式:

14、a.对局部感兴趣区域进行灰度归一化、对比度增强和滤波去噪后,提取焊接点边缘轮廓,并将轮廓质心作为焊接点精定位点;

15、b.提取焊缝边界线、工件接触线或待焊区域边缘线,通过直线拟合、圆弧拟合或中心线拟合获得几何交点,并将所述几何交点作为焊接点精定位点;

16、c.生成焊接点中心响应热力图,并对响应峰值邻域进行二次曲面拟合或高斯曲面拟合,将拟合峰值作为焊接点精定位点;

17、d.对目标检测候选框中心进行局部偏移修正,得到与实际焊接基准点对应的亚像素级二维坐标。

18、进一步地,所述步骤s4中,经极线校正后,左视图像中焊接点亚像素坐标在右视图像中的同名焊接点被限制在极线搜索区域内,所述极线搜索区域由极线容差以及由焊接工作距离范围确定的最小视差和最大视差共同限定;所述最小视差和最大视差根据双目相机的焦距、基线长度以及焊接工作距离范围按双目三角测量关系确定,以将右视图像中同名焊接点的搜索范围由整幅图像缩小至极线带区域。

19、进一步地,所述步骤s4中,左右图像中候选焊接点的匹配代价根据极线偏差项、局部特征差异项、视差范围惩罚项和类别或置信度一致性项加权计算得到,各项权重为非负且和为1;当最优匹配代价小于预设匹配阈值、且次优匹配代价与最优匹配代价之差大于预设唯一性阈值时,将对应的左右焊接点确定为同名焊接点;所述极线偏差项根据左右焊接点的纵向坐标差与极线容差的比值确定;所述视差范围惩罚项根据左右焊接点视差是否处于预设视差范围来确定,处于该范围内时取零,超出该范围时随超出量增大而增大。

20、进一步地,所述步骤s5中,当左右图像已完成极线校正且双目相机满足平行双目模型时,根据左右焊接点的视差和双目相机的焦距、基线长度计算焊接点深度坐标,并根据相机内参的焦距和主点坐标计算焊接点在相机坐标系下的横向坐标和纵向坐标,得到焊接点的候选三维坐标。

21、进一步地,所述步骤s6中,所述重投影误差根据所述候选三维坐标分别投影至左视图像和右视图像得到的预测像点、与对应图像中亚像素焊接点坐标之间的偏差确定;当所述重投影误差大于预设重投影误差阈值时,删除对应候选三维坐标或重新进行局部精定位;所述定位可信度根据检测置信度、局部特征匹配质量、归一化极线误差和归一化重投影误差加权计算得到,各权重为非负且和为1;当所述定位可信度不小于预设可信度阈值、且所述重投影误差不大于预设重投影误差阈值时,判定焊接点三维坐标有效。

22、进一步地,在焊接前工件保持静止的条件下,对连续多帧双目图像得到的有效候选三维坐标进行鲁棒融合,所述鲁棒融合包括:计算多帧候选三维坐标的坐标中位数和中位数绝对偏差,剔除偏离所述中位数的异常三维坐标,再对剩余三维坐标按对应的所述定位可信度加权融合,得到融合后的焊接点三维坐标。

23、进一步地,多帧采集帧数位于预设最小帧数与预设最大帧数之间;当有效候选三维坐标数量不小于所述预设最小帧数、三维坐标离散度不大于预设离散度阈值、且综合定位可信度不小于综合可信度阈值时,停止采集并输出所述融合后的焊接点三维坐标;否则继续采集直至满足输出条件或达到所述预设最大帧数。