一种基于深度目标检测与视觉惯性里程计融合的爬壁机器人焊缝定位方法及系统
本发明涉及大型承压储罐无损检测与机器人自主定位,特别是一种基于深度目标检测与视觉惯性里程计融合的爬壁机器人焊缝定位方法及系统。
背景技术:
1、大型承压储罐是石油化工、能源储备、核电等行业的核心设备,长期在高温、高压、强腐蚀工况下运行。焊缝作为储罐结构的薄弱环节,易产生裂纹、气孔、未熔合等缺陷,一旦失效将引发泄漏、爆炸等重大安全事故。传统检测依赖人工攀爬或搭建脚手架作业,存在高空坠落、介质中毒等高危风险,且检测效率低、数据可追溯性差。
2、近年来,爬壁机器人搭载超声检测设备已成为储罐焊缝检测的重要发展方向。然而,现有技术在焊缝精准定位方面仍存在不足。纯视觉里程计在储罐壁面纹理单一、光照变化剧烈的条件下易发生特征丢失和跟踪失败,而纯惯性导航存在累计漂移问题,长时间工作后定位误差显著增大。此外,现有方案往往将焊缝检测与机器人定位作为两个独立模块处理,缺乏两者的深度耦合与信息互馈,导致检测效率低、路径规划缺乏全局指导。在大范围储罐壁面上直接进行高精度焊缝定位,计算量大、实时性差,难以兼顾全局感知与局部精度。
3、针对上述问题,已有专利如基于视觉焊缝位姿初始化的储罐爬壁机器人全局定位方法提出利用焊缝信息进行初始位姿标定,但该方法仍依赖传统视觉特征提取,在复杂工况下鲁棒性有限。因此,需要一种能够深度融合深度学习目标检测与视觉惯性里程计的焊缝精准定位的方法及系统。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种基于深度目标检测与视觉惯性里程计融合的爬壁机器人焊缝定位方法及系统,通过深度学习目标检测与视觉惯性里程计的融合,有效克服了储罐壁面纹理稀疏、光照不均等复杂工况下单一传感器易失效、易漂移的问题,实现了厘米级焊缝定位精度,适用于石油化工、能源储备等领域大型承压储罐壁面焊缝的自动化检测与定位。
2、为实现上述目的,本发明采用如下技术方案:一种基于深度目标检测与视觉惯性里程计融合的爬壁机器人焊缝定位方法,包括以下步骤:
3、s1、通过部署在爬壁机器人上的rgb相机采集储罐壁面图像,通过惯性测量单元采集惯性数据;
4、s2、基于yolo目标检测网络对采集到的图像进行焊缝目标检测,输出焊缝目标在图像中的检测框信息;
5、s3、基于深度学习特征提取与匹配的视觉惯性里程计,根据图像和惯性数据实时推算机器人的六自由度位姿,并输出位姿协方差矩阵;
6、s4、根据所述位姿协方差矩阵的迹,动态调整所述yolo目标检测网络的检测参数;
7、s5、将步骤s2输出的检测框信息与步骤s3输出的六自由度位姿进行空间坐标统一,计算焊缝在世界坐标系下的三维坐标,并通过协方差加权的跨帧融合策略平滑焊缝坐标输出。
8、在一较佳的实施例中,所述检测参数包括置信度阈值和非极大值抑制交并比阈值,所述动态调整具体为:
9、当所述协方差矩阵的迹大于或等于预设第一阈值时,降低所述置信度阈值并提高所述非极大值抑制交并比阈值;
10、当所述协方差矩阵的迹小于或等于预设第二阈值时,提高所述置信度阈值并降低所述非极大值抑制交并比阈值;
11、当所述协方差矩阵的迹介于所述预设第二阈值和预设第一阈值之间时,所述置信度阈值和所述非极大值抑制交并比阈值随所述协方差矩阵的迹线性变化。
12、在一较佳的实施例中,步骤s3中所述视觉惯性里程计采用基于滑动窗口的非线性优化器,所述非线性优化器的总代价函数包括先验信息残差、imu预积分残差和视觉重投影残差三项的加权平方和,所述先验信息残差通过对滑动窗口内被边缘化的旧关键帧及其观测信息进行舒尔补操作获得。
13、在一较佳的实施例中,步骤s3中所述深度学习特征提取与匹配具体包括:
14、采用superpoint深度学习特征提取器提取图像中的特征点;
15、采用lightglue深度学习匹配器对相邻帧的特征点进行匹配;
16、采用基于ransac的几何验证方法对匹配点对进行筛选,剔除误匹配外点。
17、在一较佳的实施例中,步骤s5中所述协方差加权的跨帧融合策略具体包括:设上一帧焊缝世界坐标为 xold,对应协方差迹为 pold;当前帧计算所得焊缝坐标为 xnew,对应协方差迹为 pnew,则融合后坐标 xfused 为:,其中。
18、在一较佳的实施例中,步骤s5中所述空间坐标统一具体包括:
19、根据图像时间戳在视觉惯性里程计的位姿流中查找最近邻位姿;
20、利用已标定的相机内参矩阵将所述检测框信息的中心像素坐标转换为相机归一化坐标;
21、通过手眼标定矩阵将所述相机归一化坐标转换至机器人坐标系;
22、根据所述最近邻位姿将所述机器人坐标系下的坐标转换至世界坐标系,得到焊缝在世界坐标系下的三维坐标。
23、在一较佳的实施例中,还包括回环检测与全局优化步骤:对每一帧图像提取dinov2视觉transformer的全局特征并聚合成全局描述子;当当前帧描述子与历史关键帧描述子的相似度超过预设阈值时,触发回环候选并进行几何验证;若几何验证通过,将回环约束送入位姿图优化器,对滑动窗口外的所有历史关键帧进行全局位姿调整,并更新已计算的所有焊缝三维坐标。
24、本发明还提供了一种基于深度目标检测与视觉惯性里程计融合的爬壁机器人焊缝定位系统,应用于所述的一种基于深度目标检测与视觉惯性里程计融合的爬壁机器人焊缝定位方法,所述系统包括:
25、传感器模块,包括部署于爬壁机器人的rgb相机、惯性测量单元,用于采集储罐壁面图像和惯性数据;
26、yolo目标检测模块,用于基于yolo目标检测网络对采集到的图像进行焊缝目标检测,输出焊缝目标在图像中的检测框信息;
27、视觉惯性里程计模块,用于基于深度学习特征提取与匹配,根据所述图像和惯性数据实时推算机器人的六自由度位姿,并输出位姿协方差矩阵;
28、融合定位模块,用于根据所述位姿协方差矩阵的迹动态调整所述yolo目标检测模块的检测参数,并将所述检测框信息与所述位姿进行空间坐标统一,计算焊缝在世界坐标系下的三维坐标,通过协方差加权的跨帧融合策略平滑焊缝坐标输出。
29、在一较佳的实施例中,所述视觉惯性里程计模块具体包括:
30、前端,基于superpoint深度学习特征提取器和lightglue深度学习匹配器进行特征提取与匹配,并采用基于ransac的几何验证方法筛选匹配点对;
31、后端,采用基于滑动窗口的非线性优化器,其总代价函数包括先验信息残差、imu预积分残差和视觉重投影残差三项的加权平方和,所述先验信息残差通过对滑动窗口内被边缘化的旧关键帧及其观测信息进行舒尔补操作获得。
32、在一较佳的实施例中,还包括回环检测模块:所述回环检测模块用于对每一帧图像提取dinov2视觉transformer的全局特征并聚合成全局描述子,当当前帧描述子与历史关键帧描述子的相似度超过预设阈值时触发回环候选并进行几何验证,若验证通过则将回环约束送入所述视觉惯性里程计模块的位姿图优化器进行全局调整,并更新所有已计算的焊缝三维坐标。
33、与现有技术相比,本发明具有以下有益效果:本发明通过将yolo深度目标检测网络与基于深度学习特征的视觉惯性里程计进行融合,有效克服了大型承压储罐壁面纹理稀疏、光照剧烈变化等复杂工况下单一传感器易失效、易漂移的问题;一方面,利用yolo目标检测网络快速锁定焊缝候选区域,为视觉惯性里程计提供语义层面的目标关联,另一方面,基于superpoint与lightglue的深度学习特征提取与匹配机制显著提升了跨帧匹配的内点率与鲁棒性,配合滑动窗口非线性优化器实现厘米级的焊缝定位精度;同时,通过根据位姿协方差矩阵的迹动态自适应调节yolo置信度阈值与非极大值抑制交并比阈值,实现了检测灵敏度随定位不确定性变化的智能响应,结合协方差加权跨帧融合策略进一步抑制了单帧检测抖动,保证了焊缝坐标输出的连续性与平滑性;此外,可选集成的回环检测模块通过dinov2全局特征描述子与位姿图优化对大范围巡检中的累计漂移进行有效修正,确保焊缝位置具有全局一致性,从而为石油化工、能源储备等领域大型承压储罐焊缝自动化检测提供了一种高精度、强鲁棒且具备工业现场实时部署能力的完整技术方案。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com