一种基于图纸与视觉融合的机器人自主电气接线定位方法
本发明涉及工业机器人自动化装配,尤其涉及一种基于图纸与视觉融合的机器人自主电气接线定位方法。
背景技术:
1、在工业自动化装配过程中,电气柜线缆自动插接与紧固作业的核心前提是精准获取接线孔在机器人坐标系下的三维位置与姿态。随着对生产效率和精度要求的提升,传统人工接线方式已难以满足规模化、高标准的生产需求,机器人自主接线成为发展趋势,而接线孔的高精度定位是实现这一技术的关键环节,相关技术的优化升级对电气制造行业的智能化转型具有重要意义。现有技术主要通过两类路线实现接线孔定位:一类是纯视觉定位方法,利用深度学习算法检测器件区域,再通过特征匹配确定孔位,依赖相机采集的现场图像信息完成定位;另一类是基于离线图纸的引导方法,通过导出三维模型与接线表直接获取孔位坐标,依靠设计阶段的图纸数据指导现场装配。这两类方法分别从现场感知和离线设计数据两个维度出发,试图解决定位问题,但均未形成技术协同。
2、现有技术存在明显局限:一方面,环境适应性与稳定性不足,纯视觉方法易受光照变化、物体遮挡、金属反光等现场环境因素影响,在器件表面纹理较弱的场景下,特征匹配成功率大幅下降,导致定位结果不稳定;另一方面,设计与实际场景的适配性欠缺,基于离线图纸的方法对三维设计数据要求较高,增加了中小型企业的应用成本,且无法补偿设计与制造过程中产生的误差,难以精准匹配实际装配场景,往往需要人工干预才能完成接线作业,制约了自动化水平的提升。
技术实现思路
1、为了克服现有技术存在的缺点与不足,本发明提供一种基于图纸与视觉融合的机器人自主电气接线定位方法。
2、本发明所采用的技术方案是,一种基于图纸与视觉融合的机器人自主电气接线定位方法,包括以下步骤:s1,调用eplanapi打开电气工程文件,遍历所有页提取元件层的设备标识符、部件号、安装信息等数据生成元件表,提取连接层的导线号、起止元件及端子号生成原始接线表,将原始接线表重排为以导线为单元的标准任务描述;s2,在eplan安装布局图中构建二维坐标系,通过特征匹配获取元器件中心相对坐标,在电气柜安装板粘贴aruco标记,通过相机拍摄确定成像区域边界,将相对坐标转换为现场图像预期像素位置,以该位置为中心构建感兴趣区域;s3,构建电气元件图像数据集并经多策略增强,训练yolov8n目标检测模型,现场作业时将相机采集图像输入模型,输出元件边界框及置信度,裁剪局部子图像作为后续检测区域;s4,将检测框沿竖直方向划分为三个等高区域,仅在上下部1/3区域执行霍夫圆检测,对图像进行去噪处理后获取候选圆圆心及半径,按纵坐标聚类并修正孔位坐标,剔除异常点;s5,在元件感兴趣区域内采用harris角点算子提取候选角点,按检测框几何约束筛选四个外轮廓角点,结合元件实际尺寸定义角点三维坐标,利用ransac-pnp算法求解旋转矩阵和平移向量,构建正交工件坐标系;s6,通过手眼标定获得相机与机器人基坐标系变换矩阵,将元件位姿转换至机器人基坐标系,采用扩展卡尔曼滤波对连续帧位姿进行递归估计,通过观测残差判断并屏蔽异常观测。
3、进一步地,所述s2中坐标转换采用如下公式:,其中为成像区域左上角像素坐标,为成像区域右下角像素坐标,、为布局图中元器件相对坐标,为坐标修正量,用于补偿安装偏差;角点响应函数满足:,其中为像素二阶矩矩阵,为灵敏度系数,为抗干扰修正项。
4、进一步地,所述s5中工件坐标系构建涉及如下公式:,其中为旋转矩阵,为平移向量,为位置修正向量,为尺度调整因子;pnp解算中存在约束关系:,其中为尺度因子,为相机内参矩阵,为物体坐标系下角点坐标,为初始平移向量,为平移补偿量。
5、进一步地,所述s6中位姿转换及滤波采用如下公式:,其中为相机与机器人基坐标系变换矩阵,为标定误差修正矩阵;ekf状态更新公式为:,,其中为更新后状态估计值,为卡尔曼增益,为观测值,为观测矩阵,为观测噪声修正项,为先验协方差矩阵,为观测噪声协方差矩阵,为鲁棒性调整矩阵。
6、进一步地,所述s4中孔位修正采用如下公式:,其中为第k行平均纵坐标,为该行孔位数量,为第i个孔位原始纵坐标,为权重系数,为修正后纵坐标,为修正系数,为纵坐标分布标准差。
7、进一步地,所述s2包括以下分步骤:s2.1,在eplan安装布局图中设定标定原点与坐标轴方向,通过surf特征匹配技术将元器件标准模板与布局图进行比对,获取每个元器件在该坐标系下的中心相对坐标;s2.2,在电气柜安装板实际场景的左上角和右下角两个标定位置分别固定粘贴aruco标记,确保标记表面平整且无遮挡;s2.3,系统初始化阶段,控制机身上方的rgb-d相机拍摄整个电气柜安装板,通过图像识别算法检测两枚aruco标记在图像中的像素坐标,进而确定安装板在图像中的完整成像区域边界坐标;s2.4,依据预设的线性映射关系,将布局图中获取的元器件相对坐标转换为现场图像中的预期像素位置,以该像素位置为中心划定固定范围的感兴趣区域,同时用于校验现场识别结果与设计数据的对应关系。
8、进一步地,所述s3包括以下分步骤:s3.1,收集断路器、接触器、端子排不同种电气柜常用单类电气元件的图像,构建基础图像数据集,确保包括不同工作状态下的元件外观;s3.2,对基础数据集采用噪声添加、亮度梯度调整、几何形态变换、图像模糊处理及mosaic多实例组合不同种数据增强策略,扩充样本数量至预设规模;s3.3,基于扩充后的数据集训练yolov8n目标检测模型,设定输入图像固定尺寸与训练轮数,完成模型参数迭代优化;s3.4,现场作业过程中,将rgb-d相机实时采集的电气柜内部图像输入训练完成的yolov8模型,模型输出每个元件对应的边界框坐标及置信度数值,根据边界框信息裁剪出局部子图像,作为后续孔位检测的专属处理区域。
9、进一步地,所述s4包括以下分步骤:s4.1,针对yolov8模型输出的元件边界框,按照竖直方向的长度尺寸将其均匀划分为三个等高的独立区域,明确限定仅在上部1/3区域和下部1/3区域内执行后续孔位检测操作;s4.2,对筛选出的两个目标区域对应的局部图像进行灰度化处理,去除色彩干扰,再通过中值滤波算法对灰度图像进行去噪处理,降低环境噪声影响;s4.3采用霍夫圆变换算法对去噪后的图像进行检测,提取所有满足圆形特征的候选圆,记录每个候选圆的圆心像素坐标与半径数值;s4.4,将所有候选圆的圆心按纵坐标数值进行聚类分析,计算每一类的平均纵坐标,将该类中所有孔位的纵坐标统一修正为该平均纵坐标,设定偏差阈值,将偏离平均值超过阈值的点判定为异常点并予以剔除。
10、进一步地,所述s5包括以下分步骤:s5.1,在同一元件的感兴趣区域图像中,应用harris角点算子对图像像素进行计算,通过构建每个像素的二阶矩矩阵,求解角点响应函数值,经设定阈值筛选得到初始候选角点集合;s5.2,计算该元件检测框的中心点像素坐标,以中心点为基准将检测框划分为左上、右上、左下、右下四个均等子区域;s5.3,在每个子区域内遍历所有候选角点,筛选出距离检测框中心点最远的角点,最终获得四个位于元件外轮廓且位置稳定的角点;s5.4,根据元件实际物理尺寸参数,在预设的物体坐标系中定义四个角点的三维坐标,结合已知的相机内参矩阵,运用ransac-pnp算法求解相机坐标系到物体坐标系的旋转矩阵和平移向量,以平面法向量、相邻角点方向及叉乘结果构建正交工件坐标系。
11、一种基于图纸与视觉融合的机器人自主电气接线定位方法,该方法通过不同单元实现,包括:eplan图纸离线解析与先验信息提取单元,用于调用eplanapi解析电气工程文件,提取元件层与连接层数据并生成标准化接线任务描述,为后续定位提供先验数据支撑;布局图坐标映射与aruco标记匹配单元,用于构建布局图坐标系并实现与现场图像坐标的精准映射,通过aruco标记确定成像区域并构建感兴趣区域;yolov8目标检测与局部图像提取单元,用于基于训练完成的模型对相机采集图像进行元件检测,输出边界框并裁剪局部子图像;霍夫圆变换与行结构先验孔位精定位单元,用于分区执行孔位检测、去噪处理、聚类修正及异常点剔除,获取精确孔位二维坐标;harris角点筛选与pnp位姿解算单元,用于提取并筛选角点,结合元件尺寸解算六自由度位姿并构建工件坐标系;跨坐标映射与ekf动态滤波优化单元,用于实现坐标系转换,通过扩展卡尔曼滤波抑制位姿跳变并屏蔽异常观测;各单元按数据流转顺序依次连接,前一单元的输出数据作为后一单元的输入数据,形成完整的定位数据处理链路。
12、有益效果:本发明提出一种基于图纸与视觉融合的机器人自主电气接线定位方法,针对纯视觉定位鲁棒性差的问题,利用离线解析获取的元件布局与接线拓扑信息约束视觉检测范围,结合分区检测、结构先验修正及动态滤波策略,抵御光照、遮挡、反光等环境干扰,同时避免纯图纸引导无法补偿制造误差的弊端,通过视觉实时感知实现设计与实际场景的精准适配,无需完整三维模型降低企业应用成本。本发明以标准化任务描述明确机器人执行序列,通过坐标映射与感兴趣区域构建提升检测针对性;多策略数据增强训练的目标检测模型与分区孔位检测相结合,保障孔位提取的精准性;角点筛选与位姿解算技术提供完整六自由度信息,满足机器人插接全自由度需求;动态滤波机制有效抑制位姿跳变,输出连续稳定的定位结果。整个方法无需人工干预,适配性强且易于部署,既充分利用设计阶段先验信息,又通过视觉感知弥补离线数据的局限性,实现复杂工况下接线孔位姿的高精度、高可靠性估计。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com