一种面向真空断路器电气试验的机器人视觉定位方法

摘要: 本发明涉及高压开关设备检测,特别是涉及一种面向真空断路器电气试验的机器人视觉定位方法。背景技术:1、随着新型电力系统建设和智能变电站的快速发展,高压开关设备的智...
一种面向真空断路器电气试验的机器人视觉定位方法

本发明涉及高压开关设备检测,特别是涉及一种面向真空断路器电气试验的机器人视觉定位方法。

背景技术:

1、随着新型电力系统建设和智能变电站的快速发展,高压开关设备的智能化检测需求不断提高。真空断路器作为高压开关柜中的核心设备,其主回路电阻、绝缘电阻及机械特性等电气试验是保障设备安全运行的重要手段。传统试验方式主要依赖人工完成接线、拆线及测试操作,存在劳动强度大、效率低和安全风险高的问题。近年来,机器人技术、机器视觉技术以及深度学习目标检测技术不断发展,为高压断路器电气试验自动化提供了新的技术路径。基于视觉识别与机器人协同控制的自动试验机器人,已逐渐成为智能运维领域的重要研究方向。

2、为实现高压断路器电气试验过程中的自动化接线,现有技术提出了多种断路器试验机器人自动接线方案。例如,机械臂自动接线技术通过工业机械臂替代人工完成试验线夹抓取、移动及插接操作,以提高断路器试验自动化水平;末端执行器控制技术采用夹爪式、吸附式或柔性接触式末端执行机构,实现试验线夹的稳定抓取与接触控制;自动接线路径规划技术结合运动学建模与轨迹规划算法,实现机械臂在狭小空间内的避障运动及自动接线。

3、针对断路器触头自动识别与空间定位需求,现有技术主要包括传统图像识别技术、深度学习目标检测技术和双目视觉定位技术。传统图像识别技术通常基于边缘检测、模板匹配、颜色特征提取等方法识别断路器触头位置,但该类方法对现场光照与背景变化较为敏感。深度学习目标检测技术通常采用yolo、ssd、retinanet等目标检测算法对断路器触头进行识别与定位,能够提高复杂场景下的检测精度。双目视觉定位技术通过左右摄像头获取目标图像信息,并利用视差原理计算断路器触头三维空间坐标,从而为机器人精准接线定位提供空间坐标依据。

4、为提高目标检测模型在复杂现场环境中的泛化能力与识别稳定性,现有技术还提出了多种图像数据增强与目标检测优化方法。例如,mosaic数据增强技术通过拼接多幅图像扩充训练样本,提高目标检测模型对不同目标尺度的适应能力;cutmix与mixup增强方法通过图像区域混合或像素融合方式增强训练数据多样性,提高模型鲁棒性;轻量化网络优化技术采用mobilenet、shufflenet及mobiledets等轻量化网络替代传统深层卷积网络,以降低模型参数量与推理时间。

5、针对断路器电气试验流程自动化需求,现有技术还包括自动试验控制技术、试验数据自动采集技术和试验平台集成技术。自动试验控制技术通常通过plc、工控机或上位机控制试验设备自动完成试验流程切换与参数控制;试验数据自动采集技术利用通信接口实现回路电阻、绝缘电阻及机械特性等试验数据自动获取;试验平台集成技术将机器人、视觉系统、检测装置及控制系统进行集成,实现断路器试验平台自动化运行。

6、但是,现有断路器机器人自动接线技术仍存在较大局限。机械臂自动接线系统多依赖固定工位或固定姿态进行接线,当断路器型号、安装位置或现场结构发生变化时,机械臂容易出现定位偏差,导致接线失败或发生机械碰撞。传统夹爪式线夹抓取机构柔性适应能力不足,难以适配不同尺寸和形状的试验线夹,在复杂工况下容易出现滑脱、接触不稳定等问题。现有自动接线路径规划算法多针对理想环境建立模型,缺少对现场障碍物、人员走动及设备遮挡等动态扰动因素的考虑,导致机器人在复杂变电环境下运行稳定性不足。

7、现有断路器视觉识别与定位技术在复杂现场环境下仍存在明显不足。基于模板匹配、边缘检测等方法的传统图像识别技术对光照变化、阴影干扰以及背景复杂度较为敏感,当现场环境变化较大时容易出现误识别和漏识别问题。虽然yolo等深度学习目标检测算法提高了目标检测精度,但训练数据通常来源于固定背景环境,模型泛化能力有限,在不同变电站、不同柜体背景以及人员走动干扰下检测稳定性下降。现有双目视觉系统在断路器狭小空间内易受到摄像头安装误差、图像噪声及目标遮挡影响,导致三维坐标计算精度不足,从而影响机器人接线准确性。

8、现有图像数据增强与目标检测优化技术也难以充分满足断路器触头复杂场景检测需求。mosaic数据增强技术主要增强前景目标多样性,对复杂背景特征扩充能力有限,无法有效模拟变电站现场背景变化情况。cutmix与mixup增强方法虽然能够通过图像区域融合增强数据多样性,但容易破坏目标边缘特征与空间结构信息,在断路器触头等小目标检测场景中可能降低定位精度。轻量化网络优化技术虽然能够降低模型推理时间,但部分轻量化模型在压缩网络参数后会损失特征提取能力,导致复杂背景条件下识别准确率下降。

9、此外,现有断路器试验自动化控制技术尚难以满足自主试验机器人全流程应用需求。多数系统仅实现单一试验项目自动控制,缺少多试验项目之间的协同切换与统一调度能力,仍需要人工参与操作。现有系统对试验数据的实时分析与异常判断能力不足,难以实现试验结果智能诊断与自动决策。机器人、视觉系统及检测装置之间多采用分散式控制结构,系统耦合度低,信息交互效率不足,难以实现断路器试验全过程自主协同运行。

10、因此,亟需提供一种面向真空断路器电气试验的机器人视觉定位方法,以提高复杂背景条件下断路器触头识别的稳定性,降低目标遮挡、图像噪声及现场背景变化对三维定位精度的影响,并提升机器人试验线夹接线定位的可靠性和实时性。

技术实现思路

1、本发明的目的是提供一种面向真空断路器电气试验的机器人视觉定位方法,可解决现有高压断路器试验机器人在复杂背景环境下目标检测准确率不足、机器人接线可靠性低、目标检测推理延迟高以及数据增强方法对复杂背景适应能力有限等问题,实现断路器触头在不同场景下的稳定识别与三维定位、机械臂末端执行器精确接线及高实时性自动化作业,显著提升机器人自主接线可靠性、检测精度、推理效率和现场适应能力。

2、为实现上述目的,本发明提供了如下方案:

3、一种面向真空断路器电气试验的机器人视觉定位方法,包括如下步骤:

4、获取包含断路器触头目标检测框的训练图像,基于断路器触头目标检测框建立目标区域约束区域,在断路器触头目标检测框外部的上、左、下、右四个背景区域内生成背景切片,并通过边界约束使背景切片不侵入触头目标区域、不覆盖触头目标边缘且不破坏触头目标完整特征;

5、将背景切片存入缓存区,采用递进式跨批次背景融合策略,将前序训练图像的背景切片传递并融合至后续训练图像的对应背景区域,生成背景扰动特征递进累积的增强样本;

6、利用增强样本训练轻量化单阶段目标检测网络,轻量化单阶段目标检测网络包括轻量化特征提取网络、设置在主干网络输出端的特征通道适配模块以及小目标特征补偿机制;特征通道适配模块用于对不同尺度特征图进行统一通道映射,小目标特征补偿机制用于增强断路器触头边缘高频特征,得到断路器触头目标检测模型;

7、利用断路器触头目标检测模型分别对左摄像头和右摄像头采集的断路器图像进行触头检测,提取断路器触头外边缘关键点在左、右图像中的投影坐标,并基于关键点级双目视差解算断路器触头的三维空间坐标;

8、根据三维空间坐标控制机械臂末端执行器接近断路器触头,并在接线前对断路器触头所在局部区域再次进行视觉检测,根据再次视觉检测结果对三维空间坐标进行二次校正,以获得用于试验线夹接线定位的触头定位结果。

9、优选地,基于断路器触头目标检测框建立目标区域约束,在断路器触头目标检测框外部的上、左、下、右四个背景区域内生成背景切片,包括:

10、根据断路器触头目标检测框的左上角坐标和右下角坐标,确定触头目标区域在训练图像中的位置范围;

11、以位置范围作为切片排除范围,在断路器触头目标检测框的上侧、左侧、下侧和右侧分别确定背景区域;

12、在背景区域内生成尺寸随机、位置随机的矩形切片,并将矩形切片作为背景切片。

13、优选地,通过边界约束使背景切片不侵入触头目标区域、不覆盖触头目标边缘且不破坏触头目标完整特征,包括:

14、根据断路器触头目标检测框的边界位置,对背景切片的生成位置进行约束,使背景切片位于断路器触头目标检测框外部;

15、根据断路器触头目标检测框的边界位置和背景切片的边界位置,判断背景切片是否与触头目标区域发生重叠;

16、在背景切片与触头目标区域发生重叠,或者背景切片覆盖触头目标边缘时,重新生成背景切片。

17、优选地,将背景切片存入缓存区,采用递进式跨批次背景融合策略,将前序训练图像的背景切片传递并融合至后续训练图像的对应背景区域,包括:

18、将前序训练图像中位于上、左、下、右四个背景区域的背景切片,按照背景区域对应关系存入缓存区;

19、在后续训练图像的上、左、下、右四个背景区域内,分别生成与背景切片对应的粘贴区域;

20、从缓存区读取与粘贴区域对应的背景切片,并将读取到的背景切片融合至后续训练图像的对应背景区域。

21、优选地,将前序训练图像的背景切片传递并融合至后续训练图像的对应背景区域,生成背景扰动特征递进累积的增强样本,包括:

22、对背景切片进行尺度归一化,使尺度归一化后的背景切片与粘贴区域的尺寸相匹配;

23、对尺度归一化后的背景切片进行背景纹理一致性调整,使调整后的背景切片与后续训练图像的对应背景区域保持纹理连续;

24、将调整后的背景切片粘贴至粘贴区域,得到融合前序训练图像背景扰动特征的后续训练图像;

25、将至少两个前序训练图像的背景切片进行尺寸统一和拼接融合后,粘贴至同一后续训练图像的对应背景区域,得到背景扰动特征递进累积的增强样本。

26、优选地,轻量化单阶段目标检测网络包括轻量化特征提取网络、设置在主干网络输出端的特征通道适配模块以及小目标特征补偿机制,包括:

27、轻量化特征提取网络对增强样本进行断路器触头特征提取,并输出不同尺度特征图;

28、特征通道适配模块接收不同尺度特征图,并对不同尺度特征图进行统一通道映射,得到通道适配后的多尺度特征图;

29、小目标特征补偿机制对断路器触头边缘高频特征进行增强,并将增强后的断路器触头边缘高频特征与通道适配后的多尺度特征图进行融合。

30、优选地,特征通道适配模块接收不同尺度特征图,并对不同尺度特征图进行统一通道映射,得到通道适配后的多尺度特征图,包括:

31、在主干网络输出端接收轻量化特征提取网络输出的不同尺度特征图;

32、分别对不同尺度特征图进行一乘一卷积处理,得到通道数统一的特征图;

33、将通道数统一的特征图作为通道适配后的多尺度特征图,并输入目标检测颈部网络进行多尺度特征融合。

34、优选地,小目标特征补偿机制对断路器触头边缘高频特征进行增强,并将增强后的断路器触头边缘高频特征与通道适配后的多尺度特征图进行融合,包括:

35、从轻量化特征提取网络输出的特征图中提取断路器触头边缘区域特征;

36、对断路器触头边缘区域特征进行注意力增强,得到增强后的断路器触头边缘高频特征;

37、将增强后的断路器触头边缘高频特征融合至通道适配后的多尺度特征图,用于补偿断路器触头边缘细节特征。

38、优选地,提取断路器触头外边缘关键点在左、右图像中的投影坐标,并基于关键点级双目视差解算断路器触头的三维空间坐标,包括:

39、利用断路器触头目标检测模型对左摄像头采集的断路器图像进行触头检测,得到断路器触头外边缘关键点在左图像中的投影坐标;

40、利用断路器触头目标检测模型对右摄像头采集的断路器图像进行触头检测,得到断路器触头外边缘关键点在右图像中的投影坐标;

41、根据左图像中的投影坐标和右图像中的投影坐标确定关键点级双目视差;

42、根据关键点级双目视差、双目摄像头的焦距以及左摄像头和右摄像头之间的基线距离,解算断路器触头的三维空间坐标。

43、优选地,根据三维空间坐标控制机械臂末端执行器接近断路器触头,并在接线前对断路器触头所在局部区域再次进行视觉检测,根据再次视觉检测结果对三维空间坐标进行二次校正,以获得用于试验线夹接线定位的触头定位结果,包括:

44、将三维空间坐标发送至机械臂控制器,使机械臂末端执行器移动至断路器触头的预定位区域;

45、在机械臂末端执行器位于预定位区域后,通过左摄像头和右摄像头采集断路器触头所在局部区域的局部图像;

46、利用断路器触头目标检测模型对局部图像进行触头检测,得到再次视觉检测结果;

47、根据再次视觉检测结果重新提取断路器触头外边缘关键点在左、右图像中的投影坐标,并重新解算断路器触头的校正后三维空间坐标;

48、将校正后三维空间坐标作为用于试验线夹接线定位的触头定位结果。

49、本发明公开了以下有益效果:

50、第一,本发明针对复杂背景环境下断路器触头目标检测准确率不足的问题,基于断路器触头目标检测框建立目标区域约束,在断路器触头目标检测框外部的上、左、下、右四个背景区域内生成背景切片,并通过边界约束避免背景切片侵入触头目标区域、覆盖触头目标边缘或破坏触头目标完整特征。与传统mosaic、mixup及cutmix等主要针对前景目标特征进行扩充的数据增强方法相比,本发明能够在保护断路器触头小目标结构信息的同时增加训练图像中的复杂背景扰动特征,减少因试验场所变化、人员走动、设备遮挡及外部干扰引起的误识别、漏识别和定位偏移问题,提高断路器触头目标检测模型在复杂变电站环境下的检测准确率、泛化能力和鲁棒性。

51、第二,本发明采用递进式跨批次背景融合策略,将前序训练图像的背景切片传递并融合至后续训练图像的对应背景区域,生成背景扰动特征递进累积的增强样本。该处理不是对训练图像进行简单随机拼接,而是在目标区域约束下对背景区域进行切片、缓存、传递和融合,使训练样本能够覆盖不同变电站、不同柜体背景、人员走动、临时遮挡和光照变化等复杂现场背景变化情况,弥补固定场景训练图像背景特征单一的问题,从而提高断路器触头目标检测模型在复杂工况下的稳定性。

52、第三,本发明利用增强样本训练轻量化单阶段目标检测网络,并在轻量化单阶段目标检测网络中设置轻量化特征提取网络、特征通道适配模块和小目标特征补偿机制。特征通道适配模块对不同尺度特征图进行统一通道映射,小目标特征补偿机制增强断路器触头边缘高频特征,使轻量化单阶段目标检测网络在降低模型参数量和特征提取计算次数的同时,保持对断路器触头小目标边缘特征的提取能力。由此能够缩短目标检测推理时间,减少机器人实时接线过程中的图像处理延迟,提高机器人自动接线效率,满足高压断路器快速自主试验的实时性要求。

53、第四,本发明利用断路器触头目标检测模型分别对左摄像头和右摄像头采集的断路器图像进行触头检测,提取断路器触头外边缘关键点在左、右图像中的投影坐标,并基于关键点级双目视差解算断路器触头的三维空间坐标。与仅依赖检测框中心点或传统图像识别结果进行空间定位的方式相比,本发明能够降低图像噪声、目标偏移、目标局部遮挡、触头边缘缺失及视觉误差对三维坐标解算精度的影响,提高断路器触头空间定位精度,为机械臂末端执行器的试验线夹接线定位提供更稳定的空间坐标依据。

54、第五,本发明根据断路器触头的三维空间坐标控制机械臂末端执行器移动至断路器触头的预定位区域,并在接线前对断路器触头所在局部区域再次进行视觉检测,根据再次视觉检测结果对三维空间坐标进行二次校正,获得用于试验线夹接线定位的触头定位结果。该处理能够降低狭小柜体空间内由于摄像头安装误差、机械振动、目标遮挡变化、图像噪声和视觉漂移造成的接线偏差,减少线夹碰撞、接触不良、机械臂接线失败及设备误动作风险,提高真空断路器电气试验机器人自动接线的可靠性和作业安全性。

55、第六,本发明将目标区域约束下的背景切片生成、递进式跨批次背景融合、轻量化单阶段目标检测、关键点级双目视差定位以及接线前二次校正形成连续的数据处理和控制逻辑,使机器人能够在复杂背景扰动条件下完成断路器触头识别、三维空间定位和试验线夹接线定位。该方法适用于不同柜体结构、不同试验场景以及动态环境条件,有助于提升真空断路器电气试验机器人在复杂变电站现场的环境适应能力、工程化应用能力和长期稳定作业能力。