机械臂的视觉闭环控制方法及装置与流程
本发明涉及矿井设备,具体涉及一种机械臂的视觉闭环控制方法及装置。
背景技术:
1、煤矿井下液压机械臂广泛应用于大块煤破碎、临时支护、物料搬运及辅助掘进等作业场景,该类设备通常具备行走、支护、伸缩及机械臂作业功能。现有设备多采用现场手动操作方式,操作人员须长期站立于设备本体附近,通过操纵液压手柄或本机操作面板直接控制各关节动作,操作人员始终处于顶板破碎、粉尘浓度高、液压机构运动范围复杂的危险区域内,存在挤压、碰撞及有害气体暴露等安全风险,且作业效率受人员技能和现场视线条件限制明显。
2、部分设备采用遥控操作方式,在设备上设置控制器、通信模块和液压阀组驱动模块,操作人员通过遥控器发送动作指令,设备控制器驱动电磁阀或比例阀完成相应动作,使人员与设备保持一定距离。然而,该遥控方式本质上仍然依赖人工观察和人工判断,设备自身缺少对井下作业场景、机械臂空间位置和作业目标的自主识别能力;同时,煤矿井下缺少稳定可靠的绝对坐标体系,粉尘、水雾、振动及电磁干扰等环境因素导致普通传感器定位精度受限,难以在无绝对坐标的井下环境中形成稳定可靠的闭环控制,无法满足煤矿少人化和本质安全建设的要求。
技术实现思路
1、本发明的目的是提供一种机械臂的视觉闭环控制方法及装置,解决现有煤矿井下机械臂缺乏自主场景识别能力、操作人员处于危险区域、以及难以在无坐标的井下环境中形成稳定闭环控制的问题。
2、第一方面,本发明提供一种机械臂的视觉闭环控制方法,包括:
3、基于作业场景的实时图像,得到候选目标对象在相机坐标系下的三维空间坐标;其中,所述候选目标对象包括机械臂的各关节点、以及作业对象;
4、采集的所述机械臂的各关节的姿态角度;
5、将预先通过手眼标定方程求解得到的手眼变换矩阵作用于所述相机坐标系下的三维空间坐标,将其转换至所述机械臂的基座坐标系下的三维空间坐标;
6、比较作业对象的实际位置、以及基于所述相机坐标系下的三维空间坐标得到的所述机械臂的末端执行器的当前位置,将二者之间的位置误差转化为各所述关节的目标关节角增量;
7、将各所述目标关节角增量与各所述关节在所述相机坐标系下的当前角度结合,得到各目标关节角;将所述目标关节角与各所述姿态角度之差转化为各关节的执行机构的控制信号,以控制各所述执行机构动作。
8、通过将视觉感知与姿态传感器反馈有机结合,视觉感知负责提供空间位置基准,姿态传感器负责提供高频关节角反馈,二者共同构成级联闭环控制架构,能够在无绝对坐标的井下环境中实现机器人化作业。
9、第二方面,本发明提供一种机械臂的视觉闭环控制装置,包括:
10、视觉处理单元,用于基于作业场景的实时图像,得到候选目标对象在相机坐标系下的三维空间坐标;其中,所述候选目标对象包括机械臂的各关节点、以及作业对象;
11、姿态采集单元,用于基于采集的所述机械臂的各关节的姿态角度;
12、坐标变换单元,用于将预先通过手眼标定方程求解得到的手眼变换矩阵作用于所述相机坐标系下的三维空间坐标,将其转换至所述机械臂的基座坐标系下的三维空间坐标;
13、解算单元,用于比较作业对象的实际位置、以及基于所述相机坐标系下的三维空间坐标得到的所述机械臂的末端执行器的当前位置,将二者之间的位置误差转化为各所述关节的目标关节角增量;
14、执行控制单元,用于将各所述目标关节角增量与各所述关节在所述相机坐标系下的当前角度结合,得到各目标关节角;将所述目标关节角与各所述姿态角度之差转化为各关节的执行机构的控制信号,以控制各所述执行机构动作。
15、第三方面,本发明提供一种计算机设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述程序以实现上述任一实施例所述的综采工作面的测距方法。
16、第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述任一实施例所述的综采工作面的测距方法。
17、第五方面,本发明提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述任一实施例所述的综采工作面的测距方法。
18、与现有技术相比,本发明的机械臂的视觉闭环控制方法及装置具有如下有益效果:
19、1)通过对原始深度图依次施加时序加权滤波与双边空域滤波的时空联合优化处理,有效消除了煤尘、水雾及传感器噪声对深度图质量的影响,为关节点三维重建提供了稳定准确的深度信息,克服了煤矿井下恶劣视觉环境导致的普通深度传感器定位精度严重下降的缺陷。
20、2)通过将机械臂各连杆的物理设计长度作为先验值引入骨长约束损失函数进行模型训练,使检测模型输出的关节点构型在尺度上与物理实体保持几何一致性,有效抑制了因遮挡、光照变化或图像退化导致的关节点位置偏移,提高了井下恶劣条件下视觉感知的可靠性。
21、3)通过求解ax=xb手眼标定方程建立了相机坐标系与机械臂的基座坐标系之间的固定变换矩阵,在无绝对坐标和卫星定位信号的井下环境中建立了稳定的相对空间基准,解决了现有遥控方式无法在井下缺少绝对坐标体系的条件下形成稳定闭环控制的技术难题。
22、4)通过构建视觉外环控制(约20hz)与姿态内环控制(约1khz)的级联闭环控制架构,将视觉感知的位置误差经逆运动学解算转化为关节角增量,再由高频姿态内环通过pid控制器驱动执行机构,实现了高精度(视觉定位精度小于30mm、重复定位精度小于20mm)与高动态响应的有机统一,克服了现有遥控方式缺乏自主场景识别能力和闭环控制能力的根本缺陷。
23、5)通过基于人员定位数据运行预警、减速、急停三级电子围栏安全状态机,并结合视觉估算与姿态传感器双冗余软限位策略,构建了多层次人员安全防护体系,使操作人员能够远离顶板破碎、设备挤压、机械臂摆动及有害气体等危险区域,有效减少了危险岗位人员数量,提高了作业安全性与效率,符合煤矿少人化、无人化和本质安全建设的要求。
1.一种机械臂的视觉闭环控制方法,其特征在于,包括:
2.如权利要求1所述的机械臂的视觉闭环控制方法,其特征在于,所述基于作业场景的实时图像,得到候选目标对象在相机坐标系下的三维空间坐标,包括:
3.如权利要求2所述的机械臂的视觉闭环控制方法,其特征在于,所述采集作业场景的实时图像,根据所述实时图像输出所候选目标对象的二维像素坐标,包括:
4.如权利要求3所述的机械臂的视觉闭环控制方法,其特征在于,训练所述检测模型包括:
5.如权利要求4所述的机械臂的视觉闭环控制方法,其特征在于,所述骨长约束损失函数以所述机械臂的各关节的物理设计长度为先验值,对预测的各所述关节点之间的距离与对应所述关节的物理长度的偏差进行惩罚约束。
6.如权利要求3所述的机械臂的视觉闭环控制方法,其特征在于,还包括:在运行所述检测模型之前,对输入的所述实时图像施加自适应图像增强处理,所述自适应图像增强处理包括在lab颜色空间的l通道上执行的自适应直方图均衡化处理和自适应灰度拉伸处理。
7.如权利要求2所述的机械臂的视觉闭环控制方法,其特征在于,还包括:
8.如权利要求7所述的机械臂的视觉闭环控制方法,其特征在于,所述时序滤波的具体方式为:
9.如权利要求7所述的机械臂的视觉闭环控制方法,其特征在于,所述双边滤波在所述时序滤波之后叠加执行,在空间域与像素灰度强度域进行联合滤波:
10.如权利要求2所述的机械臂的视觉闭环控制方法,其特征在于,所述提取各所述关节点的深度值,包括:取以该关节点的二维像素坐标为中心的预设尺寸窗口内的所有有效深度值的中位数作为该关节点的深度值。
11.如权利要求1所述的机械臂的视觉闭环控制方法,其特征在于,所述手眼变换矩阵的标定方法包括:
12.如权利要求1所述的机械臂的视觉闭环控制方法,其特征在于,所述比较作业对象的实际位置、以及基于所述相机坐标系下的三维空间坐标得到的所述末端执行器的当前位置,将二者之间的位置误差转化为各所述关节的目标关节角增量,包括:
13.如权利要求1所述的机械臂的视觉闭环控制方法,其特征在于,还包括:
14.根据权利要求1所述的机械臂的视觉闭环控制方法,其特征在于,还包括:
15.根据权利要求1所述的机械臂的视觉闭环控制方法,其特征在于,还包括:
16.根据权利要求1所述的机械臂的视觉闭环控制方法,其特征在于,还包括:基于获取的人员位置数据,运行三级电子围栏安全状态机,其中,
17.一种机械臂的视觉闭环控制装置,其特征在于,包括:
18.一种计算机设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1至16任一项所述的方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序/指令,所述计算机程序/指令被处理器执行时实现权利要求1至16任一项所述的方法。
20.一种计算机程序产品,包括计算机程序/指令,其特征在于,所述计算机程序/指令被处理器执行时实现权利要求1至16任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com