一种基于视觉实时反馈的机器人运动控制方法与流程
本发明涉及机器人视觉伺服,具体是涉及一种基于视觉实时反馈的机器人运动控制方法。
背景技术:
1、视觉伺服控制是工业机器人实现自主作业的核心技术之一,通过视觉传感器实时采集目标图像,经过位姿解算驱动机器人完成误差修正,在装配、搬运、柔性加工等场景应用广泛。但视觉信息从采集到生效的全链路存在固有延迟,涵盖特征提取、位姿解算等图像处理环节,以及图像数据传输、指令下发等通信环节,导致关节修正滞后于观测结果,影响跟踪精度与系统稳定性。
2、在图像处理时延补偿方面,现有方案多采用固定时延或滑动平均时延作为补偿基准,但图像处理时延随图像内容复杂度动态波动,在目标遮挡、纹理突变等场景下时延估计偏差较大,补偿精度受限。在时延补偿架构方面,现有方案通常对全链路总时延采用单一补偿方式,而图像处理时延与通信时延的产生机理和变化规律不同,统一补偿难以兼顾两类时延的特性。在补偿作用维度方面,现有方案多在末端位姿域统一进行全自由度补偿,未考虑不同关节对视觉时延的敏感度差异,存在算力资源分配与实际补偿需求不匹配的问题。部分方案通过引入多传感器融合提升补偿效果,但对存量机器人的改造成本较高。
3、对此,我们提出了一种基于视觉实时反馈的机器人运动控制方法。
技术实现思路
1、为解决背景技术提出的问题,本发明提供一种基于视觉实时反馈的机器人运动控制方法,具体包括:
2、基于历史帧实际处理时延与内容复杂度的对应关系建立图像处理时延预估模型,根据当前帧图像的内容复杂度,预估当前帧的图像处理时延;
3、以动态预估的图像处理时延为预测步长,对位置误差进行时间外推得到图像处理时延补偿量;基于原始运动轨迹的期望末端速度与预标定的通信时延计算前馈补偿量;将两类补偿量叠加得到总时延补偿量,经雅可比转置映射为关节时延补偿增量;姿态误差采用独立固定增益比例修正,不参与时延预测补偿,其修正量经雅可比转置映射为关节修正量;姿态误差对应的关节归属低敏感度补偿层级;
4、根据当前关节角度,通过雅可比矩阵计算各关节视觉时延敏感度系数,按敏感度排序划分为至少两个补偿层级;对高敏感度关节,在原始位置误差对应的比例修正基础上叠加所述关节时延补偿增量,施加全量补偿;对低敏感度关节,仅基于原始位置误差做比例修正,不叠加时延补偿增量;
5、将分层补偿后的各关节修正量叠加至原始运动轨迹对应的关节指令,生成最终控制指令下发;同时记录每帧的实际处理时延数据,用于迭代更新所述图像处理时延预估模型。
6、优选的,所述内容复杂度为表征图像处理计算量的量化值,由以下维度中的至少两项加权计算得到,包括:
7、有效特征点数量、图像纹理丰富度、遮挡区域占比和目标区域面积占比;
8、各维度的权重系数基于离线标定的各维度对图像处理时延的贡献度确定。
9、优选的,所述图像处理时延预估模型为内容复杂度与处理时延的线性映射关系,基于离线采集的多组样本数据通过回归分析建立;
10、所述内容复杂度同步提取自图像特征提取与位姿解算过程中的中间计算结果,在特征提取阶段完成复杂度计算后,模型即输出对应的图像处理时延预估结果,输出时刻早于当前帧位姿解算完成时刻。
11、优选的,对位置误差进行时间外推时,预测步长随每帧预估结果实时调整;
12、采用基于误差变化速率的线性外推方式,所述误差变化速率由相邻帧原始位置误差的差值除以对应图像采集时刻的时间间隔得到。
13、优选的,计算前馈补偿量时,取原始运动轨迹在当前时刻的期望末端速度矢量,与预标定的通信时延标量相乘得到前馈补偿量;
14、所述通信时延通过控制器与视觉传感器之间的心跳包往返时延标定得到,所述通信时延包含控制指令下发时延。
15、优选的,计算各关节视觉时延敏感度系数时,取当前位姿下雅可比矩阵对应各关节的列向量模长作为敏感度系数;
16、划分补偿层级时,将各关节按敏感度系数从大到小排序,按预设比例或预设阈值划分为至少两个补偿层级。
17、优选的,基于早于当前帧位姿解算完成时刻输出的图像处理时延预估结果,位置误差时间外推与前馈补偿计算在预估输出后、位姿解算完成前并行执行,补偿计算结果与位姿解算结果同步输出至分层补偿环节。
18、优选的,姿态误差仅采用固定增益比例修正,不进行时延预测外推与前馈补偿;姿态误差的比例修正频率与控制周期同步,不受视觉帧率波动影响。
19、优选的,实时计算视觉置信度,所述视觉置信度基于特征点有效率或重投影误差确定;当视觉置信度低于预设阈值时,优先关闭低敏感度关节的时延补偿输出,保留高敏感度关节的时延补偿输出。
20、优选的,还包括迭代更新图像处理时延预估模型的步骤:
21、采用滑动窗口样本集,每累计预定帧数的实际处理时延数据后,将新数据加入样本集并剔除最早数据,重新执行回归分析更新模型参数;
22、加入样本集前,基于格拉布斯准则或3σ准则剔除异常时延数据。
23、与现有技术相比,本发明的有益效果在于:
24、本发明提出的机器人运动控制方法,基于图像内容复杂度动态预估图像处理时延,结合双路径差异化补偿与关节分层补偿机制,对视觉伺服控制中的时延补偿精度与计算资源分配效率均有所改善;通过复用位姿解算过程中的中间计算结果进行时延预估,预估输出早于位姿解算完成时刻,为补偿计算预留了前置时间窗口;时延预估模型运行过程中,采集的实际处理时延数据持续迭代,相比固定时延补偿方式更能适配不同场景下的图像处理耗时变化;位置误差与姿态误差通过相互独立的补偿路径,有助于减少时延预测外推引入的噪声对姿态通道的干扰,减少姿态振荡风险;基于雅可比矩阵量化各关节的时延敏感度并分层施加补偿,有助于避免低敏感度关节引入的不必要补偿抖动;视觉置信度不足时分级调整补偿输出,配合滑动窗口与异常值筛选的模型更新机制,提升了视觉工况波动下的控制稳定性。
1.一种基于视觉实时反馈的机器人运动控制方法,其特征在于,包括:
2.根据权利要求1所述的一种基于视觉实时反馈的机器人运动控制方法,其特征在于,所述内容复杂度为表征图像处理计算量的量化值,由以下维度中的至少两项加权计算得到,包括:
3.根据权利要求1所述的一种基于视觉实时反馈的机器人运动控制方法,其特征在于,所述图像处理时延预估模型为内容复杂度与处理时延的线性映射关系,基于离线采集的多组样本数据通过回归分析建立;
4.根据权利要求1所述的一种基于视觉实时反馈的机器人运动控制方法,其特征在于,对位置误差进行时间外推时,预测步长随每帧预估结果实时调整;
5.根据权利要求1所述的一种基于视觉实时反馈的机器人运动控制方法,其特征在于,计算前馈补偿量时,取原始运动轨迹在当前时刻的期望末端速度矢量,与预标定的通信时延标量相乘得到前馈补偿量;
6.根据权利要求1所述的一种基于视觉实时反馈的机器人运动控制方法,其特征在于,计算各关节视觉时延敏感度系数时,取当前位姿下雅可比矩阵对应各关节的列向量模长作为敏感度系数;
7.根据权利要求1所述的一种基于视觉实时反馈的机器人运动控制方法,其特征在于,基于早于当前帧位姿解算完成时刻输出的图像处理时延预估结果,位置误差时间外推与前馈补偿计算在预估输出后、位姿解算完成前并行执行,补偿计算结果与位姿解算结果同步输出至分层补偿环节。
8.根据权利要求1所述的一种基于视觉实时反馈的机器人运动控制方法,其特征在于,姿态误差仅采用固定增益比例修正,不进行时延预测外推与前馈补偿;姿态误差的比例修正频率与控制周期同步,不受视觉帧率波动影响。
9.根据权利要求1所述的一种基于视觉实时反馈的机器人运动控制方法,其特征在于,实时计算视觉置信度,所述视觉置信度基于特征点有效率或重投影误差确定;当视觉置信度低于预设阈值时,优先关闭低敏感度关节的时延补偿输出,保留高敏感度关节的时延补偿输出。
10.根据权利要求1所述的一种基于视觉实时反馈的机器人运动控制方法,其特征在于,还包括迭代更新图像处理时延预估模型的步骤:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com