一种基于视觉检测的机器人路径规划方法及系统与流程

摘要: 本发明涉及基于视觉检测的机器人路径规划领域,尤其涉及一种基于视觉检测的机器人路径规划方法及系统。背景技术:1、农业采摘机器人为了根据作物生长状态动态调整机械臂运...
一种基于视觉检测的机器人路径规划方法及系统与流程

本发明涉及基于视觉检测的机器人路径规划领域,尤其涉及一种基于视觉检测的机器人路径规划方法及系统。

背景技术:

1、农业采摘机器人为了根据作物生长状态动态调整机械臂运动轨迹,现有技术通常采用基于视觉检测的路径规划方法。在实际执行过程中,视觉传感器连续采集图像,位姿估计算法计算目标果实相对于机械臂末端的偏差,并生成修正指令驱动关节运动,从而实现末端执行器逐步逼近果实的闭环演化过程。为了获得较高的末端定位精度,视觉传感器通常安装在机械臂腕部靠近末端执行器的位置,直接参与闭环修正的感知输入环节。

2、当机械臂在视觉闭环引导下进入距离果实较近的精细对准阶段时,需要执行一系列短行程、多方向切换的微动调整指令。在这一实际条件下,机械臂腕部关节频繁的启停和换向运动会通过结构件向视觉传感器传递高频微振动。此时,由于视觉传感器的曝光时间往往无法完全冻结这种高频微振动,在图像采集瞬间,传感器与被摄果实之间会发生不可忽略的相对位移,导致采集的图像出现方向性运动模糊或微小几何畸变。

3、这种模糊或畸变的图像一旦进入位姿估计算法,果实特征点的提取位置就会发生随机性偏移,使得单次估计出的目标位姿叠加了振动引起的噪声分量。闭环控制器会将这一包含虚假偏差成分的视觉偏差值直接转换为下一周期的修正指令,控制机械臂向并不存在的偏移方向进行微调。这种非必要的微调不仅无法消除真实的剩余偏差,反而会激发出新的振动模式。现有的常规视觉闭环控制方式通常假设传感器获取的图像能够真实反映当前的静态偏差,缺乏对闭环动作本身激发的物理振动对传感器输入反向干扰的识别与隔离机制,容易将图像模糊带来的位姿跳变误判为真实的位置移动。因此,在农业采摘机器人机械臂末端视觉闭环精细对准阶段,当视觉传感器随机械臂微动调整而产生高频振动时,因采集图像出现运动模糊导致位姿估计偏差包含振动噪声,该噪声经闭环转换为非必要的末端抖动指令,最终使得末端执行器在果实附近出现无法收敛的持续性高频抖动,无法稳定达到采摘允许的位姿误差范围。

技术实现思路

1、本技术公开了一种基于视觉检测的机器人路径规划方法及系统,旨在解决农业采摘机器人机械臂末端视觉闭环精细对准阶段,因视觉传感器高频振动导致图像模糊,进而引起位姿估计偏差包含振动噪声,最终使得末端执行器在果实附近出现无法收敛的持续性高频抖动,无法稳定达到采摘允许的位姿误差范围的问题。

2、第一方面,本技术公开了一种基于视觉检测的机器人路径规划方法,包括以下步骤:

3、获取目标视觉信息以及机器人的机械臂运动状态信息;

4、基于目标视觉信息,确定目标对象的初始位姿偏差、目标视觉信息的图像质量评分、以及位移一致性评分;图像质量评分用于表征目标视觉信息的可靠程度;位移一致性评分用于表征目标视觉信息中特征点在连续帧间的运动一致性;

5、基于机械臂运动状态信息,确定扰动指数;扰动指数用于表征目标视觉信息获取时刻的物理扰动程度;

6、根据扰动指数、图像质量评分、以及位移一致性评分,确定初始位姿偏差的可信度等级;

7、根据可信度等级以及初始位姿偏差,生成有效位姿修正量;

8、根据有效位姿修正量以及可信度等级,生成机械臂控制指令,并根据可信度等级调整机械臂控制指令的执行方式,以避免诱发新的扰动;

9、监控机械臂控制指令的执行状态,校验机械臂对准目标对象的收敛状态,并在检测到持续扰动或收敛状态为未收敛时启动恢复处理;恢复处理包括以下至少一项:后退预设距离、重新执行机械臂控制指令。

10、可选的,根据可信度等级以及初始位姿偏差,生成有效位姿修正量,包括:

11、当可信度等级指示低可信度时,对初始位姿偏差进行轴向分量的一致性判断,得到初步修正向量,

12、根据初步修正向量与历史有效轨迹方向的方向偏转角,对初步修正向量进行方向约束重构处理,以得到有效位姿修正量。

13、可选的,根据初步修正向量与历史有效轨迹方向的方向偏转角,对初步修正向量进行方向约束重构处理,以得到有效位姿修正量,包括:

14、根据初步修正向量与历史有效轨迹方向的方向偏转角,判断方向偏转角是否大于安全阈值;

15、当方向偏转角大于安全阈值时,从预先缓存的历史有效轨迹方向向量中,筛选出与初始位姿偏差对应的向量方向夹角小于预设角度阈值的多个有效轨迹方向向量;

16、判断筛选出的有效轨迹方向向量的数量是否满足最小数量要求;

17、若满足最小数量要求,则计算筛选出的有效轨迹方向向量的平均方向,作为当前时刻的自适应参考方向;

18、将初始位姿偏差对应的向量投影到自适应参考方向上,计算投影长度;

19、以自适应参考方向为基准,以投影长度乘以衰减系数作为模长,重构出新的方向约束修正向量,以得到有效位姿修正量;

20、如果筛选出的向量数量不满足最小数量要求,则将所有轴向分量置零,输出零向量,以得到有效位姿修正量;

21、当方向偏转角小于或等于安全阈值时,沿用历史有效轨迹方向进行修正,得到有效位姿修正量。

22、可选的,基于机械臂运动状态信息,确定扰动指数,包括:

23、基于机械臂运动状态信息,确定关节换向频率、理论加速度跃变幅值以及实际振动能量指标;关节换向频率为机械臂的关节速度的方向变化频率;理论加速度跃变幅值为机械臂的关节的角速度和角加速度映射到末端执行器的理论线加速度和角加速度;实际振动能量指标为机械臂的振动信号中振动加速度的均方根值;

24、将关节换向频率、理论加速度跃变幅值以及实际振动能量指标进行加权融合,得到扰动指数。

25、可选的,确定目标视觉信息的图像质量评分,包括:

26、提取目标视觉信息在水平和垂直方向的边缘梯度,并计算梯度幅值和梯度方向;

27、根据梯度幅值和梯度方向,构建方向梯度直方图;

28、计算方向梯度直方图的方差和最大峰值比例,结合拉普拉斯方差,得到图像质量评分。

29、可选的,确定位移一致性评分,包括:

30、计算连续帧之间特征点位移向量的方向夹角和模长变化率;

31、若相邻两帧之间特征点位移向量的方向夹角小于设定角度阈值,且模长变化率小于预设阈值,则判定特征点为目标特征点;

32、统计所有被追踪特征点中目标特征点的比例,得到位移一致性评分。

33、可选的,根据扰动指数、图像质量评分、以及位移一致性评分,确定初始位姿偏差的可信度等级,包括:

34、若满足第一预设条件,则确定初始位姿偏差的可信度等级划分为极低可信度;第一预设条件为扰动指数超过预设扰动阈值或图像质量评分低于最低可用阈值,

35、若不满足第一预设条件,则计算一个综合置信度得分;综合置信度得分与图像质量评分和位移一致性评分成正比,与扰动指数成反比;

36、若综合置信度得分大于分数阈值,则确定初始位姿偏差的可信度等级为高可信度;

37、若综合置信度得分小于或等于分数阈值,则确定初始位姿偏差的可信度等级为低可信度。

38、可选的,根据有效位姿修正量以及可信度等级,生成机械臂控制指令,并根据可信度等级调整机械臂控制指令的执行方式,以避免诱发新的扰动,包括:

39、当可信度等级指示低可信度时,评估有效位姿修正量模长与历史平均修正量模长的比值;

40、当比值处于预设的有效修正区间内时,在生成机械臂的关节速度指令时,采用非对称的s型速度曲线;

41、根据可信度等级和有效位姿修正量模长,动态调整s型速度曲线的加速段时长和减速段时长,使得加速段时长小于减速段时长;

42、在生成机械臂的关节角位移增量时,引入与可信度等级和有效位姿修正量模长呈反比关系的衰减系数;

43、在每个控制周期内,根据机械臂各关节的实时速度反馈和实时扭矩反馈,动态调整下一周期的速度上限。

44、可选的,引入与可信度等级和有效位姿修正量模长呈反比关系的衰减系数,包括:

45、根据机械臂的末端运动速度和加速度,以及机械臂各关节的实时扭矩反馈,评估机械臂的运动惯性状态;

46、根据可信度等级、有效位姿修正量模长以及机械臂的运动惯性状态,确定衰减系数。

47、第二方面,本技术还公开了一种基于视觉检测的机器人路径规划系统,该系统包括:

48、信息获取模块,用于获取目标视觉信息以及机器人的机械臂运动状态信息;

49、计算模块,用于基于目标视觉信息,确定目标对象的初始位姿偏差、目标视觉信息的图像质量评分、以及位移一致性评分;图像质量评分用于表征目标视觉信息的可靠程度;位移一致性评分用于表征目标视觉信息中特征点在连续帧间的运动一致性;

50、物理扰动评估模块,用于基于机械臂运动状态信息,确定扰动指数;扰动指数用于表征目标视觉信息获取时刻的物理扰动程度;

51、可信度确定模块,用于根据扰动指数、图像质量评分、以及位移一致性评分,确定初始位姿偏差的可信度等级;

52、修正量生成模块,用于根据可信度等级以及初始位姿偏差,生成有效位姿修正量;

53、控制指令生成模块,用于根据有效位姿修正量以及可信度等级,生成机械臂控制指令,并根据可信度等级调整机械臂控制指令的执行方式,以避免诱发新的扰动;

54、状态监控模块,用于监控机械臂控制指令的执行状态,校验机械臂对准目标对象的收敛状态,并在检测到持续扰动或收敛状态为未收敛时启动恢复处理;恢复处理包括以下至少一项:后退预设距离、重新执行机械臂控制指令。

55、有益效果:本技术提供的一种基于视觉检测的机器人路径规划方法,通过获取目标视觉信息和机械臂运动状态信息,并基于这些信息确定目标对象的初始位姿偏差、图像质量评分、位移一致性评分以及扰动指数。在此基础上,根据扰动指数、图像质量评分和位移一致性评分,确定初始位姿偏差的可信度等级。随后,根据可信度等级和初始位姿偏差生成有效位姿修正量,并根据有效位姿修正量和可信度等级生成机械臂控制指令,同时根据可信度等级调整机械臂控制指令的执行方式,以避免诱发新的扰动。最后,监控机械臂控制指令的执行状态,校验机械臂对准目标对象的收敛状态,并在检测到持续扰动或收敛状态为未收敛时启动恢复处理。该方法能够综合评估视觉信息的可靠性和机械臂的物理扰动程度,对位姿偏差进行可信度分级,并据此自适应地调整修正策略和控制指令的执行方式。通过这种方式,本技术有效解决了现有技术中因视觉传感器高频振动导致图像模糊,进而引起位姿估计偏差包含振动噪声,最终使得末端执行器在果实附近出现无法收敛的持续性高频抖动,无法稳定达到采摘允许的位姿误差范围的问题。本技术的技术方案能够显著提升机器人路径规划的准确性、稳定性和鲁棒性,尤其在精细对准阶段,能够有效抑制机械臂的抖动,确保末端执行器稳定收敛到目标位置,从而提高作业效率和成功率。