基于强化学习的机械臂六维姿态识别与控制方法

摘要: 本发明涉及机械臂控制,具体为基于强化学习的机械臂六维姿态识别与控制方法。背景技术:1、柔性线束在机械臂自动抓取、搬运及装配过程中容易受到自身重力、外部接触及周围...
基于强化学习的机械臂六维姿态识别与控制方法

本发明涉及机械臂控制,具体为基于强化学习的机械臂六维姿态识别与控制方法。

背景技术:

1、柔性线束在机械臂自动抓取、搬运及装配过程中容易受到自身重力、外部接触及周围物体约束而产生弯曲、扭转、堆叠或相互遮挡,其空间形态具有较强的不确定性,并且受到局部操作后,其余区域的形态还会随之发生变化。因此,机械臂在复杂线束场景中较难依据有限的当前状态信息准确判断实际抓取条件。

2、现有机械臂线束操作过程中,对于被遮挡区域、局部交叠区域以及操作后可能产生的形态变化缺乏充分判断,容易出现当前识别结果与线束真实整体状态不一致的情况。同时,在当前状态信息存在不确定性时,缺少对不同操作结果及决策可靠程度进行有效衡量的机制,难以合理判断当前条件是否适宜直接实施操作,容易造成夹持位置不合理、线束过度弯折或拉扯、目标位置偏差以及重复试探等问题,影响机械臂处理柔性线束时的稳定性和作业效率,因此需解决柔性线束局部观测不完整及夹取后形变不确定导致机械臂夹取决策不可靠的问题。

3、为此,提出了基于强化学习的机械臂六维姿态识别与控制方法。

技术实现思路

1、本发明旨在提供基于强化学习的机械臂六维姿态识别与控制方法,通过机械臂六维姿态识别与控制,提高复杂柔性线束状态下机械臂对线束空间状态及夹取结果的判断能力,并根据当前状态信息的可靠程度实施相应的夹取控制。

2、为实现上述目的,本发明提供如下技术方案:

3、基于强化学习的机械臂六维姿态识别与控制方法,包括:

4、获取待夹取线束的深度视觉数据,沿线束延展方向划分多个线束片段,分别确定各线束片段的六维位姿,并根据相邻线束片段之间的连接关系建立六维位姿图;

5、根据所述六维位姿图确定机械臂夹具对应的候选夹取位姿,并根据夹取位置变化确定线束各片段的形变状态;根据不同六维位姿图对应的候选夹取位姿及形变状态,将能够采用相同夹取动作完成目标任务的六维位姿图归为同一动作状态簇,并确定各动作状态簇的置信度;

6、根据所述动作状态簇、置信度及候选夹取动作的任务效果构建强化学习状态,确定当前夹取动作的决策后悔度;

7、当所述决策后悔度满足直接夹取条件时,输出夹具六维控制动作执行夹取;当所述决策后悔度不满足直接夹取条件时,控制机械臂执行观测动作获取新增视觉及力觉信息,并根据新增信息更新六维位姿图及动作状态簇,直至满足直接夹取条件。

8、优选的,建立所述六维位姿图包括:获取深度视觉数据,所述深度视觉数据包括线束的深度图像及对应三维点云;根据所述三维点云提取线束的空间中心线,并沿所述空间中心线按照线束延展方向划分为多个连续的线束片段;分别确定各线束片段的中心位置及延展方向,获取位于所述线束片段外周点云,根据所述外周点云相对于线束片段中心位置的分布,并结合预设空间参考方向确定线束片段的径向基准方向;根据所述中心位置、延展方向及径向方向确定各线束片段的六维位姿;计算相邻线束片段之间的位置变化及姿态变化,将所述位置变化及姿态变化作为相邻线束片段的连接关系,以各线束片段的六维位姿及相邻片段的变化关系表示线束的弯曲和扭转状态。

9、优选的,根据所述六维位姿图确定机械臂夹具对应的候选夹取位姿,包括:

10、根据所述六维位姿图中各线束片段的空间位置及延展方向,确定机械臂夹具相对于对应线束片段的夹取位置及夹取方向;根据所述夹取方向确定夹具两夹持部从线束片段两侧接近所述线束片段时对应的夹具空间姿态,并结合夹具的开合范围确定满足夹持要求的夹具六维位姿;根据机械臂的运动范围对所述夹具六维位姿进行可达性筛选,并根据工作环境以及六维位姿图中相邻线束片段的空间位置进行碰撞判断,剔除不可到达和存在碰撞的夹具六维位姿,得到所述候选夹取位姿。

11、优选的,所述并根据夹取位置变化确定线束各片段的形变状态,包括:

12、针对所述候选夹取位姿确定对应的被夹取线束片段,根据机械臂夹具的夹取位置变化确定所述被夹取线束片段的位置及姿态变化;根据所述六维位姿图中相邻线束片段之间的连接关系及相对位姿变化约束,由所述被夹取线束片段向相邻线束片段依次确定各线束片段的位置及姿态变化,得到各线束片段变化后的空间位置及姿态;根据各线束片段变化后的空间位置和姿态判断线束是否发生超过预设弯曲程度的弯折或相邻线束片段之间是否发生挤压,并将判断结果以及各线束片段变化后的六维位姿确定为所述线束各片段的形变状态。

13、优选的,确定所述动作状态簇具体包括:针对视觉数据中存在遮挡的线束区域,根据已有视觉信息生成可能的六维位姿图;将相同候选夹取动作分别作用于各所述六维位姿图,根据对应的候选夹取位姿及夹取位置变化确定线束各片段的形变状态;比较各六维位姿图在采用相同夹取动作后各线束片段的空间位置及姿态变化、线束整体的弯曲及挤压情况,并比较对应夹取动作的夹持稳定性及目标位置到达情况,当不同六维位姿图对应相同夹取动作且均能够满足目标任务要求时,归入同一动作状态簇,并根据识别置信度确定动作状态簇的置信度。

14、优选的,确定所述决策后悔度包括:根据各动作状态簇对应候选夹取动作的夹持稳定性、线束形变情况及目标位置到达情况确定任务效果;根据各动作状态簇的置信度确定当前候选夹取动作的期望任务效果;再分别确定各动作状态已经明确时的最优任务效果,并根据对应置信度得到期望最优任务效果;计算所述期望最优任务效果与当前候选夹取动作的期望任务效果之间的差值,并将所述差值确定为所述决策后悔度。

15、优选的,当所述决策后悔度满足直接夹取条件时,选择当前期望任务效果最高的候选夹取位姿作为目标夹取位姿,控制机械臂移动至所述目标夹取位姿并闭合夹具;夹持过程中获取机械臂末端的力觉信息,当检测到线束受到持续增大的拉力时,控制机械臂沿线束受力方向进行小范围位移调整,减小线束受到的拉扯。

16、优选的,当所述决策后悔度不满足直接夹取条件时,根据不同观测位置对动作状态簇区分结果的影响选择目标观测位置;控制机械臂移动视觉传感器采集新的线束局部视觉数据,控制夹具以低接触力拨动存在遮挡的线束片段,并获取拨动前后的线束位置变化及接触反馈;根据所述位置变化及接触反馈确定被遮挡线束片段之间的上下关系及连接关系,更新对应线束片段的六维位姿和所述六维位姿图,并重新确定动作状态簇及其置信度。

17、与现有技术相比,本发明的有益效果为:

18、1、通过对柔性线束的空间姿态、局部形态及相邻区域变化进行连续表征,使机械臂在面对弯曲、扭转、遮挡及局部堆叠等复杂状态时,能够获得更具连续性的空间状态信息,减少仅依赖单一观测结果造成的姿态判断偏差,为夹取位置选择、姿态规划及后续运动控制提供较稳定的状态依据,提高复杂线束场景下夹取控制的适应性。

19、2、通过在夹取决策过程中综合考虑不同可能状态下的任务效果及其可信程度,并依据决策结果选择直接执行或补充观测,使机械臂能够根据当前信息充分程度调整控制方式,降低在状态识别存在遮挡或不确定性时直接实施夹取所带来的误抓、拉扯或到位偏差风险,同时避免在状态较明确时进行不必要的重复观测。

20、3、通过六维位姿图构建、候选夹取位姿筛选、线束形变状态确定、动作状态簇及决策后悔度评价与补充观测的协同配合,使线束状态识别结果能够作用于夹取决策和执行过程,并利用后续获得的信息反向更新线束状态及决策依据,降低复杂线束场景下机械臂夹取的线束形变风险。