一种采摘机器人夹爪滑脱后的自主重抓取方法及系统

本申请涉及采摘机器人的自动抓取，尤其涉及一种采摘机器人夹爪滑脱后的自主重抓取方法及系统。

背景技术：

1、随着农业自动化的快速发展，采摘机器人已经在越来越多的果园中得到应用。采摘机器人在抓取果实时，通常通过夹爪夹住果实并用力拉取或旋转来实现采摘。然而由于果实的形状不规则、表面光滑程度不一，再加上果皮比较脆弱，夹爪在抓取过程中很容易出现滑脱的情况——果实还没被摘下来就从夹爪中滑出去了。因此，如何提升采摘机器人夹爪滑脱检测的准确性以及重抓取策略的自适应性和有效性，成为待解决的问题。

技术实现思路

1、本申请提供一种采摘机器人夹爪滑脱后的自主重抓取方法及系统，其主要目的在于解决采摘机器人的自动抓取效率较低的问题。

2、为实现上述目的，本申请提供的一种采摘机器人夹爪滑脱后的自主重抓取方法，包括：s1、获取采摘机器人在抓取过程中的多模态传感数据。

3、s2、基于多模态传感数据，构建滑脱偏差特征图谱。

4、s3、基于滑脱偏差特征图谱进行分析，识别当前抓取动作的滑脱状态类别和滑脱严重程度评分。

5、s4、基于滑脱状态类别和滑脱严重程度评分，确定重抓取策略。

6、s5、执行所述重抓取策略，并在执行完成后重新获取多模态传感数据以进行反馈监测。

7、在一个优选的实施方式中，所述多模态传感数据包括夹爪关节角度数据、压力分布数据、振动加速度数据及外部力与力矩数据。

8、在一个优选的实施方式中，所述基于多模态传感数据，构建滑脱偏差特征图谱，包括：构建角度偏差时间序列、压力分布偏差特征序列、振动频域偏差特征序列及外部力与力矩偏差特征序列，进而在时间维度上进行对齐和拼接，从而生成滑脱偏差特征图谱。

9、在一个优选的实施方式中，所述外部力与力矩偏差特征序列，包括：设定第个采样时刻的法向抓取力分量为，旋转方向力矩分量为，采样时间间隔为，则法向力分量变化率和旋转方向力矩分量变化率的计算公式分别为：

10、；

11、；

12、外部力与力矩偏差特征序列由各时刻的法向力分量变化率和旋转方向力矩分量变化率构成。

13、在一个优选的实施方式中，所述在时间维度上进行对齐和拼接，从而生成滑脱偏差特征图谱，包括：设定角度偏差时间序列为，压力分布偏差特征序列为，振动频域偏差特征序列为，外部力与力矩偏差特征序列为，则滑脱偏差特征图谱的公式为：

14、；

15、其中为采样时刻总数，4为特征维度数量。

16、在一个优选的实施方式中，所述基于滑脱偏差特征图谱进行分析，识别当前抓取动作的滑脱状态类别和滑脱严重程度评分，包括：s601，将滑脱偏差特征图谱展平为一维特征向量，输入至预先训练好的滑脱状态识别模型中，得到当前抓取动作的滑脱状态类别。

17、s602，计算一维特征向量到滑脱状态识别模型的分类决策边界的符号距离，并将符号距离映射为滑脱严重程度评分。

18、在一个优选的实施方式中，所述计算一维特征向量到滑脱状态识别模型的分类决策边界的符号距离，并将符号距离映射为滑脱严重程度评分，包括：多分类决策函数的计算公式如下：

19、；

20、其中为预测的滑脱状态类别，0表示无滑脱，1表示微滑脱，2表示完全滑脱；为支持向量的数量；为第个支持向量的乘子系数；为第个支持向量的类别标签；为径向基核函数；为第个支持向量；为偏置项；为输入的一维特征向量。

21、在一个优选的实施方式中，所述基于滑脱状态类别和滑脱严重程度评分，确定重抓取策略，包括：s801，识别滑脱状态类别，当滑脱状态类别为无滑脱时，维持当前抓取状态并执行后续采摘搬运流程。

22、s802，当滑脱状态类别为微滑脱时，基于滑脱严重程度评分启动夹爪夹持力的动态补偿控制，逐步增加夹持力至预设上限值，同时根据角度偏差方向微调机械臂末端姿态，得到一级重抓取策略。

23、s803，当滑脱状态类别为完全滑脱时，生成放弃当前夹持动作并基于视觉反馈系统重新识别果实位置和姿态、规划新的抓取点和抓取路径的二级重抓取策略。

24、在一个优选的实施方式中，所述执行所述重抓取策略，并在执行完成后重新获取多模态传感数据以进行反馈监测，包括：s901，根据重抓取策略执行对应的恢复操作。

25、s902，在执行完成后，获取重抓取后的多模态传感数据，并重新识别重抓取后的滑脱状态类别和重抓取后的滑脱严重程度评分。

26、s903，计算重抓取前的滑脱严重程度评分与重抓取后的滑脱严重程度评分之间的变化量，当变化量大于等于预设有效阈值时，判定重抓取无效并触发告警；当变化量小于预设有效阈值时，判定重抓取成功并继续执行后续采摘任务。

27、为了解决上述问题，本申请还提供一种采摘机器人夹爪滑脱后的自主重抓取方法的系统，所述系统包括：多模态传感数据获取模块，用于获取采摘机器人在抓取过程中的多模态传感数据。

28、滑脱偏差特征图谱构建模块，基于多模态传感数据，构建滑脱偏差特征图谱。

29、滑脱偏差特征图谱分析模块，基于滑脱偏差特征图谱进行分析，识别当前抓取动作的滑脱状态类别和滑脱严重程度评分。

30、重抓取策略确定模块，基于滑脱状态类别和滑脱严重程度评分，确定重抓取策略。

31、反馈监测模块，用于执行所述重抓取策略，并在执行完成后重新获取多模态传感数据以进行反馈监测。

32、与现有技术相比，本申请具有以下有益效果：

33、1.本申请提供的一种采摘机器人夹爪滑脱后的自主重抓取方法及系统，通过对夹爪关节角度、压力分布、振动加速度和外部力与力矩四种传感数据进行综合分析，从多个维度捕捉滑脱发生时产生的细微变化，相当于给夹爪装了一个“多感官系统”，能够把滑脱的信号从复杂的干扰信息中精准剥离出来；这样一来，滑脱检测的准确率大幅提升，准确判断是否滑脱以及滑脱到了什么程度，避免了单一传感器容易误判的问题；同时根据识别出的滑脱类型和严重程度，采取分级响应的策略，轻微的滑脱就微调夹持力和姿态来补救，严重的滑脱就直接放弃重新抓取；且整个过程闭环反馈，每次重抓取的效果都会被监测和评估，能提升采摘作业的成功率和果实完好率。

34、2.本申请设置每次滑脱发生后，不管重抓取是成功还是失败，系统都会把整个过程记录下来，从传感器采集到的原始数据，到分析出来的偏差特征，再到做了什么样的决策、最后效果如何，全部存起来反馈给模型；完整储备哪种果子容易滑和哪种力度刚刚好，自我迭代的能力，让整个系统在实际使用中越用越顺手，不需要人工去反复调参和优化。

1.一种采摘机器人夹爪滑脱后的自主重抓取方法，其特征在于，所述方法包括：

2.如权利要求1所述的一种采摘机器人夹爪滑脱后的自主重抓取方法，其特征在于，所述多模态传感数据包括夹爪关节角度数据、压力分布数据、振动加速度数据及外部力与力矩数据。

3.如权利要求1所述的一种采摘机器人夹爪滑脱后的自主重抓取方法，其特征在于，所述基于多模态传感数据，构建滑脱偏差特征图谱，包括：

4.如权利要求3所述的一种采摘机器人夹爪滑脱后的自主重抓取方法，其特征在于，所述外部力与力矩偏差特征序列，包括：

5.如权利要求3所述的一种采摘机器人夹爪滑脱后的自主重抓取方法，其特征在于，所述在时间维度上进行对齐和拼接，从而生成滑脱偏差特征图谱，包括：

6.如权利要求1所述的一种采摘机器人夹爪滑脱后的自主重抓取方法，其特征在于，所述基于滑脱偏差特征图谱进行分析，识别当前抓取动作的滑脱状态类别和滑脱严重程度评分，包括：

7.如权利要求6所述的一种采摘机器人夹爪滑脱后的自主重抓取方法，其特征在于，所述计算一维特征向量到滑脱状态识别模型的分类决策边界的符号距离，并将符号距离映射为滑脱严重程度评分，包括：

8.如权利要求1所述的一种采摘机器人夹爪滑脱后的自主重抓取方法，其特征在于，所述基于滑脱状态类别和滑脱严重程度评分，确定重抓取策略，包括：

9.如权利要求1所述的一种采摘机器人夹爪滑脱后的自主重抓取方法，其特征在于，所述执行所述重抓取策略，并在执行完成后重新获取多模态传感数据以进行反馈监测，包括：

10.一种执行权利要求1-9任一项所述的采摘机器人夹爪滑脱后的自主重抓取方法的系统，其特征在于，包括：