一种基于深度学习的刚软仿人手自主抓取方法

技术特征：
1.一种基于深度学习的刚软仿人手自主抓取方法，其特征在于，所述方法基于深度学习方法与欠驱动自适应抓取的互补性，利用深度学习网络学习不同物体抓取模式的分类，并通过物体检测和图像处理，识别物体抓取模式、抓取区域和抓取角度，简化仿人手的抓取规划与控制；所述方法基于获取模块、第一控制模块、第二控制模块、抓取模块实现，包括以下步骤：第一步，使用深度相机获取物体的rgb图像，并对模型进行训练具体的：获取模块用于使用深度相机获取物体的rgb图像，建立数据集；将数据集分为测试集和训练集，训练集用于训练yolov3目标检测算法识别抓取模式，测试集用于有效检测yolov3目标检测算法的训练成果；通过第一控制模块将rgb图像输入进基于深度神经网络模型的yolov3目标检测算法，输出物体的抓取模式和抓取区域；第二步，利用第二控制模块将第一步得到的rgb图像输入进opencv软件库，并基于opencv图像处理方法对其进行处理，输出物体的抓取角度；第三步，抓取模块根据第三步中所获取的抓取角度，第二步获取的抓取模式、抓取区域，通过电机控制刚软仿人手抓取物体，具体的：3.1)在已设计完成的刚软仿人手空载的情况下进行初始化，设置电机的初始位置标记；3.2)根据抓取区域和抓取角度，控制与刚软仿人手连接的机械臂运动到抓取点正上方20厘米处的准备位置；3.3)控制电机的转动圈数，使刚软仿人手的手指达到预抓取位置；3.4)根据抓取模式控制刚软仿人手做出预抓取模式构型，例如当抓取某一物体时，手部需要转动90度，此时需要刚软仿人手预先转动30度，实现预抓取模式构型；3.5)根据抓取高度，控制机械臂竖直向下运动使刚软仿人手抓取末端点到达桌面；3.6)刚软仿人手完成自适应抓取并保持抓握，机械臂向上运动抓起物体；其中，抓取高度通过深度相机获得。2.根据权利要求1所述的一种基于深度学习的刚软仿人手自主抓取方法，其特征在于，所述的第一步中，训练集训练yolov3目标检测算法识别抓取模式的具体过程为；将物体分为四种抓取模式，分别为柱形包络、球形包络、精细捏取和宽型捏取；并结合目标检测算法进行训练；训练分为两部份：一是使用卷积神经网络提取查的图片特征，输出特征图；二是原始得到的rgb图像划分为小方块并以每个小方块为中心分别生成一系列锚框，以锚框为基础生成预测框，设定锚框的中点为抓取点，并根据物体真实框的位置对其进行位置和类别标注；最后建立输出的特征图与预测框标签的关联，创建损失函数并完成训练，根据初始设定好的标准，得到相对应的抓取模式、抓取区域；在对第一步中测试训练完成后的yolov3物体检测算法进行测试，可以识别物体的抓取模式和抓取区域。3.根据权利要求2所述的一种基于深度学习的刚软仿人手自主抓取方法，其特征在于，在物体抓取模式的划分同时考虑了物体的形状和大小，具体划分参数有物体的厚度和宽度；当物体厚度小于30mm且宽度小于30mm时，物体属于精细捏取；当物体厚度小于30mm且宽度大于30mm时，物体属于宽型捏取；当物体厚度大于30mm且形状偏于柱形时，物体属于柱形
包络；当物体厚度大于30mm且形状偏于球形时，物体属于球形包络。

技术总结
本发明提供一种基于深度学习的刚软仿人手自主抓取方法，属于机器人智能控制技术领域。抓取方法包括：使用深度相机获取物体的RGB图像；将RGB图像输入进基于深度神经网络模型的YOLOv3目标检测算法，输出物体的抓取模式和抓取区域；将RGB图像输入进基于OpenCV的图像处理方法，输出物体的抓取角度；根据抓取模式、抓取区域和抓取角度控制刚软仿人手抓取物体。本发明能够同时实现抓取模式预测和抓取位姿估计，避免了复杂的抓取规划并允许刚软仿人手与桌面发生轻微接触；可以实现对刚软仿人手的精确控制，使刚软仿人手能够准确有力地抓取物体。体。体。


技术研发人员：杜宇 刘冬 吴敏杰 李泳耀 田小静 丛明
受保护的技术使用者：大连理工大学
技术研发日：2022.09.05
技术公布日：2022/12/8