机械臂抓取模型域随机化训练方法、系统、设备及介质与流程

本发明涉及智能抓取，尤其涉及一种机械臂抓取模型域随机化训练方法、系统、设备及介质。

背景技术：

1、基于深度学习的机械臂抓取姿态生成模型需要大量标注训练数据才能达到可用精度。在真实场景中采集和标注点云抓取数据面临成本高、效率低和标注一致性差等问题，单次抓取实验需要机械臂运动、深度相机采集和人工标注成功/失败状态，采集数据通常需要花费大量时间，且人工标注的判定标准因人而异，容易引入标签噪声。仿真环境可以大规模自动生成标注数据，成为解决数据瓶颈的重要途径。

2、然而，现有技术存在以下问题：仿真环境中渲染生成的虚拟点云与真实深度相机采集的点云之间存在显著的"域差距"（domain gap）。这种域差距主要来源于点云物理特性的不匹配，导致仿真训练的抓取模型在部署到真实机械臂时，面对具有不同噪声、密度、遮挡和反射特性的真实点云输入时性能显著下降，零样本迁移成功率低。

3、公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

1、本发明提供了一种机械臂抓取模型域随机化训练方法、系统、设备及介质，从而有效解决背景技术中的问题。

2、为了达到上述目的，本发明所采用的技术方案是：一种机械臂抓取模型域随机化训练方法，包括如下步骤：

3、在仿真环境中渲染生成目标物体的多视角虚拟点云数据，对所述虚拟点云数据施加物理特性域随机化处理，所述物理特性域随机化处理包括对虚拟点云的深度噪声分布、点云密度分布、遮挡模式和表面反射特性中的至少两个维度进行随机化；

4、在所述仿真环境中对每个虚拟点云样本自动生成抓取标签，所述抓取标签通过仿真物理引擎对虚拟夹爪执行抓取动作后的物体状态进行碰撞检测确定，将随机化后的虚拟点云数据和对应的抓取标签组成训练数据集；

5、利用所述训练数据集对抓取姿态生成模型进行训练，所述抓取姿态生成模型以随机化虚拟点云为输入，以抓取姿态参数为输出；

6、将训练完成的所述抓取姿态生成模型部署至真实机械臂系统，实现对真实场景点云的零样本抓取姿态生成。

7、进一步地，所述仿真环境包括物理仿真引擎和虚拟深度相机模型；

8、所述虚拟深度相机模型的内参参数与真实深度相机的内参参数一致，所述物理仿真引擎用于模拟夹爪抓取物体过程中的刚体动力学和碰撞检测。

9、进一步地，所述深度噪声分布的随机化采用高斯噪声与脉冲噪声的混合模型，所述混合模型的表达式为：

10、；

11、其中表示标准差为σ的高斯噪声，σ从预设范围采样；表示以概率p出现的幅值为a的脉冲噪声，p和a均从各自的预设范围内随机采样。

12、进一步地，所述点云密度分布的随机化通过模拟不同测量距离和入射角下的点云稀疏化效应实现：

13、对虚拟点云中每个点，根据该点到虚拟深度相机的距离d和该点所在表面的法向量与相机光轴的夹角θ，按如下公式随机删除该点：

14、；

15、其中α为距离衰减系数，从预设范围采样，为该点的保留概率，当生成的随机数小于时保留该点，否则删除该点。

16、进一步地，所述遮挡模式的随机化包括：

17、在虚拟场景中随机放置若干个遮挡物，所述遮挡物的尺寸、形状、位置和朝向均从预设分布中随机采样，使所述目标物体产生随机的自遮挡和互遮挡区域，模拟真实场景中物体被其他物体或夹爪遮挡的情况。

18、进一步地，所述表面反射特性的随机化通过为所述目标物体的每个表面随机分配双向反射分布函数参数实现；

19、所述双向反射分布函数参数包括漫反射率、镜面反射率和表面粗糙度，各参数从各自的预设分布中独立采样，使所述虚拟点云覆盖从哑光到高反光的多种材质表现。

20、进一步地，所述抓取标签的自动生成包括：

21、在仿真环境中控制虚拟夹爪按照候选抓取姿态闭合，若闭合后物体被稳定夹持且在预设提升高度内未掉落，则标记该候选抓取姿态为成功标签；

22、若物体在夹爪闭合过程中弹开、滑落或未被夹持，则标记为失败标签。

23、进一步地，所述物理特性域随机化处理在每次生成虚拟点云样本时独立采样各随机化参数，使所述训练数据集中每个样本的物理特性参数组合互不相同，形成覆盖真实场景物理特性变化范围的增强数据集。

24、进一步地，所述方法还包括：在所述训练数据集中同时引入所述目标物体在不同堆叠数量、不同堆叠密度和不同背景clutter水平下的多物体场景虚拟点云，使所述抓取姿态生成模型适应从单物体到密集堆叠的不同场景复杂度。

25、进一步地，所述方法应用于工业分拣场景中的杂乱零件抓取、物流仓储场景中的混箱拆垛抓取或服务机器人场景中的日常物品抓取。

26、本发明还包括一种机械臂抓取模型域随机化训练装置，应用如上述的方法，进一步地，所述装置包括：

27、仿真点云生成模块，用于在仿真环境中渲染生成目标物体的多视角虚拟点云数据；

28、物理特性域随机化模块，用于对所述虚拟点云数据施加深度噪声分布、点云密度分布、遮挡模式和表面反射特性中的至少两个维度的随机化处理；

29、自动标注与数据集构建模块，用于在仿真环境中对每个虚拟点云样本自动生成抓取标签，将随机化后的虚拟点云数据和对应的抓取标签组成训练数据集；

30、模型训练模块，用于利用所述训练数据集对抓取姿态生成模型进行训练；

31、部署迁移模块，用于将训练完成的所述抓取姿态生成模型部署至真实机械臂系统，实现零样本抓取姿态生成。

32、进一步地，所述仿真点云生成模块包括物理仿真引擎单元和虚拟深度相机渲染单元，所述物理仿真引擎单元用于模拟刚体动力学和碰撞检测，所述虚拟深度相机渲染单元用于生成与真实深度相机内参一致的虚拟点云。

33、进一步地，所述装置还包括真实机械臂执行模块，所述真实机械臂执行模块包括多自由度机械臂、平行夹爪式末端执行器和深度相机，用于在真实场景中采集点云并执行所述抓取姿态生成模型输出的抓取姿态。

34、本发明还包括一种计算机设备，包括处理器和存储器，所述处理器和所述存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述的方法。

35、本发明还包括一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

36、本发明还包括一种计算机程序产品，所述计算机程序产品包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。

37、本发明的有益效果为：通过对仿真虚拟点云施加四个维度的物理特性域随机化，使仿真训练数据覆盖了真实深度相机在各种条件下的点云物理特性变化范围。抓取模型在训练阶段已见过各种噪声、密度、遮挡和材质组合的输入，在部署到真实场景时无需任何真实数据微调即可实现零样本迁移。