面向不规则物体的机器人抓取与码垛方法及系统与流程
本发明涉及数据处理技术,尤其涉及一种面向不规则物体的机器人抓取与码垛方法及系统。
背景技术:
1、随着物流仓储和制造业的智能化升级,机器人装卸码垛已成为提升生产效率的核心环节。
2、目前,现有的不规则物体抓取与码垛方法多采用反应式的视觉引导,即仅根据当前视觉观测直接生成并执行抓取和放置动作,这类方法在动作执行前缺乏对未来交互结果的推演,无法提前判断放置后码垛的整体结构是否稳定、物体之间是否存在碰撞风险、空间排布是否合理,从而可能导致机器人在面对形状各异、重心不明的不规则物体时,容易出现码垛失稳坍塌或空间浪费的问题。
3、因此,如何在对不规则物体进行抓取码垛时,提高码垛过程中的结构稳定性和空间利用率成为亟需解决的问题。
技术实现思路
1、本发明提供一种面向不规则物体的机器人抓取与码垛方法及系统,可以在对不规则物体进行抓取码垛时,提高码垛过程中的结构稳定性和空间利用率。
2、本发明的第一方面,提供一种面向不规则物体的机器人抓取与码垛方法,包括:
3、获取工作区域在多个视角下的场景图像,对所述场景图像进行双通道特征提取与融合,得到融合特征图;
4、基于所述融合特征图确定当前控制周期对应的候选动作数据;
5、将所述融合特征图和所述候选动作数据输入状态推演模块,所述状态推演模块基于预先配置的码垛全局约束条件进行状态推演,得到预测状态序列;
6、基于所述预测状态序列,对所述候选动作数据进行迭代修正,得到动作控制指令并进行输出。
7、可选地,在第一方面的一种可能实现方式中,所述获取工作区域在多个视角下的场景图像,对所述场景图像进行双通道特征提取与融合,得到融合特征图,包括:
8、将所述场景图像分别输入至第一特征提取通道和第二特征提取通道;
9、基于所述第一特征提取通道对所述场景图像进行几何结构的特征提取,输出几何特征图;
10、基于所述第二特征提取通道对所述场景图像进行语义类别的特征提取,输出语义特征图;
11、将所述几何特征图和所述语义特征图进行叠加融合,得到融合特征图。
12、可选地,在第一方面的一种可能实现方式中,所述基于所述第一特征提取通道对所述场景图像进行几何结构的特征提取,输出几何特征图,包括:
13、在所述第一特征提取通道中,获取所述场景图像中各像素点的深度信息和轮廓信息;
14、对所述深度信息和所述轮廓信息进行空间结构分析,提取像素级的几何结构特征,得到几何特征图。
15、可选地,在第一方面的一种可能实现方式中,所述基于所述第二特征提取通道对所述场景图像进行语义类别的特征提取,输出语义特征图,包括:
16、在所述第二特征提取通道中,获取所述场景图像中各像素点的纹理信息和场景关联信息;
17、对所述纹理信息和所述场景关联信息进行语义分析,提取像素级的语义类别特征,得到语义特征图。
18、可选地,在第一方面的一种可能实现方式中,所述基于所述融合特征图确定当前控制周期对应的候选动作数据,包括:
19、基于所述融合特征图中的几何结构特征,确定各待抓取物体在所述工作区域内的空间位置;
20、根据所述融合特征图中的语义类别特征,确定各待抓取物体的类别归属;
21、根据所述空间位置和所述类别归属确定与所述待抓取物体相匹配的抓取位姿参数和放置位姿参数,作为候选动作数据。
22、可选地,在第一方面的一种可能实现方式中,所述根据所述空间位置和所述类别归属确定与所述待抓取物体相匹配的抓取位姿参数和放置位姿参数,包括:
23、对所述待抓取物体表面各点的空间位置进行邻域法向量计算,将邻域法向量夹角小于预设阈值的点合并为平面区域,将面积最大的平面区域作为可抓取区域;
24、确定所述可抓取区域的几何中心为抓取点,确定所述可抓取区域对应的法向量的反方向作为抓取方向;
25、将所述类别归属与预设的类别抓取关系进行匹配,得到所述待抓取物体对应的抓取方式;
26、将所述抓取点、所述抓取方向和所述抓取方式组合为抓取位姿参数;
27、获取当前码垛区域内已有物体的放置位置和外形尺寸,计算所述当前码垛区域中尚未被占用的可放置位置,将所述可放置位置中与所述抓取点距离最近的位置作为放置点,将所述放置点对应的坐标作为所述放置位姿参数。
28、可选地,在第一方面的一种可能实现方式中,所述将所述融合特征图和所述候选动作数据输入状态推演模块,所述状态推演模块基于预先配置的码垛全局约束条件进行状态推演,得到预测状态序列,包括:
29、将所述融合特征图和所述候选动作数据输入至状态推演模块,从所述融合特征图中获取各物体的当前位姿,从所述候选动作数据中获取夹爪的动作参数;
30、状态推演模块基于各物体的当前位姿和所述动作参数,初步推演所述工作区域内各物体在动作执行过程中不同阶段的物体位姿,得到各阶段对应的各物体位姿的序列作为初始状态序列;
31、状态推演模块调取内部配置的所述码垛全局约束条件,所述码垛全局约束条件包括结构稳定性约束、空间利用率约束和碰撞风险约束;
32、状态推演模块基于所述码垛全局约束条件对所述初始状态序列中各阶段对应的各物体位姿进行修正,得到预测状态序列。
33、可选地,在第一方面的一种可能实现方式中,所述状态推演模块基于所述码垛全局约束条件对所述初始状态序列中各阶段对应的各物体位姿进行修正,得到预测状态序列,包括:
34、基于所述结构稳定性约束,将所述初始状态序列中质心垂直投影超出下方物体接触区域的待放置物体进行位置调整,直至质心垂直投影落入所述接触区域内,得到第一状态序列;
35、基于所述碰撞风险约束,将所述第一状态序列中物体间距小于预设安全距离的物体进行位置调整,直至物体间距达到所述预设安全距离,得到第二状态序列;
36、基于所述空间利用率约束,将所述第二状态序列中物体间距大于预设间距阈值的物体进行位置调整,直至物体间距不大于所述预设间距阈值,其中所述预设间距阈值大于所述预设安全距离;
37、将修正后的位姿序列作为所述预测状态序列。
38、可选地,在第一方面的一种可能实现方式中,所述基于所述预测状态序列,对所述候选动作数据进行迭代修正,得到动作控制指令并进行输出,包括:
39、将所述预测状态序列中各阶段对应的各物体位姿与预设的码垛目标位姿进行比对,计算各阶段的位姿偏差;
40、根据所述位姿偏差对所述候选动作数据中的抓取位姿参数和放置位姿参数进行调整,得到修正动作数据;
41、将所述修正动作数据作为新的候选动作数据,重新输入所述状态推演模块进行状态推演和修正,直至所述位姿偏差小于预设偏差阈值;
42、将最后一次迭代得到的修正动作数据作为动作控制指令输出。
43、本发明的第二方面,提供一种面向不规则物体的机器人抓取与码垛系统,包括:
44、融合模块,用于获取工作区域在多个视角下的场景图像,对所述场景图像进行双通道特征提取与融合,得到融合特征图;
45、确定模块,用于基于所述融合特征图确定当前控制周期对应的候选动作数据;
46、推演模块,用于将所述融合特征图和所述候选动作数据输入状态推演模块,所述状态推演模块基于预先配置的码垛全局约束条件进行状态推演,得到预测状态序列;
47、修正模块,用于基于所述预测状态序列,对所述候选动作数据进行迭代修正,得到动作控制指令并进行输出。
48、本发明的有益效果如下:
49、1、本发明通过对场景图像分别进行几何结构特征与语义类别特征的双通道提取与融合,使机器人能够同时感知物体的形状轮廓与类别属性,从而可以提升对不规则物体的感知准确性以及可以提升抓取操作的准确性。
50、2、本发明可以通过状态推演模块在动作实际执行之前对候选动作进行模拟推演,并在推演过程中引入码垛全局约束条件对推演结果进行修正,使得输出的预测状态序列能够同时满足码垛在稳定性、安全性和空间利用率方面的要求,从而可以降低实际码垛过程中发生失稳坍塌和碰撞损坏的风险。
51、3、本发明通过将状态推演模块输出的预测状态序列与预设的码垛目标位姿进行比对,根据位姿偏差对候选动作数据进行反向调整,并将调整后的修正动作数据重新输入状态推演模块进行新一轮的推演和修正,经过多次循环迭代直至位姿偏差减小至预设阈值以下,再将最终的动作数据作为控制指令输出,使得机器人可以在虚拟推演环境中经过多轮验证和优化后才执行实际动作,从而可以逐渐提高动作方案的精确度,确保实际码垛效果的稳定性和可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com