基于支撑关系图与深度强化学习的三维码盘方法及装置与流程
本发明涉及人工智能,尤其是涉及一种基于支撑关系图与深度强化学习的三维码盘方法及装置。
背景技术:
1、随着智能制造与自动化生产的快速发展,机械制造、物流运输、仓储管理等行业对三维空间内的自动码盘技术提出了迫切需求。例如,在机械制造智能产线中,成品工件需要被稳定堆叠于料框内以最大化空间利用率;在电商物流中心,海量包裹需在车厢或周转箱中高效紧凑地摆放。这些场景的码盘问题在数学上被建模为三维装箱问题,属于组合优化领域的经典难题。
2、目前,为这些场景构造有效装箱算法的共同难点在于待装载物体形状不规则、几何关系复杂,且装载过程必须满足严格的物理稳定性约束。然而,传统启发式方法在处理长方体等简单形状物体的装箱问题时表现尚可,但面对异形工件时往往因局部贪心策略而陷入次优布局,导致空间利用率远低于理论最优值。现有的基于深度强化学习的方法大多将重心放在几何表示的精度与空间利用率上,对物理稳定性约束的建模相对薄弱。部分方法完全忽略稳定性,导致输出方案在实际中不可行;另一方面,不规则工件的堆叠形成了复杂的空间支撑结构,这些近似方法在长方体装箱问题中能够取得较好结果,但在几何关系复杂的不规则物体装箱问题中,由于物理稳定性与几何布局高度耦合,难以准确评估工件之间的局部支撑关系,无法保证每个放置动作的绝对稳定性。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种基于支撑关系图与深度强化学习的三维码盘方法及装置,以在具有不规则形状的三维工件码盘时,提高箱内的空间利用率和稳定性。
2、为了实现上述目的,本发明采用的技术方案如下:
3、第一方面,本发明提供了一种基于支撑关系图与深度强化学习的三维码盘方法,包括:构建当前三维不规则物体装箱场景的物理装箱环境;其中,物理装箱环境包括:环境状态、待装载物体的动作空间和状态转移逻辑;环境状态包括:待装载物体信息和箱内状态;在执行每一码盘动作前,对待装载物体的动作空间中的候选动作进行预筛选;其中,候选动作包括:旋转方向与放置位置的水平坐标;将预筛选后的候选动作和环境状态输入至装箱价值网络中,得到各预筛选后的候选动作的价值分数;基于价值分数,确定目标动作,并基于目标动作和状态转移逻辑动态更新箱内状态。
4、可选的,待装载物体信息采用离散化的厚度图进行表示,保存待装载物体的不规则平面形状与固定厚度信息;箱内状态包括:箱内离散化高度图和支撑关系图;其中,箱内离散化高度图是将箱内三维空间沿垂直方向投影为二维网格矩阵,保存每个网格位置上方的最大堆叠高度;支撑关系图用于显式表达箱内已装载物体之间的物理依赖拓扑关系,节点表示已装载物体,节点的特征信息包括该已装载物体装载后的上下底面高度图;当两个已装载物体在垂直方向上存在直接接触和支撑关系时,节点之间具有连接边。
5、可选的,对待装载物体的动作空间中的候选动作进行预筛选,包括:基于候选动作下,待装载物体与箱底或当前箱内已装载物体的接触区域、已装载物体的稳定受力区域以及待装载物体的重心投影,对所述候选动作进行第一预筛选,得到第一候选动作;通过物理仿真引擎对第一候选动作进行仿真模拟,得到预筛选后的候选动作。
6、可选的,基于候选动作下,待装载物体与箱底或当前箱内已装载物体的接触区域、已装载物体的稳定受力区域以及待装载物体的重心投影,对所述候选动作进行第一预筛选,得到第一候选动作,包括:对于动作空间中的各候选动作,基于待装载物体与箱底或当前箱内已装载物体的每个接触区域以及已装载物体的稳定受力区域,确定待装载物体对应的有效支撑面;其中,物体的稳定受力区域指的是物体上可承载任意质量的质点而不改变稳定性的区域;如果待装载物体处于候选动作对应的放置位置时,待装载物体的重心在水平面上的投影落在对应的有效支撑面所构成的凸多边形区域内,且待装载物体信息和箱内离散化高度图确定待装载物体未超出箱体边界、与已装载物体未重叠,则将该候选动作确定为第一候选动作。
7、可选的,通过物理仿真引擎对第一候选动作进行仿真模拟,得到预筛选后的候选动作,包括:将待装载物体的三维网格模型投放至第一候选动作对应的放置位置进行自由落体仿真,得到仿真结束时待装载物体相对于初始的放置位置与旋转方向的位移偏移量和旋转偏移量;如果位移偏移量的范数小于或等于位移阈值,且旋转偏移量的范数小于或等于旋转阈值,则将该第一候选动作确定为预筛选后的候选动作。
8、可选的,装箱价值网络包括编码模块和价值预测模块;将预筛选后的候选动作和环境状态输入至装箱价值网络中,得到各预筛选后的候选动作的价值分数,包括:基于预筛选后的候选动作和环境状态,通过编码模块分别提取预筛选后的候选动作的位置坐标特征、箱内局部空间的几何分布与空洞特征以及物体间的支撑特征;通过价值预测模块对位置坐标特征、箱内局部空间的几何分布与空洞特征以及物体间的支撑特征进行拼接和融合,得到各预筛选后的候选动作的价值分数。
9、可选的,还包括:基于目标动作对应的目标旋转方向和目标水平坐标,确定待装载物体的目标竖直坐标;基于目标旋转方向、目标水平坐标和目标竖直坐标,生成码盘动作指令,并将码盘动作指令发送至机械臂,以使机械臂基于码盘动作指令执行针对待装载物体的抓取和放置。
10、可选的,机械臂基于码盘动作指令执行针对待装载物体的抓取和放置之后,还包括:计算目标动作的奖励值;其中,如果待装载物体放置成功,则计算箱内的总体体积利用率增量、紧密程度增量和投影空间利用率增量,并将总体体积利用率增量、紧密程度增量和投影空间利用率增量进行加权求和,得到目标动作的奖励值;如果待装载物体放置失败,则目标动作的奖励值为预设值。
11、第二方面,本发明提供了一种基于支撑关系图与深度强化学习的三维码盘装置,包括:环境构建模块,用于构建当前三维不规则物体装箱场景的物理装箱环境;其中,物理装箱环境包括:环境状态、待装载物体的动作空间和状态转移逻辑;环境状态包括:待装载物体信息和箱内状态;动作筛选模块,用于在执行每一码盘动作前,对待装载物体的动作空间中的候选动作进行预筛选;其中,候选动作包括:旋转方向与放置位置的水平坐标;价值分数计算模块,用于将预筛选后的候选动作和环境状态输入至装箱价值网络中,得到各预筛选后的候选动作的价值分数;状态更新模块,用于基于价值分数,确定目标动作,并基于目标动作和状态转移逻辑动态更新箱内状态。
12、第三方面,本发明提供了一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的计算机可执行指令,处理器执行计算机可执行指令以实现上述第一方面提供的任一项的方法的步骤。
13、第四方面,本发明提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述第一方面提供的任一项的方法的步骤。
14、本发明带来了以下有益效果:
15、本发明提供的上述基于支撑关系图与深度强化学习的三维码盘方法及装置,首先构建当前三维不规则物体装箱场景的物理装箱环境;其中,物理装箱环境包括:环境状态、待装载物体的动作空间和状态转移逻辑;环境状态包括:待装载物体信息和箱内状态;然后在执行每一码盘动作前,对待装载物体的动作空间中的候选动作进行预筛选;其中,候选动作包括:旋转方向与放置位置的水平坐标;接着将预筛选后的候选动作和环境状态输入至装箱价值网络中,得到各预筛选后的候选动作的价值分数;最后基于价值分数,确定目标动作,并基于目标动作和状态转移逻辑动态更新箱内状态。上述方法中,首先构造了包含环境状态、动作空间的物理装箱环境状态表示,并在深度网络评估前进行高效的候选动作预选,直接剔除违反物理稳定性的动作;基于支撑关系图的装箱价值网络,通过引入图注意力网络来深度学习和提取箱内已装载物体之间的复杂空间支撑特征,使智能体具备理解全局堆叠结构的能力,能够在每个在线决策步骤中,快速且准确地筛选出既符合物理静力平衡又具备最高长期空间收益的最优码盘位姿,从而在具有不规则形状的三维工件码盘时,提高箱内的空间利用率和稳定性。
16、本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
17、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳,并配合所附附图,作详细说明如下。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com