基于多模态特征融合和理想数据集训练的并行智能三维装箱方法及系统

本发明涉及物流运输与仓储管理领域的智能三维装箱技术，具体是一种基于多模态特征融合和理想数据集训练的并行智能三维装箱方法及系统，适用于在线三维装箱场景中的货物装载决策。

背景技术：

1、随着全球供应链和电子商务的飞速发展，装箱问题仍然是现代物流系统的核心环节，其装载率直接影响运输成本与碳排放。合理的装箱算法和空间规划可以最大限度利用装载空间，减少空载率。在物流运输与仓储作业中，装箱方案不仅决定了空间利用率，还涉及重心平衡与堆叠稳定性；在终端产品包装及离散制造业中，不合理的空间利用则是包装浪费与运输成本居高不下的根源。近些年，托盘化作业、冷链运输及自动化仓储机械臂码垛等场景，对三维装箱问题算法的效率和约束处理能力提出了更高要求。

2、三维装箱问题（3d bin packing problem）核心是将一组具有长、宽、高三个维度的物品合理放置到一个或多个三维箱子中，在满足载重限制、重心限制的情况下，优化装箱方案以满足最大化空间利用率。该问题在物流运输、仓储管理、集装箱装载、快递分拣、产品包装等领域有广泛应用，对于降低运输成本、提高仓储效率、节约包装资源具有重要的实际意义。

3、与离线装箱问题不同，本文研究的是在线三维装箱问题：货物依序到达，每步决策须依赖当前可观测信息即时做出，且放置后不可移动或调整，装箱决策具有不可退性。该在线三维装箱问题求解难度高于离线情形。

4、目前，求解三维装箱问题的方法主要有启发式算法与深度强化学习两大类。启发式算法计算速度快、易于实现，但在复杂约束下易陷入局部最优，难以适应动态变化的装箱场景；深度强化学习方法通过端到端的学习展现了强大潜力，但面临三个核心瓶颈：一是在大规模候选位置下缺乏有效的筛选过滤机制，导致推理与决策过程耗时较长、效率低下，二是高维状态表征不足，单一的体素或向量难以捕捉复杂的空间拓扑关系，导致智能体对箱内剩余空间的感知能力受限；三是训练效率低下，由于奖励信号极其稀疏，智能体在训练初期往往长期处于盲目探索状态，收敛速度缓慢。

5、一、传统优化方法在三维装箱问题中的研究进展：

6、传统优化方法将三维装箱问题视为组合优化问题，主要分为精确算法与启发式算法两类。在精确算法方面，martello等提出分支定界法求解离线三维装箱问题，虽能求得最优解，但计算复杂度随物品数量呈指数级增长，难以满足实际时效需求。为此，研究者相继提出多种启发式方法：george j a等首次将启发式算法引入装箱问题并针对异构性及多容器场景展开研究；limbourg等提出混合整数线性规划模型用于货机分舱装载优化；wodziak等采用遗传算法求解货物装载问题；赵鸿飞等提出基于重量差优先的禁忌邻域搜索算法；dahmani等设计了面向真实案例的多目标粒子群优化算法。针对在线场景，crainic等提出极端点算法、ha等设计剩余最大空间算法、wang等提出高度图最小化策略。然而，上述方法本质上依赖人工经验或预设规则，面对复杂约束时适应能力不足，难以泛化至动态变化的真实物流场景，促使研究者转向具备自主学习能力的深度强化学习方法。

7、二、基于深度强化学习方法的三维装箱问题解决方案：

8、近年来，深度强化学习凭借端到端的自主学习能力，已成为三维装箱问题的主流研究方法。研究者研究的主要有两个重点：状态表征与策略架构以及多约束下动作合法性的规范。

9、在策略架构方面，研究从dqn逐步演进至策略梯度与actor-critic框架。liu、verma、tsang等早期工作以dqn/ddqn为基础处理点云、高度图等状态输入；zhao、yang、hu等则转向策略梯度方法，通过mdp建模、pointer network及经验融合奖励函数提升策略稳定性；tu进一步提出drl超启发式框架，动态选择低层启发式策略以缓解在线场景中的决策盲目性。在状态表征方面，jiang引入容器顶视图与动作表示学习提升大尺寸容器的空间特征捕捉能力；ren采用视觉矩阵化表示优化矿石装载；xiong通过启发式候选地图平衡大规模离散空间中的探索与利用。

10、在约束规范方面，研究者主要关注装箱方案的物理可靠性与可执行性。tsang、hu、xiong等建立非重叠、坐标边界与方向限制等基础几何约束；kaluzny、mazur、nascimento等引入重心包络、装载优先级与物理顺序稳定性控制；张长勇与王素欣则进一步将质量分布、综合重心乃至动态转弯场景下的重心约束纳入模型，在追求空间利用率的同时保障运输安全。

11、尽管上述研究在各自场景下取得了良好效果，但仍存在两方面局限：其一，现有方法多依赖单一模态的状态表征，难以全面捕捉三维空间的复杂拓扑结构，导致智能体对箱内剩余空间的感知能力受限；其二，稀疏奖励机制导致训练初期智能体长期处于低效探索状态，收敛速度缓慢，严重制约了方法在复杂约束场景下的实用性。

12、综上所述，当前在线三维装箱问题的解决方案存在决策效率差、训练初期收敛慢以及由此导致箱体空间利用率低的问题。

13、（1）决策效率差。针对在线装箱的实时性要求，现有方法无法有效平衡解的质量与计算效率。基于人工经验构建的规则体系面对复杂多变的场景约束时泛化能力不足，且需耗费大量计算资源；而深度强化学习方法在面临大规模动作空间时，由于缺乏有效的筛选过滤机制，导致推理与决策过程耗时较长、效率低下。

14、（2）强化学习训练初期收敛缓慢。三维装箱问题的强化学习训练中，奖励函数通常在整箱货物完全摆放后才进行计算，这种忽略单步摆放动作的稀疏反馈导致智能体在训练初期长期处于盲目探索状态。由于缺乏高质量的先验知识指导，智能体需经过大量试错才能习得基本的摆放逻辑，不仅增加了训练时间成本，也容易导致算法陷入局部最优解。

15、（3）空间利用率低。 现有算法在处理异构货物或复杂约束时，难以充分挖掘三维空间的利用潜力。传统启发式算法搜索范围有限，容易在早期决策中产生大量离散碎片空间；现有深度强化学习方法多采用单一模态的状态表征，无法精确捕捉物品之间的复杂空间拓扑关系，导致智能体难以识别潜在的紧凑摆放位置，从而限制了整体装载率的提升。

技术实现思路

1、本发明针对现有在线三维装箱方法存在的决策效率差、收敛缓慢及空间利用率低的问题，提供一种基于多模态特征融合和理想数据集训练的并行智能三维装箱方法及系统，本方法和系统通通过mdef多模态特征融合编码器实现箱体空间深度感知，结合起始角点动态空间管理提升决策效率与空间利用率；通过理想数据集与混合监督训练加速收敛。

2、为实现上述技术目的，本发明采取的技术方案为：

3、一种基于多模态特征融合和理想数据集训练的并行智能三维装箱方法，包括以下步骤：

4、步骤s1、采用基于三向分割策略的数据生成方法离线构建理想数据集：将一个完整箱体空间沿长、宽、高三个方向反复随机切割，每次切割产生的子空间视为一件货物，该子空间的起始角点坐标即为该货物的理论最优放置位置，生成空间利用率达到100%的装箱序列数据集；对已生成数据集中的货物到达顺序进行随机打乱处理，模拟在线场景中货物顺序的不确定性；

5、步骤s2、将在线三维装箱问题描述为马尔可夫决策过程，定义状态空间、动作空间、状态转移概率、奖励函数和折扣因子；所述状态空间为后续步骤s4中采集的多模态状态数据，所述动作空间为后续步骤s5中经约束校验后生成的有效动作空间，所述状态转移概率在无模型强化学习框架下通过后续步骤s7中执行放置动作后的状态更新隐式实现，所述奖励函数在后续步骤s8中用于计算复合奖励值，所述折扣因子在后续步骤s9中a3c训练的优势函数计算中使用；其中，货物依序到达，每步决策依赖当前可观测信息即时做出，且放置后不可移动或调整；

6、步骤s3、初始化空闲空间列表，将箱体内部作为一个与箱体等大的轴对齐长方体空闲空间加入该列表；

7、步骤s4、在当前时间步，获取装箱环境的多模态状态数据，所述多模态状态数据包括三维占用矩阵、二维高度图、候选位置特征、当前货物属性特征、全局特征以及预见窗口特征；

8、对所述多模态状态数据进行特征提取与融合，具体包括：采用3d空间编码器对所述三维占用矩阵进行三维卷积和自适应池化，提取三维空间特征；采用二维高度图编码器对所述二维高度图进行二维卷积和自适应池化，提取拓扑结构特征；采用异构特征编码器分别对所述候选位置特征、当前货物属性特征、全局特征和预见窗口特征进行编码，提取对应的向量特征；将上述所有特征展平并拼接，经多层感知机降维与非线性映射，得到融合后的状态特征；

9、步骤s5、基于当前空闲空间列表，采用基于起始角点的动态三维空闲空间管理方法更新空闲空间列表，并基于更新后的空闲空间列表生成候选位置列表；对候选位置列表中的每个候选位置结合当前货物的各旋转朝向构成候选动作，依次进行边界约束校验、不重叠约束校验和物理稳定性约束校验，过滤不满足约束的候选动作，得到有效动作空间；

10、步骤s6、将融合后的状态特征与有效动作空间中各候选动作的特征拼接后输入actor网络，输出各候选动作的得分，对所有得分进行归一化得到动作概率分布，根据所述概率分布选择当前时间步的目标放置动作，所述目标放置动作包含目标三维位置坐标和目标旋转方向编号；将融合后的状态特征输入critic网络，输出当前状态的价值估计；

11、步骤s7、获取当前时间步对应的待放置货物，将所述待放置货物按照步骤s6所选择的目标放置动作中的目标三维位置坐标和目标旋转方向编号进行放置；更新容器的三维占用矩阵、高度图、容积利用率、重心坐标以及空闲空间列表，基于更新后的空闲空间列表重新生成候选位置列表；

12、步骤s8、根据本次放置动作的执行结果计算复合奖励值，复合奖励包括基础奖励、监督奖励和终止奖励；基础奖励根据空间利用率变化和放置质量计算，监督奖励在有专家标签时根据实际放置位置与专家最优位置之间的距离计算，终止奖励在当前回合终止时根据最终容积利用率计算；

13、判断当前候选位置列表是否为空，若为空则标记当前回合终止并输出终止奖励；无论是否为空，均进入步骤s9；

14、步骤s9、采用异步并行训练架构，训练时启动多个并行工作进程，每个进程维护actor网络和critic网络的本地副本，并与独立的装箱环境实例进行交互以产生经验数据；

15、按照预设监督比例，将步骤s1构建的理想数据集中的训练回合划分为有标签子集和无标签子集；

16、对于有标签子集，以专家最优放置位置作为监督目标，更新本地actor网络参数；

17、对于无标签子集，基于产生的经验数据，分别计算策略损失以更新本地actor网络参数、计算价值损失以更新本地critic网络参数；

18、各工作进程在本地累积预设步数的梯度后，或在一个训练回合结束时，将累积梯度异步发送至全局网络，以更新全局actor网络和全局critic网络参数，随后各进程从全局网络同步最新参数至各自的本地副本；

19、若达到预设训练终止条件，则执行步骤s10；否则，若当前回合未终止，则返回步骤s4继续当前回合；若当前回合已终止，则返回步骤s3开始新的训练回合。

20、步骤s10：将达到预设训练终止条件时训练好的actor网络参数输出，用于在线三维装箱决策。

21、作为本发明进一步改进的技术方案，所述步骤s1中基于三向分割策略的数据生成方法具体包括：

22、初始时，空闲空间列表中仅包含一个与箱体等大的完整空间；

23、每次迭代时，从当前空闲空间列表中随机选取一个空间，分别沿长、宽、高三个方向以预设切割概率决定是否对该方向进行切割，若切割则在满足货物尺寸约束的范围内随机确定切割位置，若不切割则该方向取空间的全部尺寸；

24、切割完成后，若生成的货物体积之和等于箱体总体积且所有货物均满足尺寸约束，则该生成案例有效。

25、作为本发明进一步改进的技术方案，所述步骤s1中货物到达顺序的随机打乱处理受滑动窗口约束：设窗口大小为k，对序列中的第i件货物，其在打乱后序列中的位置必须位于当前窗口k之内；所述窗口大小k与预见窗口特征中的预知货物数量保持一致。

26、作为本发明进一步改进的技术方案，所述步骤s4中：

27、所述3d空间编码器采用3×3×3卷积核进行三维卷积，并采用自适应池化将不同尺寸的箱子空间映射为标准化特征立方体；

28、所述二维高度图编码器对二维高度图进行二维卷积操作，经自适应池化压缩为预设尺寸的特征张量，输出固定维度的拓扑结构特征向量。

29、作为本发明进一步改进的技术方案，所述步骤s5中基于起始角点的动态三维空闲空间管理方法包括：

30、新空间生成：以被使用的候选空间为基准，在货物占据区域的上方、右侧和前方三个方向分别尝试生成新的空闲空间；

31、更新现有空间：对空闲空间列表中每个已有空闲空间，重新计算从其起始角点出发的当前最大可用尺寸，若尺寸为零则将该空闲空间从列表中删除，否则更新其尺寸；

32、冗余空间删除：对列表中所有空闲空间进行两两比较，若一空间完全包含另一空间，则删除被包含的空间。

33、作为本发明进一步改进的技术方案，所述步骤s7中更新容器的三维占用矩阵、高度图、容积利用率、重心坐标以及空闲空间列表按以下顺序执行：

34、先更新三维占用矩阵，将货物占据的体素位置标记为已占用；

35、再更新高度图，重新计算货物投影区域内各列的最大高度；

36、然后根据本次放置货物的体积增量更新容积利用率；

37、再采用加权平均法，利用更新后的容积利用率增量更新箱体内已放置货物的重心坐标；

38、最后更新空闲空间列表并重新生成候选位置列表。

39、作为本发明进一步改进的技术方案，所述步骤s8中的复合奖励中：

40、所述基础奖励包含空间利用率提升奖励、高度惩罚和支撑稳定性奖励，放置失败时给予固定惩罚；

41、所述监督奖励基于实际放置位置与专家最优位置之间的欧氏距离计算，当实际放置位置与专家最优位置完全重合时给予额外奖励；

42、所述终止奖励等于最终容积利用率乘以预设系数。

43、作为本发明进一步改进的技术方案，所述步骤s9中预设监督比例选自0%至100%范围内的任一值。

44、为实现上述技术目的，本发明采取的另一个技术方案为：

45、一种基于多模态特征融合和理想数据集训练的并行智能三维装箱系统，其特征在于，包括：

46、理想数据集生成模块：用于采用三向分割策略离线生成空间利用率为100%的装箱序列数据集，并对货物到达顺序进行随机打乱处理；

47、多模态特征融合编码器：用于并行提取箱体状态的3d空间特征、2d高度图特征和异构特征，并融合输出融合状态特征向量；所述异构特征包括候选动作特征、当前货物属性特征、预见窗口特征和全局特征；

48、动态空间管理模块：基于起始角点法更新空闲空间列表，并基于更新后的空闲空间列表生成候选位置列表；结合边界约束、不重叠约束和物理稳定性约束对候选动作进行合法性校验，输出有效动作空间；

49、actor-critic决策模块：包含actor网络和critic网络，所述actor网络用于根据融合后的状态特征向量和有效动作空间中的候选动作特征向量输出动作概率分布并选择目标放置动作，所述critic网络用于评估状态价值；

50、环境状态更新模块：用于在执行放置动作后更新容器的三维占用矩阵、高度图、容积利用率、重心坐标和空闲空间列表，并重新生成候选位置列表；

51、混合监督训练模块：用于在异步并行训练架构下按预设监督比例将有标签子集与无标签子集混合交替训练，其中有标签子集以专家最优放置位置为监督信号进行训练，无标签子集采用标准a3c损失进行训练。

52、作为本发明进一步改进的技术方案，所述混合监督训练模块启动多个并行工作进程，每个进程维护actor网络和critic网络的本地副本并与独立的环境实例异步交互，各工作进程在本地累积预设步数的梯度后或在一个训练回合结束时，将累积梯度异步发送至全局网络以更新全局网络参数，随后各进程从全局网络同步最新参数至各自的本地副本。

53、本发明的有益效果为：

54、针对现有方法在大规模动作空间下缺乏有效筛选机制、决策效率低下的问题，本发明在a3c异步并行框架基础上，结合三维装箱的边界、碰撞与物理稳定性约束规范动作空间合法性，并提出基于起始角点的空间动态管理方法，有效过滤无效摆放位置、减少搜索冗余，在保证决策符合实际装箱安全要求的同时，显著提升推理效率与决策质量。

55、针对强化学习奖励稀疏导致训练初期盲目探索与收敛缓慢的问题，本发明提出基于三向分割法的理想数据集生成方法，利用三向空间分割启发式规则反向生成空间利用率达100%的最优装载序列，并引入混合监督训练策略，在a3c异步并行训练过程中将有专家经验回合与无专家经验回合按比例混合交替训练，以专家经验引导探索方向，以纯强化学习保留自主决策能力，有效提升训练初期的收敛速度与稳定性。

56、针对现有深度强化学习方法单一模态状态表征不足、难以全面捕捉三维空间拓扑关系导致空间利用率低的问题，本发明构建了多模态数据提取与融合编码器（mdef），融合3d空间卷积、2d高度图投影与货物属性向量，通过3d卷积获取箱体内部全局空间特征，利用2d高度图强化对空间高度的几何细节感知，并结合全连接层提取货物异构属性特征，全面提升智能体对三维装箱环境的空间认知能力，从而有效提高装载空间利用率。

57、实验结果表明，本发明在30%监督比例下取得最优测试装载率90.85%，仅需引入10%有标签数据即可将装载率从86.57%提升至89.81%；在cut-1、cut-2和rs三个公开基准数据集上，装载率全面优于传统启发式方法、在线启发式方法、离线方法及同类深度强化学习方法，验证了本发明方法的有效性与泛化能力。