基于数字孪生多模态反馈的码垛转运任务计划迭代规划方法及系统

本技术涉及工业机器人任务迭代规划，特别是涉及一种基于数字孪生多模态反馈的码垛转运任务计划迭代规划方法及系统。

背景技术：

1、工业码垛、上下料和转运场景中，多机器人、转运平台、夹具与码垛目标位协同作业越来越常见。此类场景通常涉及工件从上料区到转运平台、从转运平台到目标码垛位的多步骤转移，并要求机器人动作、平台移动、工件状态与码垛空间保持一致。随着柔性制造、小批量多品种生产需求增加，传统固定程序式的机器人任务配置方式难以快速适配变化的场景。

2、视觉语言大模型、视觉语言动作模型以及检索增强生成与大语言模型的组合，可根据现场图像、任务目标或自然语言指令直接生成任务计划，具备较强的语义理解与开放场景适应能力，已开始被引入工业任务规划场景。然而，此类模型在生成机器人任务计划时存在空间理解偏差、碰撞与干涉考虑不足、多步骤之间状态一致性不足、多执行主体接力配合时序与位姿不一致、堆垛任务中未考虑码垛位占用状态等问题。

3、现有的机器人运动规划与数字孪生验证系统通常仅对给定的轨迹、给定的程序进行验证，其输入多为底层机器人轨迹、目标位姿或程序指令，缺少面向上层视觉语言大模型生成的结构化任务计划的语义解析机制。即使能够检测到不可达、碰撞或状态异常，也通常缺少面向上层模型重规划的结构化失败原因描述、视觉化的失败画面反馈以及与上层生成式模型形成的多模态闭环反馈机制。

4、因此，上层任务计划与下层运动验证之间存在语义鸿沟，业界缺少一种能够将视觉语言大模型生成的结构化任务计划自动映射为运动验证任务、并将验证失败原因以结构化错误加数字孪生截图标注图的多模态形式反馈给上层模型从而支持闭环迭代规划的方法。

技术实现思路

1、本技术的目的是提供一种基于数字孪生多模态反馈的码垛转运任务计划迭代规划方法及系统，可在数字孪生验证环境中对结构化任务计划进行运动验证，并通过结构化错误信息和虚拟环境可视化反馈信息触发任务计划生成主体进行迭代重规划，从而提高任务计划的可执行性、安全性与稳定性。

2、为实现上述目的，本技术提供了如下方案：

3、第一方面，本技术提供了一种基于数字孪生多模态反馈的码垛转运任务计划迭代规划方法，包括以下步骤：

4、获取基于任务目标生成的结构化任务计划，并将所述结构化任务计划作为当前结构化任务计划；所述结构化任务计划包含按执行顺序排列的多个动作步骤，每一动作步骤至少包括执行主体、动作语义和操作对象。

5、解析所述当前结构化任务计划，识别每一动作步骤的动作语义，并根据所述动作语义将每一动作步骤转换为对应的运动验证任务，得到运动验证任务序列。

6、在数字孪生验证环境中按照所述运动验证任务序列逐步执行运动验证。

7、若验证过程中当前动作步骤验证失败，则生成对应于当前动作步骤的结构化错误信息和虚拟环境可视化反馈信息；所述虚拟环境可视化反馈信息至少包括虚拟环境截图及所述虚拟环境截图上的标注信息。

8、将原任务目标、当前结构化任务计划、所述结构化错误信息和所述虚拟环境可视化反馈信息作为多模态反馈信息，反馈至任务计划生成主体，以重新生成结构化任务计划。

9、将重新生成的结构化任务计划作为当前结构化任务计划，跳转至步骤“解析所述当前结构化任务计划，识别每一动作步骤的动作语义，并根据所述动作语义将每一动作步骤转换为对应的运动验证任务，得到运动验证任务序列”，直至满足停止条件，输出当前结构化任务计划或输出失败报告并触发人工审核。

10、可选地，所述结构化任务计划中每一动作步骤还包括源位姿、目标位姿、约束条件和步骤依赖关系中的至少一者；所述动作语义包括抓取、放置到转运平台、平台移动、从转运平台抓取和放置到目标位中的至少一种；根据所述动作语义将每一动作步骤转换为对应的运动验证任务，得到运动验证任务序列，具体包括以下步骤：

11、对于动作语义为“抓取”的动作步骤，生成包含接近、夹具对准、抓取、附着操作对象和撤离的运动验证任务。

12、对于动作语义为“放置到转运平台”的动作步骤，生成包含移动至平台放置位、释放操作对象和撤离的运动验证任务。

13、对于动作语义为“平台移动”的动作步骤，生成包含转运平台沿约束轴移动并承载操作对象随动的运动验证任务。

14、对于动作语义为“从转运平台抓取”的动作步骤，生成包含机器人从平台交接位抓取操作对象的运动验证任务。

15、对于动作语义为“放置到目标位”的动作步骤，生成包含移动至目标位、放置、释放和撤离的运动验证任务。

16、可选地，在数字孪生验证环境中按照所述运动验证任务序列逐步执行运动验证之前，还包括以下步骤：

17、在数字孪生验证环境中绑定参与任务执行的机器人对象、转运平台对象、操作工件对象、夹具对象、障碍物对象和目标位对象，建立所述当前结构化任务计划中各字段与各数字孪生验证环境对象之间的映射关系，并绑定各数字孪生验证环境对象的几何模型、运动学模型、坐标系、状态变量、碰撞属性和约束参数。

18、可选地，在数字孪生验证环境中按照所述运动验证任务序列逐步执行运动验证，具体包括以下步骤：

19、验证机器人末端是否可达目标位姿或中间位姿。

20、验证运动过程中机器人本体之间、机器人与转运平台、机器人与操作工件、机器人与障碍物之间是否存在碰撞。

21、验证转运平台的行程、速度、限位和承载状态以及操作工件随动关系是否满足约束条件。

22、验证动作前后操作工件的关系状态切换是否一致。

23、验证前一执行主体释放操作工件的状态与后一执行主体抓取操作工件的状态在空间和时间上是否连续。

24、验证目标位是否被占用、目标姿态是否满足堆叠要求以及操作工件之间是否存在空间冲突。

25、可选地，所述结构化错误信息包括验证结果标识、失败动作步骤标识、失败执行主体、失败动作、涉及对象、失败类型、失败原因、修改建议和关联截图标识中的至少一者；所述失败类型包括目标位姿不可达、运动路径碰撞、操作工件关系状态不一致、平台目标位置超限、目标位被占用、交接顺序或位姿不匹配以及夹具姿态不匹配中的至少一种。

26、可选地，生成对应于当前动作步骤的虚拟环境可视化反馈信息，具体包括以下步骤：

27、在当前动作步骤验证过程中记录视点参数、各数字孪生验证环境对象的位姿、碰撞几何和操作工件的关系状态变量。

28、根据当前动作步骤所涉及对象在数字孪生验证环境中的位姿选取观察视点，触发该视点的截图渲染，得到虚拟环境截图。

29、根据失败类型从预设的标注模板库中匹配对应的可视化叠加规则，在所述虚拟环境截图上叠加标注信息，输出所述虚拟环境截图与所述虚拟环境截图上的标注信息。

30、可选地，所述停止条件包括以下至少一者：

31、数字孪生验证环境中全部动作步骤均通过验证。

32、重规划次数达到预设最大迭代次数。

33、当前失败类型属于预设的不可自动修复错误类型。

34、任务计划生成主体的输出置信度低于预设阈值。

35、连续多轮迭代中验证通过的动作步骤数量未增加。

36、触发预设的人工审核条件。

37、可选地，所述任务计划生成主体为视觉语言大模型、视觉语言动作模型、检索增强生成与大语言模型组合、专家系统、规则系统或工艺规划系统中的任意一种。

38、可选地，在数字孪生验证环境中按照所述运动验证任务序列逐步执行运动验证时，采用第一策略执行运动验证：在检测到任一动作步骤验证失败时，立即中断当前轮次验证并输出该失败动作步骤的结构化错误信息，进入反馈与重规划流程。

39、或者，采用第二策略执行运动验证：在完成全部动作步骤的验证后，将所有验证失败的动作步骤汇总为结构化错误信息列表统一输出。

40、第二方面，本技术提供了一种基于数字孪生多模态反馈的码垛转运任务计划迭代规划系统，包括以下功能模块：

41、任务计划接入模块，用于获取基于任务目标生成的结构化任务计划，并将所述结构化任务计划作为当前结构化任务计划；所述结构化任务计划包含按执行顺序排列的多个动作步骤，每一动作步骤至少包括执行主体、动作语义和操作对象。

42、结构化任务计划解析模块，用于解析所述当前结构化任务计划，识别每一动作步骤的动作语义。

43、运动验证任务生成模块，用于根据所述动作语义将每一动作步骤转换为对应的运动验证任务，得到运动验证任务序列。

44、运动可行性与碰撞验证模块，用于在数字孪生验证环境中按照所述运动验证任务序列逐步执行运动验证；若验证过程中当前动作步骤验证失败，则调用结构化错误生成模块和数字孪生截图与标注模块。

45、结构化错误生成模块，用于生成对应于当前动作步骤的结构化错误信息。

46、数字孪生截图与标注模块，用于生成对应于当前动作步骤的虚拟环境可视化反馈信息；所述虚拟环境可视化反馈信息至少包括虚拟环境截图及所述虚拟环境截图上的标注信息。

47、迭代重规划模块，用于将原任务目标、当前结构化任务计划、所述结构化错误信息和所述虚拟环境可视化反馈信息作为多模态反馈信息，反馈至任务计划生成主体，以重新生成结构化任务计划；将重新生成的结构化任务计划作为当前结构化任务计划，依次调用结构化任务计划解析模块、运动验证任务生成模块和运动可行性与碰撞验证模块，直至满足停止条件，输出所述当前结构化任务计划或输出失败报告并触发人工审核。

48、根据本技术提供的具体实施例，本技术公开了以下技术效果：

49、本技术提供了一种基于数字孪生多模态反馈的码垛转运任务计划迭代规划方法及系统，在该方法中，首先获取结构化任务计划作为当前结构化任务计划，该计划包含按执行顺序排列的动作步骤，每步至少包含执行主体、动作语义和操作对象，通过解析当前计划并识别各步骤的动作语义，将其转换为运动验证任务序列，从而在语义级任务计划与底层运动验证之间建立接口映射，消除两者之间的语义鸿沟，提高任务计划与运动系统的适配性；随后在数字孪生验证环境中逐步执行运动验证，避免直接在实际机器人上执行所带来的安全风险与调试成本；当某动作步骤验证失败时，生成包含失败动作步骤标识、失败类型、失败原因及修改建议的结构化错误信息，同时自动生成对应失败步骤的数字孪生截图及标注图，该结构化错误信息使失败原因可精确定位且机器可读，而截图与标注图则将空间冲突、不可达区域等视觉信息直观呈现，二者结合可充分利用任务计划生成主体的多模态理解能力，增强其对失败场景空间关系的认知，从而提高重规划修正的准确性和可解释性；在此基础上，将原任务目标、当前结构化任务计划、结构化错误信息以及虚拟环境截图与标注图共同作为多模态反馈信息反馈至任务计划生成主体，使其在保留原任务约束的前提下进行整体重规划或局部修正，然后以重新生成的计划作为当前计划跳转回解析步骤继续迭代，直至满足停止条件后输出当前结构化任务计划，如此形成“生成—验证—多模态反馈—重规划”的闭环迭代机制，确保最终输出的任务计划在数字孪生验证下具备可执行性、安全性与稳定性，同时整个迭代过程在虚拟环境中完成，无需占用真实设备资源，有效节省了现场调试成本。