一种基于通用技能库的机器人分层任务规划与动作生成方法与流程

本发明涉及机器人学习、模仿学习、具身智能、机器人任务规划和机器人动作生成，尤其涉及一种基于通用技能库的机器人分层任务规划与动作生成方法、系统、电子设备及存储介质。

背景技术：

1、本发明涉及机器人学习、模仿学习、具身智能、机器人任务规划和机器人动作生成技术领域，尤其涉及一种利用人类示范视频定义机器人通用技能，并通过分层架构实现技能存储、具身化、检索、组合执行和闭环更新的方法。

2、随着大语言模型和具身智能的发展，机器人系统逐渐从单一动作执行向长任务自主执行演进。现有端到端机器人基础模型试图将语言理解、视觉感知、任务规划和底层动作控制全部集成在一个统一模型中。以端到端机器人模型为代表的方法，通常依赖大规模机器人数据和高算力训练，将多任务、多场景和多动作能力压缩到同一模型参数中。这类方法虽然具有统一建模能力，但存在训练成本高、数据依赖强、长序列任务误差累积严重、新技能扩展代价高等问题。对于新增技能，系统往往需要重新采集机器人数据、重新训练或微调整体模型，难以实现低成本、即插即用式扩展。

3、另一方面，一些方法尝试利用人类示范视频或参考视频作为上下文，引导底层策略执行机器人动作。该类方法的优点在于：参考视频比语言指令包含更丰富的动作信息，例如接近方向、接触位置、动作顺序、运动节奏和阶段结构。但是，视频条件动作生成策略类方法主要聚焦于底层视频条件动作执行，本身并不直接解决复杂任务的高层规划、技能状态管理、长序列技能组合和失败恢复问题。也就是说，此类方法更偏向于解决“给定一个参考示范后如何生成动作”，而不是解决“机器人如何理解用户长任务、选择合适技能、组合多个技能并在失败时恢复”。

4、此外，现有从人类视频学习机器人动作的方法通常需要处理两类鸿沟：一是视觉外观鸿沟，即人手与机器人夹爪在形状、纹理和视觉特征上明显不同；二是动作空间鸿沟，即人类手臂和机器人机械臂在运动学结构、关节约束、工作空间和控制接口上不一致。一些方法将此问题概括为视觉外观差异与动作空间差异，并通过人手三维轨迹提取、动作空间对齐、手部视觉增强以及人类数据和少量机器人数据联合训练来降低机器人数据采集成本。这些方法显示，人类视频具有低成本和大规模优势，但必须经过物理对齐后才能有效用于机器人策略训练。

5、进一步地，仅依赖粗粒度对齐的人机视频对，通常只能学习任务级或全局特征，难以捕捉复杂操作所需的帧级时序动态。而高质量人机对齐数据对于跨具身动作迁移的重要性是不言而喻的，但是高质量人机对齐数据获取难度非常大。

6、综上，现有技术主要存在以下问题：

7、（1）端到端机器人模型训练成本高、数据依赖强，新增技能需要重新训练或微调，扩展成本高；

8、（2）当前视频条件策略方法能够利用参考视频约束动作，但缺少长任务规划、技能组合、技能状态管理和失败恢复机制；

9、（3）人类 ego/play 视频虽然包含丰富的动作过程信息，但无法直接稳定转化为机器人动作；

10、（4）长任务需要任务分解、技能组合、执行验证和状态反馈，单一底层策略难以稳定完成；

11、（5）机器人执行失败后缺少对技能库的更新、恢复技能调用和补充示范机制。

技术实现思路

1、本发明要解决的技术问题是，针对现有技术的上述缺陷，提供一种基于通用技能库的机器人分层任务规划与动作生成方法、系统、电子设备及存储介质。

2、为解决上述技术问题，本发明提供如下技术方案：

3、一种基于通用技能库的机器人分层任务规划与动作生成方法，包括如下步骤：

4、s1、解析人类示范视频，提取技能名称、目标对象、动作模式、前置条件和完成条件，生成结构化技能单元存入通用技能库；

5、s2、对结构化技能单元具身化处理，生成关联的机器人参考示范，将其升级为可执行技能；

6、s3、根据任务指令、环境观测与机器人状态将任务分解为技能序列，调用对应的可执行技能及参考示范；

7、s4、根据当前观测、本体状态、当前技能的目标约束和参考示范生成机器人动作并执行；

8、s5、判断当前技能的完成条件是否满足，未满足则执行失败恢复策略，满足则执行下一技能，直至任务完成；

9、s6、记录技能成功率、失败模式与补充示范需求，更新通用技能库。

10、采用上述方案，本发明实现一种分层通用技能架构，基于获取的自然语言任务指令进行长任务分解，同时，将人类视频,特别是人类ego/play示范视频，作为可扩展技能来源解析，将技能以外部记忆形式结构化保存，通过机器人具身化过程转化为可执行能力，使用参考示范辅助底层动作生成，由高层大脑进行长任务规划和技能组合，由底层策略执行已具身化的技能。

11、与现有技术的根本区别在于：本技术并非仅从视频中提取技能约束、并非仅通过自然语言调用已有技能 api，也并非仅在神经网络内部学习隐式技能编码，而是构建一种、以外部通用技能库为技能记忆、以机器人具身化为可执行能力转换机制、以高层规划和底层动作生成为执行架构、以执行验证和技能状态更新为闭环反馈的机器人分层任务规划与动作生成方法。

12、该区别使本技术能够解决现有技术中人类视频难以稳定转化为机器人可执行动作、新增技能扩展成本高、长任务缺少技能状态管理和闭环验证、执行失败后难以沉淀为技能库更新等问题，从而实现更低成本的技能扩展、更可靠的长任务技能组合以及更稳定的持续学习和失败恢复。

13、我们的方案可以直接从用户自然语言任务出发，例如“把厨房恢复到初始状态”“整理桌面”“把物品分类放好”，由高层规划模块自动分解为多个子技能，再分别调用参考视频执行。

14、我们的方案将参考视频作为底层动作生成的条件输入，可以更充分利用参考视频中的过程性动作信息。我们的方案中，技能库可以持续扩展，不限于固定四类原子动作；新增技能可以先进入通用技能库，再通过参考示范、机器人示范检索、遥操作采集或动作重定向等方式具身化。

15、我们的技能以可调用单元形式保存在通用技能库中，高层规划器可以根据不同自然语言任务组合不同技能，支持未见过的长任务组合和长序列执行。在技能执行失败时会记录失败模式，降低对应示范在相似场景下的检索权重，或将失败样本加入后续训练；对于长期多次失败的技能，还可以回退技能状态并要求补充示范、重新训练或动作重定向校正。

16、上述技术方案中，所述任务指令为用户输入的自然语言任务指令。

17、上述技术方案中，所述s3中，对所述自然语言任务指令进行任务理解与长任务分解，生成所述技能序列以及所述技能序列中各技能的成功条件。

18、具体到本发明中，长任务是指经任务分解后包含的技能数量达到预设数量阈值的任务，超过3时将所述自然语言任务指令确定为长任务指令。

19、上述技术方案中，所述人类示范视频为人类第一视角ego视频或第三视角play视频。按照现有技术的一般理解，本发明的第一视角ego视频或第三视角play视频定义如下：第一视角视频（ego视频）由佩戴在人头部、胸部或手持的相机拍摄；典型来源：gopro头戴录像、智能眼镜、ego4d等公开数据集；第三视角视频（play视频）由固定在外部环境的相机从侧面、斜上方等位置拍摄，画面中能看到人的完整身体和操作全过程；典型来源：监控式录像、something-something等数据集、日常拍摄的教学视频；上述技术方案中，所述s1中，通过视频理解模型对所述人类示范视频的帧序列进行语义分割与阶段划分，输出包含所述技能名称、目标对象、动作模式、前置条件和完成条件的结构化文本描述。

20、具体地，对人类视频进行解析的视频理解模型为现有通用的列举模型，包括但不限于目前常用的视觉语言模型、目标检测模型、手部姿态估计模型和时序动作分析模型，用于解析人类示范视频。

21、上述技术方案中，所述s2中的具身化处理包括以下任一方式或其组合：在机器人示范数据库中检索与所述结构化技能单元匹配的机器人示范；通过遥操作采集机器人示范；提取所述人类示范视频中的人类手部三维轨迹，并重定向至机器人动作空间；将检索、采集或重定向得到的示范作为所述参考示范。

22、上述技术方案中，所述重定向包括：对人类手部关键点轨迹进行时间对齐与平滑滤波，将手部关键点映射为机器人末端位姿序列，并根据机器人运动学约束、关节限位和工作空间对所述机器人末端位姿序列进行可行性修正。

23、上述技术方案中，所述通用技能库中的技能按照观察技能、语义技能、已具身化技能、可执行技能的状态层级组织，所述结构化技能单元经所述s2处理后由语义技能升级为可执行技能。

24、上述技术方案中，所述s4中，以所述当前观测、本体状态、当前技能的技能标识、目标约束和参考示范为条件，通过视频条件动作生成策略输出机器人动作序列，并根据逆运动学求解末端控制量，驱动机械臂与夹爪执行所述机器人动作序列。

25、上述技术方案中，所述s5中，基于视觉观测、传感器数据或仿真状态判断所述当前技能的完成条件是否达成；所述失败恢复策略包括以下任一方式或其组合：重试当前技能、更换所述参考示范、调整所述前置条件、重新规划所述技能序列。

26、上述技术方案中，所述s6中，统计各可执行技能的历史成功率，记录失败模式及其对应的环境状态，标记需要补充示范的结构化技能单元，并为成功率低于阈值的可执行技能触发补充示范采集。

27、上述技术方案中，所述s3中，当所述技能序列中的目标技能在所述通用技能库中不存在对应的可执行技能时，采集新的人类示范视频并执行步骤s1、s2，将得到的新可执行技能加入所述通用技能库。

28、上述技术方案中，所述目标约束根据所述目标对象和完成条件确定，包括目标对象的位置、姿态和接触状态约束；所述参考示范用于约束所述机器人动作的接近方向、接触位置、动作顺序和运动节奏。

29、一种基于通用技能库的机器人分层任务规划与动作生成系统，包括：

30、技能构建模块，用于解析人类示范视频，提取技能名称、目标对象、动作模式、前置条件和完成条件，生成结构化技能单元；

31、通用技能库，用于存储所述结构化技能单元及其关联的参考示范；

32、技能具身化模块，用于对所述结构化技能单元进行机器人示范检索、遥操作示范采集或人类手部轨迹重定向，得到可执行技能；

33、高层规划模块，用于按照获取的任务指令，结合环境观测与本体状态将任务分解为技能序列，并调用对应的可执行技能和参考示范；

34、底层动作生成模块，用于根据当前观测与本体状态、当前技能的目标约束和参考示范生成机器人动作；

35、执行验证模块，用于判断当前技能的完成条件是否满足，并在不满足时触发失败恢复策略；

36、技能记忆更新模块，用于记录成功率、失败模式与补充示范需求，更新所述通用技能库。

37、一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的基于通用技能库的机器人分层任务规划与动作生成方法。

38、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的基于通用技能库的机器人分层任务规划与动作生成方法。

39、由此，本发明公开了一种基于通用技能库的机器人分层任务规划与动作生成方法，解析人类ego/play示范视频，提取技能名称、目标对象、动作模式、前置条件和完成条件，生成结构化技能单元并存入通用技能库；对结构化技能单元具身化处理，生成关联的参考示范，得到可执行技能；按照任务指令将任务分解为技能序列，调用对应的可执行技能和参考示范；根据当前观测与本体状态、当前技能的目标约束和参考示范生成机器人动作并执行；判断当前技能的完成条件是否满足，不满足则执行失败恢复策略；记录成功率、失败模式与补充示范需求，更新通用技能库。

40、通过分层通用技能架构技能以结构化技能单元形式保存在外挂式通用技能库中，新增技能仅需解析人类示范视频并具身化，无需重新采集大规模机器人数据或重新训练整体模型，克服了端到端机器人模型训练成本高、扩展代价大的问题。

41、同时，高层规划与底层执行分层解耦，高层负责任务分解与技能组合，底层专注单技能动作生成，避免长序列误差在单一模型中累积，可稳定完成多技能组合的长任务。

42、相对于现有技术，本发明的至少具有以下一种有益效果：

43、（1）降低技能扩展与训练成本。 与端到端机器人基础模型相比，本发明不要求将全部技能固化在单一模型参数中，而是通过外挂式通用技能库以外部记忆形式保存技能，新增技能仅需解析人类示范视频并经具身化升级即可入库，无需重新采集大规模机器人数据或重新训练整体模型，实现低成本的即插即用式技能扩展。

44、（2）实现分层具身智能控制。 高层规划模块（高层大脑）负责任务理解和技能组合，通用技能库负责技能存储与状态管理，技能具身化模块负责语义技能向可执行技能的转化，底层动作生成模块专注动作执行，各层职责清晰、协同形成完整的机器人智能体，避免了单一模型中规划与执行相互干扰、长序列误差累积的问题。

45、（3）补足视频条件策略的长任务能力。

46、与仅利用参考视频生成单次机器人动作的方案相比，本发明基于获取的自然语言任务指令进行，不仅使用参考示范辅助底层动作生成，还设置了高层任务分解、技能状态管理、技能组合调用、执行结果验证和失败恢复机制，能够支持长任务的连续执行。

47、（4）提高技能组合与泛化能力。

48、技能以可调用单元形式保存在技能库中，高层大脑可以根据任务目标组合不同技能，支持未见过的长任务组合和长序列执行。

49、（5）充分利用 ego/play 视频优势。

50、本发明充分利用人类ego/play示范视频优势，人类视频比语言指令包含更丰富的动作信息，包括接触点、接近方向、操作节奏、阶段划分和成功状态，可作为可规模化的技能来源使用。

51、（6）提高技能迁移能力。

52、与传统机器人技能库相比，本发明的技能来源不限于人工编写脚本或已有机器人轨迹，而是可以由人类视频持续定义、扩展和更新。人类视频定义的技能可以通过机器人示范检索、人机配对示范或轨迹重定向转化为不同机器人平台上的可执行技能，从而支持跨环境和跨具身迁移。

53、（7）提高底层执行稳定性。

54、在参考示范之外引入技能标识和目标对象定位，减少仅依赖视频上下文导致的技能混淆、目标混淆和动作意图不稳定问题，提升了动作生成的准确性与执行稳定性。

55、（8）支持技能持续扩展与闭环更新。 新技能可先以语义技能形式进入技能库，后续经具身化升级为可执行技能；执行结果（成功率、失败模式与补充示范需求）反向更新技能库，形成“任务分解—技能调用—动作执行—结果验证—技能更新”的闭环，支持失败恢复和持续学习。