扩散模型与流匹配的统一动作生成框架的制作方法
本技术涉及机器人控制,具体涉及一种扩散模型与流匹配的统一动作生成框架。
背景技术:
1、机器人动作生成任务通常需要根据视觉、本体、触觉、目标条件和历史动作等信息输出一段未来动作序列。扩散模型能够较好地拟合复杂多模态动作分布,在精细接触、绕障、装配和长时序操作中具有较高质量,但其推理过程往往需要多步迭代去噪,实时性不足。流匹配模型通过学习从简单分布到数据分布的连续速度场,通常可用较少积分步生成动作,推理速度较快,但在高风险、多峰分布和精细操作阶段的表达能力可能弱于扩散模型。
2、现有方法通常将扩散模型和流匹配模型分别训练、分别部署,存在以下问题:(1)两个模型使用不同编码器和不同中间表示,参数量大,训练和部署成本高;(2)缺少双头一致性约束,两个生成路径在同一观测下可能给出统计特性相互矛盾的动作;(3)缺少对机器人任务阶段的显式识别,难以区分接近、预接触、接触精细操作和恢复等阶段;(4)路由策略只考虑速度或只考虑质量,未形成可量化的质量-时延选择机制;(5)当扩散路径与流匹配路径输出差异较大或生成动作失败时,缺少路径仲裁和失败回退机制。
3、因此,有必要提供一种范围明确的统一动作生成框架,使扩散模型与流匹配模型共享观测编码并在同一动作表示下联合工作,同时通过一致性训练、阶段分类、质量-时延路由、路径仲裁和失败回退提升机器人动作生成的速度、质量和可靠性。
技术实现思路
1、本技术旨在克服现有技术的不足,提供一种扩散模型与流匹配的统一动作生成框架。本发明的方法通过一致性训练、阶段分类、质量-时延路由、路径仲裁和失败回退提升机器人动作生成的速度、质量和可靠性。具体技术方案如下:
2、在本技术提供一种扩散模型与流匹配的统一动作生成框架,包括共享观测编码模块、扩散生成头、流匹配生成头、阶段分类器和路由决策模块;
3、所述共享观测编码模块用于接收视觉、本体、触觉、目标条件和历史动作信息,提取统一的观测潜变量,并将所述统一的观测潜变量同时输入至所述扩散生成头和所述流匹配生成头;
4、所述扩散生成头和所述流匹配生成头均读取同一所述观测潜变量,并分别接收各自的时间条件,在同一动作表示空间下分别生成候选动作序列;
5、所述阶段分类器用于识别当前机器人任务阶段;
6、所述路由决策模块连接所述阶段分类器,用于根据所述任务阶段及质量-时延需求,选择所述扩散生成头或所述流匹配生成头作为主生成路径。
7、优选的,还包括路径仲裁模块,所述路径仲裁模块分别连接所述扩散生成头和所述流匹配生成头,用于计算两路径输出的候选动作序列的差异,当所述差异超过预设阈值、所述阶段分类器的置信度低于预设值或安全风险升高时触发仲裁;
8、所述路径仲裁模块的仲裁评分包括任务价值、动作不确定度、双头一致性差距、安全约束、阶段匹配度和时延余量中的至少一项。
9、优选的,还包括失败回退模块,所述失败回退模块连接所述路径仲裁模块,用于在生成动作失败或所述仲裁触发时执行回退操作;
10、所述失败回退模块的触发条件包括候选动作违反关节限位、速度限位、碰撞距离、接触力或稳定裕度约束中的至少一种;
11、所述失败回退模块的执行操作按照预设优先级包括:调用扩散全步或高步数路径重新生成、采用流匹配生成初值并由扩散进行少步修正、执行上一周期已验证安全的动作、执行保守控制器输出的停止或减速或撤离或保持平衡动作、向上层规划器请求重新规划。
12、优选的,所述失败回退模块还用于在连续失败时将当前阶段标记为恢复阶段,并反馈至所述阶段分类器,使后续控制周期优先选择保守路径。
13、优选的,还包括一致性约束模块,所述一致性约束模块用于计算所述扩散生成头输出的第一候选动作与所述流匹配生成头输出的第二候选动作之间的一致性指标;
14、所述一致性指标包括首动作一致性、动作序列统计一致性、任务价值一致性、安全约束一致性及分布一致性中的至少一种。
15、优选的,所述一致性约束模块基于所述一致性指标生成一致性损失,并参与联合训练,所述一致性损失的计算公式为:
16、
17、其中,和分别为所述扩散生成头和所述流匹配生成头输出的首动作,和分别为所述扩散生成头和所述流匹配生成头输出的动作序列,表示最大均值差异,表示动作价值,表示安全约束差异,、、、为权重系数。
18、优选的,所述阶段分类器的输出阶段包括接近阶段、预接触阶段、接触精细操作阶段和恢复阶段;
19、所述阶段分类器的输入包括目标距离、相对速度、接触信号、视觉遮挡程度、动作不确定度、历史失败标记和任务进度中的至少一种;
20、所述阶段分类器采用滞回阈值和连续帧确认机制以避免阶段在阈值附近频繁跳变。
21、优选的,所述路由决策模块基于离线标定的质量-时延帕累托表进行路径选择;
22、所述质量-时延帕累托表的标定项包括流匹配一步生成、流匹配多步积分、扩散少步去噪、扩散全步去噪以及流匹配初始化加扩散精修中的至少两种配置;
23、每个标定项记录平均推理时延、任务成功率、动作平滑度、安全约束违规率、动作多样性和资源占用中的至少一项指标。
24、优选的,所述路由决策模块的在线路由目标表示为:
25、
26、其中,为最优路由路径,为推理时延,为质量预测函数,为生成路径,为任务阶段,为动作不确定度,为质量下限,为成本预测函数,为成本上限。
27、优选的,所述共享观测编码模块包括视觉编码子模块、本体编码子模块、触觉或力觉编码子模块、任务条件编码子模块及时序融合子模块;
28、所述视觉编码子模块用于处理rgb、深度图、点云或语义特征;
29、所述本体编码子模块用于处理关节角、关节速度、末端位姿、夹爪状态和机体姿态;
30、所述触觉或力觉编码子模块用于处理接触力、滑移、压力阵列或足底接触;
31、所述任务条件编码子模块用于处理目标位姿、语言条件、目标类别或轨迹约束;
32、所述时序融合子模块用于将历史观测和历史动作融合为统一潜变量。
33、本技术具有以下有益效果:
34、1、通过共享编码器统一扩散模型和流匹配模型的观测表示,使视觉、本体、触觉、目标条件和历史动作信息在同一潜变量空间中表达,减少了重复参数和重复特征提取,降低了训练和部署开销;
35、2、通过双头一致性约束,使扩散路径与流匹配路径在同一观测下的首动作、动作序列统计量、任务价值和安全边界保持可比,有效防止了两条生成路径输出相互矛盾的动作,减少了路径切换带来的动作突变,提升了动作生成的稳定性和可解释性;
36、3、通过阶段分类器区分接近阶段、预接触阶段、接触精细操作阶段和恢复阶段,使路径选择与机器人任务进度和风险等级相匹配,为路由决策提供了准确的上下文依据,提高了路径选择的合理性;
37、4、通过质量-时延路由机制,在实时计算预算内根据任务阶段、动作不确定度和离线标定的帕累托表动态选择生成路径,使流匹配路径承担低时延动作生成、扩散路径承担高质量或高风险动作生成、混合路径承担折中场景,兼顾了推理速度与生成质量;
38、5、通过路径仲裁和失败回退机制,在双头输出不一致、阶段判断不确定、动作质量不足、安全风险升高或系统超时等情况下自动选择更可靠的路径或执行保守回退动作,提高了统一框架在真实机器人闭环控制中的可靠性和安全性;
39、6、适用于机械臂操作、移动操作、人形机器人全身动作生成等需要实时动作序列生成的场景,可与现有视觉、触觉、价值评估和安全控制模块组合使用,具有良好的通用性和扩展性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com