一种基于流式流匹配世界模型的机器人控制方法及系统与流程

本发明属于机器人智能控制、运动规划与世界模型学习，具体涉及一种基于流式流匹配世界模型的机器人控制方法及系统。

背景技术：

1、随着机器人技术在工业操作、家庭服务、仓储物流、医疗辅助和具身智能等场景中的广泛应用，机器人控制系统需要在高维感知输入、复杂动态环境以及长时域任务目标约束下实现稳定、精确和高效的动作决策。传统机器人控制方法通常依赖精确建模的动力学方程、显式状态估计或人工设计的任务代价函数，在复杂环境、接触任务以及视觉驱动任务中，容易面临建模成本高、泛化能力弱和在线规划效率不足等问题。

2、近年来，基于学习的世界模型方法通过从历史交互数据中学习环境和机器人自身的状态演化规律，为机器人规划和控制提供了新的技术路线。然而，现有世界模型方法通常存在以下不足：其一，直接在像素空间或高维观测空间建模，计算代价高、预测误差大；其二，采用自回归预测方式时，长时域滚动预测容易导致误差累积，影响控制稳定性；其三，部分方法虽可用于离线轨迹生成，但缺少适用于在线闭环控制的流式决策机制，难以兼顾实时性与鲁棒性。

3、此外，传统生成式流匹配或扩散式生成范式通常从噪声或中间分布逐步变换到目标样本，控制过程中产生的中间去噪状态或中间流状态往往不直接作为机器人世界状态使用。在机器人在线控制场景中，更需要一种从当前真实观测出发、在动作条件约束下连续推进状态演化的世界模型，使中间潜在状态能够被连续承接并服务于闭环决策。

4、因此，如何在潜在空间中高效建模机器人状态演化，通过条件速度场积分实现未来状态预测，并结合候选动作流评估与闭环滚动执行机制完成实时控制，成为机器人智能控制领域亟待解决的技术问题。

技术实现思路

1、本发明提供一种基于流式流匹配世界模型的机器人控制方法及系统，旨在解决现有技术中高维观测建模效率低、自回归世界模型长时域误差累积明显以及在线滚动控制鲁棒性不足的技术问题，同时兼顾复杂任务条件下的实时性、稳定性和泛化能力。

2、本发明将流匹配机制用于潜在世界模型的连续动力学预测，以当前真实观测编码得到的潜在状态作为积分初值，在动作流条件下通过条件速度场逐步推进潜在状态，而不是仅从随机噪声生成最终样本。由此，积分过程中的中间潜在状态能够作为有效世界状态连续承接，并用于候选动作评估和分段闭环控制。

3、第一方面，本发明提供了一种基于流式流匹配世界模型的机器人控制方法，该方法包括：

4、获取机器人的当前状态观测信息和目标状态观测信息，并通过表征编码器分别对当前状态观测信息和目标状态观测信息进行编码，得到当前潜在状态和目标潜在状态；

5、在执行分段内生成多组候选动作流序列，每组候选动作流序列包括按时间顺序排列的多个控制动作；

6、将当前潜在状态作为积分初值，各组候选动作流序列分别作为条件，输入流式流匹配世界模型，并基于流式流匹配世界模型输出的动作条件速度场对潜在状态进行连续积分推进，得到各组候选动作流序列对应的未来潜在状态；其中，在连续积分推进过程中，每一次积分得到的中间潜在状态作为下一积分步的当前潜在状态继续输入流式流匹配世界模型；

7、根据各组候选动作流序列对应的未来潜在状态与目标潜在状态之间的差异，对各组候选动作流序列进行评估，并选取最优候选动作流序列；

8、执行最优候选动作流序列中的当前控制分段，并重复上述过程，直至满足预设任务完成条件。

9、作为优选，所述流式流匹配世界模型的训练过程如下：

10、获取机器人的历史交互数据，并由历史交互数据构建训练数据集；所述训练数据集包括观测轨迹片段以及与观测轨迹片段对应的动作流序列；将观测轨迹片段输入表征编码器，得到潜在状态；在归一化轨迹片段内采样时间变量，并基于潜在状态构造与时间变量对应的训练流状态和参考速度场；

11、以训练流状态、时间变量以及对应的动作流作为输入，以参考速度场作为监督目标，训练参数化条件速度场，完成对流式流匹配世界模型的训练。

12、作为优选，所述训练流状态通过在潜在状态上叠加随时间衰减的随机扰动形成。

13、作为优选，所述连续积分推进的过程如下：

14、在归一化轨迹片段内按照预设积分步长更新时间变量；在每一积分步中，将当前积分步的潜在状态、时间变量以及候选动作流序列中与时间变量对应的条件动作输入流式流匹配世界模型，得到动作条件速度；根据动作条件速度和预设积分步长更新潜在状态，直至达到执行分段的时间长度与轨迹片段的时间长度的比值。

15、作为优选，通过构建综合代价函数对各组候选动作流序列进行评估；所述综合代价函数包括未来潜在状态与目标潜在状态之间的目标接近项，并叠加障碍物距离惩罚项、高度范围惩罚项、动作平滑项、偏航变化惩罚项、能耗项、关节限制项或任务语义约束项中的一种或多种。

16、作为优选，所述候选动作流序列通过随机采样、基于动作先验策略生成、从历史动作库采样、基于强化学习策略网络生成、基于扩散策略生成或基于采样优化器生成中的一种或多种方式获得。

17、作为优选，所述当前状态观测信息包括机器人视觉图像、深度信息、力觉信息、关节状态、本体运动状态、位姿状态中的一种或多种；所述目标状态观测信息包括目标位姿、目标图像、目标区域信息、目标深度信息、目标场景配置、任务语义信息中的一种或多种。

18、作为优选，所述目标状态观测信息还融合文本任务指令、语言嵌入或技能标签，以构建视觉—动作—语义联合条件下的流式流匹配世界模型。

19、作为优选，所述执行分段的时间长度小于轨迹片段的时间长度。

20、第二方面，本发明提供了一种基于流式流匹配世界模型的机器人控制系统，其用于执行上述的机器人控制方法；所述机器人控制系统包括观测获取模块、潜在表征模块、候选动作生成模块、流式流匹配预测模块、候选动作评估模块和闭环执行模块；

21、所述观测获取模块用于获取机器人的当前状态观测信息和目标状态观测信息；所述潜在表征模块用于通过表征编码器分别对当前状态观测信息和目标状态观测信息进行编码，得到当前潜在状态和目标潜在状态；所述候选动作生成模块用于在执行分段内生成多组候选动作流序列，每组候选动作流序列包括按时间顺序排列的多个控制动作；所述流式流匹配预测模块用于将当前潜在状态作为积分初值，将各组候选动作流序列分别作为条件输入流式流匹配世界模型，并基于流式流匹配世界模型输出的动作条件速度场对潜在状态进行连续积分推进，得到各组候选动作流序列对应的未来潜在状态；所述候选动作评估模块用于根据各组候选动作流序列对应的未来潜在状态与目标潜在状态之间的差异，对各组候选动作流序列进行评估，并选取最优候选动作流序列；所述闭环执行模块用于执行最优候选动作流序列中的当前控制分段，并在执行后触发观测获取模块、潜在表征模块、候选动作生成模块、流式流匹配预测模块和候选动作评估模块重复执行对应处理，直至满足预设任务完成条件。

22、本发明具有的有益效果是：

23、1、本发明通过在潜在空间中学习条件速度场，而非直接在高维原始观测空间中建模，能够显著降低建模复杂度，提高在线预测与控制决策效率；同时，本发明通过流式流匹配方式对潜在状态随时间的连续演化进行建模，相比传统自回归预测方法，能够减少离散逐帧预测带来的长时域误差累积并提升轨迹平滑性；而相比传统生成式流匹配或扩散式生成范式，积分过程中的中间潜在状态无需被丢弃，而是作为可用的潜在世界状态连续承接，从而提高在线预测效率和闭环控制适配性。

24、2、本发明通过候选动作流评估与分段闭环执行相结合的方式，兼具模型预测控制的在线优化能力和学习世界模型的泛化能力，能够提升机器人在复杂环境中的鲁棒性，且本发明适用于机械臂抓取与装配、移动机器人导航、双臂协作操作以及多模态具身智能任务，具有较强的通用性和工程应用价值。