机器人强化学习控制方法和系统

本发明涉及机器人控制领域，具体地，涉及机器人强化学习控制方法和系统。

背景技术：

1、视觉语言动作模型能够融合机器人获取的视觉信息、语言任务指令以及机器人本体状态信息，并根据当前环境和任务目标直接生成机器人动作或动作序列，在机械臂抓取、装配及移动操作等机器人任务中具有较好的泛化能力。为进一步提高机器人面对实际环境变化时的适应能力，目前已有研究将强化学习与视觉语言动作模型结合，例如yanjiangguo等提出的论文《improving vision-language-action model with onlinereinforcement learning》（ire-vla，2025，arxiv:2501.16664），采用强化学习与监督学习交替迭代的方式对视觉语言动作模型进行在线优化；guanxing lu等提出的论文《vla-rl:towards masterful and general robotic manipulation with scalablereinforcement learning》（2025，arxiv:2505.18719），采用在线强化学习对预训练视觉语言动作模型进行下游任务优化，并利用机器人过程奖励模型解决稀疏奖励问题。此外，现有专利cn121340311a《基于视觉语言动作模型的机器人控制方法及其相关设备》公开了通过视觉语言动作模型预测低维潜在向量，再利用高维动作重构模块将低维潜在向量重构为机器人动作指令的方法，以解决视觉语言动作模型输出维度与高自由度机器人动作空间不匹配的问题。

2、目前视觉语言动作模型与强化学习结合的方法中，采用在线强化学习直接优化视觉语言动作模型时，由于视觉语言动作模型参数规模较大，容易产生训练计算负担大以及在线训练稳定性不足的问题（参见论文《improving vision-language-action model withonline reinforcement learning》，该论文指出直接对大型视觉语言动作模型进行在线强化学习存在训练不稳定和计算负担较大的问题）；采用vla-rl等方法虽然能够通过在线强化学习进一步提高视觉语言动作模型的操作能力，但其主要针对视觉语言动作模型本身进行强化学习优化，未利用视觉语言动作模型内部已有的多模态语义特征构建低维紧凑强化学习状态（参见论文《vla-rl: towards masterful and general robotic manipulationwith scalable reinforcement learning》）。采用低维潜在表示进行机器人控制时，现有方法主要将低维表示作为动作空间压缩及高维动作重构的中间表示，而非作为强化学习状态使用（参见专利cn121340311a《基于视觉语言动作模型的机器人控制方法及其相关设备》）。

3、此外，上述方法均未针对视觉语言动作模型持续更新后同一环境观测产生不同语义表示的问题进行处理，容易造成强化学习状态空间随模型版本更新发生变化，进而影响已有强化学习策略长期持续运行的稳定性。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种机器人强化学习控制方法和系统。

2、根据本发明提供的一方面，一种机器人强化学习控制方法，包括：

3、步骤s1：获取机器人当前时刻的环境观测信息、任务描述信息以及机器人本体状态信息，并将所述信息输入视觉语言动作模型，生成与当前任务对应的基础候选动作集合，同时输出内部多模态语义特征；

4、步骤s2：对所述内部多模态语义特征进行语义压缩处理，获得用于强化学习控制的紧凑语义状态；

5、步骤s3：将所述紧凑语义状态、机器人本体状态信息以及基础候选动作集合输入强化学习控制模块，对基础候选动作进行修正和价值评价，确定机器人最终执行动作；

6、步骤s4：获取机器人执行所述最终执行动作过程中产生的交互数据并存储至经验回放模块，利用所述交互数据更新强化学习控制模块；

7、步骤s5：当视觉语言动作模型进行参数更新时，检测更新前后视觉语言动作模型产生的语义状态漂移，并根据语义状态漂移程度建立跨版本语义适配关系，对更新后的语义状态进行适配调整，以保持强化学习控制过程中状态表示的一致性。

8、优选地，步骤s1中，

9、所述环境观测信息包括机器人视觉采集装置获取的图像信息；

10、所述任务描述信息包括自然语言形式的任务指令；

11、所述机器人本体状态信息包括机器人关节状态、末端执行器状态中的一种或多种；

12、所述视觉语言动作模型对环境观测信息、任务描述信息以及机器人本体状态信息进行视觉特征提取、语言信息编码及多模态信息融合，生成基础候选动作集合，并输出表征当前环境状态、任务目标及机器人操作信息的内部多模态语义特征。

13、优选地，步骤s2中，所述语义压缩处理包括对内部多模态语义特征进行特征聚合、信息筛选及维度映射；所述语义压缩模块采用注意力池化网络、transformer编码器、perceiver结构、前馈神经网络中的一种或多种，将高维内部多模态语义特征转换为维度较低且保留任务相关语义信息的紧凑语义状态。

14、优选地，步骤s3中，所述强化学习控制模块包括动作修正网络和价值评估网络，所述动作修正网络根据紧凑语义状态、机器人本体状态信息以及基础候选动作生成动作调整量，并利用所述动作调整量对基础候选动作进行修正，获得优化候选动作；所述价值评估网络对基础候选动作和优化候选动作进行价值评价，根据价值评价结果确定机器人最终执行动作。

15、优选地，步骤s4中，所述交互数据包括环境观测信息、执行动作信息、奖励信息及机器人状态信息；

16、在强化学习控制模块更新过程中，利用当前版本视觉语言动作模型对经验回放模块中历史交互数据对应的原始环境观测信息重新进行语义编码，获得当前版本对应的紧凑语义状态，并根据所述紧凑语义状态更新动作修正网络和价值评估网络。

17、优选地，步骤s5中，所述语义状态漂移检测通过：

18、建立锚点观测集合，分别利用更新前视觉语言动作模型和更新后视觉语言动作模型对相同锚点观测进行语义编码，并根据更新前后语义状态之间的距离差异或分布差异确定语义状态漂移程度；

19、当所述语义状态漂移程度超过预设阈值时，建立更新前后语义状态之间的映射关系，所述映射关系采用线性映射、轻量神经网络映射或其他语义空间转换方式；对更新后的语义状态进行跨版本语义适配，使更新后的强化学习状态空间与更新前保持一致；

20、在跨版本语义适配过程中加入价值保持约束，使适配前后对应动作的价值评价结果保持一致。

21、优选地，步骤s1，深度相机采集机器人作业环境的rgb图像，机器人控制器读取机械臂关节状态及任务指令；

22、步骤s2，gpu计算单元将所述图像、关节状态及任务指令输入视觉语言动作模型，生成基础动作和内部多模态语义特征，并将所述语义特征压缩为紧凑语义状态；

23、步骤s3，gpu计算单元将紧凑语义状态、关节状态及基础动作输入强化学习控制模块，生成动作修正量并确定最终执行动作；

24、步骤s4，机器人控制器根据最终执行动作向机械臂伺服驱动器及夹爪执行器发送控制指令，驱动机械臂完成对应操作，并存储交互数据用于强化学习更新；

25、步骤s5，视觉语言动作模型更新后，gpu计算单元比较更新前后的语义状态，当语义漂移超过阈值时进行跨版本语义映射，使适配后的语义状态继续用于强化学习控制。

26、根据本发明提供的另一方面，一种机器人强化学习控制系统，包括：

27、模块m1：获取机器人当前时刻的环境观测信息、任务描述信息以及机器人本体状态信息，并将所述信息输入视觉语言动作模型，生成与当前任务对应的基础候选动作集合，同时输出内部多模态语义特征；

28、模块m2：对所述内部多模态语义特征进行语义压缩处理，获得用于强化学习控制的紧凑语义状态；

29、模块m3：将所述紧凑语义状态、机器人本体状态信息以及基础候选动作集合输入强化学习控制模块，对基础候选动作进行修正和价值评价，确定机器人最终执行动作；

30、模块m4：获取机器人执行所述最终执行动作过程中产生的交互数据并存储至经验回放模块，利用所述交互数据更新强化学习控制模块；

31、模块m5：当视觉语言动作模型进行参数更新时，检测更新前后视觉语言动作模型产生的语义状态漂移，并根据语义状态漂移程度建立跨版本语义适配关系，对更新后的语义状态进行适配调整，以保持强化学习控制过程中状态表示的一致性。

32、优选地，模块m1中，所述环境观测信息包括机器人视觉采集装置获取的图像信息；所述任务描述信息包括自然语言形式的任务指令；所述机器人本体状态信息包括机器人关节状态、末端执行器状态中的一种或多种；

33、所述视觉语言动作模型对环境观测信息、任务描述信息以及机器人本体状态信息进行视觉特征提取、语言信息编码及多模态信息融合，生成基础候选动作集合，并输出表征当前环境状态、任务目标及机器人操作信息的内部多模态语义特征。

34、优选地，模块m2中，所述语义压缩处理包括对内部多模态语义特征进行特征聚合、信息筛选及维度映射；所述语义压缩模块采用注意力池化网络、transformer编码器、perceiver结构、前馈神经网络中的一种或多种，将高维内部多模态语义特征转换为维度较低且保留任务相关语义信息的紧凑语义状态。

35、优选地，模块m3中，所述强化学习控制模块包括动作修正网络和价值评估网络，所述动作修正网络根据紧凑语义状态及机器人本体状态信息生成动作调整量，并利用所述动作调整量对基础候选动作进行修正，获得优化候选动作；所述价值评估网络对基础候选动作和优化候选动作进行价值评价，根据价值评价结果确定机器人最终执行动作。

36、与现有技术相比，本发明具有如下的有益效果：

37、本发明通过采用视觉语言动作模型内部多模态语义特征构建强化学习状态的方法，解决了额外视觉编码造成重复计算的问题，取得了降低机器人在线控制计算开销的效果。

38、本发明通过采用语义压缩模块将高维语义特征转换为紧凑语义状态的方法，解决了强化学习网络输入维度较高的问题，取得了提高在线强化学习更新效率的效果。

39、本发明通过采用视觉语言动作模型生成基础候选动作，并结合强化学习进行动作优化和价值评价的方法，解决了机器人对实际环境变化适应能力不足的问题，取得了提高机器人控制适应能力的效果。

40、本发明通过采用语义状态漂移检测及跨版本语义适配的方法，解决了视觉语言动作模型更新导致强化学习状态表示不一致的问题，取得了提高机器人长期在线学习及控制稳定性的效果。

41、本发明能通过复用视觉语言动作模型内部语义特征并进行低维压缩，减少视觉编码器重复计算及参数更新，从而降低gpu计算与显存开销。因此，在相同硬件测试条件下，gpu更新峰值显存由约4.6 gb降低至1.16 gb，降低约75%；规划推理时间由约117.8 ms降低至86.3 ms，降低约27%。