一种基于一致性扩散策略的长程移动操作强化学习方法

本发明涉及机器人智能控制与强化学习，尤其涉及一种基于一致性扩散策略的长程移动操作强化学习方法。

背景技术：

1、长距离移动操作作为服务机器人、楼宇运维、物流配送等实际应用中的核心技术，要求机器人在完成数十米长距离导航后，于目标位置执行高精度抓取、放置、清洁等精细操作。传统移动操作解决方案普遍将导航与操作划分为相互独立的执行模块，导航模块仅负责将机器人运送至目标区域附近，操作模块则在导航完成后直接执行预设固定策略。此类方法在短距离、定位精度较高的场景中能够正常运行，但在长距离移动场景下会出现明显失效。受里程计累积漂移、视觉slam在弱纹理与暗光环境下跟踪失效、室内无gps信号等因素影响，机器人长距离导航后通常会产生数米级的定位误差，而操作任务往往需要厘米级末端定位精度，定位精度与操作需求之间的显著不匹配，直接导致传统方法在真实长距离任务中难以稳定完成操作目标。

2、当前面向移动操作的学习方法与控制方法仍存在明显局限。基于扩散策略的动作生成方法虽能输出平滑多模态操作轨迹，但现有研究大多聚焦于固定基座的桌面操作，默认机器人基座位姿精确已知，未考虑移动基座带来的视角变化与定位不确定性，直接迁移至移动操作场景会出现目标感知歧义、轨迹生成偏差等问题。传统全身控制方法多基于模型预测控制或逆运动学优化，依赖精确机器人动力学模型与状态估计，在四足机器人与机械臂耦合运动场景下，难以兼顾基座平衡、轨迹跟踪与避障需求，参数调试复杂且面对环境扰动鲁棒性不足。与此同时，面向实体机器人的强化学习方法普遍存在样本效率低、训练过程动作抖动剧烈、硬件损耗大等问题，在长距离移动操作这种高耦合、高安全要求的任务中，难以在可接受时间内完成有效策略学习。

3、整体而言，当前领域内缺乏一种能够直接从视觉观测中学习补偿导航误差、兼顾实体训练效率与全身控制稳定性、可直接部署于真实四足机械臂平台的长距离移动操作框架，这一技术空白极大限制了移动操作机器人在实际场景中的规模化落地。

技术实现思路

1、本发明的主要目的在于提供一种基于一致性扩散策略的长程移动操作强化学习方法。

2、本发明的另一个目的在于提出一种基于一致性扩散策略的长程移动操作强化学习装置。

3、为达上述目的，本发明第一方面实施例提出了一种基于一致性扩散策略的长程移动操作强化学习方法，包括：

4、采集机器人在长距离导航结束后的当前场景视觉图像、本体传感信息以及上一时刻动作，将所述视觉图像、所述本体传感信息与所述上一时刻动作共同构成强化学习的输入状态；

5、将所述输入状态输入至经行为克隆初始化并采用一致性策略强化学习训练的上层轨迹规划模型，通过迭代去噪生成连续平滑的末端执行器运动轨迹，并对所述末端执行器运动轨迹施加时序一致性约束以限制相邻时刻动作块的突变幅度；

6、将所述末端执行器运动轨迹传输至下层全身协同控制模型，对所述末端执行器运动轨迹进行插值平滑处理，并将平滑后的轨迹映射为移动平台与机械臂协同的关节控制指令；

7、根据所述关节控制指令驱动机器人执行操作任务，在操作过程中通过视觉反馈隐式补偿长距离导航产生的定位误差，当检测到轨迹不可行、目标丢失或姿态异常时，暂停当前轨迹执行并触发轨迹重规划，直至完成目标操作。

8、在本发明的一个实施例中，所述通过迭代去噪生成连续平滑的末端执行器运动轨迹，包括：

9、所述上层轨迹规划模型采用扩散策略作为轨迹生成的核心算法，通过ddim加速采样从随机噪声中逐步迭代去噪还原出平滑的末端执行器运动轨迹；

10、其中，所述上层轨迹规划模型以动作块形式输出末端执行器运动轨迹，在推理阶段将训练阶段的去噪步数进行压缩，以降低在线推理延迟。

11、在本发明的一个实施例中，所述对所述末端执行器运动轨迹施加时序一致性约束以限制相邻时刻动作块的突变幅度，包括：

12、通过一致性约束机制强制相邻时刻输出的动作块保持时序连贯，限制轨迹的突变幅度以避免出现速度跳跃、姿态突变或方向反转行为；

13、所述一致性约束包括动作输出一致性与训练目标一致性两个层面，其中动作输出一致性以行为克隆损失刻画，训练目标一致性将行为克隆损失与价值估计损失联合优化；

14、在所述联合优化中，离线初始化阶段取较大行为克隆损失权重以保证动作模仿一致性，在线微调阶段减小行为克隆损失权重、增大价值估计损失权重以强化任务回报优化。

15、在本发明的一个实施例中，所述将所述末端执行器运动轨迹传输至下层全身协同控制模型，对所述末端执行器运动轨迹进行插值平滑处理，并将平滑后的轨迹映射为移动平台与机械臂协同的关节控制指令，包括：

16、所述下层全身协同控制模型对所述末端执行器运动轨迹执行样条插值平滑处理，将低频规划出的离散轨迹点转换为连续柔顺的无突变运动曲线；

17、将平滑后的轨迹映射为移动平台与机械臂协同的关节控制指令，所述下层全身协同控制模型在控制过程中实时兼顾基座姿态稳定、肢体避碰与机械臂关节限位多重约束。

18、在本发明的一个实施例中，所述下层全身协同控制模型在仿真环境中通过并行强化学习预训练获得，在执行过程中实时满足基座平衡约束、轨迹跟踪精度约束与碰撞规避约束；

19、所述下层全身协同控制模型在机械臂运动时自动调整基座姿态与支撑位置，防止因重心偏移、外力扰动或轨迹偏差导致机器人倾倒、侧滑或关节超限；

20、当检测到姿态异常、关节接近极限、存在碰撞风险或轨迹偏离过大时，立即自动修正控制指令，降低运动速度、收缩机械臂姿态、稳定基座支撑，优先保障机器人硬件安全后再重新跟踪目标轨迹。

21、在本发明的一个实施例中，所述在操作过程中通过视觉反馈隐式补偿长距离导航产生的定位误差，包括：

22、所述上层轨迹规划模型从腕部相机实时采集当前场景图像，经卷积视觉编码器提取包含目标物体、障碍物与场景几何的空间特征；

23、扩散网络以所述空间特征为条件，通过迭代去噪在机器人基坐标系下预测末端执行器轨迹；

24、当机器人因导航误差导致初始位姿偏离期望位置时，视觉观测中目标物体的相对位置变化驱动策略生成相应的补偿性末端轨迹，以滚动时域方式持续重规划，每个周期依据最新视觉观测更新轨迹，动态适应定位偏差。

25、在本发明的一个实施例中，所述当检测到轨迹不可行、目标丢失或姿态异常时，暂停当前轨迹执行并触发轨迹重规划，包括：

26、当系统检测到当前轨迹无法执行、目标物体被遮挡不可见或机器人姿态接近安全边界时，立即启动容错处理逻辑；

27、暂停当前轨迹执行，回退到上一稳定可靠的观测状态，并触发轨迹重规划；

28、重规划过程舍弃不可行的路径，重新根据当前环境与目标状态生成安全可到达的新轨迹，同时记录失败路径与有效路径，在后续推理中自动规避已验证不可行的方案。

29、在本发明的一个实施例中，所述上层轨迹规划模型经行为克隆初始化并采用一致性策略强化学习训练，包括：

30、采用两阶段训练模式对所述上层轨迹规划模型进行训练；

31、第一阶段为基于专家演示的离线初始化阶段，使用人工采集的成功操作演示数据对所述上层轨迹规划模型进行行为克隆训练，建立从视觉观测到末端动作的映射关系；

32、第二阶段为实体机器人在线强化学习微调阶段，机器人在真实环境中自主与场景交互，以任务完成情况、轨迹跟踪精度、运动平滑度与安全约束满足程度作为奖励信号进行优化更新，训练过程中不修改下层全身协同控制模型参数。

33、在本发明的一个实施例中，所述实体机器人在线强化学习微调阶段，还包括：

34、在训练过程中采用保守探索与安全终止规则，严格限制机器人的运动速度、动作幅度与姿态范围；

35、当出现异常姿态、接近碰撞或关节超限风险时，立即终止当前训练周期并重置状态，以保护硬件不受损坏。

36、为达上述目的，本发明第二方面实施例提出了一种基于一致性扩散策略的长程移动操作强化学习装置，包括：

37、状态采集模块，用于采集机器人在长距离导航结束后的当前场景视觉图像、本体传感信息以及上一时刻动作，将所述视觉图像、所述本体传感信息与所述上一时刻动作共同构成强化学习的输入状态；

38、上层轨迹规划模块，用于将所述输入状态输入至经行为克隆初始化并采用一致性策略强化学习训练的上层轨迹规划模型，通过迭代去噪生成连续平滑的末端执行器运动轨迹，并对所述末端执行器运动轨迹施加时序一致性约束以限制相邻时刻动作块的突变幅度；

39、下层协同控制模块，用于将所述末端执行器运动轨迹传输至下层全身协同控制模型，对所述末端执行器运动轨迹进行插值平滑处理，并将平滑后的轨迹映射为移动平台与机械臂协同的关节控制指令；

40、容错重规划模块，用于根据所述关节控制指令驱动机器人执行操作任务，在操作过程中通过视觉反馈隐式补偿长距离导航产生的定位误差，当检测到轨迹不可行、目标丢失或姿态异常时，暂停当前轨迹执行并触发轨迹重规划，直至完成目标操作。

41、本发明实施例具有以下有益效果：

42、本发明通过构建分层频率解耦架构，上层采用扩散策略模型以腕部视觉图像与本体感知为输入生成末端执行器运动轨迹，下层采用经大规模并行强化学习预训练的全身控制器将轨迹映射为移动平台与机械臂协同的关节控制指令，实现了长距离移动操作中轨迹规划精度与全身控制稳定性的兼顾。

43、本发明通过引入一致性策略强化学习对上层扩散策略进行训练，在行为克隆离线初始化的基础上进行实体机器人在线微调，并通过时序一致性约束限制相邻时刻动作块的突变幅度，有效提升了实体机器人强化学习的样本效率与训练稳定性，降低了训练过程中的动作抖动与硬件损耗风险。

44、本发明通过视觉反馈隐式学习补偿长距离导航产生的定位误差，使机器人在数米级定位偏差条件下仅依靠腕部相机视觉观测即可生成补偿性末端轨迹，配合滚动时域重规划机制与容错处理逻辑，在无需精确定位信息的情况下实现了稳定可靠的长距离移动操作。