基于动作切块与滚动时域控制的机器人学习方法及系统与流程

本技术涉及机器人控制，尤其涉及一种基于动作切块与滚动时域控制的机器人学习方法及系统。

背景技术：

1、在机器人模仿学习领域，端到端视觉动作策略的主流范式采用动作切块与滚动时域控制相结合的方式生成机器人运动指令。该范式由zhao等人于2023年提出的动作切块transformer（act）和chi等人于2023年提出的扩散策略（diffusion policy）所确立，其核心思路是策略网络在每个控制周期一次性预测未来k步动作序列形成一个动作切块，但仅执行其中第1步动作便重新获取观测并再次预测，以滚动时域的方式在保持动作时序连贯性的同时维持对环境变化的闭环响应能力。该范式已在精细双臂操作、工业装配、焊缝跟踪等多类机器人任务中展现出显著优于传统逐步预测方法的成功率与轨迹平滑性，成为当前机器人学习领域的技术基础。

2、然而在上述范式中，每个控制周期的策略推理过程完全独立于前一周期的预测结果，上一周期预测的第2步至第k步动作在仅执行第1步后被整体丢弃，新一周期的预测从零开始生成与上一周期的预测之间不存在任何信息传递关系。这一特性导致相邻控制周期的预测输出之间缺乏连续性约束，在工业场景的实际部署中频繁出现块间轨迹抖动和动作跳变问题。现有技术中针对该问题的改进方案包括act提出的时序集成方法在策略输出端对重叠预测做加权平均、diffusion policy提出的热启动方法将上一周期未执行预测作为去噪扩散过程的噪声初始化、以及black等人于2025年提出的实时分块方法将已执行的动作前缀作为硬约束条件输入策略网络，但上述方案均在策略网络的输入端或输出端进行后处理或预处理操作，未在网络内部的注意力计算层面建立跨周期的信息传递通路，且均不具备根据视觉场景变化程度自适应调节旧预测信息复用程度的能力。

技术实现思路

1、本技术提供了一种基于动作切块与滚动时域控制的机器人学习方法及系统，解决了现有动作切块与滚动时域控制方法中相邻控制周期的预测输出缺乏网络内部层面的选择性信息传递而导致的块间轨迹抖动与环境突变响应滞后并存的问题，提高了机器人在动态工业场景下连续运动控制的轨迹平滑性与扰动恢复能力。

2、第一方面，本技术提供了一种基于动作切块与滚动时域控制的机器人学习方法，所述基于动作切块与滚动时域控制的机器人学习方法包括：

3、步骤s1、将连续多帧图像及对应的机器人状态编码为观测令牌序列，并将上一控制周期预测的未执行动作切块尾部经投影编码为规划草稿令牌序列；

4、步骤s2、将当前帧视觉特征与上一帧视觉特征求差得到观测差异向量，将所述观测差异向量经线性投影与激活函数映射为若干头级门控系数；

5、步骤s3、将所述观测令牌序列经自注意力编码得到观测隐状态并作为查询矩阵，将所述规划草稿令牌序列分别映射为键矩阵和值矩阵，由所述查询矩阵与所述键矩阵计算注意力得分矩阵，以所述头级门控系数对所述注意力得分矩阵执行逐头缩放得到门控注意力得分矩阵，由所述门控注意力得分矩阵与所述值矩阵加权求和并经残差连接得到修订融合特征，将所述修订融合特征经动作预测头输出滚动时域动作切块序列；

6、步骤s4、在每个滚动时域控制周期内，从所述滚动时域动作切块序列中提取首步动作经安全仲裁后下发执行，将所述滚动时域动作切块序列中剩余各步写入草稿缓存以供下一控制周期生成所述规划草稿令牌序列。

7、可选地，步骤s1，包括：

8、将连续h帧图像逐帧输入预训练视觉编码器进行全局池化特征提取，得到h个视觉特征向量组成的视觉特征序列；

9、将每帧对应的关节角、末端位姿、关节角速度及夹具状态拼接为机器人状态向量，将所述机器人状态向量输入两层状态编码器进行非线性映射，得到与所述视觉特征序列帧数对齐的状态特征序列；

10、将所述视觉特征序列与所述状态特征序列在特征维度上拼接后经线性投影层进行维度变换，得到观测令牌序列；

11、从草稿缓存中读取上一控制周期输出的动作切块中第二步至第k步组成的未执行动作尾部，将所述未执行动作尾部输入草稿投影层进行维度映射，得到规划草稿令牌序列，其中首个控制周期所述草稿缓存为空时所述规划草稿令牌序列各元素置为零向量。

12、可选地，步骤s2，包括：

13、从所述视觉特征序列中分别取出当前帧视觉特征向量与上一帧视觉特征向量，将所述当前帧视觉特征向量与所述上一帧视觉特征向量逐元素相减，得到观测差异向量；

14、将所述观测差异向量输入门控投影模块的第一线性层进行降维映射，对降维映射后的中间特征依次经归一化层和非线性激活函数处理，得到门控中间特征；

15、将所述门控中间特征输入所述门控投影模块的第二线性层进行投影，得到维度等于交叉注意力头数量m的门控原始得分向量；

16、对所述门控原始得分向量逐元素施加sigmoid激活函数，得到m个取值区间为零到一的头级门控系数，其中所述第二线性层的偏置参数初始化为负值以使所述观测差异向量为零时各所述头级门控系数低于0.5。

17、可选地，步骤s3中将所述观测令牌序列经自注意力编码得到观测隐状态并作为查询矩阵，将所述规划草稿令牌序列分别映射为键矩阵和值矩阵，包括：

18、将所述观测令牌序列输入多层自注意力编码器，经逐层自注意力计算与前馈网络处理后得到观测隐状态；

19、基于m个查询投影矩阵对所述观测隐状态分别进行线性变换，得到m组查询子矩阵；

20、基于m个键投影矩阵对所述规划草稿令牌序列分别进行线性变换，得到m组键子矩阵；

21、基于m个值投影矩阵对所述规划草稿令牌序列分别进行线性变换，得到m组值子矩阵。

22、可选地，步骤s3中以所述头级门控系数对所述注意力得分矩阵执行逐头缩放得到门控注意力得分矩阵，由所述门控注意力得分矩阵与所述值矩阵加权求和并经残差连接得到修订融合特征，包括：

23、对第i组查询子矩阵与第i组键子矩阵执行转置点积运算并除以特征维度的平方根，经归一化指数函数处理后得到第i组原始注意力得分子矩阵，遍历m组分别执行上述运算得到注意力得分矩阵；

24、根据所述头级门控系数中第i个系数计算1与该系数的差值作为第i组通过率标量，以所述第i组通过率标量对所述第i组原始注意力得分子矩阵进行逐元素乘法，遍历m组分别执行上述运算得到门控注意力得分矩阵；

25、由第i组门控注意力得分子矩阵与第i组值子矩阵执行矩阵乘法得到第i组交叉注意力输出，将m组交叉注意力输出在特征维度上拼接并经线性输出投影得到交叉注意力融合输出；

26、将所述交叉注意力融合输出与所述观测隐状态逐元素相加完成残差连接，经归一化层处理后得到修订融合特征。

27、可选地，步骤s3中将所述修订融合特征经动作预测头输出滚动时域动作切块序列，包括：

28、将所述修订融合特征输入后续自注意力编码层继续执行自注意力计算与前馈网络处理，得到深层融合隐状态；

29、从所述深层融合隐状态中取最后1个时间步对应的隐状态向量作为决策锚点特征；

30、将所述决策锚点特征经由两层线性变换与非线性激活函数组成的动作预测头进行回归映射，得到维度为k乘以末端增量动作维度的扁平输出向量；

31、按k步对所述扁平输出向量进行维度重塑，得到包含k步末端增量动作的滚动时域动作切块序列，其中每步末端增量动作包含3维位置增量与3维姿态增量。

32、可选地，步骤s4，包括：

33、从所述滚动时域动作切块序列中取第1步末端增量动作，依次经绝对限幅层将位置增量各分量裁剪至预设位移阈值范围内且将姿态增量各分量裁剪至预设角度阈值范围内，得到限幅后动作；

34、根据当前末端位姿与所述限幅后动作求和得到目标末端位姿，将所述目标末端位姿与预设的三维安全包络线边界进行逐坐标比较，对超出所述三维安全包络线边界的分量置零，并对所述目标末端位姿经逆运动学求解得到目标关节角后与关节极限及雅可比矩阵条件数阈值进行校验，将未通过校验的增量指令整体置零，得到安全增量动作；

35、对所述安全增量动作与上一控制周期实际执行的增量指令按预设滤波系数进行一阶指数移动平均滤波，得到平滑增量指令并下发至机器人控制器执行；

36、将所述滚动时域动作切块序列中第2步至第k步组成的剩余动作序列写入草稿缓存，覆盖上一控制周期的旧草稿，以供下一控制周期的步骤s1中从所述草稿缓存读取生成所述规划草稿令牌序列。

37、第二方面，本技术提供了一种基于动作切块与滚动时域控制的机器人学习系统，所述基于动作切块与滚动时域控制的机器人学习系统包括：

38、编码模块，用于将连续多帧图像及对应的机器人状态编码为观测令牌序列，并将上一控制周期预测的未执行动作切块尾部经投影编码为规划草稿令牌序列；

39、映射模块，用于将当前帧视觉特征与上一帧视觉特征求差得到观测差异向量，将所述观测差异向量经线性投影与激活函数映射为若干头级门控系数；

40、预测模块，用于将所述观测令牌序列经自注意力编码得到观测隐状态并作为查询矩阵，将所述规划草稿令牌序列分别映射为键矩阵和值矩阵，由所述查询矩阵与所述键矩阵计算注意力得分矩阵，以所述头级门控系数对所述注意力得分矩阵执行逐头缩放得到门控注意力得分矩阵，由所述门控注意力得分矩阵与所述值矩阵加权求和并经残差连接得到修订融合特征，将所述修订融合特征经动作预测头输出滚动时域动作切块序列；

41、生成模块，用于在每个滚动时域控制周期内，从所述滚动时域动作切块序列中提取首步动作经安全仲裁后下发执行，将所述滚动时域动作切块序列中剩余各步写入草稿缓存以供下一控制周期生成所述规划草稿令牌序列。

42、本技术提供的技术方案中，通过在策略网络的输入端构建观测令牌序列与规划草稿令牌序列的双流输入结构，使得每个控制周期的推理过程不再仅依赖当前时刻的观测信息从零独立生成动作切块，而是同时接收上一控制周期预测但未执行的动作尾部所编码的规划意图信息，在策略网络尚未开始注意力计算之前即为其提供了关于上一周期模型认为机器人接下来应当如何运动的先验参考，这一双流输入结构从信息源头上打破了现有动作切块方法中相邻控制周期之间预测信息完全隔断的局限，使得策略网络具备了在网络内部引用上一周期规划意图的物理通路。在此基础上，本技术将当前帧视觉特征与上一帧视觉特征求差所得到的观测差异向量经线性投影与激活函数映射为若干头级门控系数，该设计将环境是否发生变化这一判定信息以连续数值的形式注入后续的注意力计算过程中，而非依赖人工设定的固定阈值做二值判断，门控系数的生成仅依赖于当前帧与上一帧之间的视觉特征差异而不依赖于尚未完成的当前周期预测结果，在因果关系上严格先于策略推理过程，避免了需要先生成新预测才能判断是否复用旧预测这一逻辑上的循环依赖，同时门控投影模块的全部参数与策略网络整体进行端到端联合训练，门控行为的转换边界由训练数据驱动自动习得而非由工程人员针对每个具体任务手动调试。

43、本技术在策略网络内部的自注意力编码层之间嵌入了以头级门控系数调制的交叉注意力计算层，将观测隐状态作为查询矩阵、规划草稿令牌序列映射的键矩阵和值矩阵作为被检索对象，通过交叉注意力机制使当前观测信息主动检索旧规划草稿中与当前运动阶段相关的时间步和特征维度，而头级门控系数以逐头标量缩放的方式作用于注意力得分矩阵的归一化指数函数输出之后，当视觉场景稳定时各头的通过率标量趋近于较高值使交叉注意力充分引用旧规划中的连续性信息从而抑制相邻周期预测之间的随机波动，当视觉场景发生突变时各头的通过率标量趋近于零使交叉注意力输出趋近全零矩阵并经残差连接后自动退化为仅依赖当前观测的标准单流策略行为从而不被过时的旧规划所误导，这一机制在同一网络结构内同时解决了场景稳定时应当修订旧规划以保持平滑和场景突变时应当放弃旧规划以保持响应两种看似矛盾的需求而无需在两种模式之间做硬切换。经动作预测头输出的滚动时域动作切块序列在每个控制周期内仅提取首步动作经安全仲裁后下发执行，剩余各步写入草稿缓存作为下一控制周期生成规划草稿令牌序列的来源，由此在相邻控制周期之间形成了预测、缓存、回注、门控修订、再预测的闭合信息循环，使得滚动时域控制过程中每个周期的动作输出既承继了上一周期规划的时序连贯性又保留了对环境实时变化的即时响应能力，在工业级多工位机器人控制场景中从网络结构层面而非后处理层面消除了块间轨迹抖动与环境突变响应滞后并存的技术矛盾。