双臂演示轨迹动态优化训练方法、计算机设备及存储介质与流程

本发明涉及机器人技术与机器学习，尤其涉及一种双臂演示轨迹动态优化训练方法、计算机设备及存储介质。

背景技术：

1、双臂机器人在执行例如交接物体、协同拧盖、折叠布料等精细操作任务时，通常采用模仿学习的方式，通过学习人类操作员提供的演示轨迹来训练其策略模型。

2、在现有技术中，一种常见的方法是均匀模仿学习，即行为克隆（behaviorcloning），该方法将所有演示轨迹数据不加区分地用于模型训练。然而，在一条完整的演示轨迹中，对任务成功起决定性作用的关键操作片段（如接触、协同配合的瞬间）占比较小，而大部分是相对简单的空中移动。均匀训练会导致模型的学习能力被大量简单的轨迹片段所稀释，使得关键片段的学习不充分，导致机器人在执行任务时，一到关键环节就容易出现偏差并累积误差，最终导致任务失败。

3、为了解决上述问题，有技术提出在训练前对数据进行静态筛选或加权，或者设计固定的课程学习顺序。这类方法在训练开始前一次性地确定了数据的优先级或训练顺序。其缺陷在于，训练数据片段的“难易度”是相对于模型当前的能力而言的，随着模型在训练过程中不断迭代优化，其薄弱环节也在动态变化。静态的、预设的训练策略无法适应模型的实时状态，导致训练资源的分配依然不够精准，计算资源未被最有效地利用。

4、此外，一些双臂策略模型虽然考虑了手臂间的状态参考（跨臂条件化），但并未将双臂的“相对配合程度”作为一个显式的优化目标加入到训练损失函数中。对于需要高精度配合的任务，两臂之间微小的相对位姿或时序偏差都可能导致失败。缺乏对协同配合本身的直接约束，使得模型的配合精度和任务成功率难以保证。

5、因此，现有技术迫切需要一种能够动态识别并聚焦于训练难点、同时显式优化双臂协同性的训练方法，以更高效、更可靠地提升双臂机器人在复杂协同任务中的成功率。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术中双臂机器人模仿学习训练时存在对关键操作片段学习不足、训练过程无法动态适应模型状态、以及对双臂协同配合缺乏直接优化，从而导致任务成功率低且训练效率不高的问题，提供一种双臂演示轨迹动态优化训练方法。

2、为解决上述技术问题，本发明提供了一种双臂演示轨迹动态优化训练方法，包括：将双臂机器人的每条演示轨迹切分为多个演示轨迹片段，并从不同维度对每个所述演示轨迹片段进行分类并标记，多维组合后形成具有多个细分类别的训练样本；在双臂协同耦合策略模型迭代训练中，对每个所述细分类别，计算该细分类别的优先级，并基于所述优先级更新各所述演示轨迹片段的分类标签；根据各所述细分类别的所述优先级，调整各所述细分类别对应的训练控制参数，并根据更新的分类标签对各所述演示轨迹片段重新进行分类组合，当前双臂协同耦合策略模型基于调整后的训练控制参数和重新分类组合的演示轨迹片段进行优化训练；当训练收敛后，输出训练好的双臂协同耦合策略模型，用于控制所述双臂机器人。

3、首先，将双臂机器人的每条演示轨迹切分为多个演示轨迹片段，并从不同维度对每个片段进行分类标签，多维组合后形成具有多个细分类别的训练样本。通过这一操作，一条完整的演示轨迹被分解为若干具有不同属性组合的细分类别，每个细分类别对应特定的操作阶段、配合方式和难度等级，使得训练样本从“无差别的序列数据”转变为“带有语义标签的结构化样本集”，为后续的差异化处理提供了基本单位。

4、其次，在双臂协同耦合策略模型迭代训练中，对每个细分类别计算优先级。这一优先级反映了当前模型在该类别上的拟合程度和实际操作表现，随着模型训练推进而动态变化——某个细分类别在训练初期可能因尚未被充分学习而具有较高优先级，在后期因已较好拟合而优先级下降。优先级的存在使得模型能够确定自身在哪些类别上还存在不足。

5、然后，根据优先级调整各细分类别对应的训练控制参数，并根据更新的分类标签对各演示轨迹片段重新进行分类组合。训练控制参数（采样概率和损失权重）的调整使得后续训练批次中高优先级类别的样本获得更高的出现频率和更大的优化惩罚力度；重新分类组合则确保分类标签始终反映当前模型状态下的真实难度等级。这两个操作共同实现了训练资源的动态再分配——当某类别的优先级升高时，该类别的样本在训练中既被“多看”（采样概率提高），又被“更重视”（损失权重提高）。

6、最后，当前双臂协同耦合策略模型基于调整后的训练控制参数和重新分类组合的演示轨迹片段进行优化训练，输出训练好的模型用于控制双臂机器人。由于训练控制参数的动态调整使训练批次中高优先级类别的样本占比提高，模型的梯度更新方向受到该类别的更大影响，模型参数逐步向更擅长处理该类别的方向调整。随着模型参数的改善，该类别的预测误差下降、操作成功率上升，优先级随之降低，训练资源自动转移到新的高优先级类别，如此循环直至收敛。

7、通过上述机制，训练算力被自动引导至“既需要双手配合、当前模型又最容易失败”的关键片段上，克服了均匀模仿学习中关键片段被大量简单段稀释而欠拟合的缺陷，在不增加示教数据采集量和无需真机强化学习的前提下，显著提升了双臂机器人在精细操作任务中的成功率和训练效率，同时降低了数据采集成本和硬件安全风险。

8、可选地，每条所述演示轨迹包括按时间对齐的双臂状态序列、双臂动作序列以及与所述双臂状态序列和双臂动作序列中各采样时刻一一对应的感知观测，所述不同维度包括操作阶段维度、双臂配合关系维度和质量难易维度；计算该细分类别的优先级，并基于所述优先级更新各所述演示轨迹片段的分类标签，包括：针对每个所述细分类别，根据当前双臂协同耦合策略模型在该细分类别上的预测误差以及该细分类别对应的实测操作成功率，计算该细分类别的优先级，并基于所述优先级更新各所述演示轨迹片段在所述质量难易维度上的分类标签。

9、将每条演示轨迹限定为包含按时间对齐的双臂状态序列、双臂动作序列以及与各采样时刻一一对应的感知观测。这一数据结构确保了每个训练样本中观测与动作之间的时序对应关系明确，模型在训练时，能够准确学习“在某个特定观测下应该执行哪个动作”，避免了因时序错配导致的监督信号错误，为模仿学习的有效性提供了数据基础。

10、将分类维度限定为操作阶段维度、双臂配合关系维度和质量难易维度三个维度。操作阶段维度的分类使得模型能够区分同一任务中不同阶段（如接近、接触、协同操作、释放）的样本，避免早期阶段的大量样本稀释后期关键阶段的样本影响力；双臂配合关系维度的分类使得模型能够区分“需要双手配合”和“各自独立操作”的样本，为协同耦合损失的重点施加提供筛选依据；质量难易维度的分类使得模型能够区分不同难度等级的样本，为训练资源的差异化分配提供第三重维度。

11、三个维度的组合分类产生细分类别（如“接触阶段、对称配合、高难度”），其粒度比任何单一维度分类更细，能够精准定位“既处于关键操作阶段、又需要双手配合、当前模型还觉得难”的训练样本。这种多层次、多角度的精细分类为后续动态采样与加权提供了精确的“靶点”，使训练资源的投放从“盲目的均匀分配”转变为“有目标的精准聚焦”。

12、进一步地，所述优先级的计算步骤中，所述优先级与当前所述双臂协同耦合策略模型在对应细分类别上的预测误差正相关，且与所述细分类别对应的实测操作成功率负相关。

13、预测误差反映了“模型自身认为哪里学得不好”，当模型在某个细分类别上的预测动作与演示轨迹中的真实动作偏差较大时，说明该类别尚未被模型充分拟合。将优先级与预测误差正相关，使训练资源能够自动流向模型内部拟合不足的类别。实测操作成功率反映了“模型实际在哪里容易失败”，当某个细分类别的操作成功率偏低时，说明即使模型的内部预测误差可能不大，该类别在实际执行中仍存在困难。将优先级与实测成功率负相关，使训练资源能够自动流向实际操作表现较差的类别。两个信号共同驱动优先级形成互补：单看预测误差可能漏掉“预测误差不大但执行失败”的情形（如误差累积导致后续步骤失败），单看成功率可能漏掉“执行尚可但内部拟合不充分”的情形（如模型在新场景中泛化能力不足）。两者结合使优先级评估更加全面准确，确保训练资源总能对准“真正需要加强”的细分类别，避免了单一信号可能导致的天平失衡。

14、可选地，所述预测误差采用该细分类别的损失滑动平均值表征。

15、单次训练的损失值存在随机波动，同一细分类别的不同样本在同一模型状态下可能产生不同的损失值，甚至同一批样本在不同训练步中也可能因批次内其他样本的干扰而产生损失波动。如果直接使用单次损失值作为预测误差的度量，优先级可能因这些随机波动而频繁跳变，导致训练控制参数（采样概率和损失权重）在训练步间剧烈震荡，最终影响训练稳定性。

16、采用损失滑动平均值来表征预测误差，通过对历史损失信息进行加权平均，可以有效抑制随机噪声的影响，单次异常高或异常低的损失值经过滑动平均后对整体预测误差的贡献被削弱，使得预测误差的统计更加稳定可靠。稳定的预测误差带来稳定的优先级，进而带来稳定的采样概率和损失权重调整，使训练过程更加平滑，避免了优先级频繁跳变导致的训练不收敛或震荡问题。

17、可选地，所述操作阶段维度包括接近阶段、接触阶段、协同操作阶段和释放阶段中的至少两种，所述操作阶段维度的分类标签根据所述双臂机器人的灵巧手开合状态、接触信号和末端速度中的至少一种信息确定；所述双臂配合关系维度包括各自独立操作类别、对称配合类别和不对称配合类别中的至少两种，其中，所述双臂配合关系维度的分类标签根据同一时间窗口内双臂运动的相关性确定，所述双臂运动的相关性采用双臂相对位姿的相关性度量。

18、将操作阶段维度限定为接近阶段、接触阶段、协同操作阶段和释放阶段中的至少两种，并基于灵巧手开合状态、接触信号和末端速度进行分类。接近阶段对应机器人末端在自由空间中移动，训练难度低、样本数量占比大；接触阶段和协同操作阶段对应末端与物体或环境发生物理交互，涉及力控和双臂协调，是决定任务成败的核心环节，样本数量占比小但训练难度高；释放阶段对应脱离接触，需要控制平稳性。通过对这些阶段的区分，系统能够在后续动态采样与加权中自动减少接近阶段样本的采样概率和损失权重，增加接触阶段和协同操作阶段样本的采样概率和损失权重，使训练资源从“空间移动”类片段向“物理交互”类片段倾斜，有效解决均匀训练中关键阶段被大量简单阶段稀释的问题。

19、将双臂配合关系维度限定为各自独立操作类别、对称配合类别和不对称配合类别，并基于双臂相对位姿的相关性进行判定。各自独立操作对应两只手臂各自执行无关任务，配合要求低；对称配合对应两只手臂以镜像方式协同动作（如双手对称折叠布料），配合要求中等；不对称配合对应两只手臂以不同方式协同动作（如一手扶、一手拧），配合要求最高。通过对这些类别的区分，系统能够在后续动态采样与加权中自动增加不对称配合类别样本的采样概率和损失权重，使训练资源向“配合要求最高”的片段倾斜。同时，配合关系维度的显式建模为协同耦合损失的有效施加提供了类别层面的筛选依据，配合关系维度标签为“对称配合”或“不对称配合”的片段，其协同耦合损失在总损失中的贡献被放大，而“各自独立操作”片段的协同耦合损失贡献被削弱。这种“分类驱动损失权重”的机制确保协同耦合损失作用于“真正需要配合”的片段上，避免了在不需要配合的片段上施加不必要的协同约束而干扰模型学习。

20、可选地，所述双臂协同耦合策略模型包括：感知编码模块，用于对输入的所述感知观测进行编码，生成感知特征；双臂交互模块，用于对双臂的所述感知特征进行交互处理，使一侧手臂的特征参考另一侧手臂的特征；以及动作解码模块，用于根据交互处理后的特征分别解码出左臂动作和右臂动作。

21、感知编码模块将输入的感知观测（多视角rgbd图像、本体感觉等）编码为高维特征向量，完成从原始感知空间到特征空间的映射。这一编码过程使得后续模块不再直接处理高维、冗余的原始感知数据，而是在更紧凑、更具语义的特征空间中进行计算，降低了后续计算复杂度。

22、双臂交互模块在特征层面对左右双臂的特征进行交互处理。在编码模块输出的特征中，左臂特征仅包含左臂相关的感知信息，右臂特征仅包含右臂相关的感知信息，两者相互独立、互不知晓。双臂交互模块通过让左臂特征“参考”右臂特征、右臂特征“参考”左臂特征，使得最终用于解码的左臂特征中融入了右臂的信息，解码出的右臂特征中融入了左臂的信息。这种信息融合使得后续动作解码模块输出的左右臂动作不再是相互独立的预测结果，而是经过信息交互后的协同结果——一只手臂在决定如何动作时，已经考虑了另一只手臂当前的状态和动作意图。

23、动作解码模块根据交互处理后的特征分别解码出左臂动作和右臂动作。由于左、右臂输入特征中均包含了对方的信息，解码出的动作天然具备协调性。这一三段式架构为协同耦合损失的有效优化提供了模型结构层面的支撑——双臂交互模块的存在使得“让一只手参考另一只手”成为模型架构的内建能力，协同耦合损失则从训练目标层面驱动这一能力向“精准协同”的方向优化，两者共同作用使模型学习出具有强协同性的双臂策略。

24、进一步地，所述双臂交互模块采用交叉注意力机制实现双臂特征之间的交互。

25、交叉注意力机制的计算方式为：以一侧手臂的特征作为查询，以另一侧手臂的特征作为键和值，通过注意力权重的计算实现信息的选择性融合。这种机制使一侧手臂在预测自身动作时能够动态地关注另一侧手臂当前状态中对自身决策最具参考价值的特征维度。

26、与固定权重的硬编码交互方式（如简单拼接或加权平均）相比，交叉注意力机制具有两个优势：其一，交互权重是动态计算的，取决于双臂当前状态的实际情况，在不同操作阶段（如接近阶段、协同操作阶段）、不同配合模式（对称配合、不对称配合）下，双臂之间的依赖关系不同，交叉注意力机制能够自适应地调整关注的重点；其二，交互是双向的，左臂特征参考右臂特征的同时，右臂特征也参考左臂特征，形成对称的信息流动，使两侧特征在交互后达到信息平衡。这种自适应、软性的交互方式增强了模型对多样化双臂配合模式的泛化能力，使模型在面对训练中未见的双手配合场景时，仍能根据当前状态动态调整协同策略。

27、可选地，所述双臂协同耦合策略模型的骨干网络采用扩散策略网络、transformer网络或视觉-语言-动作模型中的任意一种。

28、可选地，所述训练控制参数包括损失权重；所述双臂协同耦合策略模型的损失函数是模仿损失与协同耦合损失的加权和，所述模仿损失按照各所述细分类别的损失权重进行加权，所述协同耦合损失至少包含对预测的双臂相对位姿与所述演示轨迹中的双臂相对位姿之间的差异的约束。所述协同耦合损失按照预设的协同损失权重进行加权。

29、模仿损失按照各细分类别的损失权重进行加权。这一操作的推导过程为：在动态优先级评估步骤中，每个细分类别被分配了一个优先级（与该类别的预测误差正相关、与实测成功率负相关）；优先级通过归一化指数函数映射为采样概率和损失权重。对于优先级较高的细分类别，其损失权重被设定为较大值，意味着当模型在该类别的样本上产生预测偏差时，该偏差在总损失中被放大的倍数更高；反向传播时，该类别的样本对模型参数梯度更新的贡献更大。由此，模型参数被“拉向”更擅长拟合高优先级类别的方向。

30、损失函数同时包含协同耦合损失。模仿损失仅约束单只手臂的动作是否贴近示教轨迹，不约束两只手臂之间的相对关系；协同耦合损失则显式约束预测的双臂相对位姿与演示轨迹中的双臂相对位姿之间的差异。两个损失共同作用于模型参数的优化更新：模仿损失驱动参数向“单臂动作准确”的方向调整，协同耦合损失驱动参数向“双臂相对关系准确”的方向调整。两者在梯度空间中的合力方向使模型参数同时优化两个目标，最终学出的策略既保留了单臂动作精度，又强化了双臂协同配合的准确性，有效解决了现有技术中“配合没有被直接优化”的缺陷。

31、协同耦合损失按照预设的协同损失权重进行加权，该权重独立于优先级驱动的损失权重，用于调节协同耦合损失相对于模仿损失的整体强度，使本领域技术人员能够根据具体任务对双臂配合精度的要求灵活调整，提高了方法对不同精细化程度任务的适应性。

32、进一步地，所述协同耦合损失还包含对双臂动作序列在时间轴上的对齐程度的约束。

33、相对位姿约束仅在每个采样时刻独立约束双手的空间位置关系是否正确（空间协同），不约束双手动作在时间上的同步性。然而，双臂协同操作不仅要求“在同一时刻双手的位置关系正确”，还要求“双手的动作在时间节奏上一致”，例如在双手交接物体的任务中，左手到达交接位置的时间点与右手到达交接位置的时间点必须同步，否则可能发生“左手到了但右手还没到导致掉落”或“右手已到但左手还没到导致等待”的情况。

34、通过增加对双臂动作序列在时间轴上的对齐程度的约束，模型被驱动去学习左右手动作序列之间的时间对应关系，左手在某个时间点执行某个动作时，右手应在对应时间点执行对应的配合动作。这种时间维度的约束与空间维度的相对位姿约束共同构成了“空间协同+时间协同”的双重约束体系，从两个正交维度全面刻画和优化双臂协同关系，进一步提升了强配合子任务（如双手交接物体、一手扶一手拧等）的执行成功率。

35、可选地，所述协同耦合损失表示为lcoord=‖δpred-δdemo‖，其中，lcoord表示所述双臂相对位姿协同耦合损失，δpred表示所述双臂协同耦合策略模型预测的同一时刻左臂末端位姿与右臂末端位姿之间的差值向量，δdemo表示所述演示轨迹中同一时刻左臂末端位姿与右臂末端位姿之间的差值向量。

36、可选地，所述训练控制参数还包括采样概率，按照各所述细分类别对应的所述采样概率从所述多条演示轨迹中采样训练样本。

37、训练控制参数包括两类具有不同作用路径的参数：损失权重作用于“损失计算环节”（前向传播后、反向传播前），影响各细分类别的预测偏差在总损失中的放大倍数；采样概率作用于“训练批次构建环节”（前向传播前），影响各细分类别的样本被选入训练批次的概率。两者形成“采样概率、训练批次构成、前向传播、损失计算（受损失权重影响）、反向传播、参数更新”的完整作用链条，从输入端和计算端两个层面协同实现高优先级类别的训练强化。

38、具体而言，当某个细分类别的优先级升高时，其采样概率同步提高。在构建训练批次时，高采样概率类别中的样本被选入当前批次的概率更大，导致该类别在当前批次中的样本数量占比高于其在演示轨迹库中的原始占比。这种数据分布的重塑使得模型在当前批次的前向传播中更多地接触高优先级类别的样本特征，在反向传播中该类别的梯度信号在总梯度中的占比提高，模型参数沿着更有利于拟合该类别的方向更新。

39、进一步地，所有细分类别的采样概率之和为1；对于任一细分类别，其采样概率按照以下方式计算：以自然常数为底数，以该细分类别的优先级除以温度系数所得的商为指数，计算得到该细分类别的第一中间值；对全部细分类别分别计算所述第一中间值后求和，得到第二中间值；该细分类别的第一中间值除以所述第二中间值所得的商是该细分类别的采样概率，所述温度系数为可调参数。

40、可选地，还包括：每隔预设评估周期评估各所述细分类别的操作成功率，并将所述操作成功率反馈至所述优先级的计算步骤；对于评估中操作失败的训练样本，提升其所属细分类别的优先级，并在后续训练中增加该细分类别的采样概率和损失权重。

41、本发明还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如前述任一项所述的双臂演示轨迹动态优化训练方法。

42、本发明还提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如前述任一项所述的双臂演示轨迹动态优化训练方法。

43、本发明还提供了一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如前述任一项所述的双臂演示轨迹动态优化训练方法。

44、与现有技术相比，本发明至少具有以下有益技术效果：

45、通过将演示轨迹从操作阶段、双臂配合关系等多个维度进行细分，并基于模型当前预测误差和实测操作成功率动态计算各细分类别的优先级，本发明能够将训练资源（如采样概率和损失权重）动态地集中在对任务成功起决定性作用但又难以学习的关键片段上，避免了训练能力被大量简单、非关键的轨迹片段稀释，从而在相同的训练数据和计算资源下，有效提升了双臂协同操作任务的最终成功率。

46、通过引入基于当前模型预测误差和实测操作成功率的闭环反馈机制，动态调整训练样本的采样概率和损失权重，并周期性地更新分类标签，使得训练过程能够实时地、有针对性地解决模型当下的薄弱环节，避免了静态训练策略与模型实际能力脱节的问题，使训练过程更具适应性和效率。

47、通过在策略模型的损失函数中显式地加入协同耦合损失，直接对双臂的相对位姿或时序关系进行约束和优化，确保了在需要紧密配合的任务（如交接、对齐操作）中，双臂的动作能够保持高度的协同性，显著降低了因配合失误导致的失败率。