一种机械臂阶段化动作幅值校正控制方法

本发明涉及机械臂智能控制，尤其涉及一种机械臂阶段化动作幅值校正控制方法。

背景技术：

1、机器人操作任务通常需要根据视觉观测、任务目标和机械臂状态生成连续动作输出，以驱动机械臂完成接近、抓取、放置、提起或姿态调整等操作过程。现有技术中，运动学建模、轨迹规划、阻抗控制或力位混合控制等传统控制方法在结构化场景中具有较好的稳定性，但通常需要针对具体机械臂构型、末端执行器、目标物体位置和任务流程进行人工建模、路径规划和参数调试，当操作环境、任务目标或物体状态发生变化时，适配成本较高。

2、为减少人工建模和规则设计，现有技术中还常采用模仿学习或强化学习方法训练机器人策略。模仿学习能够通过示教轨迹学习从观测到动作的映射，强化学习能够通过环境交互和奖励信号提升任务执行效果。但模仿学习通常依赖示教数据的质量和覆盖范围，强化学习则依赖交互样本和奖励函数设计，在目标任务数据规模有限或不同动作幅值阶段覆盖不均衡时，仍难以稳定保证机械臂在不同执行阶段具有合适的动作尺度。

3、随着视觉-语言-动作模型的发展，vla模型能够结合视觉观测、语言指令和机械臂状态生成动作输出，从而提高机器人策略对不同任务语义和操作场景的适应能力。smolvla等轻量化vla模型进一步降低了训练、微调和部署成本，适合实验室机械臂、低成本机器人平台以及具体机械臂操作任务中的快速适配。然而，轻量化vla模型受模型结构和参数规模限制，在目标机械臂构型、相机视角或任务分布与预训练数据存在差异时，其动作输出对目标微调数据分布的依赖更强。

4、在具体下游任务适配中，监督微调是较为常用的方法，其通常利用目标机器人采集的示教数据继续训练模型或动作头，使模型拟合目标任务数据中的参考动作标签。该方法实现简单，能够较快适配新的机械臂平台、相机视角和任务分布，但其优化目标主要是拟合数据集中的动作标签。当目标任务数据中不同执行阶段样本分布不均衡，或者某些动作幅值区间占比较高时，微调后的策略容易向高占比动作幅值区间收缩，从而削弱不同执行阶段之间的动作尺度差异。

5、此外，参数高效微调、强化学习类适配方法以及动作归一化、样本重采样、损失函数权重调整或全局动作缩放等方式，也常用于改善机器人策略的训练成本、任务成功率或动作输出稳定性。其中，参数高效微调主要降低训练成本，强化学习类方法能够利用在线交互数据或离线轨迹数据提升任务回报，全局动作处理方法能够改善整体动作尺度稳定性；但这些方法通常没有针对多阶段机械臂操作任务中不同执行阶段的动作幅值需求，建立显式的阶段化分析和校正机制。

6、上述现有全局动作缩放、固定损失权重、样本重采样等手段均为全局统一校正，仅能对全部任务流程施加单一缩放系数，无法区分接近、精调、接触调整不同阶段的差异化幅值需求；同时现有残差补偿方案无阶段开关逻辑、无幅值硬约束，全程叠加补偿量会大幅偏移vla模型输出的基础运动方向，破坏视觉语言规划的动作主体趋势；而轻量化vla模型微调后存在幅值塌缩问题，现有技术缺少针对多阶段任务的显式分段幅值校正架构，是本发明需要解决的核心技术痛点。

技术实现思路

1、本发明要解决的技术问题是针对上述现有技术的不足，提供一种机械臂阶段化动作幅值校正控制方法，在不改动基础vla模型主体结构的前提下，在模型与机械臂控制器之间增设阶段感知校正模块，分阶段对基础动作的平移、旋转幅值独立校正，兼顾远距离快速推进与近距离高精度微调。

2、为解决上述技术问题，本发明所采取的技术方案是：

3、一种机械臂阶段化动作幅值校正控制方法，整体分为离线数据处理、校正模块分阶段训练、在线闭环控制三大流程，具体包括以下步骤：

4、步骤1：离线数据处理，进行目标机械臂离线任务数据分析与动作幅值阶段划分；

5、首先，获取目标机械臂任务的多条操作轨迹，每条操作轨迹包括视觉观测、机械臂状态、任务语言指令和参考动作标签；然后，根据参考动作标签中的位置控制分量和姿态控制分量计算对应的平移动作幅值和旋转动作幅值；进一步，对不同操作轨迹中的动作幅值变化进行统计、平滑和阶段划分，得到机械臂任务执行过程中的动作幅值阶段、阶段边界以及各阶段对应的动作幅值统计信息；

6、将离线时间维度的阶段边界转换为在线可用的几何切换规则，选取末端执行器与目标位置的水平平面距离作为在线阶段切换变量，统计各阶段边界对应的距离样本，生成阶段切换阈值，用于在线实时判定任务阶段；

7、步骤2：校正模块训练阶段，构建阶段感知动作幅值校正控制模块；

8、在确定动作幅值阶段后，将校正控制模块设置于基础动作生成策略的动作输出端与机械臂控制器之间，校正控制模块根据机械臂状态、基础动作、基础动作幅值、任务阶段信息和目标位姿误差，输出用于校正基础动作的位置尺度门控系数和姿态尺度门控系数，并在预设阶段输出受限残差修正量，从而对基础动作的位置增量和姿态增量进行阶段化幅值校正。

9、校正模块输入包含机械臂状态、基础动作、基础动作位置/姿态幅值范数、目标位置误差、目标姿态误差、末端与目标平面距离、上一周期门控系数、当前阶段权重；所有输入特征归一化后送入共享特征提取网络得到共享状态特征；为每个动作幅值阶段设置独立阶段分支网络，分别生成各阶段门控原始变量、残差原始变量；

10、门控原始变量经sigmoid映射至对应阶段预设门控区间，结合0~1区间软阶段权重加权融合，得到全局位置尺度门控系数、姿态尺度门控系数；相邻阶段依靠软权重平滑过渡，避免门控突变；

11、残差原始变量通过tanh函数结合各阶段最大残差幅值实现双重约束，仅精调、姿态对准、接触调整阶段启用残差项，远距离接近阶段残差置零；

12、执行动作合成逻辑：

13、非残差启用阶段：，；

14、残差启用阶段：，；

15、其中，和分别表示实际执行的末端位置和末端姿态增量；和分别表示基础动作中的末端位置和末端姿态增量；和为受限残差修正项；

16、夹爪控制分量直接沿用基础策略输出；

17、步骤3：冻结基础模型，强化学习训练校正控制模块；

18、保持基础动作生成策略的主体参数不变，仅对所述校正控制模块进行训练；训练过程采用ppo近端策略优化强化学习算法，将校正模块优化建模为马尔可夫决策过程；

19、设置两类阶段差异化奖励函数：非精调粗阶段采用粗粒度奖励，以缩小目标水平距离、推进任务阶段切换、抑制无效旋转为目标；精调高精度阶段采用精细奖励，以降低三维位姿误差、奖励任务成功，同时增加旋转惩罚、动作平滑惩罚、残差幅值惩罚；

20、总优化损失包含ppo策略损失、价值损失、策略熵正则项、阶段识别辅助损失、动作幅值一致性损失、门控先验损失、残差平滑约束损失；动作幅值一致性损失惩罚校正后动作幅值超出对应阶段数据集幅值区间的行为；门控先验损失约束各阶段门控系数贴合离线统计的阶段门控先验；

21、训练采用课程式分步训练流程：第一步关闭残差修正分支，仅训练尺度门控分支；第二步开启高精度阶段残差分支，单独训练残差网络；第三步降低学习率，联合微调门控、残差全部分支，直至模型收敛。

22、步骤4：利用训练后的校正控制模块进行机械臂在线闭环实时控制；

23、完成训练后，在每个在线控制周期内，先获取当前视觉观测、机械臂状态和任务语言指令，并由基础动作生成策略生成基础动作；随后，根据当前机械臂末端与目标平面距离匹配阶段切换阈值，计算各阶段软权重，由训练后的校正控制模块对基础动作进行幅值校正，得到最终执行动作；最后，将最终执行动作转换为末端位姿控制指令、关节控制指令、伺服控制目标或夹爪控制指令，并发送至机械臂控制器执行，循环上述过程直至任务完成；

24、其中，所述基础动作生成策略为轻量化vla模型smolvla，或其他可接收视觉观测、语言指令、机械臂状态并输出机器人连续动作的视觉语言动作模型、机器人策略模型。

25、采用上述技术方案所产生的有益效果在于：本发明提供的机械臂阶段化动作幅值校正控制方法，将轻量化视觉语言动作模型输出动作的幅值适配问题转化为机械臂闭环控制链路中的动作幅值校正问题，通过在基础动作生成策略与机械臂控制器之间设置校正控制模块，使最终执行动作能够更好地适配机械臂当前任务阶段的控制需求，从而提高机械臂闭环控制过程的稳定性；本发明基于目标机械臂任务数据中的位置动作幅值和姿态动作幅值分布确定动作幅值阶段，并结合机械臂当前状态、任务进度或目标位姿误差进行在线阶段判断，使动作幅值校正过程能够与机械臂接近、精调、姿态对准、抓取、放置或接触调整等不同执行阶段相匹配，提高多阶段操作任务中的动作尺度适配能力；本发明在保持基础动作生成策略主体参数不变的情况下，仅训练轻量化的校正控制模块，能够保留基础策略已有的视觉语言理解能力和基础动作方向预测能力，避免对整个基础模型进行重新训练或大幅微调，从而降低模型适配、训练和部署成本；本发明通过位置尺度门控系数和姿态尺度门控系数分别校正基础动作的位置增量和姿态增量，并在预设阶段引入受限残差修正量，同时结合动作幅值一致性约束、门控约束和残差幅值约束，使校正后的执行动作保持在合理动作分布范围内，减少动作过度放大、动作突变或偏离基础动作方向的风险，提高机械臂控制过程的连续性、安全性和可靠性；与动作归一化、固定损失权重调整或全局动作缩放等方式相比，本发明能够针对不同机械臂任务阶段采用不同的动作幅值补偿强度和残差修正方式，不仅能够缓解轻量化视觉语言动作模型在目标任务适配后出现的动作幅值塌缩问题，还能够提高机械臂闭环执行效率、任务完成率和任务执行可靠性。