一种基于具身智能的人形机器人协同控制方法与流程

本发明涉及具身智能与人形机器人控制，具体涉及一种基于具身智能的人形机器人协同控制方法，适用于人形机器人在智慧仓储、先进物流装备及高端智能制造装备场景中，对动态输送设备上运动的货物进行实时协同抓取、搬运及交接作业的控制过程，尤其涉及一种融合视觉、触觉与本体感知信息，实现动态位姿预测、全身动力学联合求解与跨场景自适应泛化的协同控制方法。

背景技术：

1、随着智慧物流与先进制造产业的快速发展，以输送线、立体仓储为核心的物料分拣与装卸系统承担着海量物资的连续流转任务，此类系统通常由传送带、辊道、提升机等动态输送装置构成，货物在输送装置上以恒定或变化的速度持续运动，为实现货物在产线末端的自动化抓取、搬运与交接，现有技术普遍采用两类方案：其一是底座固定的传统工业机械臂，其通过离线标定输送带的运动参数并结合几何运动学模型，在货物经过固定工位时完成抓取，其二是搭载专用工装夹具的轮式自动导引车，其依托预设路径与标准化托盘完成货物的转运与交接，人形机器人凭借与人类高度相似的工作空间及双足移动能力，能够在无需大规模改造产线的前提下灵活切换工位、适应非标准化作业场景，被视为柔性仓储与制造的重要发展方向。

2、与本发明最接近的现有技术方案为：基于固定基座机械臂或轮式自动导引车的输送带协同抓取方法，其一般流程为：通过视觉传感器对输送带上的货物进行图像采集，并基于预先标定的输送带匀速运动模型计算货物到达抓取工位的时间，机械臂末端执行器按照预先规划的固定轨迹运动至预测位置执行抓取动作，抓取完成后，机械臂通过固定基座提供的反作用力支撑完成搬运与放置，全程无需考虑基座自身的动态平衡问题，该方案的组成部分包括视觉采集单元、运动学标定与轨迹规划单元、固定于地面或产线支架的机械臂本体，以及夹爪或吸盘形式的末端执行器，其中视觉采集单元将图像数据传递给轨迹规划单元，轨迹规划单元基于离线标定的输送带速度模型生成固定抓取轨迹，并驱动机械臂本体及末端执行器完成抓取动作。

3、现有技术存在以下缺陷：一方面，其抓取轨迹基于离线标定的输送带匀速运动模型进行预先规划，当输送带存在变速运行、货物为非标准形态时，固定轨迹与实际货物位姿之间将产生偏差，导致抓取失败率上升，难以适应长尾非标准化场景与快速重构的柔性产线需求，另一方面，本领域普遍认为末端力控与双足动态平衡应采取分层独立控制策略以降低系统耦合复杂度（技术偏见），而本申请突破该固有认知，将末端柔顺控制与双足零矩点约束纳入统一的全身动力学二次规划框架进行联合求解，从而在抓取与交接瞬间及时抵消末端非线性扰动力引起的动量转移，人形机器人在双足非固定基座条件下执行动态负载抓取时，末端执行器所受到的输送设备及货物的非线性扰动力将直接引起机器人整体动量变化，若采用现有机械臂的孤立末端控制策略或简单的质心随动策略，将无法及时抵消该动量转移对双足支撑稳定域的冲击，容易导致机器人倾倒或抓取失败，也无法实现与动态设备的柔顺交接，此外，现有方案通常依赖单一产线的大量真机数据进行策略调整，在缺乏海量真机数据的条件下，难以使控制策略快速泛化适应不同材质、不同设备型号及未知货物形态的跨场景应用需求。

技术实现思路

1、本发明要解决的技术问题是：在人形机器人替代传统固定机械臂或轮式自动导引车参与动态输送线抓取、搬运及交接作业的场景中，如何解决上肢动态大负载作业与下肢非固定基座动态平衡之间的强耦合冲突问题，具体包括：如何对动态运行的输送设备及非标准货物的位姿变化进行实时预测，以生成时空同步的协同抓取轨迹，如何在抓取与交接瞬间抵抗输送设备及货物负载对机器人末端产生的持续非线性扰动力，避免因动量转移导致双足失稳甚至倾倒，如何在缺乏海量真机数据的条件下，使控制策略快速泛化适应不同材质、不同设备型号及未知货物形态的跨场景应用需求。

2、为解决上述技术问题，本发明提供了一种基于具身智能的人形机器人协同控制方法，该方法首先同步采集人形机器人头部视觉传感器获取的图像数据、末端六维力矩传感器获取的末端接触力数据、本体惯性测量单元及关节编码器获取的本体状态数据、足底压力传感器获取的足底压力数据，并接收动态输送设备的编码器脉冲信号，随后根据图像数据得到货物的初步六维位姿估计值，根据编码器脉冲信号得到动态输送设备的瞬时速度估计值和加速度估计值，并根据上述估计值生成带时间戳的协同抓取及交接轨迹，接着根据协同抓取及交接轨迹中的路径点与末端接触力数据得到末端期望加速度指令，根据足底压力数据得到零矩点约束条件，将末端期望加速度指令和零矩点约束条件联合进行二次规划求解，得到人形机器人全身关节的力矩指令，并将该力矩指令下发至双臂关节执行器和双足关节执行器，最后基于物理仿真环境预训练得到基础策略参数，根据人形机器人在真实环境中采集的实际接触反馈与仿真环境中预期接触反馈之间的偏差量，通过在线残差学习网络得到策略校正量，将策略校正量与基础策略参数相加得到校正后的策略参数，并将其用于所述二次规划求解，实现控制策略的持续在线校准。

3、本发明能够达到的技术效果包括：

4、1.通过融合视觉、触觉与本体感知信息构建动态输送流时空同步预测机制，生成带时间戳的协同抓取及交接轨迹，使抓取轨迹能够随输送设备及货物的实际运动状态动态更新，降低固定轨迹与实际货物位姿之间的偏差，提升动态场景下的抓取成功率；

5、2.通过将双臂末端导纳控制与双足零矩点稳定域约束进行二次规划联合求解，使末端柔顺操作与双足动态平衡在全身动力学层面统一求解，能够在抓取与交接瞬间及时抵消末端非线性扰动力引起的动量转移，降低机器人因动态负载导致的失稳倾倒风险，同时提升货物交接过程的柔顺性；

6、3.通过构建包含多种材质与摩擦系数的物理仿真环境并结合基于真实触觉反馈的在线残差学习网络，使控制策略能够在毫秒级时间尺度内完成参数校准，降低对单一产线海量真机数据采集的依赖，实现控制策略在不同设备型号、不同货物形态之间的快速跨场景泛化部署。

1.一种基于具身智能的人形机器人协同控制方法，用于人形机器人在动态输送设备上对货物进行抓取及交接作业，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据，得到货物的初步六维位姿估计值，包括：将所述图像数据输入预先训练的视觉-语言-动作模型，通过所述视觉-语言-动作模型识别货物的类别及边界，并结合所述图像数据中的深度信息，计算货物在相机坐标系下的三维位置坐标和三维姿态角，得到所述初步六维位姿估计值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述编码器脉冲信号，得到所述动态输送设备的瞬时速度估计值和加速度估计值，包括：对连续图像帧中所述动态输送设备表面特征点进行光流追踪，得到所述特征点在图像平面上的位移向量，将所述位移向量和所述编码器脉冲信号对应的实测速度值作为观测量，输入卡尔曼滤波器进行状态估计，得到所述瞬时速度估计值和所述加速度估计值。

4.根据权利要求1所述的方法，其特征在于，所述生成带时间戳的协同抓取及交接轨迹，包括：根据所述初步六维位姿估计值、所述瞬时速度估计值、所述加速度估计值以及预设的未来时间窗口参数，计算货物在所述未来时间窗口内多个时刻的预测六维位姿，各预测六维位姿数值为所述初步六维位姿估计值与对应时刻输送设备速度的积分项之和，再加上二分之一乘以所述加速度估计值与对应时刻的平方的乘积，结合人形机器人本体当前关节状态，将各所述预测六维位姿与对应的时间戳组合，得到所述协同抓取及交接轨迹。

5.根据权利要求1所述的方法，其特征在于，所述根据所述协同抓取及交接轨迹中的路径点与所述末端接触力数据，得到末端期望加速度指令，包括：确定人形机器人末端执行器的实际位姿与所述路径点对应的期望位姿之间的偏差，根据预先设定的虚拟惯量矩阵、虚拟阻尼矩阵和虚拟刚度矩阵，以及所述偏差、所述偏差的一阶导数、所述偏差的二阶导数和所述末端接触力数据，建立末端导纳控制方程，求解所述末端导纳控制方程，得到所述末端期望加速度指令。

6.根据权利要求1所述的方法，其特征在于，所述根据所述本体状态数据中的足底压力数据，得到零矩点约束条件，包括：根据人形机器人当前质心加速度和角动量变化率，计算零矩点位置，根据所述足底压力数据，确定双足支撑多边形在预设方向上的边界范围，将所述零矩点位置限定于所述边界范围内，得到所述零矩点约束条件。

7.根据权利要求1所述的方法，其特征在于，所述将所述末端期望加速度指令和所述零矩点约束条件联合进行二次规划求解，包括：以人形机器人全身各关节角加速度向量和各关节输出力矩向量为优化变量，以所述关节角加速度向量与依据所述末端期望加速度指令换算得到的关节空间期望加速度参考之间的偏差的加权范数，和所述关节输出力矩向量的加权范数之和为优化目标，以人形机器人全身刚体动力学方程和所述零矩点约束条件为约束条件进行求解，得到所述力矩指令。

8.根据权利要求1所述的方法，其特征在于，所述将所述力矩指令下发至人形机器人的双臂关节执行器和双足关节执行器之后，还包括：以不低于1000赫兹的控制频率持续下发所述力矩指令，并在每个控制周期结束后，采集执行后的末端接触力数据和足底压力数据，作为下一控制周期中得到末端期望加速度指令和零矩点约束条件的输入，形成闭环控制。

9.根据权利要求1所述的方法，其特征在于，所述获取物理仿真环境中预训练得到的基础策略参数之前，还包括：在物理仿真环境中建立包含刚性材质、柔性材质和易碎材质货物的物理属性模型，并针对不同输送设备型号设置至少两组不同的摩擦系数、带速范围和负载分布参数所构成的参数组合，形成仿真场景集合，在所述仿真场景集合中，采用预设的机器学习训练方法对所述二次规划求解对应的控制策略参数进行预训练，得到所述基础策略参数。