机器人运动过程的校准方法及电子设备与流程

本技术属于机器人控制，具体涉及一种机器人运动过程的校准方法及电子设备。

背景技术：

1、机器人领域，机器人任务执行前的校准是指针对机器人多自由度全身本体结构、机载视觉感知系统，识别并补偿全身连杆几何误差、关节零点偏移、视觉标定偏差，实现全身运动精度、末端操作精度、视觉定位精度精准可控的核心技术手段。机器人具备多关节串联/并联结构、全身动态行走、姿态频繁切换、负载随姿态实时变化、机身振动形变明显、机载相机随躯干摆动等特点，在生产装配、整机安装过程中，天然存在各连杆安装位置误差、安装旋转误差、关节机械零点偏移、dh运动学参数偏差；同时在长期行走、作业过程中，受关节温漂、躯干形变、动态负载变化、振动冲击、机载相机位姿微偏移影响，会持续产生动态漂移误差。

2、目前，机器人校准算法多为离线静态校准模式，仅能在机器人静止状态下完成参数标定，无法适配机器人动态运动过程中关节温漂、负载变化、相机位姿微变带来的参数漂移问题；同时离线校准的参数无法在线修正，导致机器人长期运行后校准精度持续衰减，无法实现全生命周期的精度保持。

技术实现思路

1、本技术提供了一种机器人运动过程的校准方法及电子设备，以期实现机器人运动过程中的动态校准。

2、第一方面，本技术提供了一种机器人运动过程的校准方法，包括：

3、采集机器人运动过程中的多源同步数据、并进行时间对齐，得到时间对齐的第一多源同步数据帧；

4、对所述第一多源同步数据帧进行预处理，得到第二多源数据帧；所述第二多源数据帧包括第一图像数据、机器人状态向量组和第二滑动窗口数据集；

5、基于所述第一图像数据、所述机器人状态向量组和第二滑动窗口数据集将当前场景的第一粒子地图更新为第二粒子地图，并从所述第二粒子地图中确定出多个稳定观测锚点粒子，得到稳定观测锚点粒子集；

6、基于机器人的基础参数和所述稳定观测锚点粒子集进行实时粒子状态预测，并确定预测位姿与实际位姿之间的误差，得到实时误差残差向量；

7、根据所述实时误差残差向量对所述机器人末端执行器的所述位姿进行修正以实现动态校准控制。

8、结合第一方面，在一个可能的实施例中，所述机器人状态向量组包括关节角度向量、关节温度向量和关节力矩向量；对所述第一多源同步数据帧进行预处理，得到第二多源数据帧，包括：获取双闭环校准超参数集、相机内参矩阵和相机的畸变系数；基于所述相机内参矩阵和所述畸变系数对第一rgb原始图像进行相机镜头畸变校正，并进行高斯滤波和自适应白平衡校正，得到第一图像数据；对所述关节角度向量进行滑动均值滤波、对关节温度向量和关节力矩向量进行低通滤波，得到机器人状态向量组；将所述第一图像数据和所述机器人状态向量组添加入第一滑动窗口数据集中，对所述第一滑动窗口数据集进行更新，得到第二滑动窗口数据集。

9、结合第一方面，在一个可能的实施例中，所述基于所述第一图像数据、所述机器人状态向量组和第二滑动窗口数据集将当前场景的第一粒子地图更新为第二粒子地图，并从所述第二粒子地图中确定出多个稳定观测锚点粒子，得到稳定观测锚点粒子集，包括：基于orb特征提取算法从所述第一图像数据中提取二维特征点集合；将所述二维特征点集合中每个二维特征点与所述第二滑动窗口数据集中的多个关键帧的历史特征点进行匹配，得到多组匹配点组合，每组匹配点组合包括二维特征方与历史特征点之间的关联关系；基于所述每个二维特征点对应的多组匹配点组合和相机内参矩阵进行三维空间坐标解算，得到观测粒子集，所述观测粒子集中包括多个二维特征点对应的三维空间坐标；将所述观测粒子集与当前场景的第一粒子地图进行融合，以对所述粒子地图中所述观测粒子集对应的观测区域进行更新，得到更新后的第二粒子地图；对所述第二粒子地图中的每个第二粒子进行一致性评分，筛选出一致性评分小于预设阈值的第三粒子，得到稳定观测锚点粒子集。

10、结合第一方面，在一个可能的实施例中，所述基于机器人的基础参数和所述稳定观测锚点粒子集进行实时粒子状态预测，并确定预测位姿与实际位姿之间的误差，得到实时误差残差向量，包括；获取第一全局校准参数；所述第一全局校准参数由上一校准周期所生成；将第一全局校准参数和所述关节角度向量输入改进型mdh正运动学模型中，计算机器人末端执行器相对于基坐标系的齐次变换矩阵；所述齐次变换矩阵用于指示所述机器人末端执行器的位姿；将所述稳定观测锚点粒子集中的每个第三粒子投影到所述第一图像数据所对应的平面中，得到二维预测投影点集；从所述第一图像数据中提取二维真实特征点集合，计算所述二维预测投影点集与所述二维真实特征点集合之间的倒角距离，得到实时误差残差向量；基于雅可比矩阵将所述实时误差残差向量分解为关节运动学误差分量与相机外参误差分量。

11、结合第一方面，在一个可能的实施例中，所述根据所述实时误差残差向量对所述机器人末端执行器的所述位姿进行修正以实现动态校准控制，包括：由所述机器人运动子模型构建所述机器人末端位姿的粒子滤波状态空间模型；由所述机器人运动子模型基于上一校准周期的第一位姿修正量与机器人运动模型，预测当前时刻的先验状态粒子集，所述先验状态粒子集包括所述稳定观测锚点粒子集中所有第三粒子的先验状态；由所述观测子模型基于观测子模型以所述实时误差残差向量为观测值，计算每个第三粒子的权重；通过粒子滤波重采样，筛选出权重大于第一阈值的第三粒子为高权重粒子，并基于所述高权重粒子计算当前最优末端位姿修正量；通过逆运动学模块将所述最优末端位姿修正量换算成关节控制修正量，直接下发给伺服控制器，实时修正机器人运动轨迹。

12、结合第一方面，在一个可能的实施例中，所述方法还包括：基于多帧累积误差，采用优化算法迭代更新所述第一全局校准参数，完成外环参数校准；对更新后的第一全局校准参数进行合规校验与幅值限制，确认无误后将所述更新后的第一全局校准参数进行保存；存储本次动态校准的运行数据、监测设备状态，执行循环运行逻辑，跳转至采集第一多源同步数据帧的步骤，持续执行下一个动态校准循环。

13、结合第一方面，在一个可能的实施例中，所述基于多帧累积误差，采用优化算法迭代更新第一全局校准参数，完成外环参数校准，包括：确定是否满足外环全局参数更新条件；若满足所述外环全局参数更新条件则构建所述第二滑动窗口中所有帧的全局优化的目标函数，所述目标函数用于最小化所述第二滑动窗口中所有帧的累计倒角距离，所述累计倒角距离是指所述第二滑动窗口中所有帧的倒角距离之和；对所述目标函数进行迭代优化求解，得到全局最优校准参数和优化后的目标函数值，所述全局最优校准参数是指更新后的第一全局校准参数；若不满足外环全局参数更新条件，则保持当前的第一全局校准参数不变。

14、结合第一方面，在一个可能的实施例中，所述对更新后的第一全局校准参数进行合规校验与幅值限制，确认无误后将所述更新后的第一全局校准参数进行保存，包括：对所述全局最优校准参数进行有效性校验，基于所述全局最优校准参数重新计算第二滑动窗口数据集内的平均投影误差；若所述平均投影误差大于预设精度阈值，则确定所述全局最优校准参数为无效参数，立即冻结全局参数更新，输出参数异常报警信号，保持原有第一全局校准参数不变；若所述平均投影误差小于或等于所述预设精度阈值，则确定所述全局最优校准参数有效，并确定所述全局最优校准参数的校准参数变化量是否大于预设安全阈值；若所述校准参数变化量大于所述预设安全阈值，则将所述校准参数变化量限制到所述预设安全阈值以内，避免参数跳变导致机器人运动失控；对安全校验合格的所述全局最优校准参数进行参数分解，分别得到多个关节的第一更新参数和相机的第二更新参数；基于所述第一更新参数和所述第二更新参数分别生成第一写入指令和第二写入指令，并向机器人伺服控制柜发送所述第一写入指令以及向相机参数存储单元发送所述第二写入指令，完成机器人运动学参数与相机外参的在线无停机更新，同时记录本次参数更新的全量数据。

15、结合第一方面，在一个可能的实施例中，所述存储本次动态校准的运行数据、监测设备状态，执行循环运行逻辑，跳转至采集第一多源同步数据帧的步骤，持续执行下一个动态校准循环，包括：实时监控机器人校准状态，记录并更新误差残差序列、参数变化曲线和校准精度数据，生成可视化的校准状态界面；其中，所述误差残差序列为所述第二滑动窗口内每帧图像的实时误差残差向量按时序排列形成的数据集；所述校准精度数据包括与所述误差残差序列对应的平均投影误差；所述参数变化曲线包括误差变化曲线和校准参数变化曲线，所述误差变化曲线基于所述误差残差序列生成，所述校准参数变化曲线由所述校准精度数据生成；全量存储本次循环的校准数据、运行日志、参数更新记录，构建机器人全生命周期校准数据库；执行循环运行逻辑，跳转至采集第一多源同步数据帧的步骤，持续执行下一个校准周期的全流程，实现机器人动态运动过程中的持续在线实时校准。

16、第二方面，本技术提供了一种机器人运动过程的校准装置，包括：

17、采集单元，用于采集机器人运动过程中的多源同步数据、并进行时间对齐，得到时间对齐的第一多源同步数据帧；

18、预处理单元，用于对所述第一多源同步数据帧进行预处理，得到第二多源数据帧；所述第二多源数据帧包括第一图像数据、机器人状态向量组和第二滑动窗口数据集；

19、第一校准处理单元，用于基于所述第一图像数据、所述机器人状态向量组和第二滑动窗口数据集将当前场景的第一粒子地图更新为第二粒子地图，并从所述第二粒子地图中确定出多个稳定观测锚点粒子，得到稳定观测锚点粒子集；基于机器人的基础参数和所述稳定观测锚点粒子集进行实时粒子状态预测，并确定预测位姿与实际位姿之间的误差，得到实时误差残差向量；根据所述实时误差残差向量对所述机器人末端执行器的所述位姿进行修正以实现动态校准控制。

20、第三方面，本技术提供了一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行本技术第一方面至第三方面中任一方面的步骤的指令。

21、第四方面，本技术提供了一种计算机可读存储介质，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本技术第一方面至第三方面中任一方面所描述的部分或全部步骤。

22、第五方面，本技术提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本技术第一方面至第三方面中任一方面所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

23、可以看出，本技术中的机器人运动过程的校准方法相较于目前的离线静态校准模式，本技术机器人运动中同步采多源数据，其次对多源数据进行预处理，再基于预处理完的多源数据建粒子地图，然后根据粒子地图中的数据生成预测位姿和实际位姿，并计算预测位姿与实际位姿之间的误差，最后根据误差进行实时位姿调整，突破了传统离线静态校准的限制，实现了机器人动态运动过程中的在线实时校准，可实时修正关节温漂、负载变化、相机位姿微变带来的参数漂移，机器人长期运行的定位与操作精度保持率提升，解决了离线校准参数无法在线修正导致的精度持续衰减问题。