基于对数极坐标表征的足式机器人多地形自适应控制方法
本发明属于足式机器人控制,具体涉及一种基于对数极坐标表征的足式机器人多地形自适应控制方法。
背景技术:
1、近年来,随着机器人控制理论与技术的快速发展,足式机器人因其独特的运动特性受到了广泛关注。相较于轮式机器人,足式机器人采用非连续支撑的运动方式,具备更强的地形越障能力;相较于固定构型的轮腿式机器人,足式机器人能够通过灵活调节各腿的落足点与支撑相位,实现对复杂地形的主动适应。其中,以四足机器人为典型代表的足式机器人,具有较低的物理重心和较高的静态稳定性,不仅能够在结构化城市环境中高效运行,还能够在野外山地、土坡等非结构化地形中灵活调整落脚点与机身姿态,实现多地形跨越,在抢险救援、自主勘探等高难度任务中展现出广阔的应用前景。
2、传统的足式机器人运动控制多采用基于模型预测控制(model predictivecontrol, mpc)的方法。该类方法在结构化地形下具有较好的运动稳定性和物理可解释性。然而,基于模型的控制方案高度依赖于精确的动力学建模。在面对高度不平坦、摩擦力多变的非结构化地形以及复杂障碍物时,由于物理环境的多变性,动力学模型往往难以被精确重构,导致控制器的鲁棒性显著降低,难以保障机器人的安全通行。
3、随着物理仿真技术和计算硬件的发展,基于深度强化学习(deep reinforcementlearning, drl)的控制方案在机器人控制领域展现出显著的技术优势。相较于模型预测控制,强化学习方法无需显式建立复杂的动力学模型,而是通过在物理仿真环境中进行大规模随机化训练,以最大化预设的奖励函数为目标,最终拟合出映射机器人传感器观测至控制动作的高维非线性函数,从而使控制系统具备较强的抗扰动能力和高动态性能。
4、早期的强化学习控制方案主要侧重于机器人的本体感知,即仅依赖惯性测量单元(imu)和关节编码器等本体传感器实现的盲走策略。例如,专利申请cn121635438a公开了一种基于显隐式估计的四足机器人湿滑起伏地形运动控制方法,在一定程度上提高了机器人在湿滑或起伏地形中的适应能力。然而,该类盲走控制策略本质上属于被动反应式控制,系统缺乏对前方外部环境的预判能力。在面对深沟、断崖或高台等高难度障碍时,机器人无法提前规划步态或调整机身姿态,极易发生跌落或碰撞,这严重限制了其在极端复杂环境下的安全作业能力。
5、为实现机器人的主动环境感知,现有方案尝试在系统中集成深度相机或激光雷达等外感知传感器。例如,专利申请cn212980385u公开了一种具有超广视角的四足机器人,利用多目视觉相机获取环境深度信息以进行落足点规划,实现了自主移动与主动避障;专利申请cn117590747a公开了一种基于高程图的四足机器人高效鲁棒落足规划方法,利用点云数据构建局部高程图,并通过提取高程图中的凸包来优化运动鲁棒性;在学术论文《locomotion policy guided traversability learning using volumetricrepresentations of complex environments》中,jonas frey等人提出了一种运动策略引导的可通行性学习框架,通过将原始点云数据转化为三维体素占用网格进行场景表征,从而规避了传统高程图的局限性,有效提升了机器人在多地形场景下的通过性能。
6、然而,上述主动感知方案在实际部署中仍面临多重技术瓶颈。基于深度相机的视觉感知方案极易受到环境光照剧烈变化、环境纹理缺失等物理因素的干扰,导致获取的深度数据精度和可靠性显著下降;基于激光雷达的局部高程图构建方案,其构建精度和时效性则高度依赖于高精度的位姿估计,在复杂多变的实际场景中,定位漂移极易引发高程图的畸变或产生累积误差;而直接处理三维点云或体素网格的方案虽然保留了较多几何细节,但由于点云数据固有的无序性和稀疏性,传统神经网络难以直接、高效地进行特征提取,且其巨大的计算开销也无法满足机器人高频闭环控制的实时性需求。
7、综上所述,现有的足式机器人控制方法在应对复杂多地形环境时,仍缺乏一种兼顾环境感知精度、时效性与控制器鲁棒性的运动控制方案,导致机器人在复杂非结构化地形中的自主通行能力、安全性和鲁棒性仍有待进一步提升。
技术实现思路
1、本发明的目的在于针对解决背景技术中提出的问题,提出一种基于对数极坐标表征的足式机器人多地形自适应控制方法。
2、为实现上述目的,本发明所采取的技术方案为:
3、本发明提出的一种基于对数极坐标表征的足式机器人多地形自适应控制方法,构建基于强化学习的运动控制模型,并进行训练,得到训练好的运动控制模型,且运动控制模型包括隐式编码器、显式编码器、特征融合模块、特征解码器、策略网络和价值网络;
4、针对训练好的运动控制模型,获取历史预设帧数的机器人本体的观测数据集,并经过隐式编码器后,得到机器人本体特征向量;
5、基于机器人本体上的三维激光雷达当前采集的带有噪声的原始稀疏点云数据,转换为极坐标系下的极坐标,将极坐标中的径向距离进行压缩,并将方位角和俯仰角构成的二维对数极坐标空间中进行等间距离散网格划分,得到对数极坐标网格,针对每个压缩的点,投影至对数极坐标网格中,得到带噪声的第一二维地形图,将第一二维地形图经过显式编码器,得到环境特征向量;
6、将机器人本体特征向量和环境特征向量经过特征融合模块、再经过特征解码器,得到机器人本体重构特征、环境重构特征和躯干运动速度估计值;
7、将机器人本体重构特征、环境重构特征、躯干运动速度估计值和当前时刻的观测数据作为策略网络的输入,得到当前时刻的所有关节控制目标角度向量;
8、按照当前时刻的所有关节控制目标角度向量对机器人本体的控制,实现运动控制。
9、优选地,所述隐式编码器、特征解码器、策略网络和价值网络均采用多层感知机;
10、所述显式编码器采用深度卷积神经网络;
11、所述特征融合模块采用单向门控循环单元。
12、优选地,以机器人躯干的中心位置为原点建立xyz三轴的机器人坐标系,且所述机器人本体单帧的观测数据包括机器人坐标下的躯干目标平面线速度和z轴目标角速度,以及躯干实际重力方向、躯干的实际角速度、所有关节实际角度、所有关节实际速度和上一时刻所有关节控制目标角度向量;
13、其中,所有关节为机器人腿部的关节,各腿部的关节包含机身关节、大腿关节和小腿关节,且机身关节以x轴为中轴进行转动,大腿关节和小腿关节以y轴为中轴进行转动。
14、优选地,在所述特征融合模块中,将机器人本体特征向量和环境特征向量的时序进行融合,得到时序融合特征;
15、在所述特征解码器中,将机器人本体特征向量、环境特征向量和时序融合特征进行拼接,并作为特征解码器的输入,得到机器人本体重构特征、环境重构特征和躯干运动速度估计值。
16、优选地,所述运动控制模型训练开始时,对运动控制模型的参数进行随机初始化,对于每个训练时刻:
17、获取当前时刻的状态,且状态包含当前的观测数据、环境重构特征、机器人本体重构特征和躯干运动速度估计值,并将当前状态输入策略网络,得到关节控制目标角度向量;
18、执行关节控制目标角度向量,且机器人本体与环境交互,得到当前时刻的奖励以及下一时刻的状态;
19、将当前时刻的状态、关节控制目标角度向量、奖励和下一时刻的状态共同作为经验数据存储至缓存区,直到缓存区中的经验数据达到预设数量,从缓存区中随机采样预设批量大小的经验数据,对运动模型进行训练更新;
20、且训练更新过程,将随机采样的经验数据中的观测数据和对应时刻的预设特权观测向量拼接后作为价值网络的输入,得到价值估计值,并基于价值估计值计算优势函数;
21、基于优势函数计算ppo损失,基于环境重构特征计算对比交换损失,基于躯干运动速度估计值计算均方误差损失,并构建联合优化损失函数对运动控制模型的参数进行梯度反向传播更新;
22、不断迭代,直到达到预设的训练轮次,得到训练好的运动控制模型。
23、优选地,所述奖励包括跟踪奖励和策略平稳性奖励,且所述跟踪奖励包括线速度跟踪奖励约束和角速度跟踪奖励约束,所述策略平稳性奖励包括方向约束、躯干高度约束、机身关节偏差约束、足端离地高度约束、机器人接触约束、躯干线速度约束、躯干角速度约束、关节加速度约束、动作变化率约束和关节功率约束,其中所有约束加权求和后作为奖励的值。
24、优选地,所述基于环境重构特征计算对比交换损失时,基于三维激光雷达采集的不带噪声的完整点云数据依次经过极坐标转换、对数压缩变换和对数极坐标网格投影,得到不带噪声的第二二维地形图,并将第二二维地形图经过多层感知机处理,得到完整环境特征,构建包含多个可学习的原型向量的原型矩阵,对完整环境特征、环境重构特征和原型矩阵中的各原型向量分别进行归一化处理,计算归一化后完整环境特征与归一化处理后原型矩阵之间的第一得分矩阵,并将第一得分矩阵映射为第一聚类分配码,计算归一化后环境重构特征与归一化处理后原型矩阵之间的第二得分矩阵,并将第二得分矩阵映射为第二聚类分配码,基于第一聚类分配码、第二聚类分配码、归一化后完整环境特征和归一化后环境重构特征计算对比交换损失,且计算公式如下:
25、;
26、其中,为停止梯度,为第个原型向量经温度参数缩放的softmax概率分布,为时刻第一聚类分配码中与第个原型向量对应的分配概率,为时刻第二聚类分配码中与第个原型向量对应的分配概率,和分别为时刻归一化后的完整环境特征和环境重构特征。
27、优选地,所述联合优化损失函数的计算公式如下:
28、;
29、其中,
30、;
31、;
32、其中,为ppo损失,为均方误差损失,和分别为和的权重系数,为裁剪目标函数损失,为价值函数的均方误差损失,为策略熵,和分别为和的权重系数,为可学习参数,为策略网络,为时刻躯干运动速度估计值,为时刻躯干运动速度真值。
33、优选地,所述预设特权观测向量为预设的外部干扰力和第二二维地形图构成的向量。
34、优选地,所述所有关节控制目标角度向量包含机器人所有关节的默认角度偏差,则按照当前时刻的所有关节控制目标角度向量对机器人本体的控制,实现运动控制:各关节的默认角度偏差与对应关节的默认角度相加,得到各关节的最终期望角度,实现对机器人的运动控制。
35、与现有技术相比,本发明的有益效果为:
36、本基于对数极坐标表征的足式机器人多地形自适应控制方法通过构建非均匀采样的对数极坐标网格,在利用机器人近足端的高分辨率几何感知信息以保障准确落足规划的同时,大幅压缩了远端冗余信息的计算维度,从而在不损失落足规划精度的前提下,有效提升了雷达等外感知数据的实时处理效率;
37、本方法构建端到端的运动控制模型,通过对机器人本体特征向量与环境特征向量进行时序维度融合,能够有效滤除外部感知噪声及传感器时延干扰,增强了闭环运动控制算法在复杂动态环境下的鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com