一种基于轨迹筛选强化学习的灵巧手高精度力控抓取方法与流程
本技术涉及机器人智能控制、灵巧操作、强化学习、仿真训练与接触力控制领域,具体地,涉及一种基于轨迹筛选强化学习的灵巧手高精度力控抓取方法。
背景技术:
1、灵巧手由于自由度高、操作能力强,能够实现类似人手的包络抓取、姿态调整和接触力分配,因此在机器人精细操作、灵巧抓取和手内操作等任务中具有广泛应用前景。与传统两指夹爪相比,灵巧手可通过多个手指协同作用完成复杂物体的稳定抓握,因此更适合处理不规则物体、异形物体、易碎物体和柔软物体。
2、然而,灵巧手抓取也面临明显的技术难点。首先,灵巧手通常具有较高自由度,多个关节之间存在强耦合关系,手指末端与物体之间又存在复杂接触、摩擦、碰撞和滑移行为,使得系统呈现出明显的非线性和不连续特征。其次,抓取任务不仅要求手指到达目标位置,还要求接触力大小合适、分布合理、抓取过程稳定,避免力过大导致物体损坏,也避免力过小导致物体滑落。并且,不同物体的质量、尺寸、表面摩擦系数和刚度各不相同,导致同一套控制参数往往难以在多个物体上保持一致性能。
3、现有技术中,传统控制方法通常采用逆运动学、轨迹规划、pid/pd 控制、阻抗控制或导纳控制等方式实现抓取。此类方法在结构化场景中具有较好的可解释性和实时性,但其依赖较准确的动力学模型和控制参数整定。当环境和物体变化较大时,传统方法往往难以兼顾抓取精度、响应速度和稳定性,尤其在接触初期容易出现力过冲、滑移和抓取失败的问题。
4、强化学习方法在机器人控制领域得到广泛应用。强化学习方法能够通过与环境持续交互,自主学习复杂控制策略,在高维连续动作空间中具有较强适应能力。然而,灵巧手抓取任务的训练通常面临以下问题:其一,样本质量不均,训练过程中存在大量低质量轨迹、畸形抓取轨迹及坏姿态轨迹,这些数据会干扰策略优化方向;其二,抓取任务具有明显的阶段性,从接近目标、建立接触、稳定抓握到抬升成功,任务难度逐步上升,若直接进行统一训练,容易导致收敛困难;其三,接触力控制要求较高,若不对接触力进行平滑处理和带宽约束,则容易出现力值抖动、冲击过大、抓取不稳等问题;其四,仿真中的接触力输出与理论目标之间存在偏差,若缺少针对性的奖励设计与数据筛选机制,则难以实现高精度力控目标。
5、因此,本发明提出一种基于轨迹筛选强化学习的灵巧手高精度力控抓取方法,先通过轨迹筛选获得更优的训练样本,再利用课程深度强化学习逐步学习接触后的力控抓握策略,从而提高抓取稳定性、力控制精度和训练效率,以解决上述问题。
技术实现思路
1、针对现有技术中的缺陷/之一,本技术的目的是提供一种基于轨迹筛选强化学习的灵巧手高精度力控抓取方法。
2、本技术的第一方面,提供一种基于轨迹筛选强化学习的灵巧手高精度力控抓取方法,包括:
3、构建灵巧手与目标物体的模型;
4、基于所述模型在仿真平台搭建多并行环境并配置物理参数,形成虚拟执行环境;
5、基于所述虚拟执行环境定义观测空间向量、连续动作空间及含接触力约束的奖励函数;
6、初始化mlp策略网络与价值网络,对所述多并行环境执行ppo迭代训练以输出最优策略模型,用于力控抓取;
7、其中,所述ppo迭代训练在每轮交互中,将所述虚拟执行环境反馈的观测空间向量输入所述策略网络,由所述策略网络输出符合所述连续动作空间的控制指令驱动环境交互以采集轨迹;交互完成后,使用所述奖励函数计算各轨迹累计奖励并排序筛选,剔除异常及低于第一阈值的轨迹构建样本集,并基于所述样本集通过ppo算法同步更新所述策略网络与价值网络参数。
8、可选地,所述构建灵巧手与目标物体的模型,包括:
9、在软件中构建灵巧手装配模型,所述装配模型包括手掌基座、四指多关节结构及末端指尖部件,并定义各关节的旋转轴向量、运动方向、关节限位范围及初始零位姿态;
10、在软件中构建目标物体三维模型,并配置其几何尺寸、质量、碰撞包络几何体及惯性参数;
11、将所述灵巧手装配模型与所述目标物体三维模型分别导出为设定格式文件,供所述仿真平台解析加载。
12、可选地,所述基于所述模型在仿真平台搭建多并行环境并配置物理参数,形成虚拟执行环境,包括:
13、在所述仿真平台中构建多个相互独立的并行环境,各环境同步加载所述模型并配置物理参数,以构建形成所述虚拟执行环境,用于执行灵巧手抓取的物理交互过程;其中,所述并行操作依托gpu硬件实现。
14、可选地,所述观测空间向量的构建,包括:
15、获取灵巧手的关节位置与关节速度、目标物体的世界坐标位置、朝向四元数与角速度、各指尖接触力、指尖世界坐标以及上一时刻动作;
16、基于所述目标物体的世界坐标位置与朝向四元数,将所述指尖世界坐标转换至目标物体局部坐标系,得到指尖相对位置;
17、将所述关节位置、关节速度、指尖相对位置、目标物体世界坐标位置、朝向四元数、角速度、指尖接触力及上一时刻动作拼接为初始观测向量;
18、对所述初始观测向量进行在线均值方差标准化处理,得到输入至所述策略网络与价值网络的观测空间向量。
19、可选地,所述观测空间向量构建过程中,对指尖接触力数据的处理包括:
20、基于所述虚拟执行环境反馈的接触力张量,实时采集各指尖与所述目标物体间的原始接触力;
21、对所述原始接触力执行指数移动平均滤波处理,得到平滑接触力;
22、当所述指尖与所述目标物体的相对距离小于预设距离阈值且所述平滑接触力大于预设力阈值时,判定为有效接触状态;
23、将所述平滑接触力作为所述观测空间向量的接触力分量输入,并作为所述奖励函数中接触力约束项的计算基准。
24、可选地,所述连续动作空间用于表征所述灵巧手各关节的目标位置;所述策略网络输出高斯分布的均值参数与对数标准差参数以构建动作概率分布,并基于所述动作概率分布采样生成所述策略动作。
25、可选地,所述策略动作在输入所述仿真平台前,依次进行指数平滑处理与关节物理限位裁剪,生成目标位置指令;
26、所述仿真平台接收所述目标位置指令后,将其作为位置设定值输入至底层pd控制器,以计算各关节驱动力矩并驱动所述灵巧手执行交互动作;
27、其中,所述pd控制器针对前三指关节组与拇指关节组分别配置差异化的比例增益与微分增益,以匹配不同手指区域的动力学响应特性并抑制高频控制抖动。
28、可选地,所述包含接触力约束的奖励函数包括集成有力控目标函数、接触力带宽约束、姿态稳定奖励、抖动惩罚、错误接触惩罚及抬升成功奖励。
29、可选地,所述ppo迭代训练中的优势函数与状态回报计算,包括:
30、基于所述价值网络输出的状态价值估计与所述奖励函数提供的即时奖励,计算时序差分误差;
31、采用广义优势估计方法,对所述时序差分误差进行多步指数衰减累加,递推得到各时间步的优势函数;
32、将所述优势函数与对应时刻的状态价值估计相加,生成用于价值网络优化的状态回报目标;
33、将所述优势函数与所述状态回报目标分别用于构建策略梯度损失与价值拟合损失,以驱动所述策略网络与价值网络同步更新。
34、可选地,所述ppo迭代训练采用分阶段课程调度策略,依次执行接近阶段、稳定抓握阶段与抬升阶段;
35、在每轮迭代训练完成后,统计当前阶段各并行环境的平均轨迹累计奖励;
36、当所述平均轨迹累计奖励达到当前阶段对应的预设晋级阈值时,自动切换至下一训练阶段,并同步调整所述奖励函数的约束权重与所述虚拟执行环境的物理参数配置。
37、本技术的基于轨迹筛选强化学习的灵巧手高精度力控抓取方法,通过轨迹筛选机制,提高高价值样本占比,减少畸形姿态和低奖励轨迹对策略更新的干扰。
38、由附加特征带来的其他技术效果将在相应的实施例中进一步阐述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com