面向连续动作空间机器人的深度强化学习超参数优化方法

摘要: 本技术涉及机器人系统和深度强化学习,具体涉及一种面向连续动作空间机器人的深度强化学习超参数优化方法。背景技术:1、随着机器人技术由工业生产场景逐步向服务、救援和...
面向连续动作空间机器人的深度强化学习超参数优化方法

本技术涉及机器人系统和深度强化学习,具体涉及一种面向连续动作空间机器人的深度强化学习超参数优化方法。

背景技术:

1、随着机器人技术由工业生产场景逐步向服务、救援和勘探等非结构化环境拓展,连续动作空间下的运动控制已成为当前机器人领域的重要研究方向。这类机器人能够在复杂地形条件下实现稳定运动,在灾害救援、军事侦察和家庭服务等领域具有广阔的应用前景。因此,开展连续动作空间机器人运动控制方法的研究,对于提升机器人在复杂环境中的适应能力和自主作业水平,具有重要的理论意义和应用价值。

2、机器人运动控制的核心挑战在于实现稳定且高效的前向运动。然而,机器人在与地面交互过程中面临高维状态空间、强非线性动力学以及瞬时地面冲击等问题,导致运动控制难度较大。传统控制方法,如计算力矩控制、零力矩点控制和模型预测控制等,虽在结构化环境与低速运动条件下能够取得较好的控制效果,但通常依赖精确的动力学模型。实际应用中,机器人负载变化和地面摩擦系数变化等不确定因素易导致模型失配,从而使传统控制方法的性能明显下降,难以满足高动态和高精度运动控制任务的应用要求。

3、深度强化学习(deep reinforcement learning,drl)凭借其在无模型条件下处理高维状态空间问题的端到端学习能力,为连续动作空间下的机器人运动控制提供了新的技术途径。与依赖精确动力学模型的传统控制方法不同,drl通过与环境的持续交互和试错学习,能够自主建立从高维状态空间到连续动作空间的映射关系。然而,drl算法的收敛性能与训练稳定性在很大程度上依赖学习率和折扣因子等超参数的合理设置。现有技术采用的是静态超参数配置方式,即在整个训练过程中使用固定不变的超参数取值,而静态超参数配置方式的调试过程繁琐、效率较低、实施成本高,且导致难以适应drl训练过程中策略更新、奖励变化和收敛状态演化等因素所带来的动态需求。

技术实现思路

1、本技术的目的在于克服现有技术中的缺点与不足,提供一种面向连续动作空间机器人的深度强化学习超参数优化方法,能够根据训练阶段的变化动态调整深度强化学习超参数,可以提高深度强化学习算法的性能,以及深度强化学习算法在不同复杂度的连续控制任务中的适应性与鲁棒性。

2、本技术实施例的第一方面提供了一种面向连续动作空间机器人的深度强化学习超参数优化方法,包括:

3、用归一化基因编码方式对若干个深度强化学习的父代超参数进行编码处理,得到父代基因向量;

4、将所述父代基因向量、策略网络参数、价值网络参数及优化器参数作为智能体个体,获取包括若干个智能体个体的初始种群;

5、根据预设的第一训练回合数,对所述初始种群的各个智能体个体进行预热训练,以稳定初期控制策略网络参数的更新;

6、根据预热训练后的各个智能体个体在连续动作空间机器人的目标姿态环境中的动作奖励,对所述初始种群进行分层处理,得到若干个初代种群分层;

7、通过对应各个初代种群分层的遗传处理方式,对各个初代种群分层的智能体个体进行遗传处理,得到更新基因向量后的子代个体,并合并所述若干个初代种群分层的子代个体,得到子代种群;

8、根据预设的第二训练回合数,对所述子代种群的各个子代个体进行训练,以释放各个子代个体策略潜力;

9、采用层级加权选择机制对训练后的子代个体进行筛选,得到若干个目标子代个体及其对应的目标超参数。

10、作为一种实施方式,所述根据预热训练后的各个智能体个体在空间机器人的目标姿态环境中的动作奖励,对所述初始种群进行分层处理,得到若干个初代种群分层的步骤,包括:

11、根据预热训练后的各个智能体个体在空间机器人的目标姿态环境中的动作奖励,获取各个智能体个体的适应度值和适应度改善值;

12、根据归一化后的适应度值和适应度改善值,获取各个智能体个体的个体分数;

13、根据所述个体分数和预设的分层比例,对所述初始种群的智能体个体进行分层处理,得到若干个初代种群分层。

14、作为一种实施方式,根据预热训练后的各个智能体个体在空间机器人的目标姿态环境中的动作奖励,获取各个智能体个体的适应度值和适应度改善值的步骤,包括:

15、通过以下公式,获取所述适应度值:

16、;

17、其中,为第个智能体个体在第代的适应度值,为第个智能体个体在空间机器人的目标姿态环境的执行回合数,为第个智能体个体在空间机器人的目标姿态环境中对应第个回合的累计动作奖励;

18、通过以下公式,获取所述适应度改善值:

19、;

20、其中,为所述适应度改善值,为第个智能体个体在代的适应度值,为分母系数。

21、作为一种实施方式,所述初代种群分层包括第一分层、第二分层和第三分层;

22、所述通过对应各个初代种群分层的遗传处理方式,对各个初代种群分层的智能体个体进行遗传处理,得到更新基因向量后的子代个体的步骤,包括:

23、采用加权算术交叉算子与高斯变异算子,对第一分层的智能体个体进行遗传处理,得到第一分层的子代个体;

24、采用模拟二进制交叉算子和多项式变异算子,对第二分层的智能体个体进行遗传处理,得到第二分层的子代个体;

25、采用重启式强变异算子,将完全重启机制与高强度高斯变异相结合,对第三分层的智能体个体进行遗传处理,得到第三分层的子代个体。

26、作为一种实施方式,所述采用加权算术交叉算子与高斯变异算子,对第一分层的智能体个体进行遗传处理,得到第一分层的子代个体的步骤,包括:

27、对所述第一分层的两个智能体个体的基因向量进行加权算术交叉处理,交叉生成四个亚子代个体;

28、基于所述第一分层的亚子代个体的各个基因向量的第一随机数,对第一分层的亚子代个体的各基因向量随机施加细粒度高斯扰动,生成高斯变异子代;

29、根据所述高斯变异子代和直接继承于亚子代个体所有基因向量的不变异子代,得到所述第一分层的子代个体。

30、作为一种实施方式,所述采用模拟二进制交叉算子和多项式变异算子,对第二分层的智能体个体进行遗传处理,得到第二分层的子代个体的步骤,包括:

31、基于第二分层的智能体个体的各个基因向量的第二随机数,采用模拟二进制交叉算子,获取各个基因向量的扰动因子:

32、根据所述扰动因子对所述第二分层的两个智能体个体的基因向量执行模拟二进制交叉操作,获取所述第二分层的亚子代个体;

33、基于所述亚子代个体的各个基因向量的第三随机数,采用多项式变异算子,获取所述第二分层的智能体个体相对于第二分层的亚子代个体的基因向量的变异扰动:

34、根据所述第二分层的亚子代个体的基因向量和所述变异扰动,生成所述第二分层的子代个体。

35、作为一种实施方式,所述扰动因子通过以下公式得到:

36、;

37、其中,为第二分层的亚子代个体的第个基因向量的扰动因子,为第个基因向量的第二随机数,为模拟二进制交叉算子中扰动方向偏置的概率阈值,为计算扰动因子的分布指数;

38、所述变异扰动通过以下公式得到:

39、;

40、其中,为第个基因向量的变异扰动,为第个基因向量的第三随机数,为多项式变异算子中变异扰动方向偏置的概率阈值,为计算变异扰动的分布指数。

41、作为一种实施方式,所述采用重启式强变异算子,将完全重启机制与高强度高斯变异相结合,对第三分层的智能体个体进行遗传处理,得到第三分层的子代个体的步骤,包括:

42、基于所述第三分层的智能体个体的基因向量的第四随机数,对所述第四随机数小于或等于预设的重启阈值的基因向量进行完全重启操作,对所述第四随机数大于所述重启阈值的基因向量进行高强度高斯变异处理,得到第三分层的子代个体。

43、作为一种实施方式,完全重启操作通过以下公式实现:

44、;

45、其中,为重启操作后的第个基因向量,为区间上的均匀分布;

46、高强度高斯变异处理通过以下公式实现:

47、;

48、其中,为高强度高斯变异处理后的第个基因向量,为所述第三分层的智能体个体的第个基因向量,为第五随机数,服从,表示均值为零,方差的正态分布。

49、作为一种实施方式,所述采用层级加权选择机制对训练后的子代个体进行筛选,得到的若干个目标子代个体及其对应的目标超参数的步骤,包括:

50、根据训练后的各个子代个体在空间机器人的目标姿态环境中的动作奖励,获取各个子代个体的适应度值;

51、根据各个子代个体的适应度值和对应的子代种群分层权重,获取训练后的各个子代个体的综合评分;

52、根据所述综合评分,获取所述若干个目标子代个体。

53、相对于相关技术,本技术的面向连续动作空间机器人的深度强化学习超参数优化方法,通过分层进化策略综合考虑智能体个体的当前性能和发展潜力进行层级划分,对不同层级的智能体个体施加差异化的遗传操作,从而在维持种群多样性的同时提升搜索效率,避免算法过早陷入局部最优;通过层级加权选择机制赋予不同层级差异化的生存权重,在保证优良基因传承的同时给予当前适应度较低但具有发展潜力的个体一定竞争机会,实现了种群质量与多样性的平衡。并且,超参数优化过程和策略学习过程协同进行,在保证学习过程稳定的同时,可以寻找不同阶段的最优超参数组合,提高了整体效率,还能提高深度强化学习算法的性能,以及深度强化学习算法在不同复杂度的连续控制任务中的适应性与鲁棒性。

54、为了能更清晰地理解本技术,以下将结合附图说明阐述本技术的具体实施方式。