半主动悬架控制策略模型的生成方法、装置和电子设备与流程
本申请涉及车辆悬架控制,尤其涉及一种半主动悬架控制策略模型的生成方法、装置和电子设备。
背景技术:
1、随着汽车智能化发展,半主动悬架凭借响应快、能耗低、适配复杂路况的优势日益受到关注。
2、相关技术中,半主动悬架控制多采用基于车辆动力学模型的规则控制方法,或采用强化学习进行控制策略训练,以调节悬架系统动态响应,但是强化学习在半主动悬架的控制策略训练中,存在复杂工况下泛化稳定性受限的问题。
技术实现思路
1、本申请实施例提供半主动悬架控制策略模型的生成方法、装置和电子设备,用以达到提升控制策略在复杂工况下的稳定性的效果。
2、第一方面,本申请实施例提供一种半主动悬架控制策略模型的生成方法,包括:
3、在强化学习的每个时间步,依据半主动悬架车辆仿真模型和动作网络之间的交互确定经验样本,并存入经验回放缓冲区;
4、在时间步满足经验补充条件的情况下,基于价值网络确定经验回放缓冲区中每个经验样本的不确定度;
5、基于经验回放缓冲区中所有经验样本的不确定度,在所有经验样本包含的当前状态中确定盲区状态;
6、依据盲区状态生成补充经验样本,并将补充经验样本存入经验回放缓冲区;
7、在经验回放缓冲区采样得到批量经验样本,依据批量经验样本训练价值网络和动作网络;
8、根据满足训练结束条件的动作网络,确定半主动悬架的控制策略模型。
9、第二方面,本申请实施例提供一种半主动悬架控制策略模型的生成装置,包括:
10、在线经验样本确定模块,用于在强化学习的每个时间步,依据半主动悬架车辆仿真模型和动作网络之间的交互确定经验样本,并存入经验回放缓冲区;
11、不确定度评估模块,用于在时间步满足经验补充条件的情况下,基于价值网络确定经验回放缓冲区中每个经验样本的不确定度;
12、盲区状态确定模块,用于基于经验回放缓冲区中所有经验样本的不确定度,在所有经验样本包含的当前状态中确定盲区状态;
13、样本补充模块,用于依据盲区状态生成补充经验样本,并将补充经验样本存入经验回放缓冲区;
14、训练模块,用于在经验回放缓冲区采样得到批量经验样本,依据批量经验样本训练价值网络和动作网络;
15、控制策略模型确定模块,用于根据满足训练结束条件的动作网络,确定半主动悬架的控制策略模型。
16、第三方面,本申请实施例提供一种电子设备,包括:存储器,处理器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,使得处理器执行如上第一方面和/或第一方面各种可能的实施方式。
17、第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。
18、第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式。
19、本申请实施例提供的半主动悬架控制策略模型的生成方法、装置和电子设备,本在强化学习的每个时间步,依据半主动悬架车辆仿真模型和动作网络之间的交互确定经验样本,并存入经验回放缓冲区;在时间步满足经验补充条件的情况下,基于价值网络确定经验回放缓冲区中每个经验样本的不确定度,经验样本的不确定度,可以反映当前动作网络尚未充分掌握的经验区域;基于经验回放缓冲区中所有经验样本的不确定度,在所有经验样本包含的当前状态中确定盲区状态,实现了根据经验回放缓冲区中的样本分布,确定样本覆盖不足的盲区状态,并主动补充盲区状态对应的补充经验样本,使训练过程不再完全依赖随机探索积累复杂工况样本,而是主动构造覆盖不足区域的样本,以补足经验回放缓冲区中的状态盲区,补充经验样本能够直接向动作网络提供盲区状态下的经验,从而缩短动作网络对盲区状态的学习路径,使得价值网络和动作网络在训练阶段持续接触复杂工况和少见状态下的状态转移数据,动作网络最终形成的控制策略模型,在状态变化较快的工况下具有更完整的状态响应映射,提高了训练收敛过程中的样本利用效率,增强半主动悬架控制策略在复杂路况下的响应稳定性。
1.一种半主动悬架控制策略模型的生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述基于价值网络确定所述经验回放缓冲区中每个经验样本的不确定度,包括:
3.根据权利要求1所述的方法,其特征在于,所述基于所述经验回放缓冲区中所有经验样本的不确定度,在所有经验样本包含的当前状态中确定盲区状态,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述所针对状态子空间的盲区指标值,确定所针对状态子空间是否满足盲区判定条件,包括:
5.根据权利要求1所述的方法,其特征在于,所述依据所述盲区状态生成补充经验样本,包括:
6.根据权利要求1所述的方法,其特征在于,所述将所述补充经验样本存入所述经验回放缓冲区,包括:
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述在强化学习的每个时间步,依据半主动悬架车辆仿真模型和动作网络之间的交互确定经验样本,并存入所述经验回放缓冲区之前,还包括:
8.根据权利要求7所述的方法,其特征在于,所述依据被动悬架车辆仿真模型,在多种仿真工况下获取多个第一初始样本,包括:
9.根据权利要求7所述的方法,其特征在于,所述依据半主动悬架车辆仿真模型和线性调节控制器,在多种仿真工况下获取多个第二初始样本,包括:
10.根据权利要求7所述的方法,其特征在于,所述根据所述多个第一初始样本和所述多个第二初始样本确定多个经验样本,并填充至经验回放缓冲区,包括:
11.一种半主动悬架控制策略模型的生成装置,其特征在于,所述装置包括:
12.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至10任一项所述的方法。
14.一种计算机程序产品,其特征在于,包括计算机执行指令,所述计算机执行指令被处理器执行时实现如权利要求1至10任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com