一种基于分层回报TD3的HEV能量管理方法及系统

技术特征：
1.一种基于分层回报td3的hev能量管理方法，其特征在于，包括以下步骤：建立并联式混合动力车辆模型；结合所述并联式混合动力车辆模型，选取hev能量管理策略的状态空间信号和动作空间信号；结合所述并联式混合动力车辆模型，构建分层回报函数；所述分层回报函数包括第一回报函数和第二回报函数，根据激活条件激活所述第一回报函数或所述第二回报函数，且所述第一回报函数和所述第二回报函数均根据电池荷电状态的范围分别划分为两个不同的调节层；基于所述状态空间信号、所述动作空间信号和所述分层回报函数，构建基于分层回报td3的hev能量管理学习网络；训练所述基于分层回报td3的hev能量管理学习网络，通过训练好的基于分层回报td3的hev能量管理学习网络执行能量管理策略。2.根据权利要求1所述的基于分层回报td3的hev能量管理方法，其特征在于，所述并联式混合动力车辆模型中车辆的工作模式包括纯电动模式、空挡模式和并联模式。3.根据权利要求1所述的基于分层回报td3的hev能量管理方法，其特征在于，所述状态空间信号为s＝(v，soc，m
f
，cs)，所述动作空间信号为a＝(t
eng
|t
eng
∈[-250，841])；其中，v表示车辆的行驶速度，soc表示电池荷电状态，m
f
表示发动机燃油消耗率；cs表示车辆离合器的状态，cs为0表示离合器断开，cs为1表示离合器闭合；t
eng
表示发动机输出转矩。4.根据权利要求1所述的基于分层回报td3的hev能量管理方法，其特征在于，所述分层回报函数的激活方式为：对离合器状态进行判断，若离合器断开则激活所述第一回报函数，若离合器闭合则对瞬时车速进行判断；若瞬时车速为零则激活所述第一回报函数，若瞬时车速不为零则激活所述第二回报函数；所述第一回报函数r
soc
表示为：所述第二回报函数r
com
表示为：其中，第一调节层l1对应soc(t)＞0.8或者soc(t)＜0.3；第二调节层l2对应0.3≤soc(t)≤0.8；m
f
表示发动机燃油消耗率的实际值；soc
ref
表示电池荷电状态的参考值；soc(t)表示电池荷电状态的实际值；pen表示常数惩罚因子；δ1和δ2是两个权重因子，用于平衡燃油消耗率和电池荷电状态变化对车辆油耗的影响；ω1、ω2和ω3是三个常数，用于保证各调节层回报函数的数值都处在同一个数量级。5.根据权利要求1所述的基于分层回报td3的hev能量管理方法，其特征在于，获取车辆标准工况仿真行驶中影响能量管理的参数和观测值，基于标准工况下的参数和观测值对所述基于分层回报td3的hev能量管理学习网络进行训练。
6.根据权利要求1所述的基于分层回报td3的hev能量管理方法，其特征在于，得到训练好的基于分层回报td3的hev能量管理学习网络后，还包括：获取车辆实际行驶中影响能量管理的参数和观测值，基于实际行驶下的参数和观测值对训练好的基于分层回报td3的hev能量管理学习网络进行验证，通过训练好并验证后的基于分层回报td3的hev能量管理学习网络执行能量管理策略。7.一种基于分层回报td3的hev能量管理系统，其特征在于，包括：处理器和存储器；所述存储器存储有控制程序，所述控制程序被所述处理器执行时用于实现如权利要求1-6中任一项所述的基于分层回报td3的hev能量管理方法。

技术总结
本发明属于混合动力车辆能量管理技术领域，公开了一种基于分层回报TD3的HEV能量管理方法及系统。本发明结合并联式混合动力车辆模型选取HEV能量管理策略的状态空间信号和动作空间信号，并采用分层回报结构，分层回报结构包括两种回报函数，共计四个调节层，可以根据车辆的不同行驶状态针对性调整控制策略，减少不必要的重复探索行为，提高能量管理策略整体性能。性能。性能。


技术研发人员：颜伏伍 王金海 杜常清 彭辅明
受保护的技术使用者：武汉理工大学
技术研发日：2022.03.23
技术公布日：2022/8/5