基于iTransformer时序预测和TD3强化学习的电动汽车整车热管理方法

本发明属于新能源汽车热管理，具体的说是一种基于itransformer时序预测和td3强化学习的电动汽车整车热管理方法。

背景技术：

1、随着新能源汽车产业快速发展，集成式热泵热管理已经成为纯电动汽车核心配套系统，一套回路同步完成动力电池温控、驱动电机散热与座舱冷暖调节，系统多部件、多回路高度耦合，车辆行驶过程中道路拥堵、坡道、日照等外界条件持续变化，控制过程需要同时兼顾动力部件运行可靠性、驾乘热舒适与空调运行能耗，多项目标相互制衡，控制优化难度较高。

2、当前量产车型普遍采用标定 map 阈值控制或单回路 pid 反馈控制，该类方案仅依托车载传感器采集实时温度、功率信号实施被动调节，受传热系统固有滞后特性约束，仅能在部件温度偏离理想区间后启动散热或加热动作，无法预判前方道路带来的负荷变化。当车辆进入高速、爬坡、拥堵等高负荷工况，电池与电机产热快速上升，系统只能依靠提升压缩机、冷却泵转速强化散热，大幅增加热管理寄生功耗，压缩整车续航；同时线性控制逻辑难以适配热系统强非线性耦合特征，动态工况下易出现温度频繁波动、座舱舒适性不稳定等现象。

3、为改善传统控制滞后缺陷，行业逐步引入时序预测、深度强化学习开展智能控制研究。在行驶工况预测层面，现有时序预测模型大多仅使用车辆本地历史车速、电流数据建模，较少融合车联网云端路段交通流、道路通行状态等外部时序信息，缺少前方路况全局特征支撑，对未来车速、加速度变化趋势预测误差偏大，难以支撑热管理系统提前预调控。

4、在强化学习控制方案层面，现有整车热管理控制多选用 ddpg 算法处理连续控制量，该算法仅设置单组评价网络，迭代过程存在天然 q 值过估计缺陷，训练阶段奖励波动大、收敛稳定性差，实车多变路况下控制鲁棒性不足。同时现有强化学习奖励函数设计维度单一，大多仅针对温度或能耗单一指标构建奖惩逻辑，未区分不同行驶负荷等级设置分段约束，无法同步平衡动力部件温控、座舱热舒适、空调能耗、日照热负荷多项相互制约的优化目标，多目标协同均衡调控效果有限。

技术实现思路

1、本发明是为了解决上述现有技术存在的不足之处，提出一种基于itransformer时序预测和td3强化学习的电动汽车整车热管理方法，以期能融合车联网云端路段交通数据预判车辆未来行驶负荷，提前对热管理系统实施预调控，从而能规避高负荷工况下部件集中升温造成的散热功耗激增问题，有效提升车辆实际续航能力；并能兼顾动力部件运行稳定性、座舱热舒适与空调能耗多项约束目标协同优化，以能提升整车热管理系统在复杂道路、多变环境下的自适应调控能力，延缓电池、电机老化，兼顾行车安全与驾乘体验，进而提升新能源汽车智能热管理方案的工程应用价值。

2、本发明为达到上述发明目的，采用如下技术方案：

3、本发明一种基于itransformer时序预测和td3强化学习的电动汽车整车热管理方法的特点在于，包括如下步骤：

4、步骤1：从车联网云端平台获取目标车辆所在路段的历史交通流数据，同时获取目标车辆自身的历史行驶数据，并对所述历史交通流数据和所述历史行驶数据进行时间对齐与数据预处理，从而构建多维输入特征矩阵；其中，为时间步数，为变量个数；

5、步骤2：构建itransformer时序预测网络，包括：嵌入层、多头自注意力子层、投影层，并对进行处理，得到预测的车速序列和加速度序列；

6、步骤3：基于和，得到驱动电机的预测功耗等级；

7、若，且，则令=1；

8、若，且，则令=2；

9、若

，且，则令=2；

10、若，且，则令=3；

11、若，则令=3；

12、其中，表示一级速度阈值，表示二级速度阈值，且<，表示一级加速度阈值，表示二级加速度阈值，且<；

13、步骤4：构建td3深度强化学习的状态参数，其中， 表示光照强度，表示驱动电机温度，表示电池温度，表示车辆热泵空调功耗，表示驾驶室舒适度值；

14、构建td3深度强化学习的动作参数，其中，表示车辆热泵空调压缩机转速，表示驾驶室空调风扇转速，为电池冷却回路冷却泵转速，为驱动电机冷却回路冷却泵转速；

15、步骤5：构建td3深度强化学习的奖励函数：

16、步骤6：构建td3深度强化学习网格，包括：结构相同的actor策略网络和目标actor策略网络，结构相同的两个critic评价网络及各自对应的目标critic评价网络；

17、步骤6.1：初始化actor策略网络的参数为；初始化两个critic评价网络的参数分别为和；

18、步骤6.2：将当前时刻的状态参数输入actor策略网络中进行处理，从而利用式(8)得到当前时刻车辆的动作参数，并计算当前时刻的奖励值：

19、  (8)

20、式(9)中，为当前时刻的随机噪声，表示actor策略网络；

21、步骤6.3：当车辆执行后，得到下一时刻的状态参数，从而与、、以及为终止状态符组成一条样本并加入经验缓冲区中；

22、步骤6.4：按照步骤6.2-步骤6.3的过程得到若干条样本，直至经验缓冲区满为止；

23、步骤6.5：从所述经验回放缓冲区中随机采样一批大小为的样本，用于对所述td3深度强化学习网格进行训练，得到最优actor策略网络；

24、步骤7：将最优actor网络模型部署在电动汽车整车热管理系统控制中，以实现对输入的状态参数进行处理，并输出车辆热泵空调压缩机转速、驾驶室空调风扇转速、电池冷却回路冷却泵转速、驱动电机冷却回路冷却泵转速以优化驾驶室舒适度和空调功耗。

25、本发明所述的一种基于itransformer时序预测和td3强化学习的电动汽车整车热管理方法的特点也在于，步骤2包括如下步骤：

26、步骤2.1：嵌入层对进行转置后，利用mlp层将转置后的多维输入特征矩阵矩阵进行映射处理，得到令牌矩阵h；

27、步骤2.2：多头自注意力子层利用式(1)得到任一注意力头的查询向量、键向量、值向量，从而利用自注意力机制得到任一注意力头的注意力分数，进而将所有注意力头的注意力分数进行残差连接，得到加权融合矩阵并进行层归一化处理，得到归一化矩阵；

28、 (1)

29、式(1)中，

,

, 分别为3个投影权重矩阵，为激活函数；

30、步骤2.3：前馈网络子层利用式(2)对进行非线性变换，得到令牌矩阵：

31、 (2)

32、式(2)中，,为双层感知机的2个权重矩阵；,为双层感知机的2个偏置矩阵；表示激活函数；

33、步骤2.3：以mlp层作为投影头，将令牌矩阵 中每个令牌的高维特征投影到预测的时间步长上，从而输出预测车速序列和加速度序列。

34、进一步的，步骤5包括如下步骤：

35、步骤5.1：利用式(3)构建舒适度的奖励函数：

36、 (3)

37、式(3)中，为舒适度的权重参数；

38、步骤5.2：利用式(4)构建驱动电机和电池的奖励函数：

39、(4)

40、式(4)中，表示电池的温度权重参数，表示驱动电机的温度权重参数，为环境温度,

表示电池设定的工作温度，表示设定的驱动电机工作温度，为设定的温度偏差值；

41、步骤5.3：利用式(5)构建空调功耗的奖励函数：

42、 (5)

43、式(5)中，，分别为空调设定最大功率和最小功率，为空调功耗的权重参数；

44、步骤5.4：利用式(6)构建考虑外部光照的功耗奖励函数：

45、 (6)

46、步骤5.5：利用式(7)构建奖励函数：

47、 (7)。

48、进一步的，步骤6.5包括如下步骤：

49、步骤6.5.1：将第i个样本中状态参数输入目标actor策略网络中进行处理，并输出第i个动作参数；从而利用式(9)对添加裁剪噪声，得到第i个添加裁剪噪声后的动作参数：

50、(9)

51、式(10)中，n为正态分布，表示方差；

52、步骤6.5.2：将和分别输入两个目标critic评价网络中进行处理，相应得到第i个第一目标值和第i个第二目标值，从而利用式(11)得到第i个目标值：

53、 (10)

54、式(11)中，为折扣因子，为设定的目标值；

55、步骤6.5.3：将第i个状态参数和第i个动作参数分别输入两个critic评价网络中进行处理，相应得到第i个第一值和第i个第二值；

56、步骤6.5.4：利用式(11)和式(12)分别构建第一个critic评价网络的损失函数以及第二个critic评价网络的损失函数；

57、 (11)

58、 (12)

59、步骤6.5.5：分别利用式(13)和式(14)得到两个critic评价网络更新后的参数和：

60、(13)

61、(14)

62、式(13)-式(14)中，为第一个critic评价网络的损失梯度；为第二个critic评价网络的损失梯度，为学习率；

63、步骤6.5.6：当两个critic评价网络更新次数达到设定的次数d后，将当前状态参数输入actor策略网络中进行处理，并输出当前动作参数，并将输入更新d次后的第一个critic评价网络中进行处理，并得到第一目标值，以计算损失函数，用于对actor策略网络进行反向传播后，从而利用式(15)得到actor策略网络更新后的参数：

64、(15)

65、式(15)中，为actor策略网络的损失梯度；

66、步骤6.5.7：在更新actor策略网络后，分别利用式(16)、式(17)、式(18)对目标actor 策略网络参数、第一目标 critic 评价网络参数、第二目标 critic评价网络参数进行软更新，得到更新后的目标 actor 策略网络参数、更新后的第一目标 critic 评价网络参数、更新后的第二目标 critic 评价网络参数：

67、(16)

68、(17)

69、(18)

70、式(16)、式(17)、式(18)中，为软更新系数；

71、步骤6.5.8：按照步骤6.5.1-步骤6.5.7的过程对td3深度强化学习网格进行循环迭代，直至满足循环次数达到设定最大次数为止，从而得到最优 actor策略网络。

72、本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行所述的方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

73、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于，所述计算机程序被处理器运行时执行所述的方法的步骤。

74、与现有技术相比，本发明的有益效果在于：

75、1. 本发明融合云端路况数据与车载行驶数据构建特征矩阵，并利用itransformer完成工况预测、划分负荷等级，解决了现有方案仅依托本地数据、缺少工况分级、调控存在滞后的问题，可提前对热管理系统预调节，降低了散热峰值功耗，提升了车辆续航，同时让系统适配各类动态行驶工况。

76、2. 本发明搭建多维度状态、动作参数并设计分段式多目标复合奖励函数，搭配双critic网络、延迟更新策略的td3算法架构，解决传统强化学习奖励维度单一、ddpg存在q值过估计、训练不稳定的缺陷，能够同步平衡部件温控、座舱舒适与空调能耗，减小了部件温度波动，提升了复杂路况下控制稳定性。

77、3. 本发明将训练完成的最优模型部署车载形成闭环控制，克服了传统pid、阈值控制被动调节的短板，实现了自适应智能温控，减缓了电池、电机老化，提升了整车热管理智能化水平。