一种基于深度强化学习的储能电柜热管理优化方法与流程

本发明属于基于强化学习的电池热管理领域，尤其涉及一种基于深度强化学习的储能电柜热管理优化方法。

背景技术：

1、随着电化学储能系统在电网调峰、可再生能源消纳及工商业备用电源中的规模化部署，储能电柜的安全运行与能效管理日益受到关注。储能电柜内部通常集成数十至上百枚电芯，电芯在充放电过程中产生焦耳热与反应热，若热量无法及时均匀散出，将导致局部温度过高、电芯间温差扩大，进而加速老化并诱发热失控风险。因此，如何在保证电芯温度安全的前提下降低热管理系统能耗，已成为储能电柜运行控制的关键问题。

2、目前，针对储能电柜热管理主要包括以下几种方法：

3、（1）基于规则与阈值的热管理方法：该方法依据电池管理系统（batterymanagement system, bms）采集的电芯温度、电流等信号，在温度超过固定阈值时启动风机或液冷回路。此类方法实现简单且成本较低，但固定阈值难以兼顾不同工况下的控温精度与能耗需求，未充分利用电柜内部空间热耦合信息，跨工况适应性不足；

4、（2）基于机理模型或降阶模型的热管理方法：该方法通过计算流体力学（computational fluid dynamics, cfd）仿真、集总参数热模型或模型预测控制（modelpredictive control, mpc）对电柜热行为进行建模与优化。该方法具有明确的物理可解释性，但机理模型计算量大、在线部署困难，对参数漂移和未知工况的鲁棒性不足；

5、（3）基于纯数据驱动神经网络的热管理方法：该方法利用长短期记忆网络（longshort-term memory, lstm）、人工神经网络（artificial neural network, ann）等数据驱动模型对电芯温度进行预测或控制。该类方法能够捕捉数据中的统计规律，但缺乏物理一致性约束，需要大量标注数据，泛化能力和可解释性受限。

6、综上所述，现有储能电柜热管理方法在控温精度与能耗平衡、在线计算效率、物理一致性约束及跨工况泛化能力方面均存在一定局限。基于规则与阈值的方法难以动态优化，基于机理模型的方法在线部署受限，基于纯数据驱动的方法缺乏物理约束。

技术实现思路

1、针对上述问题，本发明提供了一种基于深度强化学习的储能电柜热管理优化方法，包括以下过程：

2、s1，采集各电芯表面温度、电柜总电流、电柜总电压、冷却液流量、风机转速，构建电柜级多源传感张量；采集各电芯电压、内阻与电流，构建电芯级状态监测张量；根据电芯排布结构与导热路径构建邻接矩阵和空间距离矩阵组成电池模组拓扑结构张量；计算体积产热率、热扩散势与电芯热物性参数并拼接为电芯物理特征张量；

3、s2，四种张量拼接为标准化电柜热状态多尺度融合特征张量并输入物理信息神经网络，提取时序特征张量、空间特征张量、物理特征张量与电芯状态特征张量，并拼接为融合特征张量，通过物理-数据协同预测头，输出未来时刻电芯温度预测分布；

4、s3，将未来时刻电芯温度预测分布、冷却液流量、风机转速及电柜总电流输入利用强化学习构建的物理感知图注意力策略网络进行在线推理，输出冷却液流量、风机转速与电流限值，将输出限制在安全范围内并限制其变化率，进而映射为液冷泵pwm占空比、风机pwm占空比与变流器最大允许电流。

5、优选的，所述电芯级状态监测张量通过电芯管理单元以秒为周期采集各电芯电压与各电芯内阻，将电柜总电流按并联支路数分配至各电芯得到各电芯电流，将各电芯电压与各电芯内阻、各电芯电流按电芯编号排列为电芯级状态监测张量；

6、所述电池模组拓扑结构张量是根据电柜内部电芯排布结构，以电芯为节点、以相邻电芯之间的导热关系为边构建邻接矩阵，以相邻电芯之间的空间距离为边权构建空间距离矩阵，二者共同构成电池模组拓扑结构张量。

7、优选的，所述电芯物理特征张量构建时，首先，基于bernardi产热模型计算各电芯的体积产热率，其次，基于离散化热传导方程计算各电芯与相邻电芯之间的热扩散势，最后，将各电芯的体积产热率、热扩散势与电芯热物性参数拼接为电芯物理特征张量，电芯热物性参数包括密度、比热容与导热系数。

8、优选的，所述物理信息神经网络包括：

9、时序编码分支，采用2层长短期记忆网络对电柜级多源传感张量的时间维度n进行编码，每层隐藏单元数为64，输出维度为m×64的时序特征张量；

10、构建空间编码分支，采用2层图卷积网络以电池模组拓扑结构张量的邻接矩阵作为图结构对电芯节点维度m进行编码，每层输出通道数为32，输出维度为m×32的空间特征张量；

11、物理编码分支，采用2层全连接层对电芯物理特征张量中的体积产热率热扩散势与电芯热物性参数进行编码，每层神经元数为32，输出维度为m×32的物理特征张量；

12、电芯状态投影分支，采用1层全连接层对电芯级状态监测张量进行维度对齐，将电芯级状态监测张量中的电压、内阻与电流映射为m×32的电芯状态特征张量，使电芯状态特征与经过网络编码后的时序、空间、物理特征处于同一语义空间。

13、优选的，所述利用强化学习构建的物理感知图注意力策略网络的训练过程为：首先将储能电柜热管理问题建模为马尔可夫决策过程，状态由历史时刻电芯温度分布、冷却液流量、风机转速和电柜总电流组成；动作由下一控制周期的冷却液流量、风机转速和电流限值组成；奖励函数由温度安全项、温差均匀项和冷却系统能耗项加权构成；其次构建物理感知图注意力策略网络，包含时序transformer编码器、图注意力编码器和条件归一化流动作采样头，输出连续动作及条件对数概率；再次构建双流物理约束价值网络，包含状态价值分支、动作价值分支和物理约束门控模块；状态价值分支复用时序transformer编码器和图注意力编码器输出标量状态价值，动作价值分支单独编码连续动作输出标量动作价值；门控模块根据历史电芯温度接近安全阈值的程度动态融合两种价值估计获得标量价值估计；采用软演员-评论家算法对物理感知图注意力策略网络与双流物理约束价值网络进行联合训练，物理感知图注意力策略网络以最大化期望累计奖励与策略熵为目标更新条件对数概率，双流物理约束价值网络以标量价值估计为基础，以最小化时序差分误差为目标更新价值估计。

14、优选的，所述物理感知图注意力策略网络具体为：

15、首先构建时序transformer编码器，采用2层transformer编码器层对历史状态序列进行编码，每层隐藏维度为128，注意力头数为4；其次，构建图注意力编码器，采用2层图注意力层对编码后的历史状态序列中的每个状态向量包含的电芯温度信息进行编码获得隐藏特征，每层包含4个注意力头，输出通道数为64，激活函数为elu；最后，构建条件归一化流动作采样头，采用4层仿射耦合流层将隐藏特征变换为连续动作向量，每层流层由2层全连接层构成，神经元数为256，激活函数为swish，策略网络同时输出动作及其条件对数概率。

16、优选的，所述双流物理约束价值网络具体为：

17、构建状态价值估计分支，共享物理感知图注意力策略网络的图注意力编码器与时序transformer编码器，输出128维状态价值特征，再经1层全连接投影层映射为标量状态价值；其次，构建动作价值估计分支，用于评估在给定状态下执行特定动作的期望累积回报，采用2层全连接层对动作向量a进行编码，每层神经元数为128，激活函数为relu，输出128维动作价值特征，再经1层全连接投影层映射为标量动作价值；再次，构建物理约束门控模块，根据历史时刻电芯温度分布中各电芯温度均值与安全阈值的接近程度生成门控权重，对第个电芯计算温度接近度，其中为电芯温度均值，为安全温度阈值，为温度裕度缩放系数，用于控制门控过渡区宽度，再由1层全连接层对拼接后的接近度向量进行压缩，并经sigmoid激活函数归一化至(0,1)区间，得到标量门控权重；最后，将标量状态价值、标量动作价值与门控权重融合，输出标量价值估计。

18、优选的，所述将输出限制在安全范围内并限制其变化率，具体为：

19、电流限值被限制在电芯允许的最大持续放电电流与最小工作电流之间，并且电流限值变化率绝对值不超过；当未来时刻电芯温度预测分布中的最高温度均值超过紧急阈值时，将电流限值立即降至并强制冷却系统以最大功率运行，依据电芯热失控预警需求取5℃，以留足安全裕度；取0.5·，获得安全电流限值；冷却液流量被限制在0与之间，并且冷却液流量变化率绝对值不超过，获得安全冷却液流量；风机转速被限制在0与之间，并且风机转速变化率绝对值不超过，获得安全风机转速；、、和依据电芯规格书与冷却系统执行机构能力标定得到；变化率限值、与依据液冷泵与风机在标准工况下的阶跃响应实验标定得到。

20、优选的，所述s3中，将安全冷却液流量映射为液冷泵pwm占空比，映射关系为，其中为液冷泵最大流量；再次，将安全风机转速映射为风机pwm占空比，映射关系为，其中为风机最大转速；最后，将安全电流限值作为变流器最大允许电流下发值，液冷泵pwm占空比、风机pwm占空比和变流器最大允许电流下发值组成储能电柜热管理控制指令。

21、与现有技术相比，本发明具有如下创新点：

22、（1）提出基于传热机理辅助的物理信息神经网络热状态预测方法，将bernardi产热模型与离散化能量守恒方程残差嵌入神经网络训练，实现数据驱动与物理一致性的融合，从而提高未来电芯温度预测的准确性与可解释性；

23、（2）提出基于物理感知图注意力策略网络与双流物理约束价值网络的电柜级热管理策略优化方法，利用图注意力机制编码电芯间空间热耦合关系，利用条件归一化流动作采样头建模连续动作分布，利用物理约束门控动态调节价值估计，输出适应电柜热状态的热管理控制策略；

24、（3）提出基于安全约束与执行保护的热管理控制指令生成方法，通过动作空间裁剪、变化率限制与故障降级机制，将深度强化学习输出的连续动作转换为满足电芯安全与执行机构约束的可执行指令，从而提升热管理策略在实际储能电柜中的落地可靠性。