基于强化学习的自适应节能优化方法与流程

摘要: 本发明涉及能源管理,尤其是涉及一种基于强化学习的自适应节能优化方法。背景技术:1、随着全球能源需求持续增长与碳排放约束日益收紧,建筑能耗(含数据中心、大型公共建...
基于强化学习的自适应节能优化方法与流程

本发明涉及能源管理,尤其是涉及一种基于强化学习的自适应节能优化方法。

背景技术:

1、随着全球能源需求持续增长与碳排放约束日益收紧,建筑能耗(含数据中心、大型公共建筑及通信基站)已成为能源消费的重要板块。暖通空调(heating, ventilation andair conditioning,hvac)系统约占建筑总能耗的近一半,具有重要意义。然而,建筑热环境系统具有大惯性、强非线性、多变量耦合及不确定性扰动显著等复杂特性,传统基于规则的控制策略及局部优化方法难以在动态工况下实现能耗与舒适度的全局最优平衡。

2、目前主流的节能优化技术包括基于物理机理的建模优化方法(如模型预测控制)、基于数据驱动的预测优化方法(如深度学习),以及基于强化学习的自适应控制方法。然而,物理模型的精度依赖准确的热工参数辨识,且难以适应设备老化引起的性能漂移;纯数据驱动方法缺乏物理约束,在极端工况下易输出违反能量守恒的控制指令,存在安全隐患;现有强化学习方法依赖在线试错探索最优策略,而hvac系统的在线探索极易破坏热舒适环境、引发设备过载甚至系统宕机,在实际工程中难以部署。此外,深度强化学习普遍存在决策逻辑的“黑箱”特性,严重削弱了运维人员对智能系统的信任,导致大量智能化设备在实际运行中被切回手动模式,节能效果难以落地。上述缺陷系统性制约了节能优化方法在工程中的有效应用。

技术实现思路

1、本发明的目的是提供一种基于强化学习的自适应节能优化方法,解决现有技术存在的上述问题。

2、为实现上述目的,本发明提供了一种基于强化学习的自适应节能优化方法,包括以下步骤:

3、s1、结合目标物理空间的热工特性与实时传感器数据,构建物理信息数字孪生模型,并基于该模型生成高保真离线经验数据集;

4、s2、基于高保真离线经验数据集,采用强化学习算法并引入启停惩罚项,生成基础策略网络;

5、s3、基于物理信息数字孪生模型及基础策略网络,采用嵌入动态延迟掩码的时序融合变换器(temporal fusion transformer,‌tft‌)进行长时域状态表征,并基于模型预测控制(model predictive control,mpc)框架进行滚动时域优化,输出当前时刻的精细控制指令;

6、s4、基于精细控制指令执行后的实际反馈,动态更新物理信息数字孪生模型的全局统计量,并根据实时预测残差判断是否发生性能漂移;

7、s5、基于精细控制指令及贡献度得分,通过轻量化大语言模型生成决策日志,结合运维人员调整指令进行离线策略梯度调整,完成策略网络的迭代,生成更新后的策略网络。

8、因此,本发明采用上述一种基于强化学习的自适应节能优化方法,通过构建嵌入物理偏微分方程约束的物理信息数字孪生模型,生成高保真离线经验数据集,规避了在线试错风险,同时采用保守离线强化学习框架并引入启停惩罚项,在保证节能率的前提下延长了设备使用寿命;在部署阶段,通过在时序融合变换器中引入基于实时辨识等效滞后步长的动态延迟掩码矩阵,并结合模型预测控制框架进行滚动优化,解决了建筑大滞后特性引起的控制震荡问题;同时利用在线测试时自适应技术动态追踪设备老化引起的性能漂移,修正终端代价权重矩阵,维持了系统全生命周期的节能稳定性;最后,基于积分梯度归因与大语言模型生成可解释决策日志,并结合运维人员反馈进行离线策略微调,降低了人为误接管率,保障了智能控制系统的工程落地效果。

9、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

1.一种基于强化学习的自适应节能优化方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于强化学习的自适应节能优化方法,其特征在于,s1的具体过程为:

3.根据权利要求2所述的一种基于强化学习的自适应节能优化方法,其特征在于,s2中的具体过程为:

4.根据权利要求3所述的一种基于强化学习的自适应节能优化方法,其特征在于,s3中的具体过程为:

5.根据权利要求4所述的一种基于强化学习的自适应节能优化方法,其特征在于,s4中的具体过程为:

6.根据权利要求5所述的一种基于强化学习的自适应节能优化方法,其特征在于,s5中的具体过程为:

7.根据权利要求2所述的一种基于强化学习的自适应节能优化方法,其特征在于,s13中当前时刻获得的即时奖励的表达式为:

8.根据权利要求3所述的一种基于强化学习的自适应节能优化方法,其特征在于,s22中重塑后的即时奖励的表达式为:

9.根据权利要求4所述的一种基于强化学习的自适应节能优化方法,其特征在于,s31中,动态延迟掩码矩阵是一个的上三角矩阵,其元素的定义为:

10.根据权利要求6所述的一种基于强化学习的自适应节能优化方法,其特征在于,s51中计算贡献度得分的表达式为: