一种基于深度强化学习的智慧供热平衡调控系统的制作方法

本发明属于供热平衡调控，具体是一种基于深度强化学习的智慧供热平衡调控系统。

背景技术：

1、随着城市集中供热管网规模化覆盖与双碳节能政策持续落地，智慧供热已成为暖通能源领域的主流发展方向，城市供热系统覆盖子区域众多，各片区建筑保温结构、楼栋布局、管网敷设条件存在固有差异，同时温度、风向、风力等气象要素的动态扰动，会直接改变区域采暖热负荷需求，导致供热平衡调控异常情况发生。

2、现有供热调控技术普遍忽略不同供热子区域的热响应差异性，未量化风力、温度、风向组合工况下的实际供热偏差，无法区分高敏感与低敏感供热片区，多数系统仅依据环境温度进行统一供热量调节，对风力扰动带来的热损耗变化辨识能力不足，由于迎风面建筑与背风面建筑的热负荷偏差显著，传统调控方式缺少针对不同供热区域的标准化的热偏差补偿机制，无法构建贴合各区域实际工况的热响应补偿矩阵，理论热指标与实际用热需求存在偏差，导致部分区域供热过剩、部分区域供热不足的情况，同时常规调控策略采用单一调节逻辑，对所有供热子区域执行同等幅度的参数调整，未针对气象敏感特性进行策略细分，存在功能性低下的问题。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于深度强化学习的智慧供热平衡调控系统，可以有效解决不同子区域在实际环境因素影响下供热不匹配的问题。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种基于深度强化学习的智慧供热平衡调控系统，包括数据采集模块、相似度匹配与粗分组模块、补偿矩阵构建模块、风敏感度分析与细分组模块、平衡调控模块；

4、所述数据采集模块，收集区域内各供热子区域环境信息构建标准化静态特征向量，收集区域内各供热子区域完整采暖季运行数据，筛选热力稳定时段并计算温度区间、风向、风力等级下的实际采暖热指标；

5、所述相似度匹配与粗分组模块，基于标准化静态特征向量执行k-means聚类，实现子区域静态粗分组；

6、所述补偿矩阵构建模块，基于收集的各供热子区域的历史数据，计算每个子区域在不同温度区间、风向、风力下的实际热指标与理论热指标偏差作为热补偿系数，构建三维工况补偿矩阵；

7、所述风敏感度分析与细分组模块，在粗分组中根据不同风向下补偿系数随风力变化的速率进一步细分，筛选代表性温度区间以识别不同风向的风力高敏感、低敏感子区域，在粗分组中建立敏感度细分组；

8、所述平衡调控模块，基于气象监测点实时采集的气象数据，构建深度强化学习模型，按预设时间步，针对高敏感、低敏感子区域执行阶梯供热平衡调整。

9、进一步的，所述数据采集模块，具体包括以下步骤：

10、采集区域内各供热子区域的建筑静态环境信息、采暖季历史运行数据，其中建筑静态环境信息包括楼间距、套平均建筑面积、入住率、平均楼高以及每平方米理论采暖热指标，构成原始特征向量并执行z-score标准化获得子区域静态特征向量：

11、；

12、其中，分别代表楼间距、套平均建筑面积、入住率、平均楼高以及每平方米理论采暖热指标，对特征执行z-score标准化，获得子区域静态特征向量；

13、对不同供热子区域，读取过去q个完整采暖季逐时运行数据，按室外温度区间t、风向d、风力等级w进行工况分组，筛选热力稳定时段并通过q个完整采暖季数据加权统计形成实际采暖热指标：

14、对每个子区域i，首先从历史供热scada数据库的原始逐时记录中，依据供水温度变化率与回水温度变化率，切分出持续时间大于2小时的热力稳定时段，对每个有效时段s，计算时段总供热量、平均室外温度、主风向、平均风力等级，并计算该时段实际热指标,将每个时段按平均室外温度落入的5℃温度区间、风向、风力等级归入对应工况网格(t,d,w)中，收集过去q个完整采暖季的所有稳定时段，按时长加权平均以得到各网格下的最终实际采暖热指标。

15、进一步的，所述相似度匹配与粗分组模块，具体包括以下步骤：

16、基于标准化静态特征向量执行k-means聚类，随机选取k个子区域的标准化特征向量作为初始聚类中心，根据最小欧氏距离将每个子区域划入最近的聚类中心所代表的簇，对每个簇重新计算簇内所有样本的均值作为新的聚类中心，重复步骤迭代直至聚类中心的变化量小于预设阈值以完成收敛，获得区域内各供热子区域的粗分组。

17、进一步的，所述补偿矩阵构建模块，具体包括以下步骤：

18、对当前区域内每个子区域i，定义其三维工况补偿矩阵，nt、m、nw分别代表温度区间、风向以及风力等级，矩阵元素，其中t代表温度区间索引，d代表风向索引，w代表风力等级索引，λi(t,d,w)下为对应(t,d,w)下的补偿系数，qact,i(t,d,w)代表当前工况下实际每平方米采暖热指标，qth,i为子区域i的理论采暖热指标，其中当前工况下实际每平方米采暖热指标通过跨季时长加权平均计算获得，基于热力学安全限幅对补偿系数进行约束，限制λ∈[-0.3,1.0]。

19、进一步的，所述风敏感度分析与细分组模块，具体包括以下步骤：

20、筛选粗分组中各子区域不同风向下的代表性温度区间，根据各子区域不同风向中代表性温度区间下的不同风力的补偿系数，计算各风向中代表性温度区间的补偿系数变化速率，识别粗分组中各子区域在不同风向的敏感度；

21、基于识别的粗分组中各子区域在不同风向的敏感度，划分不同风向的高敏感、低敏感子区域，在粗分组中建立敏感度细分组。

22、进一步的，所述筛选粗分组中各子区域不同风向下的代表性温度区间，各子区域不同风向中代表性温度区间下的不同风力的补偿系数，计算各风向中代表性温度区间的补偿系数变化速率，识别粗分组中各子区域在不同风向的敏感度，具体包括以下步骤：

23、根据粗分组中各子区域各风向下不同温度区间中不同风力的历史数据量，筛选各子区域不同风向下的代表性温度区间，在同一风向下基于历史总时长筛选温度区间候选集，在候选集中依据风力等级数据分布选择代表性温度区间，其中：

24、对子区域i、风向d、温度区间t，统计该温度区间下所有有效风力等级的历史累计时长之和：

25、；

26、其中，代表工况(t,d,w)在模块三中记录的累计热力稳定时段时长，w为风力等级范围，为各子区域有效工况集合，基于进行降序排列，筛序排名前nc个温度区间作为候选集；

27、温度区间下的有效风力等级集合为，采用归一化香农熵量化数据在各风力等级间的分布均衡性：

28、；

29、其中，代表风力等级w在温度区间t下的历史时长占比，当时，定义，将熵值归一化至[0，1]区间，其中∣w∣代表风力等级总数；

30、计算有效覆盖度得分，加权获得候选集中各温度区间的综合得分score(i,d,t)，选择综合得分最高的温度区间作为该风向的代表性温度区间：

31、；

32、提取各子区域不同风向中代表性温度区间下的不同风力的补偿系数，通过局部加权线性回归计算代表性温度区间的补偿系数变化速率，其中：

33、采用高斯核作为权重函数，其中wcenter为该风向下有效风力等级的均值，σw为带宽参数；

34、以最小化拟合误差为目标，构建加权最小二乘目标函数，其中i代表子区域id，d代表风向，b为回归截距，n为风力等级的总数，λ为补偿系数，通过最小二乘法求解获得敏感度seni,d。

35、进一步的，所述基于识别的粗分组中各子区域在不同风向的敏感度，划分不同风向的高敏感、低敏感子区域，在粗分组中建立敏感度细分组，具体包括以下步骤：

36、针对每个粗分组，筛选组内所有子区域的敏感度数据，以构建组内敏感度集合，计算不同粗分组的敏感度均值，作为高低风敏组的划分阈值，其中为粗分组ck内所有有效敏感度值的集合，seni,d代表子区域i在风向d下的风敏感度值，d代表主风向范围，s代表遍历集合中的每一个敏感度值；

37、以粗分组敏感度均值为基准，对组内各子区域单风向敏感度进行分级，将敏感度大于的划分为高敏感度，敏感度小于等于的划分为低敏感度，并基于风向分别建立高敏感度组与低敏感度组，记录对应的子区域id。

38、进一步的，所述平衡调控模块，具体包括以下步骤：

39、基于气象监测点实时采集的气象数据，构建深度强化学习模型，按预设时间步执行阶梯供热平衡调整，通过敏感度依赖型动作解码器，将深度强化学习策略网络的连续输出映射为差异化的热指标调节增量，引入超调定向惩罚机制，对高风敏、低风敏子区域进行供热平衡调控。

40、进一步的，所述基于气象监测点实时采集的气象数据，构建深度强化学习模型，按预设时间步执行阶梯供热平衡调整，通过敏感度依赖型动作解码器，将深度强化学习策略网络的连续输出映射为差异化的热指标调节增量，引入超调定向惩罚机制，对高风敏、低风敏子区域进行供热平衡调控，具体包括以下步骤：

41、对每个子区域i，基于气象监测点的气象数据中的实时风向dnow，查询风敏感度分析与细分组模块中输出的子区域细分组标签，将其映射为二值敏感度标识：

42、；

43、通过drlactor网络输出无因次连续动作，经敏感度依赖型动作解码器转换为物理热指标调节增量，其中为子区域i的最大单步调节步长；

44、；

45、drl智能体的状态向量s(k)由温度、风向、风力以及各子区域状态构成，所有连续变量均经最小-最大归一化至[0,1]：

46、；

47、其中，为当前实时室外温度，风向为当前实时室外风向，风力等级为当前实时室外风力等级，代表各子区域当前热指标偏差与理论值之比，代表各子区域当前实际热指标与理论值之比，通过actor网络输出n维连续动作向量，以精度惩罚、动作惩罚、超调定向惩罚构建包含三项惩罚项的多目标奖励函数，采用soft actor-critic算法进行模型训练，actor网络采用三层全连接结构，在每个宏观时间步首先观测当前状态，然后从actor网络采样动作，经动作解码器计算热指标调节增量并更新环境状态，计算奖励值并获得下一状态，最后将状态、动作、奖励、下一状态及终止标志组成的五元组存入经验回放缓冲区，从经验池中随机采样小批量经验对价值网络、策略参数以及温度参数进行更新，输出宏观时间步下的总热量。

48、进一步的，所述输出宏观时间步下的总热量，具体为：

49、在每个宏观时间步k，经drl策略网络和动作解码器得到各子区域更新后的实际热指标，输出子区域总热量设定值：

50、；

51、其中，为子区域i在时间步k应供给的总热量，，代表子区域i实际供热面积。

52、与现有技术相比，本发明的有益效果是：

53、1、在本发明中，通过基于区域中各供热子区域的历史供热数据，基于各子区域的硬性条件进行粗分组，并基于各子区域在温度区间、风向、风力等级下的理论采暖热指标与实际采暖热指标偏差计算补偿系数，并根据补偿系数变化率筛选高敏感与低敏感子区域，结合每个调控时间步下的环境数据进行供热调整，实现各子区域的差异化供热平衡调节，适配不同子区域的实际情况，增强了实用性；

54、2、在本发明中，通过分析各子区域在不同温度区间、风向、风力等级组合下的理论热指标与实际热指标之间的偏差，计算补偿系数，构建反映各子区域真实热响应特性的补偿矩阵，进而根据补偿系数随风力等级的变化率，筛选出对风敏感的高敏感子区域与不敏感的低敏感子区域，实现动态响应差异的二次细分，最终在实时调控中，结合当前气象环境数据，对低风敏组采用快速一步到位调节，对高风敏组采用分步逼近的阶梯式调节，实现精准化、差异化的供热平衡调控；

55、3、本发明中，通过区分对风力风向高敏感与低敏感的子区域，分别采取不同的调节量在每个调控时间步进行供热量调整，通过试探-评估-逼近的渐进策略，使热量供给与建筑实际热需求匹配，避免了因避免因外部环境波动导致的供热量来回波动调整导致的能量浪费，避免因风力短时起伏导致的频繁供热调节动作。