基于深度强化学习的热惯性感知供暖系统节能优化方法与流程
本发明涉及供暖系统节能优化,尤其涉及基于深度强化学习的热惯性感知供暖系统节能优化方法。
背景技术:
1、集中供暖系统是指通过集中热源所产生的蒸汽或热水,经由供热管网向一定区域内的热用户供应热能的采暖方式。典型的集中供暖系统由热源、热网和热用户三大部分组成。其中,热源包括热电联产电厂、区域锅炉房、工业余热以及地热、太阳能等多种形式-;热网则通过一级网、换热站、二级网等将热量输送至各用户终端-。集中供暖具有规模效应显著、能源综合利用率较高等优点,能够为大量用户提供稳定、持续的热源,当供热介质(热水)温度发生变化后,热量需要依次克服各结构层的热阻、加热各层的热容,最终才能影响到室内空气温度。这种“调控动作在前、温度响应在后”的长滞后特性,使得集中供暖系统成为一个典型的纯滞后、大惯性、非线性热工对象。
2、集中供暖系统具有显著的热惯性(热响应延迟可达2~6小时),传统控制方式基于当前温度反馈进行调节,存在严重的“超调”和“振荡”问题,造成能源浪费和舒适度下降。
技术实现思路
1、本发明克服了现有技术的不足,提供了基于深度强化学习的热惯性感知供暖系统节能优化方法。
2、为达上述目的,本发明采用的技术方案为:
3、本发明第一方面提供了基于深度强化学习的热惯性感知供暖系统节能优化方法,包括以下步骤:
4、在目标建筑内部部署物联网传感器网络,利用所述物联网传感器网络采集多源数据信息,并对所述多源数据信息进行数据预处理;
5、结合预处理后的多源数据信息将建筑热响应过程分解为三个时间尺度层级,并对三个时间尺度层级进行跨尺度特征融合,生成时间晶格热态向量;
6、构建深度强化学习网络,将所述时间晶格热态向量融合到所述深度强化学习网络的状态空间中,利用深度深度强化学习网络生成多条候选未来动作流;
7、基于时间晶格热态向量以及多条候选未来动作流进行未来热响应预测与候选动作流评估,选取综合评分最高的候选动作流作为最优目标动作流。
8、进一步的,在基于深度强化学习的热惯性感知供暖系统节能优化方法中,在目标建筑内部部署物联网传感器网络,利用所述物联网传感器网络采集多源数据信息,并对所述多源数据信息进行数据预处理,具体包括:
9、在目标建筑内部部署物联网传感器网络,利用所述物联网传感器网络采集室内环境参数、供暖系统运行参数、室外环境参数、建筑静态参数以及用户授权的人员活动参数;
10、采用局部离群因子的异常检测算法对所述多源数据信息别并标记超出预设物理范围或变化率异常的数据点;
11、对于缺失的数据,采用线性插值方法填补,以及采用基于历史同期数据的加权平均方法填补,并采用低通滤波器滤除温度信号中的高频噪声,保留热响应过程的低频主导成分;
12、将不同采样频率的数据源通过时间戳对齐至统一的秒级时间粒度,获取预处理后的多源数据信息。
13、进一步的,在基于深度强化学习的热惯性感知供暖系统节能优化方法中,结合预处理后的多源数据信息将建筑热响应过程分解为三个时间尺度层级,具体为:
14、将建筑热响应过程分解为三个时间尺度层级,分别为第一层级、第二层级以及第三层级,针对于第一层级,用等效热容-热阻集总参数模型,以室内空气温度状态变量,建立一阶微分方程,提取第一层级热响应特征;
15、针对于第二层级,采用状态空间模型,以内墙表面温度和地面结构层温度为状态变量,建立二阶状态方程,并提取第二层热响应特征;
16、针对于第二层级,采用长短期记忆网络,输入过去预设小时的室外温度序列、太阳辐射序列和供水温度序列,预测外围护结构内部温度分布,提取第三层热响应特征。
17、进一步的,在基于深度强化学习的热惯性感知供暖系统节能优化方法中,对三个时间尺度层级进行跨尺度特征融合,生成时间晶格热态向量,具体为:
18、将第一层热响应特征、第二层热响应特征以及第三层热响应特征分别编码,分别得到第一特征向量、第二特征向量以及第三特征向量;
19、基于所述第一特征向量、第二特征向量以及第三特征向量计算跨尺度注意力权重,并基于所述跨尺度注意力权重计算出融合后的热态向量,并生成时间晶格热态向量。
20、进一步的,在基于深度强化学习的热惯性感知供暖系统节能优化方法中,构建深度强化学习网络,将所述时间晶格热态向量融合到所述深度强化学习网络的状态空间中,利用深度深度强化学习网络生成多条候选未来动作流,具体为:
21、构建深度强化学习网络,将所述时间晶格热态向量融合到所述深度强化学习网络的状态空间中,设置供水温度调整量、循环泵频率调整量以及启停时间偏移量作为三个连续控制量,构建动作空间;
22、将状态空间的数据输入到actor网络中,输出动作的概率分布,将状态空间的数据输入到critic网络中,输出状态-动作价值,训练算法采用sac,并引入熵正则化项鼓励探索;
23、利用actor网络基于当前状态生成一个基准动作流,然后,在基准动作流的基础上添加不同幅度的探索噪声,生成多条候选未来动作流;
24、采用行列式点过程对生成的多条候选动作流进行多样性筛选,确保任意两条动作流之间的相似度不超过预设阈值。
25、进一步的,在基于深度强化学习的热惯性感知供暖系统节能优化方法中,基于时间晶格热态向量以及多条候选未来动作流进行未来热响应预测与候选动作流评估,选取综合评分最高的候选动作流作为最优目标动作流,具体为:
26、构建可微分的预测模型,输入当前的时间晶格热态向量和候选未来动作流,利用所述可微分的预测模型预测未来各时间步的室内温度;
27、同时,对于每条候选未来动作流生成基准情景、乐观情景以及悲观情景,每个情景中输出预设时间之内的室内文图序列和累计能耗,构建热舒适信息几何流形;
28、将每个时刻的室内温度和温度变化率映射为流形上的一个点,结合每条候选动作流预测得到的温度序列在热舒适信息几何流形的点表示,得到在流形上对应的轨迹点序;
29、基于所述轨迹点序计算轨迹到舒适区域的平均几何距离,基于所述平均几何距离对每条候选动作流计算综合评分,并选取综合评分最高的候选动作流作为最优目标动作流。
30、进一步的,在基于深度强化学习的热惯性感知供暖系统节能优化方法中,还包括:
31、将得到的最优目标动作流中的第一个动作立即下发给集中供暖系统的执行机构,执行完每个动作后,采集实际的实际室内温度变化、实际能耗反馈数据;
32、将实际室内温度变化与预测温度变化进行对比,计算预测误差,利用预测误差通过在线梯度下降更新各层级模型的参数;
33、将实际执行轨迹作为经验样本存入经验回放池。每隔预设步从经验回放池中随机采样一个批次的样本,用于更新actor网络和critic网络的参数,训练目标为最大化期望累积奖励。
34、本发明解决了背景技术中存在的缺陷,本发明具备以下有益效果:
35、本发明将集中供暖系统的多时间尺度热响应过程解耦为快响应层、中响应层和慢响应层,分别采用rc集总参数模型、状态空间模型和lstm进行独立建模与在线辨识,并通过跨尺度注意力机制实现自适应融合。所生成的时间晶格热态向量能够全面、准确地表征建筑在任一时刻的完整热状态,降低室内温度预测平均绝对误差以内,相比传统单一rc模型提升了预测精度。基于强化学习的持续自优化能力,系统能够在保障热舒适的前提下逐日优化控制策略,在相同室外气候条件和室内舒适度要求下,节省能耗。
36、本发明通过热舒适几何流形和actor-critic策略网络的协同在线更新,使得能够自适应建筑热工性能的时变特性(如保温材料老化、窗户密封性下降等)和用户使用模式的变化(如人员作息调整、室内热扰变化等),使得控制性能不受时间衰减。而且多情景预测机制使最优动作流的选择兼顾了乐观、基准、悲观三种外部条件情景,确保在气象预报偏差、太阳辐射突变等不确定性条件下仍能保持较好的控制效果。安全守护机制的嵌入更进一步保障了系统的工程运行安全,实现了智能决策与安全运行的统一。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com