基于深度强化学习的区域能源管网拓扑生成与优化方法

本发明涉及管网规划领域，具体涉及一种基于深度强化学习的区域能源管网拓扑生成与优化方法。

背景技术：

1、在进行区域能源管网的规划设计时，传统设计方法高度依赖工程师的个人判断，通常仅能考虑极少方案，耗时耗力且设计质量高度依赖工程师经验。以下为现有的几种信息化的自动规划方法及方法相应的缺陷。

2、1.基于图论的区域供冷供热（dhc）管网规划算法

3、该方案旨在解决区域供冷供热系统早期规划阶段的核心难题，即能源站选址与管网拓扑布局的优化设计。该方案开发了一种计算机辅助的算法化设计与决策框架，通过组合预设的确定性规则（如优先连接最远负荷点、消除小分支、切换分支连接点等）批量生成大量候选拓扑方案，并利用帕累托前沿筛选非支配解集供决策者选择。

4、该方案的不足之处在于：依赖预设规则，搜索空间受限：拓扑生成完全依赖人工设计的经验规则，探索空间被限制在规则支配的组合范围内，无法保证解的质量，容易陷入局部最优，且可能遗漏规则之外的更优拓扑结构。虽然采用帕累托前沿展示非支配解，但最终方案的选取仍需人工介入，框架本身不具备自动权衡多目标的能力，无法直接输出综合最优设计。并且，该方案无经验复用与迁移能力，对于每一个新项目，该框架都需从零开始完整运行整个生成与评估流程，无法复用过往项目积累的经验或知识，重复计算量大，效率难以提升。

5、2.基于图的多目标遗传算法/混合整数线性规划

6、该方案在考虑非线性泵送成本的前提下，实现了用户连接选择、管网拓扑和管径三个维度的同步优化，避免了分步优化的整体次优解。方案中提出了两种互补的求解范式以平衡精度与效率：（1）混合整数线性规划精确模型，追求解的全局最优性，但计算成本很高，且计算时间长，一般仅适用于中小规模网络；（2）启发式方法，以遗传算法和最小生成树为核心，追求计算效率，适用于大规模复杂网络，并引入图聚类技术改善其收敛性。

7、该方案的不足之处在于：无论是milp模型还是ga+mst方法，其模型均为某一静态、确定性场景专门定制。一旦输入条件发生变化（如用户需求改变、路网结构微调、成本参数更新），整个模型都必须重新构建并从头求解，且计算时间较长，无法适应工程实践中快速求解的需求。尤其在遗传算法中，前期的计算工作完全无法被复用，导致快速响应变化或多方案对比时效率低下，属于典型的“专有计算”范式。此外，该方法的启发式变体在求解拓扑子问题时，采用最小生成树作为固定连接策略，其本质是将长度作为系统造价的代理目标，但该策略常忽略系统压差、管网运营能耗等关键指标。

8、3. 基于地理信息的自动化非线性拓扑优化

9、该方案实现了从“人工建模”到“自动化数据驱动建模”的跨越。传统优化工具虽算法强大，但输入数据的准备（如绘制路网、估算负荷）耗费大量人力且容易出错。该项目自动化了整个预处理流程——直接从公开的地图中抓取最新的道路和建筑数据，极大提升了设计工作的起点效率和数据准确性，使得对真实城市区域进行高精度、大规模的优化分析成为可能。

10、该方案的不足之处在于：该方法在核心求解上仍是一个针对特定问题的数学求解器。对于每一个新的规划区域或场景（即使仅是热负荷或能源价格发生变化），都需从零开始运行一次完整的、独立的优化计算。前一次优化的结果或经验完全无法被继承或用于加速新的设计任务，是典型的单任务求解范式。进一步而言，该方法及变体常依赖于基于密度法的连续拓扑优化技术，即：将离散的“是否埋管”决策松弛为连续管径变量，再通过惩罚函数逐步将连续解靠近预设离散值。这种“连续松弛—惩罚逼近”的策略不仅需要精心设计惩罚函数和连续化策略，还可能在优化过程中产生物理意义不明确、不符实际的管径解，方法体系较为复杂且对惩罚参数敏感。

11、4.基于图算子的多目标进化优化

12、该方案提出了一种基于图的多目标遗传算法（gbmoga），用于同步优化区域供冷供热系统的管网布局和能源站选址。该方法将真实道路网络抽象为图——道路交叉口和建筑连接点作为节点，可埋设管道的道路作为边。设计目标被量化为两个需要最小化的指标：管网总投资和系统最不利环路压降。每个设计方案被编码为一棵以能源站为根、所有建筑为叶子的生成树。其核心创新在于设计了一套图感知的专用遗传算子——通过并集、变异、重定位和交叉操作，保证了进化过程中子代管网方案始终为合法连通的树状结构。

13、该方案的不足之处在于：（1）缺乏迁移学习能力：该算法对于给定的路网和负荷分布，必须运行一次完整的进化过程（数百代、数千次适应度评估）。一旦路网结构或负荷分布发生变化，整个种群必须完全重新初始化并重新进化，上一轮的进化结果对新场景毫无复用价值。（2）计算时长随问题规模呈超线性增长，在实际工程中难以接受：对于中等规模的街区项目，单次优化通常已接近小时级，而当地理范围扩展至大型区域或城市片区时，由于生成树搜索空间急剧膨胀，计算耗时往往跃升至数天乃至更长，严重制约了该方法在工程设计与方案比选阶段的实用性。（3）强制全图生成树导致搜索空间冗余：该方法在问题建模层面，将管网拓扑严格限定为“包含图中所有节点”的生成树。这意味着每一个道路交叉口和建筑连接点都被强制纳入最终的树结构中，即使某些中间节点在工程上仅为管道直线经过的位置、无需显式作为管网分叉节点。这种建模方式导致优化变量数量被不必要地膨胀，大量在物理本质上等价的拓扑方案被算法视为不同个体进行评估，浪费计算资源，且可能使搜索结果偏离真实的工程最优解。

技术实现思路

1、本发明是为了解决上述问题而进行的，目的在于提供一种基于深度强化学习的区域能源管网拓扑生成与优化方法。

2、本发明提供了一种基于深度强化学习的区域能源管网拓扑生成与优化方法，具有这样的特征，通过智能体与管网生成环境的序贯交互，逐边生成管网拓扑方案，生成过程基于回合制循环进行，包括以下步骤：环境重置步骤，在每一回合开始时获取地图底图，提取地图底图的张量，张量包括节点特征和边特征，并生成当前满足物理约束的候选节点池和候选边集合；前向推新步骤，由预先建立的图神经网络基于当前状态完成前向传播，输出全局边的策略逻辑值与当前状态价值至智能体，智能体在候选边集合中进行采样，选定下一步拟连通的管道边, 图神经网络将选定的管道边加入当前的管网图，并同步更新候选节点池与管网的特征状态；环境步进步骤，循环执行前向推新步骤，直到管网图中所有终端节点均已连通或触发死胡同，死胡同为不存在合法候选边且仍存在未连通的终端节点的状态，当所有终端节点均已连通时，生成过程进入终止状态，进行下一步骤，若触发死胡同则放弃当前管网并重新开始进入新的一个回合；拓扑输出步骤，当生成过程进入终止状态时，在满足物理约束的条件下为各条管道边表示的新连通管道匹配最小可行管径，并计算管网总造价，输出当前的管网图作为管网拓扑方案。

3、本发明提供的基于深度强化学习的区域能源管网拓扑生成与优化方法，还可以具有这样的特征，图神经网络的训练阶段包括生成管网拓扑方案的所有步骤，还包括轨迹收集步骤和参数更新步骤，轨迹收集步骤，在每次前向推新步骤的循环执行过程中，图神经网络将包括状态、奖励值、终止状态在内的数据按时间顺序写入轨迹并缓存；参数更新步骤，当累计写入轨迹的时间步数达到指定数量时，图神经网络将完整的轨迹传输到智能体，智能体对轨迹进行多轮小批量迭代，迭代时计算联合损失函数，根据计算结果执行反向传播并更新图神经网络的参数，随后清空缓存重新进入下一回合。

4、本发明提供的基于深度强化学习的区域能源管网拓扑生成与优化方法，还可以具有这样的特征，在轨迹收集步骤中，引入全局步数计数器，当全局步数计数器累计达到指定数量的时间步数后，触发参数更新步骤。

5、本发明提供的基于深度强化学习的区域能源管网拓扑生成与优化方法，还可以具有这样的特征，在参数更新步骤中，智能体采用近端策略优化算法进行迭代和参数的更新，包括：基于完整的轨迹的数据，利用广义优势估计计算优势值，构建联合损失函数，进行策略损失和价值损失的计算，并引入策略熵正则化项，执行多轮参数的更新。

6、本发明提供的基于深度强化学习的区域能源管网拓扑生成与优化方法，还可以具有这样的特征，其中，地图底图为随机生成的合成底图，生成地图底图时采用delaunay三角化算法或l-system生长算法，同时设置建筑接入约束，并将被智能体选中的管道边的所有冲突垂线加入图神经网络中预设的垂线黑名单，剔除出候选边集合；在前向推新步骤中，当管道边加入管网图后，管道边的端点同步加入候选节点池，遍历候选节点池中所有节点在地图底图中的邻接边，若其对侧邻居尚未加入管网图且不在垂线黑名单中，则将该边动态加入下一时间步的候选边集合。

7、本发明提供的基于深度强化学习的区域能源管网拓扑生成与优化方法，还可以具有这样的特征，其中，节点特征包含节点类型、归一化坐标、节点负荷、是否已入网标记以及在当前管网中的归一化度数；边特征包含归一化物理长度、是否有已被选入管网的显式记忆标记、是否为当前合法候选边以及是否接触管网前沿。

8、本发明提供的基于深度强化学习的区域能源管网拓扑生成与优化方法，还可以具有这样的特征，其中，图神经网络采用双层transformerconv主干网络，双层transformerconv主干网络输出后分为策略分支与价值分支，策略分支与价值分支基于地图底图的特征，共享双层transformerconv主干网络，在前向推新步骤中，策略分支输出全局边的策略逻辑值，价值分支输出当前状态价值，在价值分支前设置detach操作，从而阻断其损失向双层transformerconv主干网络的特征层反向传播。

9、本发明提供的基于深度强化学习的区域能源管网拓扑生成与优化方法，还可以具有这样的特征，其中，在每个回合开始前，在图神经网络中预设全局点边id映射字典，从而保证管网拓扑方案中图拓扑结构与张量索引对齐，在前向推新步骤中，选定管道边时，仅抽取候选边集合中的合法候选边对应的策略逻辑值子集进行分布采样，通过全局点边id映射字典反向解析得到全局边id。

10、本发明提供的基于深度强化学习的区域能源管网拓扑生成与优化方法，还可以具有这样的特征，在图神经网络的训练阶段，拓扑输出步骤中，计算管网总造价与奖励值，设置奖励函数，包括：当成功连通所有终端节点时，求解各管段流量，按拓扑输出步骤为各条新连通管道匹配最小可行管径，再根据最终管网物理量计算管网总造价和系统最不利环路压降；当触发死胡同未完成全连通时，对当前回合赋予预设的极大惩罚值，强制智能体在探索中规避物理死路。

11、本发明提供的基于深度强化学习的区域能源管网拓扑生成与优化方法，还可以具有这样的特征，其中，在图神经网络的训练阶段，将原始物理量级的奖励值线性进行缩放处理，以避免管网造价奖励值原始量级过高引发梯度爆炸与激活饱和。

12、与现有技术相比，本发明的作用与效果包括：

13、本发明的基于深度强化学习的区域能源管网拓扑生成与优化方法，通过智能体与管网生成环境的序贯交互，生成管网拓扑方案，这种自主学习的方式能够跳出人为规则的束缚，应用于更为广阔的管网设计场景中，并且最终收敛至接近全局最优的网拓扑方案，在成本和性能上显著优于固定规则生成的策略；本发明中，因为管网拓扑方案的生成过程基于回合制循环进行，每个回合都会重置为一个随机生成的新网络环境，因此，智能体并非去记忆某一个特定问题的最优解，而是去学习一种与问题实例无关的通用“布网策略”，从而将管网规划转化为序贯决策的学习问题，一个训练完成的智能体可以直接应用到一个全新的、未见过的项目场景中，并迅速推理出近优的管网布局，无需从头开始优化，从根本上实现了向通用策略的范式跨越。

14、本发明的管网拓扑生成与优化方法中，因为设置了奖励函数来计算管网总造价与奖励值，计算过程直接融合了管网总成本、水力压降、叶子节点连通性等多重工程目标，因此，通过训练，智能体能够隐式地学会这些目标之间的平衡关系，无需事后的帕累托筛选或人为决策，即可直接生成兼顾经济性与水力性能的综合最优管网方案。

15、本发明的管网拓扑生成与优化方法中，图神经网络经过多次管网拓扑生成过程的循环后进行轨迹收集和参数更新，无需对问题进行连续松弛、惩罚函数设计或复杂的数学规划转化，也无需设计专门的合法性修复算子，方法简洁、通用、鲁棒。