基于分层强化学习的城市水务动态调度优化方法及装置与流程

本技术实施例涉及智慧水务调度控制领域，具体而言，涉及一种基于分层强化学习的城市水务动态调度优化方法及装置。

背景技术：

1、城市水务调度是指为保障城市用水安全与排水顺畅，通过协调各涉水设施，对水资源在供水、排水等环节进行动态分配与控制。相关技术中城市水务调度系统采用分级管理、独立控制（如污水厂、管网泵站、河道闸门为独立控制），且依赖固定规则或线性优化模型，导致在复杂动态工况（如降雨波动、非线性水动力响应）下，容易出现延迟溢流、局部蓄水不足或泵站能耗过高等问题。

技术实现思路

1、本技术实施例在于提供一种基于分层强化学习的城市水务动态调度优化方法及装置，旨在克服上述问题或者至少部分地解决上述问题。

2、本技术实施例第一方面提供一种基于分层强化学习的城市水务动态调度优化方法，包括：

3、获取城市水务数据，并根据所述城市水务数据，确定全流域的城市汇总数据和全流域包括的多个子流域各自对应的局部水务数据，所述城市水务数据至少包括：污水厂进出水流量、水质浓度、管网节点水位、泵功率、闸门开度、河道流速、河道水位和降雨量；

4、将所述全流域的城市汇总数据输入预先训练好的城市水务调度模型中的全局协调层，输出多个子流域各自对应的调度系数、目标水位区间和目标水质区间；

5、将所述多个子流域各自对应的局部水务数据、调度系数、目标水位区间和目标水质区间输入预先训练好的城市水务调度模型中的局部执行层，输出多个子流域各自对应的污水厂泵启停、曝气强度调整、出水流量设定、管网区域泵站启停、阀门开度控制、河道闸门启闭及调蓄池进出流量控制；

6、其中，所述城市水务调度模型采用分层强化学习架构，将城市水务动态调度分为全局协调层和局部执行层，所述全局协调层负责全流域水位安全、污染削减与水务运行能耗最小化目标，所述局部执行层负责调度策略中的控制动作。

7、在一种可选的实施方式中，按照以下步骤构建所述全局协调层：

8、定义所述全局协调层的第一状态，所述第一状态至少包括：全流域的城市汇总数据中的总进水量、系统总能耗、河道水位余量和污染负荷；

9、定义所述全局协调层的第一动作，所述第一动作至少包括：各子流域的调度系数、目标水位和目标水质区间；

10、定义所述全局协调层的第一更新周期；

11、构建所述全局协调层的第一智能体，所述第一智能体用于根据当前第一状态选择第一动作；

12、建立所述全局协调层的第一智能体的第一奖励函数：

13、；

14、其中，rh为第一奖励；hr为河道实时水位；hrtar为河道安全水位；cf为污水厂出水浓度；etotal为系统总能耗；ɑ、β、γ为预先设定好的目标权重系数；所述全局协调层的奖励函数的总目标为在保持河道安全水位和污染削减的同时最小化能耗。

15、在一种可选的实施方式中，按照以下步骤构建所述局部执行层：

16、定义所述局部执行层的第二状态，所述第二状态至少包括：各子流域的局部水务数据；

17、定义所述局部执行层的动作，所述第二动作至少包括：各子流域的污水厂泵启停、曝气强度调整、出水流量设定、管网区域泵站启停、阀门开度控制、河道闸门启闭及调蓄池进出流量控制；

18、定义所述局部执行层的第二更新周期，所述局部执行层的第二更新周期小于所述全局协调层的第一更新周期；

19、构建所述局部执行层的多个第二智能体，所述多个第二智能体用于根据各自当前第二状态选择各自的第二动作；

20、建立所述局部执行层的每个第二智能体的第二奖励函数：

21、；

22、其中，为第i个子流域的对应的第i个第二智能体的第二奖励；为第i个子流域的节点水位，为第i个子流域的安全目标水位；为第i个子流域的局部出水浓度；为第i个子流域的水质达标阈值；为第i个子流域的局部泵功率消耗；ωi为全局协调层输出的第i个子流域的调度系数，ωi，h，ωi，c，ωi，e为全局协调层输出的第i个子流域的子调度系数。

23、在一种可选的实施方式中，按照以下步骤训练城市水务调度模型：

24、所述全局协调层的第一智能体根据当前第一状态选择第一动作；

25、所述局部执行层的多个第二智能体根据各自的当前第二状态和第一动作选择第二动作；

26、将当前第一状态、当前第二状态和第二动作输入代理环境模型，输出下一个第一状态和第二状态，以及第一奖励参数和第二奖励参数；

27、所述全局协调层的第一智能体根据第一奖励参数和第一奖励函数，计算第一奖励；

28、所述局部执行层的多个第二智能体根据各自的第二奖励参数和第二奖励函数，计算各自对应的第二奖励；

29、基于所述第一奖励和所述第二奖励，根据总损失函数计算总损失，并根据所述总损失，对所述第一智能体的网络参数和所述多个第二智能体的网络参数进行更新，得到训练好的城市水务调度模型；

30、其中，所述总损失函数嵌入多种约束，所述约束至少包括：泵功率约束、河道水位约束和污水厂出水达标约束，该总损失函数为：

31、；

32、其中，l为总损失；lrl为-j_rl，j_rl为累计奖励；λ为权重增益；pp为泵功率，pmax为泵功率限值；hr是河道实时水位，hrtar是河道安全水位；cf为污水厂出水浓度，cftar为水质达标阈值。

33、在一种可选的实施方式中，所述代理环境模型包括多层长短期记忆网络和图神经网络；按照以下步骤训练代理环境模型：

34、采用机理水动力水质模型对少量典型工况进行离线仿真，得到训练样本，所述训练样本包括：样本当前状态、样本第二动作、下一样本状态和下一样本奖励；

35、基于所述训练样本中的样本当前状态和样本第二动作，对待训练的代理环境模型进行训练；

36、根据所述待训练的代理环境模型针对一个训练样本输出的预测状态和预测奖励，以及对应的下一样本状态和下一样本奖励，对所述待训练的代理环境模型的模型参数进行更新，得到训练完毕的代理环境模型。

37、在一种可选的实施方式中，所述方法还包括：

38、实时监测目标指标，所述目标指标包括：系统能耗、出水水质和水位波动；

39、当目标指标中的一个或多个指标大于各指标对应的预设阈值的情况下，对所述城市水务调度模型进行再训练，直到所有目标指标均低于各自预设阈值且模型总损失收敛稳定，得到更新后的城市水务调度模型。

40、本技术实施例第二方面提供一种基于分层强化学习的城市水务动态调度优化装置，包括：

41、获取模块，用于获取城市水务数据，并根据所述城市水务数据，确定全流域的城市汇总数据和全流域包括的多个子流域各自对应的局部水务数据，所述城市水务数据至少包括：污水厂进出水流量、水质浓度、管网节点水位、泵功率、闸门开度、河道流速、河道水位和降雨量；

42、第一处理模块，用于将所述全流域的城市汇总数据输入预先训练好的城市水务调度模型中的全局协调层，输出多个子流域各自对应的调度系数、目标水位区间和目标水质区间；

43、第二处理模块，用于将所述多个子流域各自对应的局部水务数据、调度系数、目标水位区间和目标水质区间输入预先训练好的城市水务调度模型中的局部执行层，输出多个子流域各自对应的污水厂泵启停、曝气强度调整、出水流量设定、管网区域泵站启停、阀门开度控制、河道闸门启闭及调蓄池进出流量控制；

44、其中，所述城市水务调度模型采用分层强化学习架构，将城市水务动态调度分为全局协调层和局部执行层，所述全局协调层负责全流域水位安全、污染削减与水务运行能耗最小化目标，所述局部执行层负责调度策略中的控制动作。

45、本技术实施例第三方面，提供一种电子设备，包括：存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现第一方面所述的基于分层强化学习的城市水务动态调度优化方法的步骤。

46、本技术实施例第四方面，提供一种可读存储介质，其上存储程序或指令，所述程序或指令被处理器执行时实现第一方面所述的基于分层强化学习的城市水务动态调度优化方法的步骤。

47、本技术实施例第五方面，提供一种程序产品，包括程序，所述程序被处理器执行时实现第一方面所述的基于分层强化学习的城市水务动态调度优化方法的步骤。

48、有益技术效果：

49、本技术通过采用分层强化学习架构的城市水务调度模型进行城市水务调度决策，实现城市“厂网河”一体化的动态联动控制，提升处理效率与环境效益；采用强化学习能够通过与环境的交互学习，自动适应降雨波动、水动力非线性变化等复杂工况，有效减少因响应滞后或决策失当导致的延迟溢流和局部蓄水不足；将复杂厂网河联合调度拆分为高层全局协调和低层局部执行，即城市水务调度模型的全局协调层和局部执行层，降低状态、动作维度，提高了模型训练效率、稳定性和实时调度能力。