一种城市防洪排水智能控制系统的制作方法

1.本发明涉及城市排水技术领域，具体涉及一种城市防洪排水智能控制系统。


背景技术：

2.城市内涝和洪水危机会给人们带来极大的生命和财产损失，由于现代的城市路面几乎全是硬质下垫面，加上全球变暖等因素，导致极端降雨事件不可避免，我们需要加强城市防洪排水系统的建设。目前主流的解决方案有两大类，一是扩建排水管道，二是水文专家们控制排水系统，对雨水进行合理的引流调度。
3.由于城市的地下建筑，地铁等地下设施的存在，扩建排水管道工程量巨大，且原有的管道难以更改。另一方面，由水文专家实时检测降水情况难以搜集和处理整个城市的信息，且延迟比较大，受主观因素影响较大，准确率也有待提高。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种城市防洪排水智能控制系统，所采用的技术方案具体如下：数据获取模块，用于根据城市信息构建排水系统模型，获取城市管网数据和地形图并构建管网分布图；所述管网分布图包括汇水区以及每个汇水区与主管道之间的可调节对象；根据可调节对象中阀门的开合度和调控水泵的功率得到调节参数；数据处理模块，用于获取管网分布图上每个汇水区包含的建筑类型标签，根据所述建筑类型标签获取汇水区的第一特征值；根据每个汇水区的溢流量获取汇水区的第二特征值；对每个汇水区进行径流演算获取汇水区的第三特征值；将各汇水区在设定时间段内的第一、第二和第三特征值构成汇水区的状态向量；根据相邻两个汇水区的高度信息计算排水程度评价值；智能调控模块，用于构建强化学习模型，该模型以排水系统模型为环境，以可调节对象的控制系统为智能体，包括中心协调网络；通过环境获取设定时间段内的状态向量、动作信息以及局部奖励构成智能体的向量串，并获取设定时间段内汇水区的降水量构建全局奖励；将所述向量串、全局奖励和排水程度评价值输入中心协调网络输出调控向量；将调控向量与智能体的状态向量拼接后输入各智能体得到智能体在下一设定时间段对应的动作信息，根据所述动作信息对调节参数进行控制调节。
5.优选地，所述将所述向量串、全局奖励和排水程度评价值输入中心协调网络输出调控向量具体为：将向量串、全局奖励和排水程度评价值输入中心协调网络，利用向量串和排水程度评价值获取中心协调网络聚合层对向量串进行聚合的权重，根据所述权重和向量串通过中心协调网络得到各智能体对应的调控向量；其中，所述权重具体为：
其中，表示智能体a对应的权重，为激活函数，表示智能体a的向量串，表示智能体b的向量串，为通过中心协调网络中获取的线性变化矩阵，为通过中心协调网络中获取的差异性向量，表示汇水区b对应的智能体b向汇水区a对应的智能体a排水的排水程度评价值，表示智能体b对应的局部奖励，u表示所有与智能体a对应的汇水区相邻的智能体对应的汇水区的集合，和表示权重系数，表示向量拼接操作。
6.优选地，所述第一特征值的获取方法具体为：根据城市规划图获取管网分布图上每个汇水区包含的建筑类型，人为的为各种建筑类型进行标注得到建筑类型标签，对建筑类型标签进行加权求和得到汇水区的建筑类型特征值；获取中心地铁站的地理坐标在管网分布图上的对应位置为城市中心点，获取每个汇水区的最小外接圆的圆心，根据各汇水区对应的圆心到城市中心点的距离得到汇水区的距离特征值；所述建筑类型特征值和距离特征值构成汇水区的第一特征值。
7.优选地，所述第三特征值的获取方法具体为：获取一个设定时间段的时间长度作为演算时间，并获取汇水区的降雨强度、雨水渗透率以及蒸发率，对每个汇水区进行径流演算得到径流预测值，所述径流预测值为汇水区的第三特征值。
8.优选地，所述根据相邻两个汇水区的高度信息计算排水程度评价值具体为：从地形图中分割出相邻两个汇水区的高度图像，并对其进行灰度化处理得到高度灰度图像，将两个汇水区相接的边界两个端点用直线相连，再将该直线旋转至与水平方向夹角为45度的方向得到地表流向地形图；计算所述地表流向地形图的灰度共生矩阵，进而计算灰度共生矩阵的能量和对比度，根据所述能量和对比度的比值得到流水阻力；获取这两个汇水区内所有建筑地表的平均高度，根据两个汇水区的平均高度之差、以及流水阻力得到排水程度评价值。
9.优选地，所述全局奖励的获取方法具体为：获取并根据雨水重现期和汇水区的总数量确定基线值，根据基线值和设定时间段内城市降水量计算全局奖励。
10.优选地，所述局部奖励的获取方法具体为：获取汇水区的降水量，并根据降水量计算汇水区的雨水溢出量，获取城市在设定时间段内的雨水重现期，计算局部奖励用公式表示为：时间段内的雨水重现期，计算局部奖励用公式表示为：其中，表示智能体a对应的局部奖励，表示智能体a对应的局部基线值，
表示智能体a对应的汇水区a的雨水溢出量，表示智能体a对应的汇水区a的第二特征值，表示当前设定时间段内的雨水重现期，为权重系数。
11.优选地，所述智能体具体为深度q网络。
12.优选地，所述智能体在下一设定时间段对应的动作信息具体为：智能体在下一设定时间段对应的对可调节对象的调节动作信息。
13.本发明实施例至少具有如下有益效果：本发明通过构建排水系统模型以获取训练强化学习模型需要的相关数据，并在强化学习模型中增加了中心协调网络，通过结合每个汇水区的建筑类型、雨水的溢流量和径流流量来获取各汇水区的状态，并利用中心协调网络聚合与各汇水区相邻的汇水区的状态，进行全局监控，以每个汇水区的可调节对象的调控系统为智能体，共同协作，以达到实时控制城市的排水系统的目的，且根据雨水的重现期构建奖励函数达到全局最优的情况。本发明能够及时的根据城市的降水等情况进行调控城市的排水系统，考虑了多方面的因素，使得调控结果较为精确，能够有效防止城市的洪水灾害，保障了城市的安全。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
15.图1是本发明的一种城市防洪排水智能控制系统的系统框图。
具体实施方式
16.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种城市防洪排水智能控制系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
17.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
18.实施例：下面结合附图具体的说明本发明所提供的一种城市防洪排水智能控制系统的具体方案。
19.请参阅图1，其示出了本发明一个实施例提供的一种城市防洪排水智能控制系统的系统框图，该系统包括：数据获取模块，用于根据城市信息构建排水系统模型，获取城市管网数据和地形图并构建管网分布图；所述管网分布图包括汇水区以及每个汇水区与主管道之间的可调节对象；根据可调节对象中阀门的开合度和调控水泵的功率得到调节参数。
20.具体地，利用山脉科技（summit）的水文产品获取相关数据，并根据城市信息结合
swmm模型构建城市的排水系统模型，用来模拟城市的排水系统运行情况。其中，swmm模型为公知技术，在此只做简单的介绍。swmm模型能够在虚拟环境中仿真模拟城市径流和地下排水系统，在1971年由美国环境保护局开发。在本实施例中，使用5.1版本的swmm模型软件进行模拟，在swmm模型中根据芝加哥模型得到各种降雨时间序列，用以在计算机中模拟真实的城市降雨情况。
21.通过官方的气象网站和地理网站获取城市管网数据和地形图，利用数字高程图自动划分法，根据地形高低自动划分每一个雨水下水口的汇水区。其中，高程图自动划分法为公知技术，常用于水文分析，例如汇水区分析。根据所有汇水区构建管网分布图，且每个汇水区的总管道均与城市的主管道相连，然后流向自然界，自然界的水系可以看作一个容量无限大的大型蓄水池。需要说明的是，管网分布图中相连的两个汇水区互为相邻的汇水区。
22.在每个汇水区的总管道与主管道之间设有可调节对象，可调节对象包括调节阀和调控水泵。主管道有着预设的倾斜角，一般是由中心城区至外环城区向下倾斜，保证雨水能够流向自然界，调节阀的阀门也有着预设的角度以控制水流流向，但可以通过调控水泵来逆转流向，所以一个调节阀两端的汇水区的流向是可以人为控制的。当一个汇水区向主管道的排水量变小了，周围的排水区的下水管道受到的阻力就会变小，排水速度就会加快。
23.根据可调节对象中调节阀阀门的开合度和调控水泵的功率得到调节参数。由于会存在城市的主管道比汇水区的总管道高的情况，要想实现汇水区内的水经总管道流向城市主管道，则需要通过调控水泵来运送。因此可以通过控制调节阀阀门的开合度改变量，以及调控水泵功率的改变量，达到控制城市地下水流向的目的。
24.数据处理模块，用于获取管网分布图上每个汇水区包含的建筑类型标签，根据所述建筑类型标签获取汇水区的第一特征值；根据每个汇水区的溢流量获取汇水区的第二特征值；对每个汇水区进行径流演算获取汇水区的第三特征值；将各汇水区在设定时间段内的第一、第二和第三特征值构成汇水区的状态向量；根据相邻两个汇水区的高度信息计算排水程度评价值。
25.首先，根据城市规划图获取管网分布图上每个汇水区包含的建筑类型，人为的为各种建筑类型进行标注得到建筑类型标签，对建筑类型标签进行加权求和得到汇水区的建筑类型特征值；获取中心地铁站的地理坐标在管网分布图上的对应位置为城市中心点，获取每个汇水区的最小外接圆的圆心，根据各汇水区对应的圆心到城市中心点的距离得到汇水区的距离特征值；所述建筑类型特征值和距离特征值构成汇水区的第一特征值。
26.具体地，根据城市规划图，获取管网分布图上每个汇水区内包含的建筑类型，在本实施例中，每个汇水区内包含的建筑类型包括交通枢纽、下沉建筑、住宅区、商业区、工业区、绿化区域、地表水系和城市外环。用数字代码人为的为每种建筑类型进行标注得到建筑类型标签，并且将其按照重要程度分配不同大小的数字。即将建筑类型标签按照重要程度排序可表示为交通枢纽、下沉建筑、住宅区、商业区、工业区、绿化区域、地表水系和城市外环。同时，获取汇水区中每种建筑类型的面积占该汇水区总面积的比值，利用所述比值与建筑类型标签进行加权求和得到建筑类型特征值，用公式表示为：
其中，ds表示汇水区的建筑类型特征值，表示第i个建筑类型的面积占该汇水区总面积的比值，表示第i个建筑类型对应的建筑类型标签。
27.根据城市规划图获取城市中心地铁站的地理坐标，根据其地理坐标获取城市中心地铁站在管网分布图上的对应位置，将该位置设置为城市中心点，并以城市中心点为坐标原点构建直角坐标系。获取每个汇水区的最小外接圆的圆心坐标，根据所述圆心坐标与城市中心点的坐标计算各汇水区最小外接圆的圆心到城市中心点的距离，得到汇水区的距离特征值。综合汇水区的建筑类型特征值和距离特征值得到汇水区的第一特征值，记为，其中ds表示汇水区的建筑类型特征值，d表示汇水区的距离特征值。
28.然后，根据每个汇水区的溢流量获取汇水区的第二特征值。在本实施例中，获取汇水区内每个建筑类型区域的雨水的溢流量上限值，将其中最低的溢流量上限值作为该汇水区的溢流量上限值，则该汇水区的溢流量上限值即为汇水区的第二特征值。需要说明的是，在一个汇水区内包含的不同建筑类型区域内的溢流量上限也是不同的，为了最大限度的保护重要的区域，将汇水区内包含的建筑类型区域的最低的溢流量上限作为汇水区的溢流量上限。
29.进一步的，获取一个设定时间段的时间长度作为演算时间，并获取汇水区的降雨强度、雨水渗透率以及蒸发率，对每个汇水区进行径流演算得到径流预测值，所述径流预测值为汇水区的第三特征值。
30.具体地，在设定时间段内对每一个汇水区进行监测，在本实施例中设定时间段的取值为一个小时，实施者也可根据实际情况进行设置。进而对每个汇水区进行径流演算，径流计算公式为：其中，z表示径流预测值，j为汇水区的降雨强度，单位为mm/h，f为汇水区的雨水渗透率，单位为mm/h，其取值与土壤性质相关。为演算时间，在本实施例中以一个设定时间段的时间长度作为演算时间，e为汇水区的雨水蒸发量。将径流预测值作为汇水区的第三特征值。
31.需要说明的是，径流计算公式是基于水文学获取的，为公知技术，在此不再过多赘述。在后续实际使用的过程中，可以采用山脉科技研发的summit-w4000型一体化雨量遥测装置获取降雨强度数值，其他数据可以从当地的气象或地质网站获取。
32.综合汇水区在设定时间段内的第一、第二和第三特征值得到汇水区的状态向量，即，其中，x为第一特征值，y为第二特征值，z为第三特征值，所述状态向量可以表示汇水区在一个设定时间段内的状态。
33.最后，从地形图中分割出相邻两个汇水区的高度图像，并对其进行灰度化处理得到高度灰度图像，将两个汇水区相接的边界两个端点用直线相连，再将该直线旋转至与水平方向夹角为45度的方向得到地表流向地形图；计算所述地表流向地形图的灰度共生矩阵，进而计算灰度共生矩阵的能量和对比度，根据所述能量和对比度的比值得到流水阻力；
获取这两个汇水区内所有建筑地表的平均高度，根据两个汇水区的平均高度之差、以及流水阻力得到排水程度评价值。
34.具体地，针对两个相邻的汇水区，在地形图中将汇水区a和与它相邻的一个汇水区b分割出来，得到只包含这两个相邻的汇水区的高度图像，并对高度图像进行灰度化处理得到高度灰度图像，即将高度图像中高度的取值投影到[0,255]区间内，从而转化为灰度图像。
[0035]
由于汇水区a和汇水区b为相邻的区域，则在高度灰度图像中，汇水区a和汇水区b存在相接壤的边界，获取边界上的两个端点，并将两个端点用直线连接，然后旋转高度灰度图像使得该直线与水平方向的夹角为45度，得到地表流向地形图。
[0036]
计算所述地表流向地形图的灰度共生矩阵，进而计算灰度共生矩阵的能量和对比度，根据所述能量和对比度的比值得到流水阻力，用公式表示为：其中，表示汇水区a和汇水区b对应的流水阻力，asm为灰度共生矩阵的能量，con为灰度共生矩阵的对比度，和为权重系数，实施者可根据实际情况进行设置。
[0037]
能量asm是灰度共生矩阵中每个元素的平方和，反应了各种地形起伏的分布均匀程度，如果地势越不平坦，那么能量asm的值越大，水流越难移动到另一个汇水区。对比度con反应灰度共生矩阵的对角线上元素的变化，反应了对角线两端元素值的变化，对角线上的元素值变化越大，对比度con越小。如果两个汇水区接壤的部分地势越高，对比度con越小，水流越难跨过接壤地区移动到另一个汇水区，更容易移动到其他汇水区。
[0038]
获取两个相邻的汇水区内包含的所有建筑类型区域的高度的平均值得到汇水区的平均高度，根据两个汇水区的平均高度之差、以及流水阻力得到排水程度评价值，用公式表示为：其中，表示汇水区b向汇水区a排水的排水程度评价值，和分别为汇水区a和汇水区b的平均高度，表示汇水区a和汇水区b对应的流水阻力，为权重系数，实施者可根据实际情况进行设置。
[0039]
因为城市的地势一般较为平坦，一个汇水区内的地形很难有较大的起伏，地势越低，越容易积水。当地表的溢流量大于一定的程度时，汇水区之间的地表水和地下浅层水和地下连同管道内的水会跨区域流动。
[0040]
如果一个汇水区的周围全是比它地势更高的汇水区，那么与其相邻的汇水区的雨水会经由地表流向该汇水区，因此它需要加大泄洪力度；如果一个汇水区的周围全是比它地势更低的汇水区，同理，它可能需要减少泄洪力度，更复杂的情况则通过后续强化学习模型结合全局信息进行控制。
[0041]
智能调控模块，用于构建强化学习模型，该模型以排水系统模型为环境，以可调节对象的控制系统为智能体，包括中心协调网络；通过环境获取设定时间段内的状态向量、动
作信息以及局部奖励构成智能体的向量串，并获取设定时间段内汇水区的降水量构建全局奖励；将所述向量串、全局奖励和排水程度评价值输入中心协调网络输出调控向量；将调控向量与智能体的状态向量拼接后输入各智能体得到智能体在下一设定时间段对应的动作信息，根据所述动作信息对调节参数进行控制调节。
[0042]
首先，构建强化学习模型，该模型以排水系统模型为环境，以可调节对象中调节阀和调控水泵的控制系统为智能体，具体为一种深度q网络，包括中心协调网络，所述中心协调网络的深度网络类型在本实施例中为全连接神经网络。
[0043]
在本实施例中，利用基于dqn的强化学习算法构建强化学习模型，主体包括智能体和环境。强化学习模型的核心思想在于训练多个智能体，使它们在与环境的交互过程中不断学习，最终获得能够达到最优效果的中心协调网络，以及多个智能体的深度q网络。
[0044]
通过中心协调网络的设计，对排水管道信息进行集中收集分发，对通信次数和复杂度进行有效控制，以使算法更好的缓解环境非平稳造成的多智能体策略不协调的问题。算法的网络模型顶层是中心协调网络，底层是每一个智能体的深度q网络，通过这种通信学习的方法，智能体之间通过显式的通信来沟通各自的当前状态和策略产生的对应的动作信息，可以减少由马尔科夫决策过程和非平稳环境引起的问题，使智能体的联合动作更协调。其中，智能体的联合动作为每个智能体的动作的集合。
[0045]
需要说明的是，通过环境观测获取当前设定时间段内智能体的状态，但是不直接输入智能体的深度q网络中，而是由中心协调网络统一处理，经中心协调网络处理后为每个智能体下发调控向量，智能体获取到调控向量后与其状态向量进行拼接后输入深度q网络中，最终得到该智能体在下一个设定时间段内应该执行的动作对应的动作信息。按照该动作信息对可调节对象进行调控后会引发智能体对应的新的状态，并得到环境给予的全局奖励。全局奖励最终也由中心协调网络直接获取，每一个智能体对应的局部奖励最终包含在调控向量中。奖励值能够指示整个强化学习模型的优化方向，在本实施例中具体使用的优化算法为时间差分算法，实施者也可根据实际情况进行选择。
[0046]
根据获得的新的状态，即可进入下一时段的循环。由上一设定时间段的状态至当前设定时间段的状态的改变是一个未知的马尔科夫过程，因此需要通过学习到一个策略模型来应对状态的变化。为了避免延迟和没有考虑到全局信息就进行决策的问题，在本实施例中使用当前一个设定时间段内的相关信息作为聚合对象。
[0047]
即通过环境获取当前一个设定时间段内各智能体对应的状态向量、动作信息和局部奖励，构成智能体的向量串。其中，由于智能体为可调节对象中调节阀和调控水泵的控制系统，同时，每个汇水区对应一个可调节对象，进而可知一个智能体对应一个汇水区。
[0048]
其中，所述动作信息指的是对各智能体对应的可调节对象的调节动作信息，例如具体为可调节对象中的调节阀阀门为全开，可调节对象中的调控水泵给予正向的排水压力。
[0049]
所述局部奖励的获取方法具体为：获取各汇水区的监测降水量，根据该降水量计算汇水区的雨水溢出量，具体计算方法为公知技术。其中，降水量的实际数据可以使用山脉科技研发的smt-rw100型雷达水位计实时监测水位。
[0050]
获取城市的雨水重现期，根据雨水的重现期构建不同的基线，从而产生不同的奖
励函数。雨水的重现期指的是在一定的统计期内，等于或大于某统计对象出现一次的平均间隔时间，重现期越大的雨的降水量越大，例如重现期为100年的大雨也称“百年一遇的大雨”。
[0051]
同时，为了避免奖励值正负值数量失衡，添加基线值，基线值与雨水重现期的值相关，雨水重现期的取值越大，基线值越大，甚至大于积水限度。
[0052]
具体地，计算局部奖励用公式表示为：具体地，计算局部奖励用公式表示为：其中，表示智能体a对应的局部奖励，表示智能体a对应的局部基线值，表示智能体a对应的汇水区a的雨水溢出量，表示智能体a对应的汇水区的溢流量上限值即汇水区a的第二特征值，表示当前设定时间段内的雨水重现期，为权重系数，经验取值为，实施者也可根据实际情况进行选择。
[0053]
在雨水重现期的取值为500时，获得局部基线值的最大值，根据经验局部基线值为汇水区的溢流量上限的1.5倍，因为在如此强大的降雨量面前，应该适当放宽给予奖励值的标准。
[0054]
需要说明的是，在本实施例中采用的是一种中心化决策，去中心化执行的方式。从环境中得到的奖励只反馈给中心协调网络，再通过中心协调网络反馈给智能体。而普通的强化学习，智能体的奖励由环境获取，同时智能体可以与环境进行交互。
[0055]
然后，获取并根据雨水重现期和汇水区的总数量确定基线值，根据基线值和设定时间段内城市降水量计算全局奖励。
[0056]
具体地，获取汇水区对应的可调节对象中调节阀阀门的数量，该数量取值越小，执行成功的可能性越高，消耗的成本越低，并且可以增强模型的鲁棒性。计算全局奖励用公式表示为：表示为：其中，r表示全局奖励，表示全局基线值，表示智能体a对应的汇水区a的雨水溢出量，表示所有汇水区对应的可调节对象中调节阀阀门的总数量，n表示汇水区的总数量，表示智能体a对应的汇水区的溢流量上限值即汇水区a的第二特征值，表示当前设定时间段内的雨水重现期。
[0057]
将向量串、全局奖励和排水程度评价值输入中心协调网络，利用向量串和排水程度评价值获取中心协调网络聚合层对向量串进行聚合的权重，根据所述权重和向量串通过
中心协调网络各智能体对应的调控向量；其中，所述权重具体为：其中，表示智能体a对应的权重，为激活函数，表示智能体a的向量串，表示智能体b的向量串，表示汇水区b对应的智能体b向汇水区a对应的智能体a排水的排水程度评价值，表示智能体b对应的局部奖励，u表示所有与智能体a对应的汇水区a相邻的智能体对应的汇水区的集合，表示向量拼接操作。
[0058]
为通过中心协调网络中获取的线性变化矩阵，在本实施例中采用的线性变化矩阵是用于线性变换降维，大小均为4行2列，即将向量进行不同的线性变换降维处理，每个矩阵中的元素的取值可以通过中心协调网络训练得到。为通过中心协调网络中获取的差异性向量，t表示向量的转置，该差异性向量用于衡量两个向量的差异性，可以通过中心协调网络训练获得其中具体的取值。的作用是衡量和两个向量的差异程度。和表示权重系数，在本实施例中的取值为，。
[0059]
越是差异较大的两个相邻的汇水区，越是需要给予更大的关注。因为相邻的两个汇水区只有具有差异性，才有可调控的空间，若两个汇水区的情况是十分相似的，在实际中不需要通过调控一个区域来影响另一个区域。对于与汇水区a相邻的汇水区b来说，汇水区b对应的局部奖励的取值越高，说明汇水区b对应的动作是有益的，在下一时间段需要对其进行改变的可能性就越小，权重的取值就越小，因此给予较低的关注度。
[0060]
进一步的，对各个智能体的信息进行聚合得到局部信息向量，用公式表示为：其中，表示智能体a对应的局部信息向量，表示智能体a对应的权重，表示智能体b的向量串，u表示所有与智能体a相邻的智能体的集合。
[0061]
将各智能体对应的局部信息向量经过中心协调网络的全连接层，得到每个智能体的调控向量，将每个智能体的调控向量与智能体对应的汇水区在当前设定时间段内的状态向量进行拼接操作后，输入各自智能体对应的深度q网络中，得到下一设定时间段内的动作信息。
[0062]
最后，根据下一设定时间段内的动作信息对调节参数进行控制调节可调节对象中的调节阀和调控水泵，实现智能控制。
[0063]
具体地，在本实施例中，最理想的情况是靠近中心城区的各个汇水区的径流流量相似，则减少其地表的水流动。靠近郊区的各个汇水区的径流流量偏高，则可利用非硬化的
下垫面吸收雨水。
[0064]
例如，针对一个包含大部分居民区的汇水区，当该汇水区在一个设定时间段内的状态显示径流流量较大，利用中心协调网络进行聚合，感知该汇水区周围相邻的汇水区的地势均比该汇水区的地势高，而且周围相邻的各个汇水区的地势较为平缓。则下一时间段该汇水区很有可能出现排水不及时而导致地面积水过多，可能会带来巨大的社会损失。那么该汇水区的调控向量偏向于将动作设置为全面开放排水，根据该汇水区对应的智能体的调控向量和状态向量得到的动作信息，并根据所述动作信息对调节参数进行控制调节具体为：将该汇水区的可调节对象中的调节阀阀门的开合度调节至全开，调控水泵给予正向的排水压力，以促进排水。对于该汇水区周围相邻的汇水区的调控向量偏向于减少排水量，为了给该汇水区让出城市主管道的排水空间，以此来保护该汇水区，达到智能控制的目的。
[0065]
需要说明的是，在本实施例中分别采用雨水重现期为5年至100年的降雨模型，利用数据获取模块获取10万次数据，对强化学习模型进行训练，最终获得能够根据一个设定时间段内的降雨量预测情况和各个汇水区的属性进行控制调节的智能体，即其内在的深度q网络。
[0066]
在训练初期，可以通过人工启动该模型，根据当前的状态，人为的做出决策，并给予较低的且取值为正值的局部奖励和全局奖励，以满足初始时间段的中心协调网络的输入。在对模型进行训练时采用的相关数据是基于排水系统模型进行获取的，在实际使用时需要的相关数据可以根据实际情况进行获取，例如可以利用山脉科技的相关产品获取实际的数据，得到实时的控制参数，以防止城市发生洪水等自然灾害。
[0067]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。