基于Docker集群管理的多模型耦合内涝预警方法及系统与流程

基于docker集群管理的多模型耦合内涝预警方法及系统
技术领域
1.本发明属于洪涝预警技术领域，具体涉及一种基于docker集群管理的多模型耦合内涝预警方法及系统。


背景技术：

2.在气候变迁、全球变暖的大背景下，极端天气频发，暴雨天气对、居住区的防洪排涝能力造成了极大的挑战。由此产生了的内涝问题，使得大量的人民受灾，造成了巨量的经济损失，甚至是人员伤亡的情况。因此提高防洪排涝能力，是发展建设中重要的一环。
3.当前实时在线水文模拟大多基于传统的数据，且在建立模型时为保证模拟的效率，缩短单次模拟的时间，会对模型进行概化，以减少模拟计算压力，导致模型精度降低。尽管运行效率有一定提升，但同时也降低了模拟结果的准确性。除此之外，随着的发展，模型涵盖的区域范围会随之扩大，同时带来了计算量的增多，进一步增加了模拟的时长，导致在防洪预警的时效性上大打折扣。


技术实现要素：

4.有鉴于此，本发明提出了一种基于docker集群管理的多模型耦合内涝预警方法及系统，用于解决现有内涝预警模型的时效性和准确性不能兼顾的问题。
5.本发明第一方面，公开一种基于docker集群管理的多模型耦合内涝预警方法，所述方法包括：
6.收集基础水文数据和和防汛资料；
7.根据所述基础水文数据和防汛资料建立管网径流模型和河道模型；
8.对管网径流模型和河道模型进行模型分割，得到区域模型，按照径流历程将区域模型整合成多个完整的区域水文模型；
9.在区域水文模型中，将管网径流模型的模拟结果作为河道模型的边界条件进行模型耦合，得到区域内涝耦合模型；
10.建立数据处理分析功能模块，用于对收集的资料数据进行处理并根据区域内涝耦合模型的模拟结果进行内涝预警分析；
11.将区域内涝耦合模型和数据处理分析功能模块分别打包成多个docker容器，通过docker集群管理的方式分别建立模型集群和数据处理集群并部署到云端服务器中；
12.基于模型集群和数据处理集群对收集的基础水文数据和防汛资料进行内涝预警分析和可视化展示。
13.在上述技术方案的基础上，优选的，所述防汛资料包括但不限于降雨预报数据、实时泵站监测数据、实时排口监测数据、包括但不限于防汛应急预案、防洪排涝方案、泵站闸站操作手册、内涝风险区划图、排水防涝综合规划；所述基础水文数据包括但不限于河道数据、管网资料、地形资料、排涝泵站数据、历史管网与河道水位及流量资料；所述河道数据包括但不限于流域信息、河网数据；所述地形资料包括但不限于汇水区范围、管网收水范围、
地形dem数据。
14.在上述技术方案的基础上，优选的，所述根据所述基础水文数据和防汛资料建立管网径流模型和河道模型具体包括：
15.以水文模型、水动力耦合模型作为模型基础，建立管网径流模型和河道模型，其中，管网径流模型包含泵站模型；
16.历史降雨数据为输入、以历史管网与河道水位及流量资料为输出对管网径流模型和河道模型进行率定验证。
17.在上述技术方案的基础上，优选的，所述对管网径流模型和河道模型进行模型分割，得到区域模型，按照径流历程将区域模型整合成多个完整的区域水文模型具体包括：
18.根据地形资料、排涝泵站数据对管网径流模型进行区域划分，得到区域管网径流模型；
19.通过河道数据对河道模型进行划分，得到区域河道模型；
20.按照径流历程整合区域管网径流模型和区域河道模型，形成多个完整的区域水文模型。
21.在上述技术方案的基础上，优选的，所述在区域水文模型中，将管网径流模型的模拟结果作为河道模型的边界条件进行模型耦合，得到区域内涝耦合模型具体包括：
22.在区域水文模型中，将防汛资料输入区域管网径流模型，执行管网径流模拟，收集模拟结果，包括但不限于入河排口的河道断面信息、水位与流量模拟结果，以及泵站前池水位模拟结果与泵机启停模拟状态；
23.将区域管网径流模型的模拟结果导入区域河道模型，作为区域河道模型的初始边界条件设置，执行河道模拟，进行模型耦合，得到区域内涝耦合模型；
24.将河道模拟结果作为区域内涝耦合模型的模拟结果，包括但不限于整合管网流量、水位与河道流量、水位模拟结果、泵站模拟结果。
25.在上述技术方案的基础上，优选的，所述将区域内涝耦合模型和数据处理分析功能模块分别打包成多个docker容器，通过docker集群管理的方式分别建立模型集群和数据处理集群并部署到服务器中具体包括：
26.将区域内涝耦合模型与数据处理分析功能模块分别按照模型分割结果和功能模块划分结果以flask架构封装为restful api，并为模型运行环境库创建requirement.txt文档和容器构筑文件dockerfile；
27.执行docker容器创建指令，将区域内涝耦合模型按照模型分割结果创建多个docker容器，将数据处理分析功能模块按照功能模块划分结果创建多个docker容器，并上传至dockerhub中；
28.创建swarm集群管理节点，为管理节点设置分配服务器ip；
29.为docker容器创建对应的swarm集群工作节点；
30.将dockerhub的docker容器部署到对应的工作节点，分别建立模型集群和数据处理集群，设置相关参数，并绑定服务器端口，同时建立容器副本。
31.在上述技术方案的基础上，优选的，所述基于模型集群和数据处理集群对收集的基础水文数据和防汛资料进行内涝预警分析和可视化展示具体包括：
32.通过数据处理集群对模拟结果分析预测未来的防汛工作，得到未来的防汛工作数
据，包括但不限于管网充满度、溢流节点、内涝区域、泵站操作建议、预测未来内涝风险等级；
33.建立数据库管理模拟结果资料、防汛资料和未来的防汛工作数据；
34.通过前端平台展示模拟结果资料、防汛资料和未来的防汛工作数据。
35.本发明第二方面，公开一种基于docker集群管理的多模型耦合内涝预警系统，所述系统包括：
36.数据接入处理模块：用于收集基础水文数据和和防汛资料；
37.模型分割模块：用于根据所述基础水文数据和防汛资料建立管网径流模型和河道模型；对管网径流模型和河道模型进行模型分割，得到区域模型，按照径流历程将区域模型整合成多个完整的区域水文模型；
38.模型耦合模块：用于在区域水文模型中，将管网径流模型的模拟结果作为河道模型的边界条件进行模型耦合，得到区域内涝耦合模型；
39.数据处理分析功能模块：用于对收集的资料数据进行处理并根据区域内涝耦合模型的模拟结果进行内涝预警分析；
40.集群管理模块：用于将区域内涝耦合模型和数据处理分析功能模块分别打包成多个docker容器，通过docker集群管理的方式建立模型集群和数据处理集群并部署到云端服务器中；
41.预警分析展示模块：用于基于模型集群和数据处理集群对收集的基础水文数据和防汛资料进行内涝预警分析和可视化展示。
42.本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；
43.其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
44.所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明第一方面所述的方法。
45.本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现本发明第一方面所述的方法。
46.本发明相对于现有技术具有以下有益效果：
47.1)本发明以1维、2维、3维的水文、水动力耦合模型作为模型基础，建立管网径流模型和河道模型，对多模型进行耦合，通过实时模拟未来降雨状况下内涝分布及变化过程，分析可能出现内涝积水的区域，结合当地内涝应急预案与泵站状况，给出实时预警与泵机操作建议，保障内涝预警的准确性。
48.2)在保证模型合理性、正确性的情况下对模型进行分割，将覆盖范围的大模型，按照区域分割成多个小模型，可通过区域水文模型进行单独预测，减小单一大模型所带来庞大的计算量，提高内涝预警的实时性，同时也可满足自定义模型区域的模拟需求。
49.3)将分割后的模型和数据分析处理等功能模块打包成多个docker容器，通过docker集群管理的方式，建立模型集群并部署到服务器中，通过集群管理的负载均衡模式，能够更好的利用服务器的算力，提高模拟预警的时效性。同时，基于docker容器易维护的特性，为模型集群与数据处理集群的更新或添加提供了便利。
附图说明
50.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
51.图1为本发明的基于docker集群管理的多模型耦合内涝预警方法总流程图；
52.图2为本发明的数据接入处理流程图：
53.图3为本发明的模型建模流程图；
54.图4为本发明的模型区域划分流程图
55.图5为本发明的模型耦合流程图；
56.图6为本发明的docker容器创建流程图；
57.图7为本发明的集群管理流程图；
58.图8为本发明的数据库建立流程图；
59.图9为本发明的前端平台展示流程图。
具体实施方式
60.下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
61.本发明针对当前实时在线模型存在的问题，通过模型区域分割、多模型耦合、docker微服务集群管理等方式，为现有在线模型提供优化方法，在减少单次模拟时长的同时，不影响模型本身质量，提高整体模型运行效率。在此基础可方便建模人员对模型进行管理更新，也可支持对分割区域进行自定义模拟。
62.请参阅图1，本发明提出一种基于docker集群管理的多模型耦合内涝预警方法，所述方法包括：
63.步骤1、数据接入处理步骤，用于收集基础水文数据和防汛资料，图2为数据接入处理流程图。
64.步骤1.1、收集防汛资料，经过处理后导入数据库，方便后续模型进行调用分析。所述防汛资料包括但不限于降雨预报数据、实时泵站监测数据、实时排口监测数据、防汛应急预案、防洪排涝方案、泵站闸站操作手册、内涝风险区划图、排水(雨水)防涝综合规划等。
65.步骤1.2、收集，基础水文数据，如图3所示，包括但不限于河道数据、管网资料、地形资料、排涝泵站数据、历史管网与河道水位及流量资料；所述河道数据包括但不限于流域信息、河网数据，比如断面数据、高程数据等；所述地形资料包括但不限于汇水区范围、管网收水范围、地形dem数据；所述管网资料包括但不限于管线资料、检查井资料、排口资料等。步骤2、模型建模步骤，用于根据所述基础水文数据和防汛资料建立管网径流模型和河道模型，图3为本发明的模型建模流程图。
66.步骤2.1、基于步骤1集的基础水文数据和防汛资料，以包括但不仅限于1维、2维、3维的navier-stokes方程、圣维南方程、欧拉方程、浅水波方程所建立的水文模型、水动力耦
合模型作为模型基础，建立管网径流模型和河道模型，其中，管网径流模型包含泵站模型；
67.步骤2.2、以历史降雨数据为输入、以历史管网与河道水位及流量资料为输出对管网径流模型和河道模型进行率定验证。
68.步骤3、模型区域划分步骤，用于对管网径流模型和河道模型进行模型分割，得到区域模型，按照径流历程将区域模型整合成多个完整的区域水文模型，图4为模型区域划分流程图。
69.步骤3.1、根据步骤1.2收集的地形资料、排涝泵站数据对管网径流模型进行区域划分，比如，按照汇水区划分、管网收水范围划分、地形划分等，得到区域管网径流模型；
70.步骤3.2、根据步骤1.2收集的河道数据对河道模型进行划分，比如按照流域划分、河网划分等，得到区域河道模型；
71.步骤3.3、按照径流历程整合区域管网径流模型和区域河道模型，形成多个完整的区域水文模型。
72.步骤4、模型耦合步骤，用于在区域水文模型中，将管网径流模型的模拟结果作为河道模型的边界条件进行模型耦合，图5为模型耦合流程图。
73.步骤4.1、在区域水文模型中，将防汛资料输入区域管网径流模型，执行管网径流模拟，收集模拟结果，包括但不限于入河排口的河道断面信息、水位模拟结果、流量模拟结果，以及泵站前池水位模拟结果与泵机启停模拟状态；
74.步骤4.2、将区域管网径流模型的模拟结果导入区域河道模型，作为区域河道模型的初始边界条件设置，包含上游边界、侧入流量。执行河道模拟，进行模型耦合，得到区域内涝耦合模型；
75.步骤4.3、将河道模拟结果作为区域内涝耦合模型的模拟结果，包括但不限于整合管网流量、水位与河道流量、水位模拟结果、泵站模拟结果。
76.步骤4.4、建立数据处理分析功能模块，用于对收集的资料数据进行处理并根据区域内涝耦合模型的模拟结果进行内涝预警分析。
77.本发明将覆盖范围的大模型，按照区域分割成多个小模型，可通过区域水文模型进行单独模拟与预警分析，减小单一大模型所带来庞大的计算量，提高内涝预警的实时性，同时也可满足自定义模型区域的模拟需求。
78.步骤5、docker容器创建步骤，用于将区域内涝耦合模型和数据处理分析功能模块分别打包成多个docker容器，并上传至dockerhub中，图6为docker容器创建流程图。
79.步骤5.1、将区域内涝耦合模型与数据处理分析功能模块分别按照模型分割结果和功能模块划分结果以flask架构封装为restful api，后续内涝预警系统将以调用api的形式进行模拟与分析，并为模型运行环境库创建requirement.txt文档。创建容器构筑文件dockerfile，内容包含容器环境、部署路径、脚本指令等。
80.步骤5.2、执行docker容器创建指令，将区域内涝耦合模型按照模型分割结果创建多个docker容器，将数据处理分析功能模块按照功能模块划分结果创建多个docker容器，并上传至dockerhub中。
81.步骤6、集群管理创建步骤，用于通过docker集群管理的方式分别建立模型集群和数据处理集群并部署到云端服务器中，图7为集群管理创建流程图；
82.步骤6.1、创建swarm集群管理节点，进行管理节点初始化。
83.步骤6.2、为管理节点设置分配服务器ip，让服务器加入集群中，并取得集群token唯一标识。
84.步骤6.3、根据步骤5所创建的docker容器，创建对应的swarm集群工作节点，进行工作节点初始化。
85.步骤6.4、创建覆盖网络，保证在不同主机上的容器网络互通的网络模式。
86.步骤6.5、将步骤5.2中上传至dockerhub的docker容器部署到对应的工作节点，分别建立模型集群和数据处理集群，设置replicas、network等参数，并绑定服务器端口。同时建立容器副本，以应对容器宕机的状况。
87.本发明将分割后的模型和数据分析处理等功能模块打包成多个docker容器，通过docker集群管理的方式，建立模型集群并部署到服务器中，通过集群管理的负载均衡模式，能够更好的利用服务器的算力，提高模拟预警的时效性。同时，基于docker容器易维护的特性，可更方便地进行模型集群与数据处理集群的更新与维护。
88.步骤7、内涝预警分析步骤，用于基于模型集群和数据处理集群对收集的基础水文数据和和防汛资料进行内涝预警分析。
89.步骤7.1、将防汛资料输入云端服务器的模型集群中进行模拟，并将多模型耦合的模拟结果存入模拟结果资料库中；
90.步骤7.2、通过数据处理集群对模拟结果分析预测未来的防汛工作，得到未来的防汛工作数据，包括但不限于管网充满度、溢流节点、内涝区域、泵站操作建议、预测未来内涝风险等级；
91.步骤7.3、建立数据库管理模拟结果资料、防汛资料和未来的防汛工作数据；具体的，如图8所示的数据库管理流程图，基于步骤1.1收集到的防汛，建立预报、监测资料库，主要用于接收和存储未来预报降雨数据、泵站监测数据、排口监测数据。基于步骤7.1、步骤7.2的模拟结果和分析结果，建立模拟结果资料库，主要用于存储内涝模拟结果以及对模拟结果分析的数据。基于步骤1.1收集到的防汛资料，建立防洪排涝预案资料库，主要用于存储防洪排涝应急预案、闸站调度预案等。
92.步骤8、前端平台展示步骤，用于通过前端平台展示模拟结果资料、防汛资料和未来的防汛工作数据。，图9为前端平台展示流程图。
93.步骤8.1、调用步骤7.3中的预报、监测资料库，前端平台实时展示降雨预报数据、泵站运行状况、排口监测数据，泵站运行状况包括但不限于泵机状态、前池水位、实时视频监控；排口监测数据包含实时流量、水位以及视频监控等。
94.步骤8.2、调用步骤7.3中的模拟结果资料库，通过gis处理后，按照积水深度，在地图中以不同颜色进行高亮渲染展示。对满管管线与溢流节点，同样以高亮的形式进行对模拟结果可视化。
95.步骤8.3、结合步骤7.3中的防洪排涝预案资料库中的防洪排涝预案与步骤7.2中的模型模拟结果，展示未来可能出现的内涝风险预警等级，使用者可在平台进行预警发布，通知相关人员做好防洪防涝措施。同时结合泵站模拟结果与泵站操作规则，向使用者提供当前以及未来泵机操作建议。
96.与上述方法实施例相对应，本发明还提出一种基于docker集群管理的多模型耦合内涝预警系统，所述系统包括：
97.数据接入处理模块：用于收集基础水文数据和防汛资料；
98.模型分割模块：用于根据所述基础水文数据和防汛资料建立管网径流模型和河道模型；对管网径流模型和河道模型进行模型分割，得到区域模型，按照径流历程将区域模型整合成多个完整的区域水文模型；
99.模型耦合模块：用于在区域水文模型中，将管网径流模型的模拟结果作为河道模型的边界条件进行模型耦合，得到区域内涝耦合模型；
100.数据处理分析功能模块：用于对收集的资料数据进行处理并根据区域内涝耦合模型的模拟结果进行内涝预警分析；
101.集群管理模块：用于将区域内涝耦合模型和数据处理分析功能模块分别打包成多个docker容器，通过docker集群管理的方式建立模型集群和数据处理集群并部署到云端服务器中；
102.预警分析展示模块：用于基于模型集群和数据处理集群对收集的基础水文数据和防汛资料进行内涝预警分析和可视化展示。
103.以上系统实施例和方法实施例是一一对应的，系统实施例简述之处请参阅方法实施例即可。
104.本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的方法。
105.本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括：u盘、移动硬盘、只读存储器rom、随机存取存储器ram、磁碟或者光盘等各种可以存储程序代码的介质。
106.以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。本领域普通技术人员在不付出创造性的劳动的情况下，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
107.以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。