一种基于云服务的二维水沙数值模拟全流程操作系统的制作方法

摘要: 本发明涉及水文水力学及河流动力学数值模拟领域,特别涉及一种基于云服务的二维水沙数值模拟全流程操作系统,是关于河流动力学中二维水沙数学模型建立和计算的系统。背景技...
一种基于云服务的二维水沙数值模拟全流程操作系统的制作方法

本发明涉及水文水力学及河流动力学数值模拟领域,特别涉及一种基于云服务的二维水沙数值模拟全流程操作系统,是关于河流动力学中二维水沙数学模型建立和计算的系统。

背景技术:

1、在河流动力学与水沙输移研究中,二维水沙数学模型是常用的数值模拟工具,它以数值方法和计算机技术为手段,通过对河流的数值模拟计算,解决河流工程所关心的问题。泥沙数学模型能够复演、再现、预测水沙运动和河床演变的历史、现状和将来,是研究工程泥沙问题极为重要的工具之一。尽管如此,传统的泥沙数学模型仍存在一些问题:1.学习曲线陡峭。需要借助诸多软件进行前后处理操作(网格剖分、可视化展示等),且前后处理软件为了达到通用目的,有不少冗余功能;2.软件安装部署困难。要完成全流程的泥沙数值模拟工作,需要对前后处理软件、泥沙数学模型进行安装部署,涉及到至少四个软件的安装,给用户的安装部署带来了很大障碍;3.流程化、标准化欠缺。泥沙数值模拟流程包括数据的存储和处理、前处理(断面/网格生成,参数和边界条件准备等)、计算、结果可视化展示,以往数据格式很少基于标准进行统一,且由于各部分采用不同的软件,操作流程相互独立,没有进行流程化管理。

技术实现思路

1、本发明的目的在于提出了一种基于云服务的二维水沙数值模拟全流程操作系统,在各模块之间通过定义标准化的数据接口与消息传递机制,实现从数据存取到结果可视化的全流程自动化处理。

2、为了达到以上目的,本发明采用的技术方案为:

3、一种基于云服务的二维水沙数值模拟全流程操作系统,其中,所述系统包括:数据库模块、前处理模块、模型计算模块和计算成果展示模块,各模块之间通过定义标准化的数据接口与消息传递机制,实现从数据存取到结果可视化的全流程自动化处理;其中:

4、所述数据库模块用于存储水文测站属性、逐日平均水位、流量、含沙量、泥沙级配及实测断面地形数据;

5、所述前处理模块与gis空间引擎及消息队列协同工作执行三项子任务,包括:平面二维网格剖分、河网空间数字地形构建、边界条件与参数配置的数据流转;

6、所述模型计算模块包含超算调度适配器与二维水沙计算求解器,执行计算任务的封装与提交以及计算进度的状态监控;

7、所述计算成果展示模块采用仿真云体系架构实现计算结果的可视化。

8、方案进一步是:所述数据库模块和所述前处理模块部署于应用服务器中,所述模型计算模块部署于超算计算机中,所述计算成果展示模块部署于云端服务器平台。

9、方案进一步是:所述数据库模块提供数据接口与查询和工程方案管理:

10、所述数据接口与查询包括:对外提供api接口,当客户端发起包含地理空间范围与时间跨度的查询请求时,数据库适配器解析请求参数,执行结构化sql查询语句,将结果集封装为json格式数据流返回客户端;

11、所述工程方案管理包括:维护工程实体与方案实体的主从关联关系,所述工程实体包含有多个方案实体,一个工程实体对应一个确定的地理围栏;当接收到新建方案指令时,系统在方案表中插入记录,生成唯一方案标识符,并在对象存储服务中创建对应的方案目录结构,用于后续存储输入文件与计算成果。

12、方案进一步是:所述平面二维网格剖分包括:

13、步骤一、边界矢量化处理:客户端捕获视窗内的屏幕坐标点集,经逆投影矩阵变换转换为wgs84地理坐标序列,该序列数据通过http post请求体发送至前处理服务;前处理服务中的边界矢量解析单元对坐标序列执行闭合性校验:若首尾端点空间距离大于容差阈值,则自动补入闭合线段,随后,该单元依据“河道”或“陆地”的属性标记对边界段进行拓扑重组,生成包含边界线段集合、硬点约束及区域分块信息的平面几何描述结构体;

14、步骤二、异步网格生成调度:前处理服务将上述几何描述结构体依照gmsh的geo脚本语法规范进行序列化,生成ascii码描述文件;将ascii码描述文件与网格控制参数线性映射为gmsh参数并封装为任务消息投递至redis消息队列;部署于计算节点的网格剖分监听服务消费该消息后,根据用户对网格生成的要求启动gmsh进程执行二维delaunay三角剖分或四边形网格剖分,剖分完成后,生成的.msh二进制网格文件被上传至对象存储服务,并通过回调接口通知应用服务器更新任务状态;

15、步骤三、网格数据加载:应用服务器接收到网格文件生成完成信号后,从对象存储服务读取.msh文件,解析节点坐标矩阵与单元连接关系,并将其转换为geojson格式数据下发给客户端,供gis平台渲染展示。

16、方案进一步是:所述网格控制参数为σ∈[0.0001,0.1]。

17、方案进一步是:所述河网空间数字地形构建:当所述生成的.msh二进制网格文件被上传至对象存储服务时,系统触发地形属性插值单元执行以下计算逻辑:

18、空间索引构建:读取网格节点坐标集,构建kd树空间索引结构,以加速邻近点检索;

19、反距离加权插值计算:对于每一个网格节点,利用kd树空间索引检索半径内的k个邻近地形散点;依据下列公式计算该节点的高程插值结果,

20、;

21、其中:为节点与散点间的欧氏距离;p为距离幂指数;

22、误差评估与补偿:计算插值结果与邻近散点值的均方根误差,若误差超过预设阈值,表明该区域实测地形数据稀疏,系统则调用google earth高程api接口,根据节点经纬度获取公开dem数据进行补偿填充,直至满足误差容限。

23、方案进一步是:所述边界条件与参数配置的数据流转:

24、边界条件导入:按时间序列组织的电子表格水位/流量文件上传后,文件解析适配器读取数据流,依据边界编号字段将时间-水位/流量数组关联至对应的网格边界段,系统提供数据校验接口,客户端可请求服务器返回指定边界在指定时间区间内的数据曲线,服务器端通过聚合查询数据库中的时序数据并生成base64编码的图片流返回;

25、计算参数导入:客户端提交的计算参数被封装为json对象,通过orm框架导入至数据库的方案配置表中,所述计算参数包括计算天数、步长、泥沙分组级配数组、cpu核数;

26、文件完整性校验:前处理模块维护一个状态机,记录各必需文件的准备状态,只有当所有状态标志位均为“就绪”时,模型计算模块的启动接口才被激活;所述必需文件包括网格文件、地形插值数据、边界条件、参数配置。

27、方案进一步是:所述模型计算模块基于非均匀不平衡输沙理论构建所述二维水沙数值求解器,所述二维水沙数值求解器内嵌于超算节点;所述模型计算模块与应用服务器之间通过所述超算调度适配器进行交互。

28、方案进一步是:所述计算任务的封装与提交包括:

29、算例聚合:调度适配器从对象存储服务拉取网格文件、插值后的地形二进制数据、边界条件时间序列文件及参数配置json文件,调用归档工具将上述文件聚合压缩为单个算例压缩包;

30、文件投递:调度适配器通过ssh文件传输协议将算例压缩包推送至超算中心登录节点的指定共享存储目录;

31、任务提交:调度适配器调用超算作业调度系统的rest api接口,提交包含mpi并行参数的作业脚本,所述作业脚本中指定的cpu核数由数据库配置表中的参数决定;

32、所述计算进度的状态监控是:每完成一个计算时间步的迭代,会向共享存储目录中的状态标识文件写入当前模拟时间与收敛残差值。

33、方案进一步是:所述计算成果展示模块实现计算结果的可视化依赖于客户端的webgl渲染引擎,包括数据提取与传输、等值云图渲染、流向线生成、数据对比图表生成;其中:

34、a、所述数据提取与传输:当数据接口接收到指定时间帧编号的结果查询参数后,所述应用服务器从netcdf结果文件中提取指定时间帧的变量场数据,所述数据接口将多维数组数据编码为二进制typedarray格式,通过http分块传输至客户端,以降低单次传输负载;

35、b、所述等值云图渲染:客户端javascript主线程接收数据后,将其传递至webgl渲染管线执行以下着色器处理逻辑,包括:

36、顶点着色阶段:根据网格节点坐标与连接关系重建三维地形几何图元,计算模型-视图-投影矩阵变换;

37、片元着色阶段:接收cpu传递的标量场最小值与最大值;对于当前片元插值得到的变量值,计算归一化因子;片元着色器基于t值在一维hsv颜色查找表纹理中进行采样,将采样结果作为片元输出颜色,从而在三维球面上渲染出平滑过渡的等值云图;

38、c、流向线生成:对于流速的矢量场可视化,cpu端基于网格节点上的速度矢量数据,采用四阶runge-kutta数值积分算法求解流线微分方程,生成一系列流线轨迹点集;所述点集被组织为gl_line_strip图元数据缓冲,提交至渲染管线进行绘制;

39、d、数据对比图表生成:当客户端请求生成水位/流量实测与计算值对比折线图时,应用服务器端从数据库中提取相应测站的实测时序数据,并从计算结果文件中提取对应边界节点的计算值时序数据,应用服务器端利用图表绘制库将两组数据渲染为矢量图形,以base64编码字符串形式返回客户端直接显示。

40、本发明与现有技术相比,具有以下有益效果:

41、1.集成了前后处理环节中的必需功能(二维网格剖分、参数文件配置和可视化展示等),避免了冗余功能,使得前后处理难度大大降低,方便进行模型的建立与结果的可视化处理;2.平台系统采用分布式架构,模型计算模块作为泥沙模型部署在云端服务器超算平台,前端和数据库部署在应用服务器上,采用云服务的方式,系统平台统一由泥沙专业人员进行部署、维护更新,用户只需要通过浏览器就可以随时随地调用平台,避免了繁琐的安装部署工作;3.以数据库管理技术、gis技术、超算服务和云计算技术为基础进行了集成研发,数据存储参照水利部《基础水文数据库表结构及标识符标准》(sl324-2005)进行格式统一管理,系统平台由数据库、前处理、模型库和后处理四个功能模块构成,用户根据浏览器界面引导依次操作,实现了泥沙数值模拟的标准化、流程化管理。最终,构建了一种基于云服务的二维水沙数值模拟全流程操作系统(安澜模拟系统),可进行水沙、地形等数据的标准化存储管理,平面二维网格的剖分、地形插值和参数文件配置等前处理操作,模拟计算二维条件下的流速、水位、含沙量、河道冲淤量,并基于三维仿真地球进行等值云图和流向线等可视化展示。。

42、下面结合附图说明和具体实施例对本发明做进一步详细阐释。