一种分布式CIM平台的资源动态调度与负载均衡方法与流程

摘要: 本发明涉及分布式计算,具体为一种分布式cim平台的资源动态调度与负载均衡方法。背景技术:1、随着智慧城市数字底座与cim平台的高速发展,面向城市供排水网络及生命...
一种分布式CIM平台的资源动态调度与负载均衡方法与流程

本发明涉及分布式计算,具体为一种分布式cim平台的资源动态调度与负载均衡方法。

背景技术:

1、随着智慧城市数字底座与cim平台的高速发展,面向城市供排水网络及生命线管网的物联高频流监测需求急剧增加。在处理具备强时空拓扑关联的水位、流速及压力瞬态数据并进行爆管漏损空间定位仿真时,系统需要极高的数据吞吐与计算实时性。目前,此类高并发分布式水力仿真多采用动态负载均衡系统,通过采集算力节点的常规运行指标进行任务分发与容器扩容。

2、然而,现有技术在应对具有复杂拓扑属性的管网突发瞬态流数据时,存在显著系统缺陷。首先,cim瓦片索引与仿真算力分配机制独立,并发请求多采用轮询分发,导致底层gpu频繁进行显存上下文的擦除与重载,产生严重的i/o总线拥堵。其次,多并发推演依赖软件逻辑隔离,缺乏对计算核心与显存通道的物理级硬隔离,异构算力极易出现碎片化与资源争抢,引发关键仿真进程中断。此外,传统网关策略基于连接数进行无状态分发,无法识别连续数据流中的管网拓扑关联性,极易将数据错误路由至无管网模型缓存的节点。同时,纯数据驱动的时序模型在应对高度非线性的突变瞬态流(如爆管瞬态压力波)时存在响应滞后,无法缩短了计算资源的预热延迟。最后,节点故障时现有容错多采取硬熔断,缺乏对前端透明的、由三维孪生向二维拓扑无损降级与自愈切换机制。

3、综上所述,分布式cim平台在面对突发性、高并发且具强时空关联的管网瞬态流数据时,如何克服底层算力调度机制固有的响应滞后与资源争抢瓶颈,保障管网漏损与故障定位任务的极低延迟与不间断运行,是本领域亟待解决的技术问题。

4、为此,提出一种分布式cim平台的资源动态调度与负载均衡方法。

技术实现思路

1、本发明的目的在于提供一种分布式cim平台的资源动态调度与负载均衡方法。本发明根据拓扑区域时序负荷数据的风险分级,将仿真容器部署至多实例硬件切片池中;建立空间数据瓦片、容器与硬件切片标识的三层联动映射表;接收管网物联数据流并解析目标瓦片标识执行查询;若命中,转发至对应容器并异步推演时空演化轨迹以提前更新路由指针;若未命中,路由至共享资源池;运行期维护仿真容器状态锚点,故障时同步至备用节点并重定向指令,由备用节点基于状态锚点调整渲染输出。本发明降低了资源争用概率,缩短了资源预热延迟,保障了故障条件下的最低可用可视化输出。

2、为实现上述目的,本发明提供如下技术方案:

3、一种分布式cim平台的资源动态调度与负载均衡方法,包括:获取拓扑区域时序负荷数据并输出资源紧张风险分级,根据资源紧张风险分级将仿真容器部署至对应的多实例硬件切片池中;

4、建立空间数据瓦片标识、容器标识与多实例硬件切片标识的三层联动映射表;接收管网物联感知数据流并解析目标空间数据瓦片标识,以目标空间数据瓦片标识在三层联动映射表中执行查询;

5、若查询命中,依据映射关系将管网物联感知数据流转发至对应的仿真容器,并在独立于转发操作的计算资源中,基于结合流体物理约束的预测模型异步推演物联数据的时空演化轨迹,根据推演结果提前更新路由指针;若查询未命中,则将管网物联感知数据流路由至共享资源池;

6、运行期间维护仿真容器的状态锚点,当检测到节点内存压力达到预警条件时将状态锚点同步至备用节点并重定向交互指令,备用节点读取状态锚点中记录的状态向量,并根据状态向量确定渲染输出的调整方式。

7、优选的,获取拓扑区域时序负荷数据并输出资源紧张风险分级,并将仿真容器部署至对应的多实例硬件切片池中,包括:采集网络侧请求特征与算力侧资源占用特征,输入基于自注意力机制的负荷趋势预测模型,输出三级资源紧张概率作为资源紧张风险分级;在资源占用率低于预设占用阈值的维护窗口内,按照三级资源紧张概率的数值比例,将图形处理单元的流式多处理器和显存通道划分为多个多实例硬件切片;将具备对应资源紧张风险分级标记的仿真容器绑定至预先分配的多实例硬件切片池内。

8、优选的,建立空间数据瓦片标识、容器标识与多实例硬件切片标识的三层联动映射表,包括:读取三维城市信息模型的经纬度边界坐标集并进行八叉树空间编码,生成空间数据瓦片标识;调用容器运行时的应用程序编程接口,提取仿真容器的全局唯一识别码作为容器标识;调用gpu管理库接口获取物理gpu的通用唯一识别码与多实例gpu的设备标识符,组合生成多实例硬件切片标识;在内存数据库中,以空间数据瓦片标识为主键,建立指向容器标识的关联,并建立容器标识指向多实例硬件切片标识的物理地址映射,形成三层联动映射表。

9、优选的,接收管网物联感知数据流并解析目标空间数据瓦片标识,包括:接收来自管网监测终端的管网物联感知数据流,并提取应用层载荷数据;读取应用层载荷数据预设固定字节偏移量处的协议头部信息,提取包含经度、纬度与高程的原始空间坐标;将原始空间坐标输入预置的空间网格划分算法,映射生成具有唯一性的目标空间数据瓦片标识。

10、优选的,异步推演物联数据的时空演化轨迹,根据推演结果提前更新路由指针,包括:在独立计算线程中将管网物联感知数据流输入物理信息神经网络,其中,所述物理信息神经网络利用自动微分机制计算管段轴向一维偏导数,将对应的一维瞬态流偏微分方程残差、基于所述三层联动映射表记录的管段连接拓扑构建的分叉节点流量守恒边界残差与固定水源或水池恒压边界残差、以及初始时刻实测状态残差共同设为损失函数的惩罚约束项;将物理信息神经网络的输出张量作为扩展卡尔曼滤波的观测测量值更新状态向量,计算得到下一时刻压力波波前空间坐标作为预测坐标;提取预测坐标并在三层联动映射表中执行第二次查询,获取对应的预测目标多实例硬件切片标识;预更新路由表指针以触发目标切片内的仿真容器资源预加载,后续实际空间坐标映射至该目标切片的管网物联感知数据流到达时直接由已就绪的仿真容器处理。

11、优选的,将管网物联感知数据流路由至共享资源池,包括:将查询未命中的管网物联感知数据流压入带背压阈值的分布式消息队列,当堆积量达到背压阈值时,对管网物联感知数据流执行保留事件触发窗口内连续样本帧的降采样丢弃;触发在空闲多实例硬件切片中实例化新的仿真容器,在冷启动时间窗口内,由预常驻的占位仿真容器基于目标空间数据瓦片标识检索空间距离在预设阈值范围内的已有多实例硬件切片标识,读取邻近仿真容器的最近状态向量,通过空间插值方法生成过渡态压力估算结果,并以二维静态管网拓扑矢量图层输出;待新的仿真容器就绪后,比对过渡态压力估算结果与正式态推演结果,在连续多个更新周期内偏差均满足预设收敛条件时切换至正式态推演结果;否则维持过渡态压力估算结果的降级渲染输出并生成异常告警日志。

12、优选的,维护仿真容器的状态锚点,检测到节点内存压力故障风险并将状态锚点同步至备用节点,包括:在内存压力指标低于预警阈值时,预先注册内存区域并建立通信队列对;在状态更新周期内,提取当前时刻的状态向量与状态协方差矩阵封装为状态锚点文件,并写入内存区域;基于控制组压力失速信息获取内存压力指标;若内存压力指标达到预设的预警阈值,则立即拦截前端交互控制指令;在当前可用内存降至预设的最低可操作阈值之前的时间窗口内,经由预先建立的通信队列对,以远程直接内存访问方式将内存区域中已存在的状态锚点文件同步至备用节点。

13、优选的,根据状态向量确定渲染输出的调整方式包括:向备用节点的渲染管线发送切换指令,终止三维场景的动态渲染进程;响应于重定向的交互指令,拉取与空间数据瓦片标识相匹配的二维静态管网拓扑矢量图层;解析状态锚点文件中的波前空间坐标,经投影变换映射至所述二维静态管网拓扑矢量图层进行叠加显示。

14、与现有技术相比,本发明的有益效果为:

15、1.本发明通过基于自注意力机制的负荷趋势预测模型输出三级资源紧张概率,结合gpu多实例硬件切片的物理隔离划分,从硬件层面降低了多仿真容器间的显存上下文争抢与计算核心抢占概率,保障了仿真进程的稳定性。

16、2.本发明通过空间数据瓦片标识、容器标识与多实例硬件切片标识的三层联动映射表以及异步推演时空演化轨迹的路由预热机制,使管网物联感知数据流能够依据空间属性被精确路由至缓存了对应管网水力模型的硬件切片,在波前到达下一空间区域之前完成路由指针的提前更新,缩短了计算资源的预热延迟。

17、3.本发明通过仿真容器状态锚点的维护、故障风险的提前预警与状态锚点的同步重定向,以及备用节点的无观测量的状态推演与分级渲染输出,实现了从故障预警、会话接管到可视化降级切换的容灾闭环,在给定恢复时间与恢复点目标范围内保障管网漏损定位任务的基本可视化输出能力。