基于动态负载均衡的分布式渲染任务调度方法与流程

摘要: 本发明涉及一种图像生成期间的渲染任务调度方法,尤其涉及一种基于动态负载均衡的分布式渲染任务调度方法,属于图像生成领域。背景技术:1、在三维视景仿真与图像生成领域...
基于动态负载均衡的分布式渲染任务调度方法与流程

本发明涉及一种图像生成期间的渲染任务调度方法,尤其涉及一种基于动态负载均衡的分布式渲染任务调度方法,属于图像生成领域。

背景技术:

1、在三维视景仿真与图像生成领域,常规的模型加载与渲染方式,依赖单节点计算硬件的特定性能。为此,在面对大尺度三维场景时,难以高效、均衡地利用cpu、gpu和内存资源进行异构融合渲染。近年来,为提升三维场景的渲染效率,已有现有技术公开了一定的优化方式。例如,公开号为cn120371468a的中国专利申请文件,其公开了一种高逼真云端渲染集群调度方法,该方法通过任务分类生成多级优先级队列,采用空间分块和时间分帧策略分解渲染任务,并利用心跳检测识别异常节点进行任务迁移。同时,公开号为cn121170155a的中国专利申请文件,其涉及基于互联网的3d可视化建模方法,提出了通过量化评估场景复杂度,采用自适应瓦片拆分策略将任务拆分为子任务,基于子服务器的静态硬件信息与动态性能画像筛选节点池进行任务分配。公开号为cn115345769a的中国专利申请文件,申请公开了经由基于物理的渲染引擎的加速处理方法,其利用多个mimd处理核心异步处理光线的材质着色指令,以提高光线追踪的处理吞吐量。公开号为cn120931472a的中国专利申请文件,其公开了基于时空预测的动态lod与视锥体剔除协同渲染方法,通过可见性频率动态调整物体的加载和渲染方式,并采用lstm网络预测未来多帧的视锥范围。此外,公开号为cn118397166b的中国专利申请文件,涉及图像渲染方法,通过灯光加速结构和引导权重分布优化路径追踪中的光源采样,以提升渲染效率。

2、然而,上述现有技术仍存在以下不足:cn120371468a和cn121170155a主要针对通用三维模型渲染任务,进行负载均衡和节点调度,其任务分配依据以静态硬件信息和动态性能画像为主,未能针对多源异构数据建立统一的数据格式转换机制。cn115345769a仅限于光线追踪的硬件加速层面,涉及mimd处理核心异步处理光线的材质着色指令,未涉及分布式集群调度、gpu/cpu/内存负载监控、虚拟集数据格式转换及动态内存加载与着色生成lod等技术手段。

3、同时,cn120931472a的lod切换过程依赖于lstm神经网络,且其优先级判定基于可见性频率而非几何块可见概率与距离的组合权重。需要指出的是,cn120931472a所公开的基于时空预测的动态lod与视锥体剔除协同渲染方法,虽然也属于动态lod技术领域,但其视锥预测采用lstm神经网络实现,与本技术基于物理运动模型的摄像机位置预测方法属于不同的技术构思。其优先级判定基于可见性频率,而非本技术所采用的可见概率与距离的组合权重,二者存在实质性区别。因此,本领域技术人员在cn120931472a的基础上,无法获得本技术采用物理运动模型预测摄像机位置,配合几何虚拟集的优先级评分的技术启示。此外,cn120931472a不涉及虚拟集数据格式转换,也不涉及分布式集群调度和gpu/cpu/内存负载实时监控。

4、并且,cn118397166b仅涉及路径追踪中的光源采样引导权重优化,不涉及几何数据的虚拟集格式转换、虚拟贴图按需加载、及基于gpu利用率/可用显存/网络延迟三维度加权计算的分布式调度。由此可见,现有技术普遍缺乏对异构数据在预处理阶段的格式统一与标准化转换机制。

5、因此,针对图像生成领域来看,如何将多源异构数据通过统一的虚拟几何格式转换和数据结构重映射,在此基础上实施虚拟贴图按需加载和基于距离及可见概率加权优先级评分的动态lod生成,并结合gpu利用率、显存占用和网络延迟的多维度加权计算进行精细化任务调度,成为本领域技术人员迫切需要解决的技术问题。

技术实现思路

1、为解决上述技术问题,本发明的目的是提供一种基于动态负载均衡的分布式渲染任务调度方法。

2、本发明的基于动态负载均衡的分布式渲染任务调度方法,其包括:

3、步骤一、通过多源模型接口,对输入的物理仿真数据进行解析和预处理,将处理后的数据格式转换为虚拟集数据格式;所述虚拟集数据格式是将几何网格分割为像素化着色虚拟几何数据后,进行数据结构重映射后形成的统一数据格式。该转换过程包括以下步骤:基于表面曲率或八叉树空间划分将几何网格分割为多个虚拟几何块,确保每个虚拟几何块内的拓扑连续且渲染负载相对均衡。对每个虚拟几何块的顶点数据、索引数据、法线数据及纹理坐标数据进行独立存储。添加块标识符、包围盒、中心点坐标、初始lod层级标识及材质索引等元数据信息,从而形成可独立调度和渲染的原子单元。实施期间,虚拟集数据格式是指将几何网格分割为多个独立的渲染原子单元后,进行数据结构重映射所形成的统一数据格式。每个原子单元称为虚拟几何块,多个虚拟几何块构成几何虚拟集。在数据处理过程中,虚拟几何数据是虚拟几何块中存储的几何信息的统称。

4、步骤二、通过虚拟贴图,将纹理数据按需加载至显存。

5、步骤三、基于所述虚拟集数据格式,进行动态内存加载与着色以生成lod。

6、步骤四、基于所述虚拟集数据格式生成虚拟集渲染任务,对所述虚拟集渲染任务进行动态任务分片与调度,并对异构资源的gpu负载、cpu负载和内存负载进行实时监控,以根据监控结果进行任务调度。实施期间,采用的动态任务分片与调度,包括基于虚拟几何块的屏幕投影面积动态调整瓦片尺寸。

7、步骤五、通过分布式集群,将高分辨率渲染任务分为若干个低分辨率渲染任务,在不同节点上进行渲染。

8、进一步地,上述的基于动态负载均衡的分布式渲染任务调度方法,其中,所述步骤一中,通过多源模型接口,对输入的物理仿真数据进行解析和预处理包括:通过格式识别器对输入的所述物理仿真数据进行格式识别,并采用三角剖分方法进行几何拓扑解析以生成几何网格,以及进行特征提取和材质合并。

9、更进一步地,上述的基于动态负载均衡的分布式渲染任务调度方法,其中,所述步骤一中将处理后的数据转换为虚拟集数据格式的过程为,将所述几何网格分割为用于像素化着色的虚拟几何块,并对特征数据的数据结构进行重映射,从而形成虚拟集数据格式;所述几何网格的分割依据表面曲率或是空间划分进行。

10、更进一步地,上述的基于动态负载均衡的分布式渲染任务调度方法,其中,所述步骤三中,包括以下子步骤:

11、子步骤1、从所述虚拟集数据格式中提取几何虚拟集;

12、子步骤2、预测摄像机位置,采用匀速模型,预测时间步长δt初始值为0.3秒;

13、子步骤3、预测视锥体;

14、子步骤4、对所述几何虚拟集进行优先级评分,采用距离及可见度加权评分函数;

15、子步骤5、基于所述几何虚拟集的优先级评分执行加载调度策略;

16、子步骤6、基于动态更新的预测时间步长执行自适应调整机制;

17、所述几何虚拟集的优先级评分采用以下公式计算:;其中,表示所述几何虚拟集中第i个几何块的索引,表示第个几何块的优先级评分。为预设权重系数,满足,可优选取值=0.6、=0.4。表示预测摄像机位置与第i个几何块中心之间的欧氏距离且>0,表示第个几何块在未来视锥体内的可见概率且的取值范围为[0,1]。实施期间,当小于预设最小距离阈值时,将距离值钳位为该阈值,避免优先级评分溢出。

18、更进一步地,上述的基于动态负载均衡的分布式渲染任务调度方法,其中,所述步骤四中,对所述虚拟集渲染任务进行动态任务分片与调度包括:基于像素分割策略,对所述虚拟集渲染任务进行任务分割和任务分配。或是,基于对象分割策略,对所述虚拟集渲染任务进行任务分割和任务分配。或是,基于像素分割与对象分割相混合的策略,对所述虚拟集渲染任务进行任务分割和任务分配。

19、更进一步地,上述的基于动态负载均衡的分布式渲染任务调度方法,其中,所述步骤四中,对异构资源的gpu负载、cpu负载和内存负载进行实时监控,包括:采用探针监控各节点的gpu利用率、可用显存和网络延迟,通过动态权重计算模型确定各节点的节点负载分数。所述动态权重计算模型采用以下公式计算节点负载分数,。其中,表示节点负载分数,、、为预设权重系数,满足,可优选取值=0.5、=0.3、=0.2。

20、实施期间,通过表示节点当前gpu利用率。同时,。当采用百分比表示时,取值为100。当采用其他数值范围表示时,取值为与该数值范围的最大值相对应的常数。表示节点当前可用显存容量,≥0。表示节点显存总容量,>0、≤。表示节点与其他节点之间的网络延迟,单位为毫秒,≥0。表示预设的最大可接受网络延迟阈值,单位为毫秒,>0。通常可预设=100毫秒。并且,/的取值范围为[0,1];的取值范围为[0,1]。

21、更进一步地,上述的基于动态负载均衡的分布式渲染任务调度方法,其中,所述步骤五中,包括:分布式集群采用主从模式,所述主从模式中包括一个主节点和若干个从节点,所述主节点与所述从节点连接,所述主节点用于管理和调度渲染任务,所述从节点用于执行所述主节点分配的渲染任务。

22、更进一步地,上述的基于动态负载均衡的分布式渲染任务调度方法,其中,所述步骤五中,分布式集群采用对等模式。所述对等模式中各节点彼此连接,各节点均用于创建渲染任务并将任务信息广播至网络中的其他节点,各节点根据本节点当前的资源状况和优先级匹配待执行的渲染任务。

23、具体来说,采用的对等模式包括以下方式来执行:

24、1、节点发现机制:各节点通过gossip协议进行成员管理,每个节点维护局部成员列表,通过周期性探测消息交换节点存活信息和节点负载分数。

25、2、负载信息交换方式:各节点以固定周期向随机选择的其他节点发送本节点的负载状态信息,包括节点负载分数、可用显存、gpu利用率及待处理任务队列长度,接收节点据此更新本地全局负载表。

26、3、任务广播与认领:任一节点均可创建渲染任务并将任务信息广播至网络中,其他节点根据本节点当前的资源状况和优先级匹配待执行的渲染任务。

27、4、任务执行与结果返回:认领任务的节点执行渲染子任务,并将渲染结果返回至任务发起节点或指定的归并节点。

28、更进一步地,上述的基于动态负载均衡的分布式渲染任务调度方法,其中,还包括步骤六,通过可视化终端,实时预览渲染结果,收集渲染耗时和错误率以动态调整任务分片策略,形成闭环反馈机制。

29、再进一步地,上述的基于动态负载均衡的分布式渲染任务调度方法,其中,还包括步骤七,对渲染数据流进行任务分配同步、状态同步和数据同步,并对数据传输过程中的中间数据进行压缩后传输。

30、借由上述方案,本发明至少具有以下优点:

31、1、异构物理场仿真数据经格式识别、三角剖分和虚拟几何转换后形成了统一的虚拟集数据格式。

32、2、在该格式基础上实施了虚拟贴图按需加载和基于距离及可见度加权优先级评分的动态lod生成。

33、3、调度层引入了gpu利用率、显存占用率和网络延迟加权求和的三维度节点负载分数作为任务分配依据。由于上述技术手段共同作用,在处理千万级网格规模的三维视景仿真场景时,渲染帧率稳定保持在30帧/秒以上,节点故障后受影响的任务可在秒级内迁移至其他节点继续执行,整体渲染任务可在30秒内完成。

34、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。