一种基于WebGPU增量式大数据可视化渲染方法及系统与流程

摘要: 本技术属于可视化渲染,尤其涉及一种基于webgpu增量式大数据可视化渲染方法及系统。背景技术:1、随着智慧城市、工业互联网、金融风控、数字孪生、物联网监控等场景...
一种基于WebGPU增量式大数据可视化渲染方法及系统与流程

本技术属于可视化渲染,尤其涉及一种基于webgpu增量式大数据可视化渲染方法及系统。

背景技术:

1、随着智慧城市、工业互联网、金融风控、数字孪生、物联网监控等场景的发展,前端可视化系统需要实时处理海量数据,例如百万级点位、实时流式日志、动态拓扑关系、轨迹数据、热力分布数据等。

2、当前行业中主流的前端可视化方案主要包括以下几类:1.基于 canvas 的二维渲染方案;2.基于 svg 的矢量渲染方案;3.基于 webgl 的 gpu 加速方案;4.基于 echarts、three.js 等封装框架的图形渲染方案。

3、现有技术通常采用以下处理方式:将数据整体传输至前端;前端一次性完成数据解析;使用 cpu 完成布局与计算;将完整数据重新提交至 gpu;执行整体重绘。

4、然而,当数据规模达到百万级以上时,现有技术普遍存在以下问题:

5、(1)cpu 与 gpu 数据传输开销巨大

6、传统 webgl 渲染方案中,当数据发生变化时,通常需要重新上传完整 buffer 数据至 gpu,导致频繁的数据拷贝和 gpu buffer 重建。

7、在高频动态场景下,例如实时监控、日志流展示、iot 数据流场景中,会造成明显的帧率下降。

8、(2)无法实现真正的增量更新

9、现有方案大多数采用整体重绘模式,即使只有局部数据变化,也需要重新计算全部节点、全部图层以及全部渲染对象。

10、该方案导致:gpu 资源浪费;无效渲染区域过大;浏览器主线程阻塞;页面交互卡顿。

11、(3)大规模数据场景下内存占用高

12、现有可视化方案通常将全部数据驻留在浏览器内存中。

13、在海量数据场景下:javascript 堆内存快速增长;gpu 显存占用持续升高;浏览器容易出现崩溃。

14、(4)缺少动态视口级别调度能力

15、现有方案通常无法根据用户当前视口区域动态调整渲染精度。即使用户仅查看局部区域,也会渲染全量数据。导致:gpu 无效计算增加;帧率下降;功耗提升。

16、(5)缺少基于 webgpu 的统一增量调度机制

17、当前大多数前端可视化框架仍基于 webgl。webgl 在以下方面存在限制:计算能力不足;无法高效执行并行计算;缺少 compute shader;无法实现 gpu 端数据预处理;无法灵活控制显存生命周期。

18、随着 webgpu 技术的发展,浏览器已逐渐具备现代 gpu 并行计算能力,但当前行业内尚缺少一种面向海量数据场景的 webgpu 增量式渲染方法。

19、因此,需要一种基于 webgpu 的前端增量式大数据可视化渲染方法,以解决现有技术中存在的:整体重绘效率低;gpu buffer 重建频繁;浏览器卡顿;海量数据实时渲染能力不足;gpu 资源调度不合理等问题。

技术实现思路

1、本技术的目的在于:为了克服现有技术问题,公开了一种基于webgpu增量式大数据可视化渲染方法及系统,实现了海量数据场景下的高性能实时渲染。

2、一方面,本技术目的通过下述技术方案来实现:

3、一种基于webgpu增量式大数据可视化渲染方法,所述大数据可视化渲染方法包括:

4、s1:数据增量检测,接收实时数据流,并新接收数据以及历史数据进行差异比对,通过哈希索引结构记录每条数据的唯一标识,当检测到数据变化时,仅生成对应的数据差异队列;

5、s2:动态视口区域检测,实时获取当前浏览器视口信息,通过空间索引结构计算当前视口涉及的数据块,并对当前可见区域执行渲染;

6、s3:gpu chunk分块管理,所述gpu chunk分块管理采用gpu buffer 分块管理机制,将海量数据拆分为若干个 gpu chunk,更新发生变化的数据块;

7、s4:gpu 并行计算处理,采用 webgpu compute shader 实现 gpu 并行计算,并输出渲染计算结果。

8、根据一个优选的实施方式,步骤s1中,差异比对内容包括:新增数据、删除数据、修改数据、位置变化数据、属性变化数据。

9、根据一个优选的实施方式,所述差异队列结构包括:字段及对应描述;

10、其中,字段包括:id、type、offset、size、priority;各字段对应描述为:数据唯一标识、数据变化类型、gpu buffer 偏移量、数据长度和更新优先级。

11、根据一个优选的实施方式,步骤s2中当前浏览器视口信息包括:缩放等级、滚动位置、当前显示区域、摄像机位置、用户交互行为。

12、根据一个优选的实施方式,步骤s3中,每个gpu chunk 中独立维护处理:顶点数据、索引数据、颜色数据、动态属性数据。

13、根据一个优选的实施方式,步骤s4中,compute shader 用于执行:顶点坐标计算、动态粒子位置更新、热力值计算、数据聚合、颜色映射、碰撞检测。

14、根据一个优选的实施方式,所述大数据可视化渲染方法执行过程中,执行动态lod 渲染调节,根据当前缩放等级动态切换数据精度。

15、根据一个优选的实施方式,所述动态 lod 渲染调节基于如下规则切换,包括:当前缩放倍率,gpu 占用率,当前帧率,浏览器内存状态,用户操作频率。

16、根据一个优选的实施方式,所述大数据可视化渲染方法执行过程中,执行增量渲染调度,根据 gpu 负载动态调整任务执行频率。

17、根据一个优选的实施方式,增量渲染调度的调度规则根据以下参数动态计算任务优先级:用户交互频率 fuser;数据变化频率 fdata;当前视口距离 dview;gpu 当前负载gload;

18、优先级计算公式如下:

19、priority = α×fuser + β×fdata + γ×(1/dview) - δ×gload

20、其中:α、β、γ、δ 为权重系数;priority 越高,越优先执行,即是根据 priority对任务队列进行排序。

21、另一方面,本技术还公开了:

22、一种基于webgpu增量式大数据可视化渲染系统,所述大数据可视化渲染系统采用前述的方法进行可视化渲染;

23、所述大数据可视化渲染系统包括:数据增量分析模块、视口检测模块、gpu chunk分块管理模块、lod动态控制模块、webgpu 渲染调度模块、compute shader 并行计算模块。

24、前述本技术主方案及其各进一步选择方案可以自由组合以形成多个方案,均为本技术可采用并要求保护的方案。本领域技术人员在了解本技术方案后根据现有技术和公知常识可明了有多种组合,均为本技术所要保护的技术方案,在此不做穷举。

25、本技术的有益效果:

26、(1)显著降低 gpu 数据传输开销

27、通过 gpu chunk 增量更新机制,仅更新变化区域。相比整体 buffer 重建方式,可减少约 60%~90% 的 gpu 数据传输量。

28、(2)提升海量数据实时渲染能力

29、本发明基于 webgpu compute shader 实现 gpu 并行计算。相比传统 cpu 计算方案:百万级点位场景下帧率提升约 2~5 倍;gpu 利用率更加稳定;浏览器交互延迟明显降低。

30、(3)降低浏览器内存占用

31、通过动态视口管理和 gpu buffer 池复用机制。系统仅维护当前活动数据块。减少浏览器内存与 gpu 显存占用。

32、(4)提升交互流畅度

33、本发明通过异步调度机制和动态任务优先级管理。有效避免浏览器主线程卡顿。提高缩放、拖拽、实时交互场景下的流畅性。

34、(5)提高系统可扩展性

35、本发明支持:数字孪生;智慧城市;iot 监控;大屏可视化;金融风控;实时轨迹分析;网络拓扑监控等场景。具备较强的行业通用性。