基于模块化加载的数据报表设计方法及系统与流程

摘要: 本发明涉及计算机数据处理,尤其涉及一种基于模块化加载的数据报表设计方法及系统。背景技术:1、随着企业数字化转型的深入,数据报表作为数据展示与分析的核心载体,其重...
基于模块化加载的数据报表设计方法及系统与流程

本发明涉及计算机数据处理,尤其涉及一种基于模块化加载的数据报表设计方法及系统。

背景技术:

1、随着企业数字化转型的深入,数据报表作为数据展示与分析的核心载体,其重要性日益凸显。现代web端报表设计器需要支持复杂的表格布局、海量的数据计算以及丰富的可视化图表组件。然而,传统的web报表设计工具在实际应用中面临诸多技术瓶颈:

2、1)系统臃肿与加载性能差:传统报表设计器通常采用单体架构,将所有功能模块(如各类图表、聚合函数库、格式化工具等)在首屏全量打包加载,导致初始化阶段资源体积庞大,严重拖慢了浏览器的首屏渲染速度。

3、2)第三方模块安全隐患:为了满足定制化需求,报表设计器通常需要动态加载第三方开发的功能插件。由于缺乏有效的命名空间隔离与安全沙箱机制,第三方代码极易污染全局变量(如window、document),甚至存在恶意代码逃逸风险,导致整个报表应用崩溃或数据泄露。

4、3)数据计算效率低下:在复杂的报表中,单元格之间往往存在深度的公式引用关系。当某个单元格数据发生变更时,传统方案通常采用全量重算或简单的脏标记队列遍历。全量重算消耗大量无效算力;而简单的队列遍历容易因忽略拓扑先后顺序导致中间状态计算错误,或者因缺乏有效的剪枝机制导致不必要的冗余计算。

5、4)交互智能化不足:用户在面对包含数百种功能组件的设计器时,往往需要手动在菜单中寻找所需的组件,缺乏基于上下文语义的智能推荐机制,操作效率低下。

技术实现思路

1、本发明提供了一种基于模块化加载的数据报表设计方法及系统。本发明实现报表功能模块的按需安全动态加载,并通过优化的局部拓扑排序与剪枝算法大幅提升报表数据增量计算的效率。

2、第一方面,本发明实施例提供了一种基于模块化加载的数据报表设计方法,所述方法包括:

3、在服务端,基于spring框架初始化报表计算引擎并配置数据源接口,建立报表计算引擎实例;

4、在浏览器端,加载核心画布模块并初始化画布渲染环境,生成核心画布上下文对象,所述核心画布上下文对象用于与所述报表计算引擎实例建立通信连接;

5、通过所述核心画布上下文对象,监听用户的实时交互行为,并结合当前操作的上下文语义及预设的功能关联规则,解析出待加载的目标功能模块标识;

6、根据所述目标功能模块标识,使用动态脚本加载技术,获取对应的功能代码,并基于命名空间隔离机制,对该功能代码进行实例化挂载,获得隔离的功能模块实例;

7、响应于所述功能模块实例反馈的报表模板变更信息,解析单元格间的引用关系以构建数据依赖有向图,并使用拓扑排序算法,处理所述数据依赖有向图,生成局部依赖计算序列;

8、基于所述局部依赖计算序列,对检测到数据变更的脏单元格执行增量迭代计算,并将得到的计算结果更新至所述核心画布上下文对象,输出最终的报表渲染数据。

9、本技术实施例提供的技术方案至少带来以下有益效果:

10、1)提高加载效率与降低内存占用:通过监听用户实时交互行为并构建用户意图特征向量,计算出功能模块的匹配权重,实现目标模块的精准预测与按需动态加载,避免了首屏全量加载带来的性能消耗。

11、2)增强系统安全性:通过构建沙箱包装器,结合new function()构造器与proxy动态代理机制,实现了功能代码的命名空间隔离与受限api访问,有效防止了动态加载模块对全局对象的非法篡改和恶意逃逸。

12、3)大幅提升计算性能:在响应报表模板变更时,通过构建数据依赖有向图,采用深度优先搜索提取受影响子图,并对该局部子图进行拓扑排序。在增量计算阶段,基于局部序列进行差异判定与脏标记传播,并在值未变化时触发剪枝机制跳过下游节点,彻底消除了全量重算和冗余计算,极大提升了含有复杂公式引用的报表计算效率。

13、4)优化高并发处理能力:服务端基于spring框架动态计算连接池参数,实现硬件资源的最大化利用;同时在多线程增量计算时引入乐观锁或线程局部变量隔离,保障了数据模型在并发读写场景下的一致性。

14、在一种可选的实现方式中,在服务端,基于spring框架初始化报表计算引擎并配置数据源接口,建立报表计算引擎实例,包括:

15、在服务端的启动阶段,基于spring框架的environment抽象,扫描预定义的配置路径,读取包含数据库连接参数、缓存策略以及并发控制参数的键值对;

16、通过正则匹配校验键值对的参数格式的合法性,在合法性通过后,将键值对的原始字符串转换为强类型的配置属性集合;

17、基于spring的依赖注入机制,将配置属性集合中的jdbc参数注入到连接池工厂类中,并根据配置属性集合中的并发阈值及服务端硬件资源,分别计算连接池的初始连接数和最大连接数;

18、基于连接池的初始连接数和最大连接数,实例化连接池对象,并执行测试连接sql以验证连通性,得到活跃的数据源实例;

19、启动spring容器的组件扫描功能,扫描并注册内置计算函数与自定义算子,构建函数注册表;

20、聚合所述活跃数据源实例与函数注册表,初始化报表引擎上下文对象;

21、基于所述报表引擎上下文对象实例化核心计算引擎,发布为spring单例bean,并配置数据源接口,得到报表计算引擎实例。

22、在一种可选的实现方式中,所述计算连接池的初始连接数和最大连接数的公式为:

23、

24、式中,为连接池的初始连接数;为向上取整符号;为服务端cpu核心数;为取最小值函数;

25、

26、式中,为连接池的最大连接数;为配置属性集合的并发阈值。

27、在一种可选的实现方式中,在浏览器端,加载核心画布模块并初始化画布渲染环境,生成核心画布上下文对象,所述核心画布上下文对象用于与所述报表计算引擎实例建立通信连接,包括:

28、在浏览器端,发起异步资源请求并加载核心画布模块,得到模块执行代码;

29、执行所述模块执行代码并定位文档对象模型容器,获取容器尺寸与设备像素比;

30、基于所述容器尺寸与设备像素比计算物理画布分辨率,初始化html5 canvas的绘图实例;

31、初始化虚拟滚动参数与单元格数据模型,构建渲染环境状态;

32、聚合所述绘图实例与渲染环境状态,生成核心画布上下文对象;

33、基于核心画布上下文对象,建立与所述服务端的报表计算引擎实例的通信连接。

34、在一种可选的实现方式中,通过所述核心画布上下文对象,监听用户的实时交互行为,并结合当前操作的上下文语义及预设的功能关联规则,解析出待加载的目标功能模块标识,包括:

35、基于所述核心画布上下文对象,注册高频交互事件监听器,监听用户的实时交互行为,建立实时交互数据流;

36、基于所述核心画布上下文对象的渲染状态,对实时交互数据流进行坐标逆变换与命中测试,锁定目标单元格,得到目标单元格对象;

37、提取所述目标单元格对象的操作上下文语义特征,构建用户意图特征向量;

38、基于所述用户意图特征向量,计算功能模块的匹配权重,生成候选模块集合;

39、将所述用户意图特征向量输入到预置的评分函数中,遍历系统支持的功能模块集合,对于每一个功能模块,计算其与所述用户意图特征向量的匹配权重;

40、筛选出匹配权重大于预设门槛值的功能模块,生成候选模块集合;

41、选取候选模块集合中匹配权重最高的候选模块并判定加载时机,解析出待加载的目标功能模块标识。

42、在一种可选的实现方式中,所述匹配权重的公式为:

43、

44、式中,为第

i个功能模块的匹配权重;

i为功能模块索引;为类型匹配权重系数;为第一克罗内克函数;为单元格类型;为模块关联类型;为第

i个功能模块;为停留时间权重系数;为停留时长;为时间阈值;为快捷键权重系数;为第二克罗内克函数;为当前按键状态;为模块快捷键配置。

45、在一种可选的实现方式中,根据所述目标功能模块标识,使用动态脚本加载技术,获取对应的功能代码,并基于命名空间隔离机制,对该功能代码进行实例化挂载,获得隔离的功能模块实例,包括:

46、基于所述目标功能模块标识,解析资源路径,生成资源定位符的脚本加载请求;

47、基于脚本加载请求,向资源定位符发起异步网络请求获取功能代码的原始代码流,并进行完整性校验,若一致则校验通过,得到功能代码的合规的代码文本;

48、构建沙箱包装器,并封装功能代码的所述代码文本,生成隔离化构造函数对象;

49、注入受限依赖并执行隔离化构造函数对象,生成裸露的模块对象;

50、根据裸露的模块对象,基于动态代理机制拦截对象访问,实例化隔离的功能模块实例。

51、在一种可选的实现方式中,响应于所述功能模块实例反馈的报表模板变更信息,解析单元格间的引用关系以构建数据依赖有向图,并使用拓扑排序算法,处理所述数据依赖有向图,生成局部依赖计算序列,包括:

52、解析所述功能模块实例反馈的报表模板变更信息,提取受影响的单元格,得到初始变更集合;

53、使用抽象语法树,解析所述初始变更集合的单元格表达式,构建局部依赖边集;

54、基于系统内存中维护的全局依赖图,根据所述初始变更集合和所述局部依赖边集,聚合局部边集与现有图结构,生成数据依赖有向图;

55、基于所述全局依赖图与初始变更集合,通过深度优先搜索或广度优先搜索向下遍历,收集所有受变更波及的下游节点,生成受影响子图;

56、计算所述受影响子图中所有顶点的入度值,生成局部入度映射表;

57、根据所述局部入度映射表,使用拓扑排序算法,生成线性的局部依赖计算序列。

58、在一种可选的实现方式中,基于所述局部依赖计算序列,对检测到数据变更的脏单元格执行增量迭代计算,并将得到的计算结果更新至所述核心画布上下文对象,输出最终的报表渲染数据,包括:

59、按照所述局部依赖计算序列的顺序,依次取出当前计算节点;

60、根据当前计算节点,使用抽象语法树,解析公式并执行上下文求值,生成对应的新值;

61、在多线程环境下,对单元格数据模型的读写操作采用乐观锁或线程局部变量进行隔离,计算完成后再合并至全局模型;

62、根据当前计算节点的新值,执行数值差异判定,判断是否需要触发下游更新,生成布尔型的变更判定结果;

63、根据变更判定结果,更新单元格数据模型与核心画布上下文对象,生成更新的单元格数据模型和对应的待渲染指令;

64、根据变更判定结果,基于所述局部依赖计算序列实现脏标记传播与剪枝,直至序列遍历完毕,输出最终的报表渲染数据。

65、第二方面,本发明实施例提供了一种基于模块化加载的数据报表设计系统,用于实现数据报表设计方法,所述系统包括:

66、服务端引擎单元,用于在服务端,基于spring框架初始化报表计算引擎并配置数据源接口,建立报表计算引擎实例;

67、客户端核心画布单元,用于在浏览器端,加载核心画布模块并初始化画布渲染环境,生成核心画布上下文对象,所述核心画布上下文对象用于与所述报表计算引擎实例建立通信连接;

68、意图识别单元,用于通过所述核心画布上下文对象,监听用户的实时交互行为,并结合当前操作的上下文语义及预设的功能关联规则,解析出待加载的目标功能模块标识;

69、动态加载单元,用于根据所述目标功能模块标识,使用动态脚本加载技术,获取对应的功能代码,并基于命名空间隔离机制,对该功能代码进行实例化挂载,获得隔离的功能模块实例;

70、依赖计算单元,用于响应于所述功能模块实例反馈的报表模板变更信息,解析单元格间的引用关系以构建数据依赖有向图,并使用拓扑排序算法,处理所述数据依赖有向图,生成局部依赖计算序列;

71、增量渲染单元,用于基于所述局部依赖计算序列,对检测到数据变更的脏单元格执行增量迭代计算,并将得到的计算结果更新至所述核心画布上下文对象,输出最终的报表渲染数据。

72、本发明实施例第三方面提出一种电子设备,电子设备包括:

73、至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,

74、存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本发明实施例第一方面提出方法。

75、本发明实施例第四方面提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例第一方面提出方法。