基于递归式多层级下钻的指标数据聚合方法、装置和设备与流程

摘要: 本技术涉及大数据,尤其涉及一种基于递归式多层级下钻的指标数据聚合方法、装置和设备。背景技术:1、在庞大的金融市场中,基金产品数量已达数十万种之多,种类繁多且结构...
基于递归式多层级下钻的指标数据聚合方法、装置和设备与流程

本技术涉及大数据,尤其涉及一种基于递归式多层级下钻的指标数据聚合方法、装置和设备。

背景技术:

1、在庞大的金融市场中,基金产品数量已达数十万种之多,种类繁多且结构复杂。金融行业从业者需要对这些基金产品进行深度分析,包括评估其历史表现、风险特征、收益水平和市场排名等,从而为投资决策提供科学依据。同时,通过对同类基金产品进行横向比较,可以帮助识别市场上的优质基金,为资产配置提供参考。

2、然而,金融行业的工作者在面对海量基金产品和指标时,往往需要从海量产品池和多维度指标中构建筛选条件,以满足不同的分析需求。这一过程极为耗时耗力,尤其是在金融数据具有高时效性和动态变化特性的情况下,传统的静态分析工具难以满足实时动态刷新数据的需求。

3、金融数据的复杂性体现在多维度、多指标交叉分析的需求,高频数据更新与时效性要求,多层级数据结构,金融行业迫切需要一种高效的数据分析工具,能够快速聚合海量指标数据,支持动态指标的灵活配置,满足递归深度复合查询的需求,同时实现前端多层级的无限下钻能力。

技术实现思路

1、本技术的主要目的在于提供一种基于递归式多层级下钻的指标数据聚合方法、装置和设备,达到了增强数据查询灵活性与动态扩展性、支持多层级无限下钻的复杂分析能力、降低端到端交互延迟并保障查询结果实时准确性的效果。

2、为实现上述目的,本技术提出一种基于递归式多层级下钻的指标数据聚合,包括:

3、响应于接收的筛选条件,根据预设业务规则对未配置条件节点进行动态约束校验,确定所述未配置条件节点的节点状态,基于所述筛选条件和所述节点状态递归生成条件树;其中,所述条件树包括多层嵌套的条件组节点;

4、对所述条件树的条件组节点进行语义解析和逻辑解析,并基于代数化简规则对所述条件树进行优化处理,生成优化查询逻辑;

5、根据所述优化查询逻辑和预设指标信息,动态解析各指标数据在数据存储系统中的存储位置,基于所述存储位置进行数据聚合处理,得到聚合结果,输出所述聚合结果以更新下钻视图。

6、在一实施例中,所述响应于接收的筛选条件,根据预设业务规则对未配置条件节点进行动态约束校验,确定所述未配置条件节点的节点状态,基于所述筛选条件和所述节点状态递归生成条件树,包括:

7、接收用户通过交互界面输入的筛选条件,基于所述筛选条件得到已配置条件节点;

8、根据所述预设业务规则中的依赖关系和冲突规则,确定所述未配置条件节点的节点状态;

9、将所述节点状态渲染到对应未配置条件节点中,以更新所述交互界面中的显示状态;

10、根据用户基于更新后的显示状态所配置的筛选条件以及所述未配置条件节点的可用状态,递归生成所述条件树。

11、在一实施例中,所述对所述条件树的条件组节点进行语义解析和逻辑解析,并基于代数化简规则对所述条件树进行优化处理,生成优化查询逻辑,包括:

12、对所述条件树的条件组节点进行语义解析,得到原子条件和复合条件;其中,所述复合条件包括至少一个逻辑运算符;

13、根据预设的逻辑优先级规则对所述原子条件和所述复合条件进行排序,得到排序后的条件树;

14、基于代数化简规则对所述排序后的条件树进行迭代化简和扁平化处理,输出所述优化查询逻辑。

15、在一实施例中,所述根据所述优化查询逻辑和预设指标信息,动态解析各指标数据在数据存储系统中的存储位置,包括:

16、获取所述优化查询逻辑中的指标标识;

17、根据预设的指标信息中记录的指标元数据模型,匹配所述指标标识对应的存储字段路径。

18、在一实施例中,在所述匹配所述指标标识对应的存储字段路径之后,还包括:

19、当同一指标在不同数据记录中对应不同存储字段路径时,自动适配对应的路径差异。

20、在一实施例中,所述基于所述存储位置进行数据聚合处理,得到聚合结果,输出所述聚合结果以更新下钻视图,包括:

21、根据解析得到的存储位置,从所述数据存储系统中获取原始数据;

22、对所述原始数据进行数据聚合处理,得到所述聚合结果;

23、输出所述聚合结果,触发当前层级下钻视图的更新,并根据更新后的层级下钻视图重新渲染下一层级的可下钻选项。

24、在一实施例中,所述基于所述存储位置进行数据聚合处理,得到聚合结果,还包括:

25、当所述聚合结果涉及动态指标计算时,识别不同数据聚合处理中共享的计算路径;

26、根据所述共享的计算路径,得到已缓存的中间聚合结果,合并所述中间聚合结果并输出。

27、在一实施例中,在所述基于所述存储位置进行数据聚合处理之前,还包括:

28、根据所述优化查询逻辑和所述存储位置生成缓存键,并在缓存中查找与所述缓存键对应的聚合结果;

29、若缓存中存在与所述缓存键对应的聚合结果,则直接返回所述缓存中的聚合结果,跳过执行所述查询指令;

30、若缓存中不存在与所述缓存键对应的聚合结果,则执行所述查询指令,并将得到的聚合结果写入缓存。

31、此外,为实现上述目的,本技术还提出一种基于递归式多层级下钻的指标数据聚合装置,所述装置包括:

32、递归条件树模块,用于响应于接收的筛选条件,根据预设业务规则对未配置条件节点进行动态约束校验,确定所述未配置条件节点的节点状态,基于所述筛选条件和所述节点状态递归生成条件树;

33、查询优化模块,用于对所述条件树的条件组节点进行语义解析和逻辑解析,并基于代数化简规则对所述条件树进行优化处理,生成优化查询逻辑;

34、查询聚合模块,用于根据所述优化查询逻辑和预设指标信息,动态解析各指标数据在数据存储系统中的存储位置,基于所述存储位置进行数据聚合处理,得到聚合结果,输出所述聚合结果以更新下钻视图。

35、此外,为实现上述目的,本技术还提出一种基于递归式多层级下钻的指标数据聚合设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的基于递归式多层级下钻的指标数据聚合方法的步骤。

36、本技术提出的一个或多个技术方案,至少具有以下技术效果:通过响应于接收的筛选条件,根据预设业务规则对未配置条件节点进行动态约束校验,确定未配置条件节点的节点状态,基于筛选条件和节点状态递归生成条件树,对条件树的条件组节点进行语义解析和逻辑解析,并基于代数化简规则对条件树进行优化处理,生成优化查询逻辑,根据优化查询逻辑和预设指标信息,动态解析各指标数据在数据存储系统中的存储位置,基于存储位置进行数据聚合处理,得到聚合结果,输出聚合结果以更新下钻视图;通过对未配置条件节点进行动态约束校验,实现降低条件配置出错率、提升筛选条件配置效率的效果,通过前端递归生成包含多层嵌套条件组节点的条件树,并支持无限层级下钻,实现满足金融从业者对海量基金产品进行多维度、多层级深度交叉分析需求的效果,通过对条件树进行语义解析、逻辑解析和代数化简规则对条件树进行优化处理,实现消除冗余逻辑节点、简化查询结构、提升后续数据聚合处理执行效率的效果,通过将聚合结果返回至前端以更新下钻视图,形成“筛选—结果—再筛选—再结果”的递归下钻交互闭环,达到了增强数据查询灵活性与动态扩展性、支持多层级无限下钻的复杂分析能力、降低端到端交互延迟并保障查询结果实时准确性的效果。