面向业务场景的数据智能物化构建与层级映射处理方法与流程

本发明涉及数据处理，具体地说，涉及面向业务场景的数据智能物化构建与层级映射处理方法。

背景技术：

1、随着企业多源异构业务系统的不断拓展，业务数据的物化构建与层级化应用已成为数据中台建设的重要组成部分，可为业务数据分析、数据服务化调用提供高效的数据支撑。

2、在数据物化构建与优化领域，目前已有多种技术方案被公开。例如，中国专利cn202411135362.1公开了一种物化视图处理方法及相关装置、云时序数据存储系统，该方案从源数据库包含的源数据分片中拉取数据流，按照指定的时间区间对各时间区间的数据分别执行聚合计算，得到对应聚合数据，并将各时间区间的聚合数据存储至物化视图数据库的物化视图数据分片中，不同的物化视图数据分片负责不同维度组合的数据存储。又如，中国专利cn201710801784.1公开了一种物化视图选择和优化方法及装置，该方案获取数据库的信息并从中获得带有聚集函数的分组数据，生成分组数据集合；分解分组数据的非分布式聚集函数，生成分组数据元并得到分组数据元集合；将具有相同数据维度、聚集操作表达式的分组数据元确定为同一分组数据族，建立每个分组数据族对应的统计二叉树模型，进而建立面向物化视图优化的最小线性规划模型，得到优化的物化视图集合，并依据与物化视图相关的事实表的变化更新物化视图，能够在海量数据的统计分析中实现快速响应。

3、尽管上述技术方案存在相应的设计优点，但是上述技术方案还存在以下技术缺陷：其一，物化聚合边界仅围绕数据自身属性设定，未结合业务层级分类体系建立对应映射关系，难以适配分层级业务应用需求。中国专利cn202411135362.1仅基于时间区间与数据维度组合划分物化视图分片，中国专利cn201710801784.1仅依据数据维度与聚集操作表达式划分物化视图分组，二者均未将业务层级分类体系纳入物化构建的约束条件，生成的物化数据与业务层级架构缺乏结构对应性，无法直接与业务层级分类体系实现对齐适配。其二，物化数据更新仅由底层源数据变化驱动，不具备响应业务层级分类体系变更的局部更新能力。中国专利cn202411135362.1的物化视图更新随源数据分片的数据流变更触发，中国专利cn201710801784.1的物化视图更新依据关联事实表的数据变化执行，二者均无法针对业务层级分类体系的版本变更定位受影响范围并执行局部调整，当业务层级架构发生调整时，需通过全量重构物化数据完成适配，更新过程计算资源开销大、适配效率较低。鉴于此，我们提出面向业务场景的数据智能物化构建与层级映射处理方法。

技术实现思路

1、本发明针对现有技术中存在的物化聚合边界未结合业务层级分类体系设定、业务层级架构变更时需全量重构物化数据的技术问题，提供面向业务场景的数据智能物化构建与层级映射处理方法，其能够实现物化数据与业务层级分类体系的层级映射与结构对齐，同时支持业务层级分类体系版本变更时的局部增量更新，有效提升数据物化构建的业务适配性与动态调整效率。

2、为实现上述技术问题的解决，本发明提供了面向业务场景的数据智能物化构建与层级映射处理方法，包括如下步骤：

3、s1、多源异构业务数据采集与标准化预处理：基于多源业务系统的异构原始业务数据以及预设的数据标准化规则，采用数据抽取、格式归一化及元数据关联标注手段，生成标准化业务数据集；

4、s2、业务场景需求解析与物化维度特征提取：基于标准化业务数据集以及预设的业务场景计算需求配置信息，采用场景需求拆解、物化维度筛选及特征标签提取手段，生成物化维度特征集合；

5、s3、基于层级可区分约束的智能物化构建与动态更新：基于标准化业务数据集、物化维度特征集合以及预设的业务层级分类体系，以下游层级映射的可区分性要求反向确定物化聚合边界，生成物化数据单元集合；响应业务层级分类体系变更，定位受影响的物化数据单元并执行局部聚合边界重构；

6、s4、物化数据层级映射与业务层级分类体系对齐：基于物化数据单元集合以及预设的业务层级分类体系，采用层级归属匹配、关联关系映射及体系结构对齐手段，生成分层级物化数据集；

7、s5、分层物化数据存储校验与服务化输出：基于分层级物化数据集，采用分布式存储部署、数据一致性校验及调用接口封装手段，生成可被业务系统调用的层级化物化数据服务。

8、作为本技术方案的进一步改进，所述s2中的业务场景需求解析与物化维度特征提取包括如下步骤：

9、s2.1、基于预设的业务场景计算需求配置信息，提取对应业务场景的计算维度、聚合粒度与访问属性参数，生成场景维度需求集合；

10、s2.2、基于标准化业务数据集的元数据信息，结合场景维度需求集合执行维度有效性校验，筛选得到符合业务计算要求的有效物化维度集合；

11、s2.3、对有效物化维度集合执行维度属性标注与特征编码处理，生成携带维度粒度标识的物化维度特征集合。

12、作为本技术方案的进一步改进，所述s3中的基于层级可区分约束的智能物化构建与动态更新划分为首次构建与增量更新两个先后执行的阶段，包括如下步骤：

13、s3.1、以当前版本的业务层级分类体系为基准，基于标准化业务数据集与物化维度特征集合，确定物化聚合边界并生成初始物化数据单元集合；

14、s3.2、响应于业务层级分类体系发生版本变更，基于当前生效的物化数据单元集合执行局部更新，定位受影响的物化数据单元并执行局部聚合边界重构，生成更新后的物化数据单元集合并替换原当前生效的物化数据单元集合，作为下一轮版本变更的更新基准。

15、作为本技术方案的进一步改进，所述s3.1中确定物化聚合边界包括如下步骤：

16、s3.11、基于物化维度特征集合，对标准化业务数据集中的每条业务数据生成对应业务场景的计算维度投影；

17、s3.12、基于预设的业务层级分类体系，对标准化业务数据集中的每条业务数据生成对应层级版本的层级可区分标识信息；

18、s3.13、以计算维度投影与层级可区分标识信息同时一致作为等价聚合条件，对标准化业务数据集划分得到物化等价类并确定物化聚合边界；其中，标准化业务数据集中任意两条业务数据的可聚合等价关系按下式确定：

19、；

20、式中，为业务数据与的可聚合等价判定结果；

21、为标准化业务数据集中的任意两条业务数据；

22、为业务数据的计算维度投影，分别为业务数据、业务数据对应的计算维度投影；

23、为业务数据的层级可区分标识信息，分别为业务数据、业务数据对应的层级可区分标识信息；

24、为指示函数，括号内条件成立时取值为1，不成立时取值为0。

25、作为本技术方案的进一步改进，所述物化数据单元包括物化数据单元标识、可合并聚合状态、层级成员关联信息以及源数据关联信息，其中：

26、物化数据单元标识为对应物化等价类的唯一编码标识；

27、可合并聚合状态为同一物化等价类内全部业务数据聚合生成的统计状态数据；

28、层级成员关联信息为同一物化等价类内全部业务数据对应的层级成员标识集合；

29、源数据关联信息为同一物化等价类内全部业务数据在标准化业务数据集中的范围映射标识。

30、作为本技术方案的进一步改进，所述s3.2中定位受影响的物化数据单元包括如下步骤：

31、s3.21、获取业务层级分类体系的版本变更集，所述版本变更集包含本次发生变更的全部层级成员信息；

32、s3.22、基于各物化数据单元中的层级成员关联信息进行匹配筛选，得到包含变更层级成员的受影响物化数据单元集合；其中，受影响物化数据单元集合按下式确定：

33、；

34、式中，为受影响物化数据单元集合，为单个物化数据单元，为物化数据单元包含的层级成员关联信息，为业务层级分类体系的版本变更集；为集合描述法的条件分隔符，代表“满足如下条件”，为集合交集运算符，为空集。

35、作为本技术方案的进一步改进，所述s3.2中的聚合边界失效判定具体包括：

36、针对受影响物化数据单元集合中的每一物化数据单元，基于该物化数据单元的源数据关联信息定位对应的局部标准化业务数据，依据变更后的业务层级分类体系重新生成层级可区分标识信息，校验该物化数据单元内所有业务数据对应的层级可区分标识信息是否一致；若全部一致则保留该物化数据单元，若存在不一致则判定该物化数据单元的聚合边界失效。

37、作为本技术方案的进一步改进，所述s3.2中的局部聚合边界重构包括如下步骤：

38、s3.23、基于失效物化数据单元中的源数据关联信息，定位对应的局部标准化业务数据；

39、s3.24、依据变更后的业务层级分类体系，对该局部标准化业务数据重新划分物化等价类并重建可合并聚合状态，生成新的物化数据单元以替换原失效物化数据单元。

40、作为本技术方案的进一步改进，所述s4中的物化数据层级映射与业务层级分类体系对齐包括如下步骤：

41、s4.1、基于物化数据单元集合以及预设的业务层级分类体系，匹配各物化数据单元对应的层级归属节点，生成层级归属匹配结果；

42、s4.2、基于层级归属匹配结果，按照业务层级分类体系的层级关联规则，建立各物化数据单元之间的层级关联映射关系；

43、s4.3、按照业务层级分类体系的层级结构，对完成关联映射的物化数据单元执行结构排布与对齐处理，生成分层级物化数据集。

44、作为本技术方案的进一步改进，所述s5中的分层物化数据存储校验与服务化输出包括如下步骤：

45、s5.1、基于分层级物化数据集，按照业务层级分类体系的层级结构执行分布式存储部署，完成层级化物化数据的存储；

46、s5.2、对存储完成的层级化物化数据执行数据一致性校验，校验存储数据与分层级物化数据集的内容一致性；

47、s5.3、对校验通过的层级化物化数据执行调用接口封装，生成可被业务系统调用的层级化物化数据服务。

48、与现有技术相比，本发明的有益效果：

49、1.本发明通过层级可区分约束反向确定物化聚合边界，配套层级归属匹配与体系结构对齐处理，实现物化数据与业务层级分类体系精准映射、结构对齐，有效提升物化数据的业务适配性，为分层级业务数据服务输出提供可靠数据支撑；

50、2.本发明采用业务层级变更驱动的受影响单元定位与局部聚合边界重构机制，可精准锁定变更影响范围并执行局部更新，规避全量重构的计算资源开销，缩短层级体系调整后的物化数据适配周期，提升动态场景运行效率。