基于一表通元数据驱动的模型构建与穿透明细方法及系统与流程

本发明属于计算机数据处理，具体涉及基于一表通元数据驱动的模型构建与穿透明细方法及系统。

背景技术：

1、随着监管数据分析与商业智能技术的发展，基于一表通数据体系构建主题数据模型，结合可视化看板实现数据展示，并配套穿透明细功能支撑数据核验与问题定位，已成为监管数据应用领域的常用方式。

2、现有相关技术在实际应用中，模型加工、可视化展示与明细核验各环节的配置相互独立，数据口径难以保持统一，全数据链路缺乏可追溯性，难以充分满足监管场景下的数据可审计要求，同时数据处理效率、权限管控精度与主题模型的业务化复用程度仍有不足，难以快速响应业务需求的变化。

技术实现思路

1、本发明基于上述背景和现有技术所存在的问题，拟设计一种基于一表通元数据驱动的模型构建与穿透明细方法及系统，其能够实现主题模型构建、可视化展示与明细核验全链路的数据口径统一与执行结果可追溯，有效提升数据处理效率，保障数据访问的合规性与可审计性。本发明还有一个目的是通过一表通元数据定义、一致性校验固化、受控编译执行、权限前置过滤与汇总-明细穿透转换的方法，提高监管数据建模与展示核验的协同效率，以便形成从主题建模、结果物化、数据集注册、看板展示到穿透明细的完整业务闭环，降低多模块分散配置的维护成本，适配监管数据分析场景的高可靠性要求。

2、为了实现本发明的这些目的和其它优点，提供了基于一表通元数据驱动的模型构建与穿透明细方法及系统。

3、为实现上述目的，本发明提供一种基于一表通元数据驱动的模型构建与穿透明细方法，包括以下步骤：

4、s1、接收基于一表通数据体系的主题模型加工配置信息以及穿透明细核验配置信息，将所接收的配置信息转化为具有稳定标识、依赖关系和数据权限约束字段的一表通元数据对象，所述主题模型加工配置信息采用有向无环图描述数据处理流程；

5、s2、对所述一表通元数据对象执行一致性校验，将通过校验的元数据配置固化生成不可变的一致性执行依据；

6、s3、基于所述一致性执行依据，将所述一表通元数据对象编译生成可执行的物化刷新计划，并在所述物化刷新计划中预留数据权限的注入位置；

7、s4、依据所述数据权限约束字段，对所述物化刷新计划的执行结果进行权限过滤，生成所述主题模型结果表并保存；

8、s5、将所述结果表注册为可供查询的数据集，使看板展示环节能够将所述数据集作为数据来源进行可视化查询；

9、s6、当触发对可视化查询结果的明细核验时，根据触发操作所在图表的数据点上下文信息及预设的汇总-明细字段映射规则，将汇总结果层面的展示条件转换为明细查询条件，并执行查询返回明细数据。

10、进一步地，所述一表通数据体系至少包括资源层、中间层明细维度表和中间层汇总维度表，所述资源层提供监管标准化明细数据，所述中间层明细维度表按监管业务主题对所述资源层的监管标准化明细数据进行重构以形成明细维度数据，所述中间层汇总维度表对所述中间层明细维度表进行汇总以形成汇总维度数据；

11、所述依赖关系包括所述主题模型中各处理节点间的上下游依赖关系、输入字段来源关系、以及穿透明细中汇总数据集字段与明细数据集字段之间的映射对应关系，其中，所述上下游依赖关系至少包括基于所述中间层明细维度表生成机构适配中间层汇总维度表的依赖关系。

12、进一步地，所述对所述一表通元数据对象执行一致性校验，将通过校验的元数据配置固化生成不可变的一致性执行依据，包括以下步骤：

13、对所述一表通元数据对象中的有向无环图进行节点唯一性校验、端点有效性校验、无环性校验、唯一结果节点校验、节点字段引用有效性校验及数据权限字段合法性校验；

14、校验通过后，将影响数据计算结果的语义配置与仅影响展示效果的布局配置分离，并进行规范化处理及哈希计算，以所述语义配置的哈希值作为一致性标识，将所述一致性标识与校验报告、审批记录、发布版本和运行任务进行关联绑定，以此生成不可变的一致性执行依据。

15、进一步地，所述基于所述一致性执行依据，将所述一表通元数据对象编译生成可执行的物化刷新计划，包括以下步骤：

16、基于所述一致性执行依据所标识的固化配置版本，按照所述一表通元数据对象中各处理节点的依赖关系顺序，递归生成各所述处理节点对应的结构化查询语言片段；

17、依据各所述处理节点的类型，分别生成对应的查询子句或数据定义语句，以形成各所述处理节点的计算逻辑；

18、在所述计算逻辑的基础上，为各所述处理节点中被标记为需物化的节点生成存储操作语句，所述存储操作语句包含建表语句、按时间周期删除语句、数据插入语句及索引创建语句；

19、所述物化刷新计划包含各所述处理节点的计算逻辑以及所述被标记为需物化的节点的存储操作语句。

20、进一步地，所述依据所述数据权限约束字段，对所述物化刷新计划的执行结果进行权限过滤，生成所述主题模型结果表并保存，包括以下步骤：

21、获取当前操作上下文中的权限范围信息；

22、将所述权限范围信息转换为针对所述数据权限约束字段的过滤条件，并将所述过滤条件注入所述物化刷新计划中预留的数据权限范围注入位置，使所述物化刷新计划的执行过程仅处理所述当前操作上下文允许访问的数据；

23、执行所述物化刷新计划，生成所述主题模型对应的结果表并保存。

24、进一步地，所述将所述结果表注册为可供查询的数据集，包括以下步骤：

25、将所述结果表注册为可供查询的数据集，并为所述数据集配置字段元数据、机构范围字段、账期字段及可用查询条件集合，使看板展示环节能够基于所述可用查询条件集合向用户提供筛选控件，并在可视化查询时根据用户选择的筛选值动态生成查询条件；

26、所述机构范围字段用于将所述一表通数据体系中按监管口径汇总的数据适配至机构内部实体机构层级。

27、进一步地，所述根据触发操作所在图表的数据点上下文信息及预设的汇总-明细字段映射规则，将汇总结果层面的展示条件转换为明细查询条件，包括以下步骤：

28、所述数据点上下文信息至少包括图表类型、点击维度字段及对应值、层级位置以及图表自身的继承筛选条件；

29、按照临时穿透配置优于组件穿透配置、组件穿透配置优于指标定义条件树的优先级顺序，将所述数据点上下文信息中的各来源条件与预设的汇总-明细字段映射规则进行合并，生成针对目标明细数据集的参数化过滤条件作为明细查询条件。

30、进一步地，在编译生成所述物化刷新计划之前，还包括：

31、按照所述有向无环图中各处理节点的拓扑顺序对各所述处理节点进行排序；

32、当启用测试运行模式时，响应于从指定节点开始运行的指令，仅运行所述指定节点及其下游节点，并将未运行的关联下游节点标记为过期状态。

33、进一步地，所述看板展示环节的可视化查询结果通过所述一致性执行依据与所述主题模型的结果表建立可追溯对应关系；

34、触发对所述可视化查询结果的明细核验时，根据所述一致性执行依据定位所述可视化查询结果所对应的结果表版本及所述明细数据所对应的明细数据集版本。

35、一种基于一表通元数据驱动的模型构建与穿透明细系统，用于实现基于一表通元数据驱动的模型构建与穿透明细方法，所述系统包括：

36、一表通元数据构建模块，用于接收基于一表通数据体系的主题模型加工配置信息以及穿透明细核验配置信息，将所接收的配置信息转化为具有稳定标识、依赖关系和数据权限约束字段的一表通元数据对象，所述主题模型加工配置信息采用有向无环图描述数据处理流程；

37、一致性校验与固化模块，用于对所述一表通元数据对象执行一致性校验，将通过校验的元数据配置固化生成不可变的一致性执行依据；

38、物化刷新计划编译模块，用于基于所述一致性执行依据，将所述一表通元数据对象编译生成可执行的物化刷新计划，并在所述物化刷新计划中预留数据权限的注入位置；

39、权限过滤与结果物化模块，用于依据所述数据权限约束字段，对所述物化刷新计划的执行结果进行权限过滤，生成所述主题模型结果表并保存；

40、数据集注册与可视化查询模块，用于将所述结果表注册为可供查询的数据集，使看板展示环节能够将所述数据集作为数据来源进行可视化查询；

41、汇总-明细穿透查询模块，用于当触发对可视化查询结果的明细核验时，根据触发操作所在图表的数据点上下文信息及预设的汇总-明细字段映射规则，将汇总结果层面的展示条件转换为明细查询条件，并执行查询返回明细数据。

42、本发明至少包括以下有益效果：

43、首先，通过统一的一表通元数据体系串联模型构建、可视化展示与明细核验各环节，结合语义配置哈希固化的一致性执行依据，将校验、审批、发布、运行各环节绑定至同一语义基准，从根源上避免多模块分散配置导致的口径漂移与结果不可复现问题，充分满足监管场景的数据可审计要求。

44、其次，采用拓扑排序保障数据处理沿依赖链路有序推进，结合物化节点的中间结果复用机制减少重复计算开销，将权限过滤前置至数据读取阶段从源头排除无效数据扫描，配合账期分区与多维度索引优化，有效提升数据处理与查询的执行效率。

45、同时，通过全链路贯穿的数据权限约束字段，结合编译阶段预留注入位置、运行时动态注入机构范围过滤的机制，从数据处理源头限制越权访问，查询缓存也纳入权限范围维度，实现不同权限用户的缓存结果隔离，充分保障数据访问的合规性与安全性，适配监管数据分级访问的管控要求。

46、此外，支持将主题模型物化结果直接注册为标准化数据集，复用既有数据集查询、看板配置与穿透明细转换能力，无需为每个主题模型单独开发展示接口与明细逻辑，同时支持监管口径到内部实体机构层级的数据灵活适配，形成建模、物化、展示、核验的完整业务链路，有效降低业务落地成本，缩短监管分析场景的业务迭代周期。

47、最后，基于有向无环图的节点化架构可灵活组合各类数据处理操作，支持直接查询、抽取查询、在线分页、异步导出等多种执行模式，能够适配一表通数据体系下不同数据规模与业务场景的差异化需求，具备较强的工程落地与扩展能力。

48、本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。