一种基于元数据驱动的预结账指标分布式计算方法及系统与流程

摘要: 本发明涉及计算机数据处理与分布式计算,尤其涉及一种基于元数据驱动的预结账指标分布式计算方法及系统。背景技术:1、预结账指标计算是在正式结账前,对源数据库中的业务...
一种基于元数据驱动的预结账指标分布式计算方法及系统与流程

本发明涉及计算机数据处理与分布式计算,尤其涉及一种基于元数据驱动的预结账指标分布式计算方法及系统。

背景技术:

1、预结账指标计算是在正式结账前,对源数据库中的业务记录按统计期间、组织和科目维度进行取数、汇总及公式计算的处理过程。基础指标根据取数规则直接读取或聚合源数据,复合指标引用基础指标或其他复合指标进行计算。元数据配置记录维度、指标编码、取数规则和计算公式,计算引擎加载这些配置后生成相应查询与指标计算任务。

2、在多组织、多指标场景中,计算任务可由多个计算节点并行执行。各节点在不同时间加载当前配置或读取源数据库,配置发布和数据提交可能改变节点实际采用的计算输入;节点异常后的重复投递或重试还可能产生重复结果。当多个指标具有相同取数条件时,分别生成查询又会增加源数据库访问量。

3、在这种分布式处理过程中,若任务的规则版本、数据读取边界和依赖关系未贯穿查询、结果写入及恢复阶段,异常后的局部补算容易与原有结果采用不同计算输入,导致结果不可一致合并并引发重复取数和重复计算。

技术实现思路

1、本发明所要解决的技术问题是:如何在元数据驱动的多层依赖指标分布式计算中,维持首次执行与异常恢复之间的计算输入一致性,减少由输入不一致引起的重复数据库访问和无效重算。

2、为解决上述技术问题,本发明提供一种基于元数据驱动的预结账指标分布式计算方法。所述方法由调度节点和多个计算节点协同执行,具体包括以下步骤。

3、s1、锁定所述指标计算任务的元数据配置版本,取得源数据库的一致性数据边界标识作为数据时点,将所述元数据配置版本和所述数据时点与任务标识关联,形成计算基准。

4、s2、加载所述元数据配置版本对应的配置快照,构建由被引用指标指向引用该指标的复合指标的有向依赖图,并确定各指标的计算层。

5、s3、对基础指标的取数规则进行标准化,将标准化后的取数规则与所述计算基准组合生成查询签名,在任务分发前将查询签名相同且标准化后的取数规则相同的基础指标合并为同一取数任务。

6、s4、为取数任务及指标计算子任务生成子任务标识,多个计算节点按所述数据时点读取源数据,将取数结果按所述查询签名写入共享任务缓存,按所述计算层和上游依赖的完成状态调度指标计算子任务,并行执行同一计算层内的指标计算子任务。

7、s5、根据所述任务标识、子任务标识和计算基准生成结果唯一标识,校验子任务结果携带的元数据配置版本和数据时点,仅将基准一致的子任务结果按所述结果唯一标识写入结果存储,并在结果合并前再次校验计算基准。

8、s6、当子任务发生可重试的执行异常时,确定该子任务对应的指标及沿所述有向依赖图可达的下游指标,形成待重算指标集合,在所述计算基准有效且保持不变的情况下重新调度该集合内未成功完成的子任务,复用该集合之外已完成且基准一致的指标结果。

9、在一实施方式中,配置快照包括维度配置、指标配置、模型配置、取数规则配置和指标依赖关系配置,每次配置发布时生成新的元数据配置版本并保存不可修改的配置快照;解析复合指标公式中引用的指标编码,匹配指标注册表后建立依赖边,经循环依赖检测后确定计算层。

10、在一实施方式中,数据时点为源数据库支持跨会话一致性读取的一致性快照标识或历史版本边界标识,首次取数与重试取数均将其作为数据库读取参数;该数据版本不可读取时,将任务标记为基准失效并停止取数及结果合并。

11、在一实施方式中,取数规则的标准化字段包括数据源标识、数据表标识、取值字段或表达式、表关联条件、过滤条件、统计期间、组织范围、分组维度和汇总方式,与元数据配置版本及数据时点按固定字段顺序编码并进行哈希运算;查询合并与缓存命中均核对标准化取数规则及计算基准。

12、在一实施方式中,当取数任务的历史执行耗时超过预设耗时阈值,且汇总方式为求和、计数或平均时,将原取数范围拆分为互不重叠且共同覆盖原范围的数据分段,在同一计算基准下并行取数;按各分段的累计值、计数或累计值与有效样本数合并结果。

13、在一实施方式中,子任务标识和数据分段标识在任务分发前持久化,重试、重复投递或节点迁移时保持不变;结果存储对结果唯一标识设置唯一约束,在同一存储事务内记录结果和成功状态,重复内容一致时忽略重复写入,内容不一致时将结果标记为冲突并停止任务结果合并。

14、在一实施方式中,通过源数据变更日志订阅或定时数据校验检测源数据变化,按数据血缘索引定位变化是否影响待计算数据;对原数据时点之后提交的相关变更,创建新任务并取得新数据时点,原任务继续采用原计算基准。

15、本发明还提供一种基于元数据驱动的预结账指标分布式计算系统,包括配置服务、源数据库、多个计算节点、结果存储、调度节点和共享任务缓存。调度节点包括任务基准模块、元数据加载及依赖解析模块、查询合并模块、任务调度模块、结果一致性模块和异常恢复模块;各模块协同执行前述方法中的任务基准建立、依赖解析、查询合并、分层调度、结果校验和异常恢复。

16、本发明还提供一种电子设备和一种计算机可读存储介质,电子设备的处理器执行存储器中的计算机程序时实施前述方法,计算机可读存储介质存储实现前述方法的计算机程序。

17、本发明具有以下有益效果:元数据配置版本限定规则输入,数据时点限定源数据库可见数据,二者在首次执行、缓存复用、结果存储和异常恢复中共同形成任务级计算基准,减少不同节点输入不一致所造成的重复计算。

18、标准化取数规则包含实际取值表达式和关联条件,在查询签名相同的情况下进一步核对取数规则,仅合并相同查询;共享任务缓存复用同一基准下的完整结果,减少重复数据库访问,避免不同取值字段或不同关联关系的查询被误合并。

19、有向依赖图同时约束正常执行的分层顺序和异常恢复的影响范围,异常恢复复用同一计算基准下已完成的独立分支;稳定的子任务标识、唯一约束及结果状态校验减少重复投递引起的重复写入,并阻止基准不一致或内容冲突的结果进入最终合并。

1.一种基于元数据驱动的预结账指标分布式计算方法,包括获取预结账指标的元数据配置,并创建由多个计算节点执行的指标计算任务,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述配置快照包括维度配置、指标配置、模型配置、取数规则配置和指标依赖关系配置,每次配置发布时生成新的元数据配置版本并保存对应的不可修改配置快照;解析复合指标的计算公式中引用的指标编码,将其与指标注册表匹配后建立依赖边,对所述有向依赖图执行循环依赖检测,在不存在循环依赖时按拓扑顺序确定所述计算层。

3.根据权利要求1所述的方法,其特征在于,所述数据时点为所述源数据库支持跨会话一致性读取的一致性快照标识或历史版本边界标识,取数任务和重试的取数任务均将所述数据时点作为数据库读取参数;当所述数据时点对应的数据版本不可读取时,将所述指标计算任务标记为基准失效并停止该指标计算任务的取数及结果合并。

4.根据权利要求1所述的方法,其特征在于,所述取数规则的标准化字段包括数据源标识、数据表标识、取值字段或表达式、表关联条件、过滤条件、统计期间、组织范围、分组维度和汇总方式,将所述标准化字段与所述元数据配置版本、数据时点按照固定字段顺序编码后进行哈希运算,得到所述查询签名;共享任务缓存以所述查询签名定位缓存记录,缓存记录保存标准化后的取数规则、计算基准和完整取数结果,计算节点在复用缓存记录前核对所述取数规则和计算基准。

5.根据权利要求1所述的方法,其特征在于,在执行取数任务之前,根据该取数任务的历史执行耗时确定取数任务复杂度;当所述历史执行耗时超过预设耗时阈值,且汇总方式为求和、计数或平均时,按组织维度或时间维度将取数范围拆分为多个互不重叠且共同覆盖原取数范围的数据分段,各数据分段在同一计算基准下并行取数;求和及计数结果分别相加,平均结果根据各数据分段的累计值之和与有效样本数之和计算。

6.根据权利要求1所述的方法,其特征在于,在任务分发前持久化子任务标识及数据分段标识,在重试、重复投递或计算节点迁移时复用原有子任务标识及数据分段标识,将任务标识、子任务标识、元数据配置版本、数据时点和数据分段标识组合生成所述结果唯一标识;所述结果存储对所述结果唯一标识设置唯一约束,并在同一存储事务内写入子任务结果及成功状态;重复执行前查询已成功且基准一致的结果,存在该结果时跳过对应子任务,重复写入的内容与该结果一致时忽略重复写入,内容不一致时将对应结果标记为冲突状态并停止所述指标计算任务的结果合并。

7.根据权利要求1所述的方法,其特征在于,由取数规则中的数据源标识、数据表标识和过滤条件建立基础指标与源表、数据分段之间的数据血缘索引,通过数据变更日志订阅或定时数据校验检测源数据变更;当所述源数据变更影响所述数据血缘索引覆盖的源表和数据分段,且该变更在原数据时点之后提交时,创建新的指标计算任务,取得包含所述变更的新数据时点并形成新的计算基准,原指标计算任务继续使用原计算基准。

8.一种基于元数据驱动的预结账指标分布式计算系统,包括配置服务、源数据库、多个计算节点和结果存储,其特征在于,所述系统还包括与所述配置服务、多个计算节点及结果存储通信连接的调度节点,以及与多个计算节点通信连接的共享任务缓存;

9.一种电子设备,包括处理器和存储器,其特征在于,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使所述处理器执行权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。