基于动态维度对齐和指标口径签名的联邦式分布式指标计算方法及系统与流程

摘要: 本技术涉及数据处理,尤其涉及一种基于动态维度对齐和指标口径签名的联邦式分布式指标计算方法及系统。背景技术:1、随着大数据技术与数字化业务的发展,指标数据作为经营...
基于动态维度对齐和指标口径签名的联邦式分布式指标计算方法及系统与流程

本技术涉及数据处理,尤其涉及一种基于动态维度对齐和指标口径签名的联邦式分布式指标计算方法及系统。

背景技术:

1、随着大数据技术与数字化业务的发展,指标数据作为经营分析与决策支持的核心载体,日益展现出高度的动态性与异构性。在多机构、多租户或多数据域的协同场景下,各参与方独立存储与管理本地业务数据,指标计算不仅需要满足多样化的维度分析需求,还需严格遵守数据隐私保护与合规要求。在商业智能与数据分析领域,跨机构的统一口径指标计算与协同分析显得尤为关键。

2、例如,标准化的经营指标计算有助于多机构协同决策与横向对比,统一口径的质量指标统计能够实现跨院区的质量监控与趋势分析,基于维度的灵活切片则能满足不同业务场景下的动态分析需求。联邦学习与隐私计算技术为跨机构数据不出域的协同计算提供了有力支持。该类技术通过在各参与方本地完成数据计算、仅上传中间结果或加密参数的方式,实现了原始数据不出域前提下的全局协同计算。指标语义层与维度模板作为指标体系建设的基础框架,允许根据实际需求设定标准化的指标口径与维度结构,从而保障指标计算的一致性与可比性。

3、然而,在联邦式分布式指标计算环境中,各参与方的维度体系、指标版本、计算口径与复合公式常因系统异构、版本迭代与业务差异等复杂因素,难以保持对齐,进而导致跨机构指标聚合结果的准确性与可比性受到影响。同时,当查询请求中的维度集合动态变化时,现有方案难以对多个参与方的本地指标计算脚本进行统一维度对齐重写,也缺乏有效的口径一致性校验机制来防止不同定义、不同版本或不同公式的中间结果被错误聚合。

技术实现思路

1、本技术的目的在于提供一种基于动态维度对齐和指标口径签名的联邦式分布式指标计算方法及系统,能够有效解决了维度对齐困难和口径不一致问题,显著提升了联邦式指标计算的准确性和效率。

2、第一方面,本技术提出了一种基于动态维度对齐和指标口径签名的联邦式分布式指标计算方法,包括:

3、中心协调方接收指标查询请求,解析目标指标和目标维度集合,读取所述目标指标对应的指标定义、指标版本、过滤条件、时间窗口、聚合函数及复合表达式,生成指标口径模板;

4、中心协调方获取各参与方的本地维度元数据,根据所述目标维度集合和所述本地维度元数据生成目标维度到本地维度的映射关系,依据所述映射关系重写各参与方的本地指标计算脚本;

5、各参与方在本地数据域内执行所述本地指标计算脚本,生成以统一维度键为分组键的中间指标量,根据所述指标口径模板生成本地执行对应的口径签名,并对所述中间指标量执行隐私保护变换处理;

6、各参与方向中心协调方上传维度键、口径签名及隐私保护后的中间指标量;

7、中心协调方根据所述维度键和所述口径签名对中间指标量进行准入判断与分桶,对同一维度键且同一口径签名下的中间指标量执行联邦式安全聚合,得到中间聚合结果;

8、中心协调方根据所述复合表达式对所述中间聚合结果进行重组,生成最终指标结果并输出。

9、可选地,所述本地维度元数据包括字段名称、字段编码、维度层级、维度值映射关系、可聚合粒度及缺失维度标记;

10、所述根据目标维度集合和本地维度元数据生成目标维度到本地维度的映射关系包括:

11、若目标维度在参与方的本地维度集合中存在且完全匹配,则生成精确映射关系,对应的维度兼容权重取值为1;

12、若参与方本地维度粒度高于目标维度且可通过层级上卷匹配,则生成层级上卷映射关系,对应的维度兼容权重取值为0.6至0.9;

13、若参与方本地维度缺失目标维度的部分层级,则生成降维聚合映射关系,对应的维度兼容权重取值为0.3至0.6;

14、若目标维度在参与方的本地维度集合中不存在,则映射结果为空,生成隔离标记,对应的维度兼容权重取值为0。

15、可选地,所述指标口径模板由时间窗口、过滤条件、聚合函数集合、派生公式集合、复合表达式集合及指标版本集合共同构成;

16、所述口径签名由哈希摘要函数对所述指标口径模板的全部字段进行摘要计算生成,所述哈希摘要函数包括sha系列哈希函数、带密钥哈希函数或等价摘要函数;

17、所述口径签名用于标识各参与方在同一维度键下的中间指标量计算口径一致性。

18、可选地,所述解析目标指标包括:

19、根据指标血缘关系识别目标指标的类型,所述类型包括原子指标、派生指标及复合指标;

20、对于复合指标,根据指标血缘关系将其拆解为原子指标和中间指标量,所述中间指标量包括计数、求和、最大值、最小值、分子、分母及复合表达式中的可加性项;

21、优先向各参与方下发所述中间指标量的本地计算任务。

22、可选地,所述根据维度键和口径签名对中间指标量进行准入判断与分桶包括:

23、将维度键相同且口径签名完全一致的中间指标量归入同一标准聚合桶;

24、将维度键相同且口径签名满足预设兼容规则的中间指标量归入兼容聚合桶;

25、将维度键相同但口径签名不兼容的中间指标量进行隔离处理;

26、所述联邦式安全聚合采用安全求和、安全计数、安全最大值、安全最小值或其他可验证聚合函数。

27、可选地,对于口径签名不兼容的中间指标量,中心协调方根据指标血缘关系确定受影响的中间指标量节点、复合指标节点及维度键,执行隔离展示、降级聚合或局部重算处理;

28、当指标定义、指标版本、维度映射关系、过滤条件或复合表达式发生变化并导致口径签名变化时,中心协调方根据指标血缘图确定受影响范围,仅对受影响的任务执行局部重算。

29、可选地,所述隐私保护变换处理包括安全聚合、随机掩码、同态加密、差分隐私噪声、可信执行环境或其组合;

30、所述根据复合表达式对中间聚合结果进行重组包括:对于比率类指标,分别聚合分子中间量和分母中间量后,在中心侧以分子聚合值除以分母聚合值计算比值;对于均值类指标,分别聚合总和中间量和计数中间量后,在中心侧以总和聚合值除以计数聚合值计算均值。

31、第二方面,本技术还提出了一种基于动态维度对齐和指标口径签名的联邦式分布式指标计算系统,包括查询请求方、中心协调方及多个参与方节点,所述中心协调方包括指标解析模块、动态维度对齐模块、口径签名生成模块、联邦任务编排模块、聚合准入与分桶模块、复合指标重组模块及指标结果输出模块,其中:

32、指标解析模块,用于解析目标指标,读取指标定义、指标版本、过滤条件、时间窗口、聚合函数、复合表达式及指标血缘关系,将复合指标拆解为可安全聚合的中间指标量;

33、动态维度对齐模块,用于根据目标维度集合和各参与方的本地维度元数据生成目标维度到本地维度的映射关系,并为各映射关系分配维度兼容权重;

34、口径签名生成模块,用于生成由时间窗口、过滤条件、聚合函数集合、派生公式集合、复合表达式集合及指标版本集合构成的指标口径模板,并基于所述指标口径模板生成口径签名;

35、联邦任务编排模块,用于根据维度映射关系重写各参与方的本地指标计算脚本,并向各参与方下发计算任务及隐私保护策略;

36、聚合准入与分桶模块,用于根据维度键和口径签名对各参与方上传的中间指标量进行准入判断与分桶;

37、复合指标重组模块,用于对同一聚合桶内的中间指标量执行联邦式安全聚合,并按照复合表达式重组最终指标结果;

38、指标结果输出模块,用于输出最终指标结果及对应的维度键、口径签名摘要、参与方覆盖情况及兼容性状态。

39、可选地,所述口径签名生成模块采用哈希摘要函数生成口径签名,所述哈希摘要函数包括sha系列哈希函数、带密钥哈希函数或等价摘要函数;

40、所述口径签名用于标识各参与方在同一维度键下的中间指标量计算口径一致性。

41、第三方面,本技术还提出了一种电子设备,包括存储器、处理器,所述存储器上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于动态维度对齐和指标口径签名的联邦式分布式指标计算方法。

42、相对比现有技术,本技术提供的一种基于动态维度对齐和指标口径签名的联邦式分布式指标计算方法及系统,通过中心协调方生成指标口径模板和动态维度映射关系,各参与方执行本地计算并生成口径签名,中心协调方基于维度键和口径签名进行准入判断与联邦聚合,有效解决了维度对齐困难和口径不一致问题,有效解决了维度对齐困难和口径不一致问题,显著提升了联邦式指标计算的准确性和效率。