免节点路径遍历的层级数据归属仲裁方法、装置、设备与流程
本技术涉及计算机数据库与图数据处理、数据归属仲裁,具体而言,涉及一种基于相对拓扑特征的免节点路径遍历的层级数据归属仲裁方法、装置、设备。
背景技术:
1、在大型金融机构的管理会计与业绩价值分配场景中,业务数据的多维层级归属仲裁面临极端复杂的规则耦合。典型任务如:一笔交易需在“业务发生机构”与“执行人员所属机构”之间,依据显性关系识别、本级管户权/业务权判定、以及向上/向下逐级追溯等多重优先级逻辑,确定唯一归属机构。现有技术普遍将该问题建模为图或树的路径搜索问题,主流实现方案包括三类:第一类为数据库原生递归sql,即通过公用表表达式(common tableexpression, cte)配合recursive子句,基于父子指针(parentid)逐层关联展开机构树;第二类为外部过程语言实现,如java/python代码加载全量机构树至内存后执行递归遍历;第三类为混合方案,即在数据库外层调用存储过程,内部嵌套多层case when条件判断。
2、然而,在大规模并行处理(massively parallel processing, mpp)分布式数据库架构下,上述方案均存在根本性缺陷:由于机构树节点在物理上分散于不同计算节点(segment),每一次父子指针跳转必然触发跨节点数据拉取,产生海量motion算子与网络shuffle,造成带宽拥塞与内存溢出;同时,递归深度与候选集规模呈强正相关,导致计算时间不可控、栈溢出频发;此外,复杂业务规则依赖嵌套条件分支,易突破数据库解析器的语法树深度限制,且逻辑扩展性差。即使采用编程语言来实现,跨节点或者不跨节点的指针跳转搜索的开销也均处于过高状态,无法适用于大规模并行处理的情况。而现有的路径搜索方案,无论是采用通用编程语言的狭义递归函数,还是采用基于栈/队列的外部内存循环迭代,其底层数据获取的因果结构均依赖于跨节点的动态指针遍历,必然产生大量的随机内存访问,导致时间复杂度不可控。
3、因此,亟需一种摆脱路径依赖、切断跨节点数据交互、支持本地化并行判定的新型归属仲裁技术。
技术实现思路
1、有鉴于此,本技术的目的在于提供免节点路径遍历的层级数据归属仲裁方法、装置、设备,有效地解决了现有的基于mpp架构的分布式数据库在中大规模层级数据归属仲裁所面临的多个技术瓶颈。
2、第一方面,本技术实施例提供了一种免节点路径遍历的层级数据归属仲裁方法,所述方法包括:
3、获取存储于同一计算节点的且采用统一的业务主键的业务事实数据与对应的多个候选维度数据,并确定出每一对业务事实数据对应的触发业务节点与多个候选维度数据对应的候选归属节点;
4、基于预存于本地记录中的静态拓扑编码字段,在免节点路径遍历的条件下提取触发业务节点与候选归属节点间的相对拓扑特征;所述相对拓扑特征包括表征触发业务节点相对于最近共同祖先基准的第一位移变量,表征候选归属节点相对于所述最近共同祖先基准的第二位移变量,以及表征业务关联属性的关系特征变量;
5、在所述计算节点的本地,调用设计出的保序映射函数计算多个候选归属节点的相对拓扑特征得到对应的仲裁权重值,并基于所述仲裁权重值从多个候选归属节点中选择出目标归属节点,以实现免节点路径遍历的层级数据的归属仲裁。
6、结合第一方面,本技术实施例提供了第一方面的第一种可能的实施方式,其中,基于预存于本地记录中的静态拓扑编码字段,在免节点路径遍历的条件下提取触发业务节点与候选归属节点间的相对拓扑特征,包括:
7、读取所述触发业务节点对应记录中的第一静态拓扑编码字段,以及所述候选归属节点对应记录中的第二静态拓扑编码字段;
8、根据所述触发业务节点及候选归属节点各自对应的静态拓扑编码字段,通过本地代数运算或查询预存关系表的方式,确定二者在层级拓扑结构中的最近共同祖先基准;
9、基于最近共同祖先基准以及所述静态拓扑编码字段中所含的层级属性,提取出表征相对深度差的所述第一位移变量与第二位移变量。
10、结合第一方面,本技术实施例提供了第一方面的第二种可能的实施方式,其中,所述静态拓扑编码字段为物化路径数组;
11、基于相对于最近共同祖先基准的位置基准以及所述静态拓扑编码字段中所含的层级属性,提取出表征相对深度差的所述第一位移变量与第二位移变量,包括:
12、获取所述最近共同祖先基准的层级长度、所述第一静态拓扑编码字段的第一总层级长度以及第二静态拓扑编码字段的第二总层级长度;
13、分别将所述层级长度与第一总层级长度和第二总层级长度进行计算,得到第一位移变量和第二位移变量。
14、结合第一方面,本技术实施例提供了第一方面的第三种可能的实施方式,其中,所述静态拓扑编码字段为闭包表中的预计算字段;
15、基于最近共同祖先基准以及所述静态拓扑编码字段中所含的层级属性,提取出表征相对深度差的所述第一位移变量与第二位移变量,包括:
16、在本地闭包表记录中,查找同时满足祖先节点等同于触发业务节点且后代等同于候选归属节点的记录;
17、若查得,则直接读取该记录中的层级距离字段作为第一位移变量和第二位移变量。
18、结合第一方面,本技术实施例提供了第一方面的第四种可能的实施方式,其中,所述静态拓扑编码字段为嵌套集合模型中的左值与右值;
19、基于最近共同祖先基准以及所述静态拓扑编码字段中所含的层级属性,提取出表征相对深度差的所述第一位移变量与第二位移变量,包括:
20、通过代数比较所述触发业务节点的左值、右值与所述候选归属节点的左值、右值是否具有祖先-后代关系;
21、若是,则计算所述触发业务节点与候选归属节点之间的深度字段差值得到第一位移变量和第二位移变量。
22、结合第一方面,本技术实施例提供了第一方面的第五种可能的实施方式,其中,调用设计出的保序映射函数计算多个候选归属节点的相对拓扑特征得到对应的仲裁权重值,包括:
23、将由所述相对拓扑特征导出的业务维度变量按照业务优先级降序排列,以对应分配基础权重;
24、根据所述基础权重,将相对拓扑特征及/或业务维度变量基于量级隔离约束映射为仲裁权重值,其中所述量级隔离约束为:分配给在先优先级的维度的基础权重大于在后优先级的维度的基础权重与可能最大值的乘积之和。
25、结合第一方面,本技术实施例提供了第一方面的第六种可能的实施方式,其中,调用设计出的保序映射函数计算多个候选归属节点的相对拓扑特征得到对应的仲裁权重值,还包括:
26、若业务场景存在非线性优先级跃迁,判断第一位移变量是否满足预设的边界条件;
27、若是,则激活第一优先级模式,并基于常量偏移量配置所述保序映射函数。
28、第二方面,本技术实施例提供了一种免节点路径遍历的层级数据归属仲裁装置,所述装置包括:
29、获取模块,用于获取存储于同一计算节点的且采用统一的业务主键的业务事实数据与对应的多个候选维度数据,并确定出每一对业务事实数据对应的触发业务节点与多个候选维度数据对应的候选归属节点;
30、提取模块,用于基于预存于本地记录中的静态拓扑编码字段,在免节点路径遍历的条件下提取触发业务节点与候选归属节点间的相对拓扑特征;所述相对拓扑特征包括表征触发业务节点相对于最近共同祖先基准的第一位移变量,表征候选归属节点相对于所述最近共同祖先基准的第二位移变量,以及表征业务关联属性的关系特征变量;
31、选择模块,用于在所述计算节点的本地,调用设计出的保序映射函数计算多个候选归属节点的相对拓扑特征得到对应的仲裁权重值,并基于所述仲裁权重值从多个候选归属节点中选择出目标归属节点,以实现免节点路径遍历的层级数据的归属仲裁。
32、第三方面,本技术实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行任一项所述的一种免节点路径遍历的层级数据归属仲裁方法的步骤。
33、第四方面,本技术实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行任一项所述的一种免节点路径遍历的层级数据归属仲裁方法的步骤。
34、本技术实施例提供了一种免节点路径遍历的层级数据归属仲裁方法,通过所述方法中的相对拓扑特征以及保序映射函数,将传统图搜索问题彻底转化为本地标量代数运算,带来三重实质性进步:第一,实现零数据重分布,因所有特征均源自本地记录预存的静态拓扑编码字段(如物化路径、左右值等),无需任何跨节点指针跳转,完全消除motion算子与网络io,千万级数据仲裁耗时稳定在毫秒级;第二,达成深度无关性,计算复杂度不受树深度影响,杜绝栈溢出与性能波峰,支持任意深度层级结构;第三,保障逻辑可扩展性,将嵌套case when压缩为保序映射函数,规则变更仅需调整权重系数或添加艾弗森括号项,避免代码坍塌,且所有维度在数值空间严格正交隔离,确保高优维度变化永不被低优维度极值掩盖,仲裁结果具备数学可证明的全局单调性与唯一确定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com