基于多口径的数据血缘构建方法、装置及数据报送方法与流程

摘要: 本技术涉及数据处理,尤其涉及一种基于多口径的数据血缘构建方法、装置及数据报送方法。背景技术:1、在金融、保险等强监管行业中,机构通常需要向多个不同的监管平台(如...
基于多口径的数据血缘构建方法、装置及数据报送方法与流程

本技术涉及数据处理,尤其涉及一种基于多口径的数据血缘构建方法、装置及数据报送方法。

背景技术:

1、在金融、保险等强监管行业中,机构通常需要向多个不同的监管平台(如金融监督管理总局、财政厅、农业厅等)上报业务数据。由于不同监管机构对相同业务指标的统计口径和要求各不相同,企业内部需要构建一套清晰的数据血缘追踪体系,以建立内部核心业务系统底层数据与外部多维监管报送口径之间的映射关系,从而保障上报数据的准确性。

2、为了满足多维度的监管报送需求,现有的数据处理流程通常由业务人员或数据分析师研读下发的各类监管政策文件,人工提炼出报送指标的统计规则;随后,由开发人员根据这些规则,编写固化的提取-转换-加载(extract-transform-load,etl)脚本代码,将内部数据库中的源数据清洗并映射为符合特定监管口径的目标数据。在此过程中,内部源字段(data definition language,ddl)与外部口径字段之间的对应关系通常被登记在静态的表格或数据字典中,作为数据血缘关系的记录备案。

3、然而,现有的数据血缘构建方式在面对日益复杂和动态变化的监管环境时存在明显的局限性。一方面,监管规则大多以非结构化的文本形态发布,完全依赖人工阅读和研判来梳理业务概念体系及复杂的衍生计算规则,不仅耗时较长,且容易因个人主观理解差异导致规则提炼出现偏差,难以敏捷响应频发的政策变动;另一方面,传统的构建模式下,概念层面的血缘映射与底层实际执行的数据转换逻辑是相割裂的。映射记录仅作为静态的元数据存在,而承担真实转换任务的脚本代码则散落于各类调度系统中。这种静态分离的架构使得业务数据流转链条缺乏严密的结构化表达,系统无法直观地管理特定口径节点与其源头业务节点之间的动态关联与真实处理过程,进而造成数据血缘的可追溯性差,在面临多口径切换或规则更新时,系统维护和链路重构的成本很高。

技术实现思路

1、本技术提供一种基于多口径的数据血缘构建方法、装置及数据报送方法,旨在解决人工处理监管规则难以敏捷响应政策变动,以及概念层面的血缘映射与底层实际执行的数据转换逻辑相割裂造成数据血缘的可追溯性差的问题。

2、第一方面,本技术提供一种基于多口径的数据血缘构建方法,包括:

3、获取非结构化的第一规则文档;

4、利用理解引擎从所述第一规则文档中提取业务概念实体、口径实体以及派生逻辑,并将所述业务概念实体、所述口径实体以及所述派生逻辑组合生成规则三元组;

5、根据所述派生逻辑确定逻辑类型,并根据所述逻辑类型将所述规则三元组转换为对应的第一可执行代码;

6、在语义血缘图谱中建立连接所述业务概念实体对应的业务概念节点与所述口径实体对应的口径节点的第一派生关系边,并将所述第一可执行代码存储至所述第一派生关系边的边属性中,以生成所述业务概念实体与所述口径实体之间的数据血缘。

7、作为一个实施例,根据所述逻辑类型将所述规则三元组转换为对应的第一可执行代码,包括:

8、若所述逻辑类型为直接映射,则将所述规则三元组中的字段一对一转换为字段代码,作为所述第一可执行代码;

9、若所述逻辑类型为计算转换,则提取所述规则三元组中的源字段标识、计算表达式和校验规则,并将所述源字段标识、所述计算表达式和所述校验规则组装为公式计算代码,作为所述第一可执行代码;

10、若所述逻辑类型为外部关联,则提取所述规则三元组中的接口地址、请求参数和响应解析规则,并将所述接口地址、所述请求参数和所述响应解析规则组装为应用程序接口调用代码,作为所述第一可执行代码。

11、作为一个实施例,将所述第一可执行代码存储至所述第一派生关系边的边属性中,以生成所述业务概念实体与所述口径实体之间的数据血缘之后,还包括:

12、对所述第一可执行代码进行验证;

13、在验证通过的情况下,基于所述派生逻辑的置信度评分更新所述第一派生关系边的状态。

14、作为一个实施例,基于所述派生逻辑的置信度评分更新所述第一派生关系边的状态,具体包括:

15、若所述语言模型输出的所述派生逻辑的置信度评分大于等于第一阈值,则控制所述第一派生关系边生效,将所述第一派生关系边的状态更新为就绪状态;

16、若所述置信度评分大于等于第二阈值且小于所述第一阈值,则触发对所述第一派生关系边的复核请求,并在接收到复核成功信息后控制所述第一派生关系边生效,将所述第一派生关系边的状态更新为就绪状态;

17、若所述置信度评分小于所述第二阈值,则控制所述第一派生关系边不生效,并触发告警。

18、作为一个实施例,基于多口径的数据血缘构建方法还包括:

19、在检测到规则库和/或报送平台存在更新信息的情况下,根据所述更新信息对所述语义血缘图谱的影响更新所述语义血缘图谱。

20、作为一个实施例,在检测到规则库存在更新信息时,根据所述更新信息对所述语义血缘图谱的影响更新所述语义血缘图谱,包括:

21、获取所述更新信息对应的第二规则文档,并基于所述第二规则文档建立第二派生关系边;

22、在所述语义血缘图谱中,从所述第二派生关系边出发,逐层向外遍历相邻的派生关系边和口径节点,识别受所述第二派生关系边影响的所有口径节点,作为第一目标口径节点;并确定从所述第二派生关系边到所述第一目标口径节点的第一传送路径;

23、验证所述第一传送路径上的派生逻辑的有效性,将有效性验证通过的第一传送路径作为第一有效路径;

24、重新生成所述第一有效路径的第二可执行代码,并基于所述第二可执行代码更新所述第一有效路径。

25、作为一个实施例,在检测到所述派生逻辑依赖的外部接口存在更新信息时,根据所述更新信息对所述语义血缘图谱的影响更新所述语义血缘图谱,包括:

26、提取所述派生逻辑对应的可执行代码中包含的外部接口调用指令;

27、测试所述外部接口调用指令对应的外部系统接口的可用状态;

28、若所述可用状态为不可用,则为包含所述外部系统接口的第三派生关系边添加路径冲突标记,阻止所述第三派生关系边生效,并生成告警信息。

29、作为一个实施例,在检测到业务概念节点的属性存在更新信息时,根据所述更新信息对所述语义血缘图谱的影响更新所述语义血缘图谱,包括:

30、在所述语义血缘图谱中,从所述业务概念节点出发,逐层向外遍历相邻的派生关系边和口径节点,识别受所述业务概念节点的属性变更影响的所有口径节点,作为第二目标口径节点;并确定所述业务概念节点到所述第二目标口径节点的第二传送路径;

31、验证所述第二传送路径上的派生逻辑的有效性,将有效性验证通过的第二传送路径作为第二有效路径;

32、重新生成所述第二有效路径的第三可执行代码,并基于所述第三可执行代码更新所述第二有效路径。

33、作为一个实施例,所述边属性还存储所述第一派生关系边的血缘元数据,所述血缘元数据包括所述第一派生关系边对应的边版本信息、来源政策文档标识和生效时间戳:

34、所述方法还包括:

35、在所述第一派生关系边的验证失败时,读取所述血缘元数据;

36、根据所述血缘元数据在所述语义血缘图谱中向上游追溯排查,定位引发校验失败的问题节点。

37、第二方面,本技术还提供一种基于多口径的数据血缘构建装置,包括:

38、文档获取模块,用于获取非结构化的第一规则文档;

39、三元组提取模块,用于利用理解引擎从所述第一规则文档中提取业务概念实体、口径实体以及派生逻辑,并将所述业务概念实体、所述口径实体以及所述派生逻辑组合生成规则三元组;

40、代码转换模块,用于根据所述派生逻辑确定逻辑类型,并根据所述逻辑类型将所述规则三元组转换为对应的第一可执行代码;

41、关系边构建模块,用于在语义血缘图谱中建立连接所述业务概念实体对应的业务概念节点与所述口径实体对应的口径节点的第一派生关系边,并将所述第一可执行代码存储至所述第一派生关系边的边属性中,以生成所述业务概念实体与所述口径实体之间的数据血缘。

42、第三方面,本技术还提供一种基于多口径的数据报送方法,包括:

43、基于数据报送任务确定目标报送平台;

44、在语义血缘图谱中确定所述目标报送平台对应的目标口径节点,并遍历所述语义血缘图谱中与所述目标口径节点关联的目标业务概念节点;

45、提取连接所述目标业务概念节点与所述目标口径节点的派生关系边的边属性中存储的可执行代码;

46、从所述目标业务概念节点抽取源数据,并执行所述可执行代码,以对所述源数据进行转换,生成目标报送数据;

47、将所述目标报送数据发送给所述目标报送平台。

48、第四方面,本技术还提供一种基于多口径的数据报送装置,包括:

49、平台确定模块,用于基于数据报送任务确定目标报送平台;

50、图谱查询模块,用于在语义血缘图谱中确定所述目标报送平台对应的目标口径节点,并遍历所述语义血缘图谱中与所述目标口径节点关联的目标业务概念节点;

51、代码提取模块,用于提取所述目标业务概念节点与所述目标口径节点之间的可执行代码;

52、数据转换模块,用于从所述目标业务概念节点抽取源数据,并执行所述可执行代码,以对所述源数据进行转换,生成目标报送数据;

53、发送模块,用于将所述目标报送数据发送给所述目标报送平台。

54、第五方面,本技术还提供一种电子设备,电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行该计算机程序时实现上述任一种基于多口径的数据血缘构建方法,或实现上述的基于多口径的数据报送方法。

55、第六方面,本技术还提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述任一种基于多口径的数据血缘构建方法,或实现上述的基于多口径的数据报送方法。

56、第七方面,本技术还提供一种计算机程序产品,计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现上述任一种基于多口径的数据血缘构建方法,或实现上述的基于多口径的数据报送方法。