一种基于SQL生成正向数据血缘的方法与流程

技术特征：
1.一种基于sql生成正向数据血缘的方法，包括如下步骤：步骤1，基于数据分析，将数据映射维护到配置表中；步骤2，调用sql生成器，生成查询sql日志的sql语句，以便定位到具体时间点数据生成逻辑；步骤3，根据配置表中的特定表信息和特定字段信息定位目标表对应的源数据中的相应信息。2.根据权利要求1所述的基于sql生成正向数据血缘的方法，其特征在于，在步骤1中，同时进行数据开发。3.根据权利要求2所述的基于sql生成正向数据血缘的方法，其特征在于，所述配置表由数据开发代码读取。4.根据权利要求3所述的基于sql生成正向数据血缘的方法，其特征在于，所述配置表包括如下字段：colid 模型/指标（目标）字段名称，colname模型/指标（目标）字段中文名称，coltype模型/指标（目标）字段的数据类型，frmtbl 来源表，frmcol 来源字段，frm_func加工函数，join_func关联函数，where_func 过滤条件，tbl_mapping 表名映射，keyname 主键信息和class1 目标表名。5.根据权利要求4所述的基于sql生成正向数据血缘的方法，其特征在于，keyname记录了class1中表名的主键名称，tbl_mapping记录了在生成可执行sql时表名与别名的映射关系。6.根据权利要求5所述的基于sql生成正向数据血缘的方法，其特征在于，所述sql生成器将所述配置表中的配置以符合sql语法的顺序组合起来，并将表名替换为别名，基础的顺序为：select ${frmcol} from ${frmtbl} ${join_func} ${where_func}。7.根据权利要求6所述的基于sql生成正向数据血缘的方法，其特征在于，当需要进行增量计算时，程序也支持将对应源数据的时间戳和软删除标志带入生成语句，使得执行引擎在执行sql的时候能够跳过已经计算过的老数据，并将被软删除的源数据反映到最新的目标表中。8.根据权利要求7所述的基于sql生成正向数据血缘的方法，其特征在于，所述配置表中的一行配置决定了一个目标表列的生成sql，各列之间互不干扰，并行执行。9.根据权利要求8所述的基于sql生成正向数据血缘的方法，其特征在于，在所述步骤1之后，所述步骤2之前还包括步骤1-1，将步骤1生成的结果写入一个key-value格式的中间表中，待所有列数据生成完毕后，利用纵转横将中间表中的数据写入对应名称的表中，以形成目标表。10.根据权利要求9所述的基于sql生成正向数据血缘的方法，其特征在于，在所述步骤2中还包括生成错误日志。

技术总结
一种基于SQL生成正向数据血缘的方法，包括如下步骤：步骤1，基于数据分析，将数据映射维护到配置表中；步骤2，调用SQL生成器，生成查询SQL日志的SQL语句，以便定位到具体时间点数据生成逻辑；步骤3，根据配置表中的特定表信息和特定字段信息定位目标表对应的源数据中的相应信息。相应信息。相应信息。


技术研发人员：王苹 杨帆 徐沛阳 王启伟 肖定和 周海涛 郑瀚 汪松良 杨竞霜
受保护的技术使用者：嘉实远见科技（北京）有限公司
技术研发日：2023.02.04
技术公布日：2023/8/8