一种基于ELT架构的轻量级数据整合方法及系统与流程

本申请涉及数据处理与数据库管理，尤其是涉及一种基于elt架构的轻量级数据整合方法及系统。

背景技术：

1、随着数字化转型的深入与大数据技术的广泛应用，企业内部积累了来自不同业务系统、不同数据库类型的海量异构数据。为了打破数据孤岛，实现数据价值的深度挖掘与业务决策支持，将这些分散的原始数据进行整合、清洗并加载至统一的数据仓库或数据湖中已成为企业的核心需求。数据集成技术作为连接原始数据与应用分析的桥梁，经历了从早期的手工编码到专用的etl（extract-transform-load，抽取-转换-加载）工具的发展历程。近年来，随着云计算技术的普及与数据库性能的提升，能够利用目标端计算能力进行高效处理的数据整合架构日益受到重视，成为数据处理领域的重要发展方向。

2、目前，传统的数据集成方案往往缺乏足够的灵活性，当源端业务系统的表结构发生变更时，预设的数据抽取与加载流程极易因字段不匹配而中断，导致开发人员必须手动介入修改配置或代码，维护成本高昂且系统稳定性较差。并且，传统架构通常在应用服务器层进行复杂的数据转换逻辑计算，这需要大量的网络传输开销和中间层计算资源，难以有效利用现代数据库强大的并行计算能力，导致处理大规模数据时的效率瓶颈。

3、此外，对于长时间运行的数据整合任务，运维人员无法实时掌握任务内部的执行状态与进度，导致故障发现滞后，问题排查困难，制约了数据整合系统的可观测性与运维效率。

技术实现思路

1、为了应对上述技术问题，本申请提供了一种基于elt架构的轻量级数据整合方法及系统。

2、第一方面，本申请提供一种基于elt架构的轻量级数据整合方法，采用如下的技术方案：

3、获取异构数据源配置信息和数据转换配置信息；其中，所述数据转换配置信息包括标准sql转换脚本及数据质量控制规则；

4、根据所述异构数据源配置信息连接源端数据库，并比对所述源端数据库的源表结构与目标数据库中缓冲层的表结构，若检测到所述源表结构与所述缓冲层的表结构存在差异，则根据所述源表结构自动调整所述缓冲层的表结构；

5、从所述源端数据库抽取原始数据，将所述原始数据加载至调整后的所述缓冲层；

6、基于所述缓冲层的表结构解析所述标准sql转换脚本，在所述目标数据库中执行解析后的所述标准sql转换脚本，对所述缓冲层中的所述原始数据进行转换处理以生成目标数据，在转换处理过程中应用所述数据质量控制规则对目标数据进行校验操作；

7、获取执行所述标准sql转换脚本产生的运行日志数据，利用服务器推送技术将所述运行日志数据实时推送至前端监控界面。

8、通过采用上述技术方案，实现了基于elt（extract-load-transform，抽取-加载-转换）架构的轻量级数据整合方法，通过获取异构数据源配置信息并自动比对与调整缓冲层表结构，解决了源端结构变更导致的数据加载失败问题，实现了元数据的自适应管理，降低了运维成本。其次，采用先加载后转换的elt模式，充分利用目标数据库的计算能力执行标准sql转换脚本，不仅简化了开发流程，降低了对专属工具语法的依赖，还提升了数据处理的效率与灵活性。再者，通过在转换过程中应用数据质量控制规则，有效拦截并处理了脏数据，保障了输出目标数据的高质量与标准化。最后，利用服务器推送技术实现运行日志的实时前端推送，打破了传统监控的滞后性，使得运维人员能够实时掌握系统运行状态，快速定位并解决故障。

9、在实际应用中，该技术方案在保证功能完整性的前提下，实现了系统架构的轻量化、部署的便捷性以及运维的高敏捷性，完美契合了企业对于高效、易用、可迭代的一体化数据整合需求。

10、第二方面，本申请提供一种基于elt架构的轻量级数据整合系统，采用如下的技术方案：

11、配置获取模块，用于获取异构数据源配置信息和数据转换配置信息；其中，所述数据转换配置信息包括标准sql转换脚本及数据质量控制规则；

12、表结构自适应调整模块，用于根据所述异构数据源配置信息连接源端数据库，并比对所述源端数据库的源表结构与目标数据库中缓冲层的表结构，若检测到所述源表结构与所述缓冲层的表结构存在差异，则根据所述源表结构自动调整所述缓冲层的表结构；

13、数据抽取加载模块，用于从所述源端数据库抽取原始数据，将所述原始数据加载至调整后的所述缓冲层；

14、数据转换与校验模块，用于基于所述缓冲层的表结构解析所述标准sql转换脚本，在所述目标数据库中执行解析后的所述标准sql转换脚本，对所述缓冲层中的所述原始数据进行转换处理以生成目标数据，在转换处理过程中应用所述数据质量控制规则对目标数据进行校验操作；

15、日志实时推送模块，用于获取执行所述标准sql转换脚本产生的运行日志数据，利用服务器推送技术将所述运行日志数据实时推送至前端监控界面。

16、第三方面，本申请提供一种计算机设备，采用如下的技术方案：

17、一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面所述方法的步骤。

18、第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

19、一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面中任一种方法的计算机程序。

20、综上所述，本申请包括以下至少一种有益技术效果：本申请通过自动适配源表结构变化，降低了维护成本并增强了系统稳定性；利用目标数据库并行计算能力进行数据转换，提升了大规模数据处理效率；通过集成质量控制确保了数据准确性，最终通过实时日志推送提高了系统可观测性与运维效率。

1.一种基于elt架构的轻量级数据整合方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于elt架构的轻量级数据整合方法，其特征在于，比对所述源端数据库的源表结构与目标数据库中缓冲层的表结构，若检测到所述源表结构与所述缓冲层的表结构存在差异，则根据所述源表结构自动调整所述缓冲层的表结构的步骤包括：

3.根据权利要求1所述的一种基于elt架构的轻量级数据整合方法，其特征在于，基于所述缓冲层的表结构解析所述标准sql转换脚本的步骤包括：

4.根据权利要求3所述的一种基于elt架构的轻量级数据整合方法，其特征在于，在所述目标数据库中执行解析后的所述标准sql转换脚本，对所述缓冲层中的所述原始数据进行转换处理以生成目标数据的步骤包括：

5.根据权利要求1所述的一种基于elt架构的轻量级数据整合方法，其特征在于，在转换处理过程中应用所述数据质量控制规则对目标数据进行校验操作的步骤包括：

6.根据权利要求1所述的一种基于elt架构的轻量级数据整合方法，其特征在于，获取执行所述标准sql转换脚本产生的运行日志数据，利用服务器推送技术将所述运行日志数据实时推送至前端监控界面的步骤包括：

7.根据权利要求1到6任一所述的一种基于elt架构的轻量级数据整合方法，其特征在于，在应用所述数据质量控制规则对目标数据进行校验操作的步骤之后，还包括：

8.一种基于elt架构的轻量级数据整合系统，其特征在于，所述系统包括：

9.一种计算机设备，其特征在于：包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1到7任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于：存储有能够被处理器加载并执行如权利要求1到7任意一项所述方法的计算机程序。