用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及计算机存储介质与流程

技术特征：
1.一种用于实现低代码配置化etl数据转换的平台系统，其特征在于，所述的系统包括：任务生成器处理模块，与所述的平台系统相连接，用于按照用户定义的任务执行相应的计划，以生成执行任务；任务调度器处理模块，与所述的平台系统相连接，用于根据执行任务的要求，选择当前注册的任务执行器，并提交至任务执行器执行任务；任务执行器处理模块，与所述的平台系统相连接，用于接收任务调度器提交的任务，并根据执行参数执行资源库里的作业或转换；平台监视器处理模块，与所述的平台系统相连接，用于实时监控任务的执行情况以及各个组件的健康情况，并接入短信与邮件网关实现告警信息的推送；以及资源库处理模块，与所述的平台系统相连接，用于进行存放作业及转换。2.根据权利要求1所述的用于实现低代码配置化etl数据转换的平台系统，其特征在于，所述的任务生成器处理模块可集群部署，为一主多备多活的架构。3.根据权利要求1所述的用于实现低代码配置化etl数据转换的平台系统，其特征在于，所述的任务调度器处理模块可集群部署，为一主多备多活的架构。4.根据权利要求1所述的用于实现低代码配置化etl数据转换的平台系统，其特征在于，所述的任务执行器处理模块为独立的kettle carte服务。5.一种基于权利要求1所述的系统实现低代码配置化etl数据转换的方法，其特征在于，所述的方法包括以下步骤：(1)创建etl数据转换管理平台；(2)创建与注册资源库；(3)创建与注册任务执行器；(4)部署任务生成器；(5)部署任务调度器；(6)根据用户需求配置计划任务，并设置任务组，查看任务生成及执行情况。6.根据权利要求5所述的实现低代码配置化etl数据转换的方法，其特征在于，所述的步骤(1)具体包括以下步骤：(1.1)搭建配置数据库，创建平台管理用户及相应的配置表以及存储过程；(1.2)搭建b/s管理页面，连接配置数据库；(1.3)配置监视器。7.根据权利要求5所述的实现低代码配置化etl数据转换的方法，其特征在于，所述的步骤(2)具体包括以下步骤：(2.1)创建资源库：开发通用执行组件或自定义作业，存放在统一目录下；(2.2)在所述的管理平台配置资源库。8.根据权利要求5所述的实现低代码配置化etl数据转换的方法，其特征在于，所述的步骤(3)具体包括以下步骤：(3.1)在转换服务器中配置服务端口及日志管理策略，启动kettle carte服务。(3.2)在管理平台注册执行器，查看执行器的健康状态及负载情况。9.根据权利要求5所述的实现低代码配置化etl数据转换的方法，其特征在于，所述的
步骤(4)具体包括以下步骤：(4.1)启动任务生成器，任务生成器将根据配置的任务执行参数生成执行任务。(4.2)生成执行参数。10.根据权利要求9所述的实现低代码配置化etl数据转换的方法，其特征在于，所述的步骤(4.2)生成执行参数包括但不限于：根据资源库的配置生成执行路径、根据任务预定义的相关参数生成相关变量。11.根据权利要求5所述的实现低代码配置化etl数据转换的方法，其特征在于，所述的步骤(5)具体为：启动所述的任务调度器，所述的任务调度器将检查所述的任务生成器生成的待执行任务，同时根据所述的任务执行器当前的负载情况动态选择相应的任务执行器，并将执行任务提交给所述的任务执行器，最后将提交结果反馈给执行任务。12.一种用于实现低代码配置化etl数据转换的装置，其特征在于，所述的装置包括：处理器，被配置成执行计算机可执行指令；存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现权利要求5至11中任一项所述的低代码配置化etl数据转换的方法的各个步骤。13.一种用于实现低代码配置化etl数据转换的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求5至11中任一项所述的低代码配置化etl数据转换的方法的各个步骤。14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求5至11中任一项所述的低代码配置化etl数据转换的方法的各个步骤。

技术总结
本发明涉及一种用于实现低代码配置化ETL数据转换的平台系统，其中，该系统包括：任务生成器处理模块，用于根据用户定义的执行计划生成执行任务；任务调度器处理模块，用于根据执行任务的要求选择注册的任务执行器；任务执行器处理模块，用于接收任务调度器提交的任务，并根据执行参数执行资源库里的作业或转换；平台监视器处理模块，用于实时监控任务的执行情况以及各个组件的健康情况；资源库处理模块，用于进行存放作业及转换。本发明还涉及相应的方法、装置、处理器及其存储介质。采用了本发明的上述技术方案，通过开发可视化的任务配置功能，能够减少使用人员的学习成本；并且通过配置参数复用公共组件，能够有效的减少重复开发。发。发。


技术研发人员：俞枫 任志浩 陈雨忱
受保护的技术使用者：国泰君安证券股份有限公司
技术研发日：2021.11.15
技术公布日：2022/2/18