用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及计算机存储介质与流程

用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及计算机存储介质
技术领域
1.本发明涉及数据转换开发领域，尤其涉及etl数据转换技术领域，具体是指一种用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质。


背景技术：

2.当前etl数据转换工具很多，如datapineline,datastage,informatica,kettle,datax,cognos等，虽然这些转换工具或平台功能都特别强大，能够处理复杂数据转换逻辑，但是正是因为如此，使用这些转换工具需要很强的专业背景，学习使用的成本很高。此外，有些转换工具的使用datastage,informatica也需要对应的商业许可。因此，目前的开发工具均存在种种局限性，不便于针对性的适时使用。


技术实现要素：

3.本发明的目的是克服了上述现有技术的缺点，提供了一种适用性较为广泛且可利用率极高的用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质。
4.为了实现上述目的，本发明的用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质如下：
5.该用于实现低代码配置化etl数据转换的平台系统，其主要特点是，所述的系统包括：
6.任务生成器处理模块，与所述的平台系统相连接，用于按照用户定义的任务执行相应的计划，以生成执行任务；
7.任务调度器处理模块，与所述的平台系统相连接，用于根据执行任务的要求，选择当前注册的任务执行器，并提交至任务执行器执行任务；
8.任务执行器处理模块，与所述的平台系统相连接，用于接收任务调度器提交的任务，并根据执行参数执行资源库里的作业或转换；
9.平台监视器处理模块，与所述的平台系统相连接，用于实时监控任务的执行情况以及各个组件的健康情况，并接入短信与邮件网关实现告警信息的推送；以及
10.资源库处理模块，与所述的平台系统相连接，用于进行存放作业及转换。
11.较佳地，所述的任务生成器处理模块可集群部署，为一主多备多活的架构。
12.较佳地，所述的任务调度器处理模块可集群部署，为一主多备多活的架构。
13.较佳地，所述的任务执行器处理模块为独立的kettle carte服务。
14.该基于上述系统实现低代码配置化etl数据转换的方法，其主要特点是，所述的方法包括以下步骤：
15.(1)创建etl数据转换管理平台；
16.(2)创建与注册资源库；
17.(3)创建与注册任务执行器；
18.(4)部署任务生成器；
19.(5)部署任务调度器；
20.(6)根据用户需求配置计划任务，并设置任务组，查看任务生成及执行情况。
21.较佳地，所述的步骤(1)具体包括以下步骤：
22.(1.1)搭建配置数据库，创建平台管理用户及相应的配置表以及存储过程；
23.(1.2)搭建b/s管理页面，连接配置数据库；
24.(1.3)配置监视器。
25.较佳地，所述的步骤(2)具体包括以下步骤：
26.(2.1)创建资源库：开发通用执行组件或自定义作业，存放在统一目录下；
27.(2.2)在所述的管理平台配置资源库。
28.较佳地，所述的步骤(3)具体包括以下步骤：
29.(3.1)在转换服务器中配置服务端口及日志管理策略，启动kettle carte服务。
30.(3.2)在管理平台注册执行器，查看执行器的健康状态及负载情况。
31.较佳地，所述的步骤(4)具体包括以下步骤：
32.(4.1)启动任务生成器，任务生成器将根据配置的任务执行参数生成执行任务。
33.(4.2)生成执行参数。
34.尤佳地，所述的步骤(4.2)生成执行参数包括但不限于：根据资源库的配置生成执行路径、根据任务预定义的相关参数生成相关变量。
35.较佳地，所述的步骤(5)具体为：
36.启动所述的任务调度器，所述的任务调度器将检查所述的任务生成器生成的待执行任务，同时根据所述的任务执行器当前的负载情况动态选择相应的任务执行器，并将执行任务提交给所述的任务执行器，最后将提交结果反馈给执行任务。
37.该用于实现低代码配置化etl数据转换的装置，其主要特点是，所述的装置包括：
38.处理器，被配置成执行计算机可执行指令；
39.存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述所述的低代码配置化etl数据转换的方法的各个步骤。
40.该用于实现低代码配置化etl数据转换的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的低代码配置化etl数据转换的方法的各个步骤。
41.该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的低代码配置化etl数据转换的方法的各个步骤。
42.采用了本发明的该用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质，旨在打造一个简洁易用的通用数据转换平台，实现低代码数据转换配置化开发，通过开发可视化的任务配置功能，屏蔽底层复杂的转换流程，减少使用人员的学习成本；同时开发公共转换组件，通过配置参数复用公共组件，减少重复开发。并且本发明使用开源kettle作为任务执行器，能够有效的消除使用者的许可忧虑。
附图说明
43.图1为本发明的用于实现低代码配置化etl数据转换的平台系统的功能结构示意图。
44.图2为本发明的用于实现低代码配置化etl数据转换的平台系统的物理架构示意图。
45.图3为本发明的实现低代码配置化etl数据转换的方法的一实施例的配置流程图。
46.图4为本发明的调度器及执行器信息的界面示意图。
47.图5为本发明的任务管理的界面示意图。
48.图6为本发明的任务列表及配置管理的界面示意图。
具体实施方式
49.为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
50.在详细说明根据本发明的实施例前，应该注意到的是，在下文中，术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
51.请参阅图1所示，该用于实现低代码配置化etl数据转换的平台系统，其中，所述的系统包括：
52.任务生成器处理模块，与所述的平台系统相连接，用于按照用户定义的任务执行相应的计划，以生成执行任务；
53.任务调度器处理模块，与所述的平台系统相连接，用于根据执行任务的要求，选择当前注册的任务执行器，并提交至任务执行器执行任务；
54.任务执行器处理模块，与所述的平台系统相连接，用于接收任务调度器提交的任务，并根据执行参数执行资源库里的作业或转换；
55.平台监视器处理模块，与所述的平台系统相连接，用于实时监控任务的执行情况以及各个组件的健康情况，并接入短信与邮件网关实现告警信息的推送；以及
56.资源库处理模块，与所述的平台系统相连接，用于进行存放作业及转换。
57.作为本发明的优选实施方式，所述的任务生成器处理模块可集群部署，为一主多备多活的架构。
58.作为本发明的优选实施方式，所述的任务调度器处理模块可集群部署，为一主多备多活的架构。
59.作为本发明的优选实施方式，所述的任务执行器处理模块为独立的kettle carte服务。
60.该基于上述系统实现低代码配置化etl数据转换的方法，其中，所述的方法包括以下步骤：
61.(1)创建etl数据转换管理平台；
62.(2)创建与注册资源库；
63.(3)创建与注册任务执行器；
64.(4)部署任务生成器；
65.(5)部署任务调度器；
66.(6)根据用户需求配置计划任务，并设置任务组，查看任务生成及执行情况。
67.作为本发明的优选实施方式，所述的步骤(1)具体包括以下步骤：
68.(1.1)搭建配置数据库，创建平台管理用户及相应的配置表以及存储过程；
69.(1.2)搭建b/s管理页面，连接配置数据库；
70.(1.3)配置监视器。
71.作为本发明的优选实施方式，所述的步骤(2)具体包括以下步骤：
72.(2.1)创建资源库：开发通用执行组件或自定义作业，存放在统一目录下；
73.(2.2)在所述的管理平台配置资源库。
74.在实际应用当中，若需实现资源隔离，则可创建多个资源库。
75.作为本发明的优选实施方式，所述的步骤(3)具体包括以下步骤：
76.(3.1)在转换服务器中配置服务端口及日志管理策略，启动kettle carte服务。
77.(3.2)在管理平台注册执行器，查看执行器的健康状态及负载情况。
78.作为本发明的优选实施方式，所述的步骤(4)具体包括以下步骤：
79.(4.1)启动任务生成器，任务生成器将根据配置的任务执行参数生成执行任务。
80.(4.2)生成执行参数。
81.作为本发明的优选实施方式，所述的步骤(4.2)生成执行参数包括但不限于：根据资源库的配置生成执行路径、根据任务预定义的相关参数生成相关变量。
82.作为本发明的优选实施方式，所述的步骤(5)具体为：
83.启动所述的任务调度器，所述的任务调度器将检查所述的任务生成器生成的待执行任务，同时根据所述的任务执行器当前的负载情况动态选择相应的任务执行器，并将执行任务提交给所述的任务执行器，最后将提交结果反馈给执行任务。
84.该用于实现低代码配置化etl数据转换的装置，其中，所述的装置包括：
85.处理器，被配置成执行计算机可执行指令；
86.存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述所述的低代码配置化etl数据转换的方法的各个步骤。
87.该用于实现低代码配置化etl数据转换的处理器，其中，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的低代码配置化etl数据转换的方法的各个步骤。
88.该计算机可读存储介质，其中，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的低代码配置化etl数据转换的方法的各个步骤。
89.在实际应用当中，所述的任务执行器处理模块是一个独立的kettle carte服务，接收调度器提交的任务，根据执行参数执行资源库里的作业或转换。执行器是消耗系统资源最多的组件，但由于执行器是独立的服务，因此可能根据系统负载情况进行水平扩展，前期计划任务较少时，可配置少数执行器；当计划任务越来越多，或不满足容量要求时，随时增加新的执行器。执行器的上线与下线可在管理平台里完成。
90.由于任务生成器处理模块、任务调度器处理模块、任务执行器处理模块都是解耦独立的组件，它们既可以部署在同一台服务器，也可以部署在不同的服务器，使用者可根据
自身的资源使用情况，灵活定制系统架构。
91.在实际应用当中，请参阅图3所示，本技术方案将按照如下处理流程，配置用户的计划任务：
92.(1)首先配置任务的基本要素信息；
93.(2)其次配置执行计划；
94.(3)最后选择执行步骤类型。
95.其中，步骤(3)具体包括判断是否执行标准dml？判断是否执行数据采集？判断是否执行调用？判断是否自定义脚本？并根据相应的配置结果，执行对应的配置流程。
96.在本发明的一具体实施例中，假设当前有如下需求：将数据库a中的某数据s按某处理逻辑p转换至数据库d的表t。则可按如下步骤实现：
97.为了能够更清楚地描述本发明的开发数据转换任务的便利性，下面结合具体实施例来进行进一步的描述。
98.假设当前有如下需求：将数据库a中的某数据s按某处理逻辑p转换至数据库d的表t。可按如下步骤实现：
99.1检查源数据库a采集用户及权限：
100.1.1检查数据库a的采集用户是否已在平台配置，若没有则创建采集用户并在本平台中配置。
101.1.2检查源数据s的采集权限是否已给采集用户，若无则赋权。
102.2检查目标数据库b转换用户及权限：
103.2.1检查数据库b的转换用户是否已在本平台配置，若没有则创建转换用户并在本平台中配置。
104.2.2检查转换用户对目标表t的操作权限，若无则赋权。
105.2.3实现数据处理逻辑p。
106.3检查转换相关组件：
107.3.1检查平台中是否已配置数据库a至数据库b的数据采集组件，若无，则在资源库中创建并在本平台中配置。
108.3.2检查平台中是否已有数据库b的过程调度组件，如无则在资源库中创建并在本平台中配置。
109.4在管理平台配置计划任务：
110.4.1任务基本信息：描述信息、所属资源库、所属任务组、错误重新执行、异常提示人员信息。
111.4.2执行计划：最早/最晚开始时间、多否多次执行、执行间隔；
112.4.3执行步骤：包括选择数据采集组件、配置数据采集逻辑、配置过程处理逻辑p。
113.5查看任务执行情况：包括任务生成结束时间及状态、实际被哪个执行器执行、执行日志。
114.通过上述步骤可以看到，数据采集组件及过程调度组件只需创建及配置一次即可，以后所有数据库a至b的数据采集及数据库b的过程调度需求，均可复用当前的配置信息。类似的需求可直接在本平台的任务管理中通过配置实现，即只需执行步骤4，开发人员只需专注于数据采集逻辑及转换逻辑。
115.在本发明的实际应用当中，上述提及的作业或转换是etl里的一种代码实现方式，作业由一系列转换组成，而转换是作业中的一个步骤。以采集更新为例，整个流程就是一个作业，而采集、更新这两个步骤是两个转换。具体化的来说，执行参数执行资源库里的作业或转换，就是已参数化的公共转换组件，可加以实际执行参数实现配置化etl数据转换。
116.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
117.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。
118.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
119.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
120.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
121.在本说明书的描述中，参考术语“一实施例”、“一些实施例”、“示例”、“具体示例”、或“实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
122.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
123.本技术方案在实际应用当中，已为全连接企业数字化运作平台提供数据转换支持，目前已部署2个资源库、3个调度节点、9个执行器、215个计划任务。并开放任务管理功能，通过简单的培训，转换任务需求人员能够通过该功能方便地开发所需的数据转换任务，将专业复杂的过程简单化。
124.采用了本发明的该用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质，旨在打造一个简洁易用的通用数据转换平台，实现低代码数据转换配置化开发，通过开发可视化的任务配置功能，屏蔽底层复杂的转换流程，减少使用人员的学习成本；同时开发公共转换组件，通过配置参数复用公共组件，减少重复开发。并且本发明使用开源kettle作为任务执行器，能够有效的消除使用者的许可忧虑。
125.在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出
各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。