一种ETL任务执行方法、系统、装置、服务器及存储介质与流程

技术特征：
1.一种etl任务执行方法，其特征在于，包括：调用etl定时任务流程，其中，所述etl定时任务流程包括依序设置的至少一个数据源控件和至少一个数据仓库控件，其中，各所述数据源控件连接对应的数据源，各所述数据仓库控件连接对应的数据仓库；在所述etl定时任务流程的执行过程中，获取流程更新指令；当所述流程更新指令对应的更新对象不是当前执行对象时，执行所述流程更新指令，对所述etl定时任务流程进行更新，其中，更新后的etl定时任务流程在下一定时时刻执行。2.根据权利要求1所述的方法，其特征在于，所述etl定时任务流程基于预先设置的设计器生成，其中，设计器界面包括控件区、设计区、属性区和日志区；所述etl定时任务流程的生成方法包括：当检测到所述控件区中的任一控件被选择时，确定在所述设计区的目标位置，将被选择的控件添加到所述设计区，其中，所述控件区包括数据源控件和数据仓库控件；在所述设计区中的任一控件被选择时，接收所述属性区采集的属性信息，基于所述属性信息对所述设计区中被选择的控件进行属性设置；根据所述设计区中控件的类型和控件位置，确定对应的数据源或者数据仓库，将所述对应的数据源或者数据仓库接入对应控件，得到所述etl定时任务流程。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：对所述etl定时任务流程进行测试，并将测试日志显示在所述日志区。4.根据权利要求1所述的方法，其特征在于，所述流程更新指令包括如下至少一项：数据源切换指令、数据源增加指令、数据源删除指令、数据仓库切换指令、数据仓库增加指令和数据仓库删除指令。5.根据权利要求4所述的方法，其特征在于，所述执行所述流程更新指令，对所述etl定时任务流程进行更新，包括：当所述流程更新指令为所述数据源切换指令或者所述数据仓库切换指令时，对所述流程更新指令中的对应控件解除与原数据源或者原数据仓库的连接，并接入新的数据源或者数据仓库；当所述流程更新指令为所述数据源增加指令或者所述数据仓库增加指令时，根据新增数据源或新增数据仓库的执行位置，增加数据源控件或者数据仓库控件，并对新增的数据源控件接入新增数据源或者对新增的数据仓库控件接入新增数据仓库；当所述流程更新指令为所述数据源删除指令或者所述数据仓库删除指令时，删除所述流程更新指令对应的数据源控件或者数据仓库控件。6.根据权利要求1所述的方法，其特征在于，所述etl定时任务流程设置有异步回调探针；所述方法还包括：在所述etl定时任务流程的执行过程中，当检测到异步回调探针时，根据所述异步回调探针所在位置，将对应数据进行异步回调，并存储在预先设置的异步回调地址。7.根据权利要求6所述的方法，其特征在于，所述探针的位置包括数据源控件之前或者数据源控件之后，相应的，进行异步回调的数据包括数据源中未处理数据或者处理后的数据。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：当根据所述异步回调反馈信息确定异步回调失败时，启动回调线程，并基于所述回调线程进行预设时间间隔的重新回调，直到异步回调成功或者回调次数满足预设阈值。9.根据权利要求1所述的方法，其特征在于，所述调用etl定时任务流程，包括：获取当前操作用户的标识信息，基于所述标识信息确定所述当前操作用户是否为所述etl定时任务流程的授权用户，若是，则调用所述etl定时任务流程。10.一种etl任务调度系统，其特征在于，包括服务端、注册中心和执行器，其中，所述服务端用于调用etl定时任务流程，其中，所述etl定时任务流程包括依序设置的至少一个数据源控件和至少一个数据仓库控件，其中，各所述数据源控件连接对应的数据源，各所述数据仓库控件连接对应的数据仓库；所述执行器用于执行所述etl定时任务流程；所述服务端还用于在所述etl定时任务流程的执行过程中，获取流程更新指令，当所述流程更新指令对应的更新对象不是当前执行对象时，执行所述流程更新指令，对所述etl定时任务流程进行更新，其中，更新后的etl定时任务流程在下一定时时刻执行；所述注册中心用于对执行器进行注册。11.一种etl任务执行装置，其特征在于，包括：任务流程调用装置，用于调用etl定时任务流程，其中，所述etl定时任务流程包括依序设置的至少一个数据源控件和至少一个数据仓库控件，其中，各所述数据源控件连接对应的数据源，各所述数据仓库控件连接对应的数据仓库；更新指令获取模块，用于在所述etl定时任务流程的执行过程中，获取流程更新指令；流程更新模块，用于当所述流程更新指令对应的更新对象不是当前执行对象时，执行所述流程更新指令，对所述etl定时任务流程进行更新，其中，更新后的etl定时任务流程在下一定时时刻执行。12.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9中任一所述的etl任务执行方法。13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的etl任务执行方法。

技术总结
本发明公开了一种ETL任务执行方法、系统、装置、服务器及存储介质。其中方法包括：调用ETL定时任务流程，其中，所述ETL定时任务流程包括依序设置的至少一个数据源控件和至少一个数据仓库控件，其中，各所述数据源控件连接对应的数据源，各所述数据仓库控件连接对应的数据仓库；在所述ETL定时任务流程的执行过程中，获取流程更新指令；当所述流程更新指令对应的更新对象不是当前执行对象时，执行所述流程更新指令，对所述ETL定时任务流程进行更新，其中，更新后的ETL定时任务流程在下一定时时刻执行。实现了在ETL任务的执行过程中，对ETL定时任务流程的任务对象进行更新。定时任务流程的任务对象进行更新。定时任务流程的任务对象进行更新。


技术研发人员：吴颖
受保护的技术使用者：杭州康晟健康管理咨询有限公司
技术研发日：2020.08.12
技术公布日：2022/2/23