任务调试方法、装置、存储介质和电子设备与流程

摘要: 本申请涉及计算机,具体涉及一种任务调试方法、装置、存储介质和电子设备。背景技术:1、在实时计算领域中,开源分布式大数据处理引擎(apacheflink)等数据处...
任务调试方法、装置、存储介质和电子设备与流程

本申请涉及计算机,具体涉及一种任务调试方法、装置、存储介质和电子设备。

背景技术:

1、在实时计算领域中,开源分布式大数据处理引擎(apache flink)等数据处理引擎因其高吞吐、低延迟的特性已在流处理领域中广泛应用。

2、然而,现有基于数据处理引擎的开发平台在任务调试过程中,用户需手动编写数据源的数据定义语句并配置底层连接参数,配置过程繁琐且易产生语法错误,导致调试任务的构建阶段产生大量冗余的数据校验与重试操作,增加了平台的数据处理开销。此外,现有平台缺乏根据用户编辑的处理逻辑与数据源配置自动生成可执行调试任务的机制,用户需自行处理引擎版本兼容性与任务编译逻辑,导致调试任务的构建流程冗长,平台侧的资源调度延迟较大,任务调试效率较低。

技术实现思路

1、本申请实施例提供一种任务调试方法、装置、存储介质和电子设备,可以简化调试任务的配置和构建流程,降低平台侧的资源调度延迟,同时避免用户在配置和构建过程中产生语法错误的情况,从而减少了开发平台针对语法错误情况进行冗余数据校验以及重试操作所带来的数据处理开销,进而提升了任务调试效率。

2、本申请实施例提供一种任务调试方法,应用于目标开发平台,所述目标开发平台关联有数据处理引擎,包括:

3、获取待调试任务的处理逻辑代码和输入源配置信息;

4、响应于调试触发指令,基于所述处理逻辑代码和所述输入源配置信息生成所述数据处理引擎可识别的处于调试模式的目标任务;

5、通过所述数据处理引擎运行所述目标任务,以对所述目标任务进行调试。

6、相应的,本申请实施例提供一种任务调试装置,应用于目标开发平台,所述目标开发平台关联有数据处理引擎,包括:

7、获取单元,用于待调试任务的处理逻辑代码和输入源配置信息;

8、生成单元,用于响应于调试触发指令,基于所述处理逻辑代码和所述输入源配置信息生成所述数据处理引擎可识别的处于调试模式的目标任务;

9、调试单元,用于通过所述数据处理引擎运行所述目标任务,以对所述目标任务进行调试。

10、此外,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行本申请实施例所提供的任一种任务调试方法中的步骤。

11、此外,本申请实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序实现本申请实施例提供的任务调试方法。

12、本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中;当电子设备的处理器从所述计算机可读存储介质读取所述计算机程序时,所述处理器执行所述计算机程序,使得所述电子设备执行本申请实施例提供的任务调试方法中的步骤。

13、本申请实施例通过获取待调试任务的处理逻辑代码和输入源配置信息;响应于调试触发指令,基于处理逻辑代码和输入源配置信息生成数据处理引擎可识别的处于调试模式的目标任务;通过数据处理引擎运行目标任务,以对目标任务进行调试。以此,通过获取待调试任务的处理逻辑代码和输入源配置信息,从而基于处理逻辑代码和输入源配置信息自动生成数据处理引擎可识别的处于调试模式下的目标任务,并通过数据处理引擎运行该目标任务以进行调试,可以简化调试任务的配置和构建流程,降低平台侧的资源调度延迟,同时可以避免用户在配置和构建过程中产生语法错误的情况,从而减少了开发平台针对语法错误情况进行冗余数据校验以及重试操作所带来的数据处理开销,进而提升了任务调试效率。

1.一种任务调试方法,其特征在于,应用于目标开发平台,所述目标开发平台关联有数据处理引擎,包括:

2.如权利要求1所述的任务调试方法,其特征在于,所述基于所述处理逻辑代码和所述输入源配置信息生成所述数据处理引擎可识别的处于调试模式的目标任务,包括:

3.如权利要求2所述的任务调试方法,其特征在于,所述基于所述数据定义语句以及所述处理逻辑代码,生成所述数据处理引擎可识别的处于调试模式的目标任务,包括:

4.如权利要求3所述的任务调试方法,其特征在于,所述方法还包括:

5.如权利要求3所述的任务调试方法,其特征在于,所述在所述处理逻辑代码中识别用户定义函数,包括:

6.如权利要求1至5任一项所述的任务调试方法,其特征在于,所述通过所述数据处理引擎运行所述目标任务,包括:

7.如权利要求6所述的任务调试方法,其特征在于,所述输入源配置信息包括输入源类型;

8.如权利要求6所述的任务调试方法,其特征在于,在所述目标任务包括用户定义函数的情况下,所述基于所述执行环境句柄,通过所述目标执行环境运行所述目标任务,包括:

9.如权利要求8所述的任务调试方法,其特征在于,所述基于所述执行环境句柄,将所述配置后的自定义类加载器注入到所述执行环境句柄对应的目标执行环境中,包括:

10.一种任务调试装置,其特征在于,应用于目标开发平台,所述目标开发平台关联有数据处理引擎,包括:

11.一种电子设备,其特征在于,其包括处理器和存储器,其中,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~9中任一所述方法的步骤。

12.一种计算机可读存储介质,其特征在于,其包括计算机程序,当所述计算机程序在电子设备上运行时,所述计算机程序用于使所述电子设备执行权利要求1~9中任一所述方法的步骤。