任务批量处理方法及其装置、计算机可读存储介质与流程

1.本发明涉及数据处理领域，具体而言，涉及一种任务批量处理方法及其装置、计算机可读存储介质。


背景技术：

2.银行的业务越来越多，越来越复杂，处理的业务场景也越来越多，目前银行系统的日终任务多采用集中式的调度方式，简单的把任务串联起来，对于简单的系统尚可，但是对于复杂庞大的系统而言，此类任务编排会给系统带来性能以及扩展性方面的问题。
3.并且在建立分布式调度系统时，需要对调度所执行的任务模型进行解析并执行，所以需要有一套任务的编排模型。事先把任务按串行或者并行的方式进行编排，这样调度调用执行任务的时候会解析成程序内部的执行模式，加快调用执行速度。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种任务批量处理方法及其装置、计算机可读存储介质，以至少解决针对相关技术中银行业务普遍采用的集中式调度方式在处理大批量任务时系统处理任务效率下降的技术问题。
6.根据本发明实施例的一个方面，提供了一种任务批量处理方法，包括：获取多个目标任务的特征信息，其中，所述特征信息包括：目标任务的执行优先级、所述目标任务的复杂程度以及所述目标任务的配置文件；基于所述特征信息确定所述多个目标任务的任务编号；基于所述任务编号对所述多个目标任务进行编排，以获取编排结果；基于所述编排结果，执行所述多个目标任务。
7.可选地，在获取多个目标任务的特征信息之前，所述方法还包括：获取多个作业中每一个作业的业务处理流程信息和作业执行参数；基于所述每一个作业的业务处理流程信息和作业执行参数对所述多个作业进行封装，得到所述多个目标任务。
8.可选地，所述方法还包括：在执行所述多个目标任务时，存储所述多个目标任务的输出参数和静态参数。
9.可选地，执行所述多个目标任务之前，所述方法还包括：基于所述编排结果对所述多个目标任务设置全局参数；获取所述多个目标任务的全局参数和局部参数。
10.可选地，基于所述特征信息确定所述多个目标任务的任务编号，包括：基于所述特征信息确定所述多个目标任务中每一个目标任务的执行顺序；基于所述每一个目标任务的执行顺序对所述多个目标任务进行编号，得到所述多个目标任务中每一个目标任务的任务编号。
11.可选地，基于所述任务编号对所述多个目标任务进行编排，包括：获取所述多个目标任务中任务编号不相同的至少两个目标任务；将所述至少两个目标任务按照任务编号顺序依次执行。
12.可选地，基于所述编排结果，执行所述多个目标任务，包括：基于所述编排结果确定所述多个目标任务的任务执行顺序；按照所述任务执行顺序执行所述多个目标任务。
13.根据本发明实施例的另外一个方面，还提供了一种任务批量处理装置，包括：第一获取模块，用于获取多个目标任务的特征信息，其中，所述特征信息包括：目标任务的执行优先级、所述目标任务的复杂程度以及所述目标任务的配置文件；确定模块，用于基于所述特征信息确定所述多个目标任务的任务编号；编排模块，用于基于所述任务编号对所述多个目标任务进行编排，以获取编排结果；执行模块，用于基于所述编排结果，执行所述多个目标任务。
14.可选地，所述装置还包括：第二获取模块，用于在获取多个目标任务的特征信息之前，获取多个作业中每一个作业的业务处理流程信息和作业执行参数；封装模块，用于基于所述每一个作业的业务处理流程信息和作业执行参数对所述多个作业进行封装，得到所述多个目标任务。
15.可选地，所述装置还包括：存储模块，用于在执行所述多个目标任务时，存储所述多个目标任务的输出参数和静态参数。
16.可选地，所述装置还包括：设置模块，用于执行所述多个目标任务之前，基于所述编排结果对所述多个目标任务设置全局参数；获取模块，用于获取所述多个目标任务的全局参数和局部参数。
17.可选地，所述确定模块，包括：第一确定单元，用于基于所述特征信息确定所述多个目标任务中每一个目标任务的执行顺序；编号单元，用于基于所述每一个目标任务的执行顺序对所述多个目标任务进行编号，得到所述多个目标任务中每一个目标任务的任务编号。
18.可选地，所述编排模块，包括：获取单元，用于获取所述多个目标任务中任务编号不相同的至少两个目标任务；执行单元，用于将所述至少两个目标任务按照任务编号顺序依次执行。
19.可选地，所述执行模块，包括：第二确定单元，用于基于所述编排结果确定所述多个目标任务的任务执行顺序；执行单元，用于按照所述任务执行顺序执行所述多个目标任务。
20.根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述计算机可读存储介质所在设备执行上述中任一项所述的任务批量处理方法。
21.根据本发明实施例的另外一个方面，还提供了一种处理器，所述处理器用于运行计算机程序，其中，所述计算机程序运行时执行上述中任一项所述的任务批量处理方法。
22.在本发明实施例中，获取多个目标任务的特征信息，其中，特征信息包括：目标任务的执行优先级、目标任务的复杂程度以及目标任务的配置文件；基于特征信息确定多个目标任务的任务编号；基于任务编号对多个目标任务进行编排，以获取编排结果；基于编排结果，执行多个目标任务。通过本发明实施例提供的任务批量处理方法，达到了基于任务的优先级、复杂程度以及配置文件对任务进行编排的目的，从而实现了提升系统大批量处理任务效率的技术效果，进而解决了针对相关技术中银行业务普遍采用的集中式调度方式在处理大批量任务时系统处理任务效率下降的技术问题。
附图说明
23.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
24.图1是根据本发明实施例的任务批量处理方法的流程图；
25.图2是根据本发明实施例的任务模型层级划分的示意图；
26.图3是根据本发明实施例的银行日终批处理的流程图；
27.图4是根据本发明实施例的任务批量处理装置的示意图。
具体实施方式
28.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
29.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.实施例1
31.根据本发明实施例，提供了一种任务批量处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
32.图1是根据本发明实施例的任务批量处理方法的流程图，如图1所示，该方法包括如下步骤：
33.步骤s102，获取多个目标任务的特征信息，其中，特征信息包括：目标任务的执行优先级、目标任务的复杂程度以及目标任务的配置文件。
34.可选的，在上述步骤中，首先获取多个目标任务的执行优先级、复杂程度以及配置文件。需要说明的是，执行优先级指的是不同任务之间的优先级，复杂程度指的是任务自身的任务体量大小，配置文件指的是任务的参数，比如任务的执行时间、任务能否并行处理等信息。
35.步骤s104，基于特征信息确定多个目标任务的任务编号。
36.可选的，在上述步骤中，首先可以基于特征信息对多个目标任务进行编号，即确定多个目标任务的任务编号。
37.步骤s106，基于任务编号对多个目标任务进行编排，以获取编排结果。
38.可选的，基于任务编号对多个目标任务进行安排和组织。
39.步骤s108，基于编排结果，执行多个目标任务。
40.由上可知，在本发明实施例中，首先可以获取多个目标任务的特征信息，其中，特征信息包括：目标任务的执行优先级、目标任务的复杂程度以及目标任务的配置文件；接着可以基于特征信息确定多个目标任务的任务编号；接着可以基于任务编号对多个目标任务进行编排，以获取编排结果；最后可以基于编排结果，执行多个目标任务。通过本发明实施例提供的任务批量处理方法，达到了基于任务的优先级、复杂程度以及配置文件对任务进行编排的目的，从而实现了提升系统大批量处理任务效率的技术效果，进而解决了针对相关技术中银行业务普遍采用的集中式调度方式在处理大批量任务时系统处理任务效率下降的技术问题。
41.作为一种可选的实施例，在获取多个目标任务的特征信息之前，该任务批量处理方法还包括：获取多个作业中每一个作业的业务处理流程信息和作业执行参数；基于每一个作业的业务处理流程信息和作业执行参数对多个作业进行封装，得到多个目标任务。
42.图2是根据本发明实施例的任务模型层级划分的示意图，如图2所示，可以将最小规模的任务(即作业)进行合并成简单任务或流程任务，流程任务也可以合并成任务，名称可以更改，但主要的核心思想为合并和封装小型任务以节省工作量。
43.进一步地，任务编排模型分为自顶向下三个层级：任务，流程，作业。调度的入口是任务，任务分为简单任务和流程任务，任务里面可以是一个简单的任务或者一个流程任务，也可以是一系列复杂的简单任务和流程任务编排起来的任务；作业是最小的可编排原子单元，是最细粒度层级，主要实现日终批处理的业务流程。并且作业被包装成简单任务，如果两个作业的业务处理流程一样，但是参数不一致，则可以包装成两个简单任务，简单任务里面可以配置各自的作业执行参数。流程是由一列系的简单任务组成，也可以由简单任务和流程任务合并组成，也就是说流程任务里面可以嵌套流程任务，但是最细粒度的流程任务里面必定是有简单任务组成。
44.作为一种可选的实施例，该任务批量处理方法还包括：在执行多个目标任务时，存储多个目标任务的输出参数和静态参数。
45.在上述可选的实施例中，可以把上一个作业的输出参数和该作业配置的静态参数进行合并传递给下一个作业，作为下一个作业的输入参数，供下一个作业处理业务逻辑的时候使用。
46.作为一种可选的实施例，执行多个目标任务之前，该任务批量处理方法还包括：基于编排结果对多个目标任务设置全局参数；获取多个目标任务的全局参数和局部参数。
47.在上述可选的实施例中，可以调度执行的时候，把任务的全局参数和最终执行的简单任务的参数进行合并，统一下发给作业，供作业处理业务流程的时候使用。
48.进一步地，在任务中配置全局参数，比如设计整个日终任务的时候，可以加入批量日期，该批量日期可以在作业里面处理业务流程的时候使用。
49.作为一种可选的实施例，基于特征信息确定多个目标任务的任务编号，包括：基于特征信息确定多个目标任务中每一个目标任务的执行顺序；基于每一个目标任务的执行顺序对多个目标任务进行编号，得到多个目标任务中每一个目标任务的任务编号。
50.在上述可选的实施例中，流程任务中可以对简单任务或者流程任务进行编号从小到大排序，如果任务编号相同，则在此流程任务中，相同编号的任务是并行执行，否则根据
编号从小到大依次执行。
51.进一步地，可以在任务或者流程层级配置各自的执行条件，比如在月末或者季末执行、在结息日执行等，也支持用户自定义的执行条件。
52.作为一种可选的实施例，基于任务编号对多个目标任务进行编排，包括：获取多个目标任务中任务编号不相同的至少两个目标任务；将至少两个目标任务按照任务编号顺序依次执行。
53.在上述可选的实施例中，获取多个目标任务中编号不同的多个目标任务，将这些目标任务依次执行。
54.作为一种可选的实施例，基于编排结果，执行多个目标任务，包括：基于编排结果确定多个目标任务的任务执行顺序；按照任务执行顺序执行多个目标任务。
55.图3是根据本发明实施例的银行日终批处理的流程图，如图3所示，图3是一种任务编排的示例，并不局限于图示的编排方法。图示中的a、b、c、d、e、f、x、w、y、z代表十个作业，每个虚框代表一个流程任务，任务分成了两个流程任务t0和t1，他们按顺序依次执行，在t0流程任务里面，由两个简单任务(a、f)和两个流程任务(t01、t02)组成，在t0流程任务里面，由两个简单任务(a、f)和两个流程任务(t01、t02)组成，在t01流程里面，由两个简单任务(b、c)组成，他们按顺序依次执行，在t1流程里面，由四个简单任务(x、w、y、z)组成，在t1流程里面，执行顺序依次是w，然后是x和y，x和y可并行执行，只有当x和y都执行完成，才能执行z。
56.由上可知，通过本发明实施例提供的批量任务编排方法把任务的颗粒度划分的更细致，任务编排的流程很清晰，同时能够把作业的参数作为附件在作业之间进行传递，让复杂繁琐的日终批处理任务流程变得简单，并且能够极大的较少日终的执行时间和增加执行效率。
57.实施例2
58.根据本发明实施例的另外一个方面，还提供了一种任务批量处理装置，图4是根据本发明实施例的任务批量处理装置的示意图，如图4所示，包括：第一获取模块41、确定模块43、编排模块45以及执行模块47。下面对该任务批量处理装置进行说明。
59.第一获取模块41，用于获取多个目标任务的特征信息，其中，特征信息包括：目标任务的执行优先级、目标任务的复杂程度以及目标任务的配置文件。
60.确定模块43，用于基于特征信息确定多个目标任务的任务编号。
61.编排模块45，用于基于任务编号对多个目标任务进行编排，以获取编排结果。
62.执行模块47，用于基于编排结果，执行多个目标任务。
63.此处需要说明的是，上述第一获取模块41、确定模块43、编排模块45以及执行模块47对应于实施例1中的步骤s102至s108，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
64.由上可知，在本发明实施例中，首先可以第一获取模块41获取多个目标任务的特征信息，其中，特征信息包括：目标任务的执行优先级、目标任务的复杂程度以及目标任务的配置文件；接着借助确定模块43基于特征信息确定多个目标任务的任务编号；接着借助编排模块45基于任务编号对多个目标任务进行编排，以获取编排结果；最后借助执行模块
47基于编排结果，执行多个目标任务。通过本发明实施例提供的任务批量处理装置，达到了基于任务的优先级、复杂程度以及配置文件对任务进行编排的目的，从而实现了提升系统大批量处理任务效率的技术效果，进而解决了针对相关技术中银行业务普遍采用的集中式调度方式在处理大批量任务时系统处理任务效率下降的技术问题。
65.可选地，该任务批量处理装置还包括：第二获取模块，用于在获取多个目标任务的特征信息之前，获取多个作业中每一个作业的业务处理流程信息和作业执行参数；封装模块，用于基于每一个作业的业务处理流程信息和作业执行参数对多个作业进行封装，得到多个目标任务。
66.可选地，该任务批量处理装置还包括：存储模块，用于在执行多个目标任务时，存储多个目标任务的输出参数和静态参数。
67.可选地，该任务批量处理装置还包括：设置模块，用于执行多个目标任务之前，基于编排结果对多个目标任务设置全局参数；获取模块，用于获取多个目标任务的全局参数和局部参数。
68.可选地，确定模块，包括：第一确定单元，用于基于特征信息确定多个目标任务中每一个目标任务的执行顺序；编号单元，用于基于每一个目标任务的执行顺序对多个目标任务进行编号，得到多个目标任务中每一个目标任务的任务编号。
69.可选地，编排模块，包括：获取单元，用于获取多个目标任务中任务编号不相同的至少两个目标任务；执行单元，用于将至少两个目标任务按照任务编号顺序依次执行。
70.可选地，执行模块，包括：第二确定单元，用于基于编排结果确定多个目标任务的任务执行顺序；执行单元，用于按照任务执行顺序执行多个目标任务。
71.实施例3
72.根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序被处理器运行时控制计算机可读存储介质所在设备执行上述中任一项的任务批量处理方法。
73.实施例4
74.根据本发明实施例的另外一个方面，还提供了一种处理器，处理器用于运行计算机程序，其中，计算机程序运行时执行上述中任一项的任务批量处理方法。
75.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
76.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
77.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
78.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
79.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
80.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
81.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。