一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

任务执行方法、装置、设备、介质及产品与流程

2022-08-08 11:10:22 来源:中国专利 TAG:


1.本技术涉及数据处理技术,尤其涉及一种任务执行方法、装置、设备、介质及产品。


背景技术:

2.随着移动互联网技术及人工智能技术的发展,要完成一个完整的服务,如供应链服务,需要有多个计算任务,这多个计算任务构成多任务场景。
3.在多任务场景中,可能会依赖同一源数据集执行计算任务,需要将各计算任务使用的源数据集互相隔离,使各计算任务使用的源数据集互不影响,避免由于用户根据目标计算任务对源数据集的个性化修改而影响其他计算任务获取的源数据集,最终影响其他计算任务执行结果。
4.在现有技术中,通过针对每个计算任务建立单独的数据库或者单独的数据表,实现对各计算任务依赖的源数据集的互相隔离。但是,在某计算任务根据源数据集执行计算任务时,需要在所有数据库或所有数据表中确定该计算任务对应的数据库或数据表,导致执行计算任务消耗的时间较长,并且导致元数据管理成本和数据库连接池资源消耗较高。


技术实现要素:

5.本技术提供一种任务执行方法、装置、设备、介质及产品,用以解决现有技术中在所有数据库或所有数据表中确定该计算任务对应的数据库或数据表,导致执行计算任务消耗的时间较长,并且导致元数据管理成本和数据库连接池资源消耗较高的技术问题。
6.第一方面,本技术提供一种任务执行方法,包括:
7.响应于触发的目标计算任务,获取数据库对应数据表中未被已执行计算任务占用的分区;所述目标计算任务为多任务场景中的任意一个计算任务,在所述多任务场景中每个计算任务依赖的源数据集相同;所述数据表中预先创建有多个分区,每个分区中均预先存储有相同的源数据集;
8.从未被已执行计算任务占用的分区中获取对应的源数据集;
9.根据所述源数据集执行所述目标计算任务,以获得执行结果数据。
10.第二方面,本技术提供一种任务执行装置,包括:
11.第一获取模块,用于响应于触发的目标计算任务,获取数据库对应数据表中未被已执行计算任务占用的分区;所述目标计算任务为多任务场景中的任意一个计算任务,在所述多任务场景中每个计算任务依赖的源数据集相同;所述数据表中预先创建有多个分区,每个分区中均预先存储有相同的源数据集;
12.第二获取模块,用于从未被已执行计算任务占用的分区中获取对应的源数据集;
13.执行模块,用于根据所述源数据集执行所述目标计算任务,以获得执行结果数据。
14.第三方面,本技术提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器及收发器;
15.所述存储器存储计算机执行指令;所述收发器用于收发数据;
16.所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面所述的方法。
17.第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
18.第五方面,本技术提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法。
19.本技术提供一种任务执行方法、装置、设备、介质及产品,响应于触发的目标计算任务,获取数据库对应数据表中未被已执行计算任务占用的分区;所述目标计算任务为多任务场景中的任意一个计算任务,在所述多任务场景中每个计算任务依赖的源数据集相同;所述数据表中预先创建有多个分区,每个分区中均预先存储有相同的源数据集;从未被已执行计算任务占用的分区中获取对应的源数据集;根据所述源数据集执行所述目标计算任务,以获得执行结果数据。将计算任务使用的相同的源数据集按照分区的形式存储于同一数据表中,获取到目标计算任务后,从同一数据表中获取未被占用的分区中的源数据集作为目标计算任务对应的源数据集,可以无需访问元数据就可获取到对应的源数据集,所以可以降低元数据管理成本和数据库连接池资源消耗;并且使用分区的方式能够实现对各计算任务依赖的源数据集的互相隔离,从而提高获取计算任务对应源数据集的效率,进一步提高执行计算任务的效率。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。
21.图1为本技术的一种网络架构示意图;
22.图2为本技术实施例提供的一种任务执行方法流程图;
23.图3为本技术实施例二提供的一种任务执行方法流程图;
24.图4为本技术实施例四提供的一种任务执行方法流程图;
25.图5为本技术提供的一种确定数据筛选参数方法示意图;
26.图6为本技术提供的另一种确定数据筛选参数方法示意图;
27.图7为本技术实施例五提供的一种任务执行方法流程图;
28.图8为本技术实施例六提供的任务执行装置的结构示意图;
29.图9为本技术实施例七提供的电子设备的结构示意图。
30.通过上述附图,已示出本技术明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围,而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
31.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与本技术
的一些方面相一致的装置和方法的例子。
32.术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。
33.为了清楚理解本技术的技术方案,首先对现有技术的方案进行详细介绍。
34.本技术可以应用于依赖同一源数据集的多任务场景中,例如,在对供应链的管理过程中,在执行多种智能流程优化计算任务时,需要根据同一套多系统来源的数据集进行计算,而该数据集可能是从客户系统、订单系统、仓储系统、物流系统、仓库系统等系统中获取的。
35.虽然不同的计算任务对数据集会有不同的需求,例如,在执行库存优化计算任务时,需要使用数据集中的库存数据实体、销售数据实体以及供应计划数据实体,而执行门店组货优化计算任务时,需要使用数据集中的营销数据实体和销售数据实体;但是数据集中所有数据实体之间关联关系必须固化,才可以保证数据的一致性。例如,门店组货优化计算任务时,未使用库存数据实体,但是在销售数据变化时对应的库存数据也应该同时变动,因此不同的计算任务需要依赖关联关系固化的同一源数据集。
36.另外,在执行计算任务时,可能针对该计算任务对数据集中的数据实体进行衍生和改变,例如对库存的取值进行调整,而该调整不应影响其他计算任务所依赖的源数据集,最终影响其他计算任务执行结果。因此,需要对各计算任务依赖的源数据集的互相隔离。
37.现有技术中,通常将源数据集复制到单独的数据库或者单独的数据表中,将数据库或者数据表分配给不同的计算任务,计算任务根据其占用的数据库或者数据表中的源数据集进行计算,从而实现在多计算任务依赖同一源数据集的情况下,实现对各计算任务依赖的源数据集的互相隔离。
38.由于多任务场景中计算任务使用的源数据集存储于多个数据库或者多个数据表中,在某计算任务根据源数据集执行计算任务时,需要在所有数据库或所有数据表中确定该计算任务对应的数据库或数据表,导致执行计算任务消耗的时间较长,并且导致元数据管理成本和数据库连接池资源消耗较高,因此,为了提高执行计算任务的效率,在进行源数据集的存储时,可以将计算任务使用的相同的源数据集存储于同一数据表中,具体可将多个相同的源数据集在数据表中进行分区存储。那么在获取计算任务对应的源数据集时,只需要从数据表未被已执行计算任务占用的分区中获取对应的源数据集,无需访问元数据就可获取到对应的源数据集,所以可以降低元数据管理成本和数据库连接池资源消耗。并且使用分区的方式能够实现对各计算任务依赖的源数据集的互相隔离,从而提高获取计算任务对应源数据集的效率,进一步提高执行计算任务的效率。
39.图1为本技术的一种网络架构示意图,如图1所示,包括电子设备1、数据库2;其中,数据库2中预先创建有第一分区和多个第二分区,如图1所示,可以包括:第一分区、第二分区1、第二分区2、第二分区3,每个分区中均预先存储有相同的源数据集及分区键,同一分区中作为分区键的分区标识码相同,分区键可作为数据的隔离字段。用户在电子设备1中触发的目标计算任务后,示例性的,在源数据集中未被已执行计算任务占用的分区为第二分区2,则电子设备1可以从数据库2获取未被已执行计算任务占用的第二分区2,将该第二分区2确定为目标计算任务对应的分区,并从中获取源数据集;根据源数据集执行目标计算任务,
获得目标计算任务的执行结果数据。
40.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本技术的实施例进行描述。
41.实施例一
42.图2为本技术实施例提供的一种任务执行方法流程图,本技术实施例针对现有技术中在所有数据库或所有数据表中确定该计算任务对应的数据库或数据表,导致执行计算任务消耗的时间较长,并且导致元数据管理成本和数据库连接池资源消耗较高的问题,提供了一种任务执行方法。本技术实施例提供的任务执行方法的执行主体可以为任务执行装置。在实际应用中,该任务执行装置可以通过计算机程序实现,例如应用软件等,也可以通过存储有相关计算机程序的介质,例如,u盘、光盘等实现,或者,还可以通过集成或安装有相关计算机程序的实体装置实现,例如,芯片、板卡等。
43.此外,任务执行装置可以位于电子设备中。其中,电子设备可以为表示各种形式的数字计算机。诸如,蜂窝电话、智能电话、膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。
44.如图2所示,本技术实施例提供的任务执行方法包括以下步骤:
45.步骤s101、响应于触发的目标计算任务,获取数据库对应数据表中未被已执行计算任务占用的分区。
46.其中,目标计算任务为多任务场景中的任意一个计算任务,在多任务场景中每个计算任务依赖的源数据集相同;数据表中预先创建有多个分区,每个分区中均预先存储有相同的源数据集。
47.具体地,任务执行装置首先可以响应于触发的目标计算任务,获取数据库对应数据表中未被已执行计算任务占用的分区,将该未被已执行计算任务占用的分区确定为该目标计算任务对应的分区。本技术实施例不限制触发目标计算任务的方式,示例性地,可以由用户主动触发,也可以根据系统设定自动触发。
48.本技术实施例中,分区中预先存储的源数据集可以具有对应的分区键,同一分区中作为分区键的分区标识码相同。可选地,可以首先确定未被已执行计算任务占用的分区对应的分区标识码,根据分区标识码确定数据库对应数据表中未被已执行计算任务占用的分区。其中,未被已执行计算任务占用的分区对应的分区标识码可以预先存储于消息队列中。
49.可以理解的是,获取数据库对应数据表中未被已执行计算任务占用的分区的方式还可以为其他方式,示例性地,还可以在分区被已执行计算任务占用后,将对应的分区标识码存储在某一存储空间中,通过判断分区对应的分区标识码是否存在于该存储空间中确定该分区是否被已执行计算任务占用,通过获取未在该存储空间中查找到的分区标识码对应的分区获取数据库对应数据表中未被已执行计算任务占用的分区。
50.本技术实施例中,将该未被已执行计算任务占用的分区确定为该目标计算任务对应的分区后,该分区为已被已执行计算任务占用的分区。示例性地,数据库对应数据表中未被已执行计算任务占用的分区包括:a分区、b分区;将a分区确定为该目标计算任务对应的分区后,未被已执行计算任务占用的分区将不包括a分区。
51.步骤s102、从未被已执行计算任务占用的分区中获取对应的源数据集。
52.本技术实施例中,将该未被已执行计算任务占用的分区确定为该目标计算任务对应的分区后,可以从该分区中获取对应的源数据集。源数据集为多任务场景中计算任务均依赖的一套数据的集合。
53.具体地,获取数据库对应数据表中未被已执行计算任务占用的分区后,将该分区确定为目标计算任务对应的分区,可以确定该分区对应的分区标识码,通过分区标识码可以直接在数据表各分区中查找并获取目标计算任务对应的源数据集。
54.可选地,分区中预先存储的源数据集可以具有对应的分区键,同一分区中作为分区键的分区标识码相同,则从未被已执行计算任务占用的分区中获取对应的源数据集的方式可以为:从数据表中获取分区标识码对应的分区键;根据对应的分区键确定对应的第二分区;将对应的第二分区确定为未被已执行计算任务占用的分区;从未被已执行计算任务占用的分区中获取对应的源数据集。
55.步骤s103、根据源数据集执行目标计算任务,以获得执行结果数据。
56.其中,执行结果数据为根据源数据集执行目标计算任务获得的结果数据。
57.具体地,在获取对应的源数据集后,可以根据源数据集中执行目标计算任务所需数据执行目标计算任务,并获得执行目标计算任务得到的执行结果数据。其中,目标计算任务所需数据可以为目标计算任务所需字段下的所有数据;也可以为目标计算任务所需字段下的部分数据。示例性地,目标计算任务为门店组货优化计算任务时,目标计算任务所需数据可以为销售字段的所有数据,也可以为一定时间范围内的销售字段的数据。
58.目标计算任务可以为预先设置的计算任务,并针对预先设置的计算任务设置对应的计算公式,用户可以通过从预先设置的计算任务中选择目标计算任务实现触发目标计算任务。例如,可以预先设置预测销量计算任务,并设置预测销量的计算公式。在此基础上,根据源数据集执行目标计算任务的方式可以为:在获取目标计算任务对应的源数据集后,可以根据目标计算任务对应的计算公式,通过对应的计算公式确定源数据集中的执行目标计算任务所需字段,根据执行目标计算任务所需所需字段下所有数据执行目标计算任务。
59.目标计算任务所需数据为所需字段下的部分数据,则根据源数据集执行目标计算任务的方式可以为:确定筛选数据集中针对至少一个字段的数据筛选参数;根据数据筛选参数确定所需字段下的部分数据,根据执行目标计算任务所需字段下部分数据执行目标计算任务。
60.本技术实施例提供的任务执行方法,响应于触发的目标计算任务,获取数据库对应数据表中未被已执行计算任务占用的分区;目标计算任务为多任务场景中的任意一个计算任务,在多任务场景中每个计算任务依赖的源数据集相同;数据表中预先创建有多个分区,每个分区中均预先存储有相同的源数据集;从未被已执行计算任务占用的分区中获取对应的源数据集;根据源数据集执行目标计算任务,以获得执行结果数据。将计算任务使用的相同的源数据集按照分区的形式存储于同一数据表中,获取到目标计算任务后,从同一数据表中获取未被占用的分区中的源数据集作为目标计算任务对应的源数据集,可以无需访问元数据就可获取到对应的源数据集,所以可以降低元数据管理成本和数据库连接池资源消耗;并且使用分区的方式能够实现对各计算任务依赖的源数据集的互相隔离,从而可以提高获取计算任务对应源数据集的效率,进一步提高执行计算任务的效率。
61.实施例二
62.图3为本技术实施例二提供的一种任务执行方法流程图,在上述任一实施例的基础上,本技术实施例涉及的是步骤s101响应于触发的目标计算任务,获取数据库对应数据表中未被已执行计算任务占用的分区之前,对数据表进行分区的过程。如图3示,本技术实施例提供的任务执行方法包括以下步骤:
63.步骤s201、将源数据集存储到数据表中的第一分区中。
64.具体地,获取源数据集,根据源数据集创建数据表,将源数据集存储到数据表中的第一分区中。其中,数据表的数据结构是在源数据集的数据结构的基础上增加一列分区键,分区键作为数据的隔离字段。
65.本技术实施例中,第一分区为存储不被任意一个目标计算任务占用的源数据集的分区;仅可以对第一分区中的源数据集进行查询操作及同步操作,限制对第一分区中的源数据集的删除、修改等编辑操作。
66.步骤s202、为数据表中的至少一个第二分区分别生成对应的分区标识码。
67.本技术实施例中,第二分区为存储可以被目标计算任务占用的源数据集的分区,可以对第二分区中的源数据集的进行读取操作,还可以对第二分区中的源数据集的进行删除、修改等编辑操作。
68.本技术实施例对生成第二分区对应的分区标识码的方式不做具体限定,示例性地,可以哈希码的形式生成分区标识码。
69.本技术实施例中,生成的每个第二分区对应的分区标识码不同。
70.步骤s203、根据至少一个第二分区的分区标识码控制数据库将源数据集分别复制到对应的第二分区中,并将分区标识码作为分区键添加到对应的第二分区中。
71.本技术实施例中,将源数据集分别复制到对应的第二分区中,使每个第二分区中存储有一份源数据集。将分区标识码作为分区键添加到对应的第二分区中,用于作为数据的隔离字段。
72.步骤s204、将至少一个第二分区的分区标识码存储到消息队列中。
73.其中,消息队列用于存储未被已执行计算任务占用分区的分区标识码。
74.具体地,按向第二分区中复制源数据集的顺序,将对应的分区标识码存储到消息队列中。以便获取数据库对应数据表中未被已执行计算任务占用的分区时,可以从消息队列中获取未被已执行计算任务占用分区的分区标识码。
75.本技术实施例中,对存储分区标识码到消息队列的时间不做具体限定。例如,可以在将源数据集复制到第二分区的同时,将对应的分区标识码存储到消息队列中;也可以在将源数据集复制到第二分区后,将对应的分区标识码存储到消息队列中。
76.本技术实施例提供的任务执行方法,将源数据集存储到数据表中的第一分区中;为数据表中的至少一个第二分区分别生成对应的分区标识码;根据至少一个第二分区的分区标识码控制数据库将源数据集分别复制到对应的第二分区中,并将分区标识码作为分区键添加到对应的第二分区中;将至少一个第二分区的分区标识码存储到消息队列中,可以实现在数据表中预先创建多个分区,在每个分区预先存储相同的源数据集,无需在触发目标计算任务后再准备对应的源数据集,可以直接从对应的分区中获取源数据集,并根据源数据集执行目标计算任务,可以提高目标计算任务的执行效率。
77.实施例三
78.在上述任一实施例的基础上,步骤s101中获取数据库对应数据表中未被已执行计算任务占用的分区,具体包括以下步骤:
79.步骤s301、按照先进先出的原则,从消息队列中读取一个第二分区的分区标识码。
80.步骤s302、将读取出的分区标识码对应的第二分区确定为未被已执行计算任务占用的分区。
81.本技术实施例中,依次在消息队列中存储第二分区的分区标识码,在触发目标计算任务后,按照先进先出的原则从消息队列中读取最先在消息队列中存储的分区标识码;将该分区标识码对应的分区确定为未被已执行计算任务占用的分区,将该分区标识码确定为该目标计算任务占用分区对应的分区标识码。
82.示例性地,依次在消息队列中存储分区标识码1、分区标识码2、分区标识码3。在触发目标计算任务后,将分区标识码1确定为未被已执行计算任务占用的分区,并将分区标识码1对应分区确定为被目标计算任务占用的分区。
83.在将读取出的分区标识码对应的第二分区确定为未被已执行计算任务占用的分区后,将该分区标识码从消息队列中删除,以确保消息队列中存储的分区标识码均为未被已执行计算任务占用分区的分区标识码。
84.本技术实施例提供的任务执行方法,按照先进先出的原则,从消息队列中读取一个第二分区的分区标识码;将读取出的分区标识码对应的第二分区确定为未被已执行计算任务占用的分区。可以直接从消息队列中获取未被已执行计算任务占用分区对应的分区标识码,将该分区标识码对应的分区确定为被目标计算任务占用分区,可以加快获取数据库对应数据表中未被已执行计算任务占用的分区的速度。同时,按照先进先出的原则从消息队列中读取一个第二分区的分区标识码,由于读取的分区标识码为最先存储的分区标识码,最先向该分区标识码对应的第二分区中复制源数据集,因此可以确保读取该分区标识码时,对应的第二分区中已存储源数据集。
85.可选地,在步骤s301按照先进先出的原则,从消息队列中读取一个第二分区的分区标识码之后,还可以包括以下步骤:
86.步骤s401、生成新的分区标识码,并控制数据库在数据表中根据新的分区标识码创建对应的新第二分区。
87.本技术实施例中,从消息队列中读取一个第二分区的分区标识码后,该分区标识码对应分区被目标计算任务占用,因此生成新的分区标识码,并创建新的分区标识码对应的新第二分区,以保证未被已执行计算任务占用的分区的数量维持在一定数值。
88.本技术实施例不限制生成新的分区标识码及执行后续步骤的具体时间,示例性地,可以在从消息队列中读取一个第二分区的分区标识码之后立刻生成新的分区标识码并执行后续步骤,也可以在未执行计算任务时生成新的分区标识码并控制数据库将第一分区中的源数据集复制到新第二分区中。
89.步骤s402、控制数据库将第一分区中的源数据集复制到新第二分区中。
90.本技术实施例中,控制数据库将第一分区中的源数据集复制到新第二分区中,以使后触发的某计算任务,可以从该新第二分区中获取源数据集。
91.步骤s403、将新分区对应的分区标识码存储到消息队列中。
92.本技术实施例中,将新分区对应的分区标识码存储到消息队列中,以使后触发的某计算任务,可以从消息队列中获取该新分区对应的分区标识码,从而确定该分区标识码为未被已执行计算任务占用的分区。
93.本技术实施例提供的任务执行方法,生成新的分区标识码,并控制数据库在数据表中根据新的分区标识码创建对应的新第二分区;控制数据库将第一分区中的源数据集复制到新第二分区中;将新分区对应的分区标识码存储到消息队列中。可以在未被已执行计算任务占用的分区被目标计算任务占用后,生成新的分区标识码,并创建新的分区标识码对应的新第二分区,以保证未被已执行计算任务占用的分区的数量维持在一定数值,确保触发新的计算任务后可以获取数据库对应数据表中未被已执行计算任务占用的分区。
94.实施例四
95.图4为本技术实施例四提供的一种任务执行方法流程图,在上述任一实施例的基础上,本技术实施例涉及的是步骤s103根据源数据集执行目标计算任务,以获得执行结果数据的一种实现方式的细化。如图4所示,本技术实施例提供的任务执行方法包括以下步骤:
96.步骤s501、确定计算任务对应的数据筛选参数。
97.其中,数据筛选参数为对执行目标计算任务所依赖源数据集中字段进行筛选的参数。筛选结果数据为根据数据筛选参数筛选后的源数据集中数据。
98.在实际应用中,由于源数据集中包含的数据过多,可以对源数据集中数据进行筛选,根据筛选后的筛选结果数据获得执行结果数据,可以减少计算的数据量,从而提高计算速度。具体地,可以通过用户对数据筛选参数的选择或输入,确定计算任务对应的数据筛选参数。
99.在一种可选的实施方式中,确定计算任务对应的数据筛选参数,包括:响应于用户触发的计算任务,显示参数配置界面;响应于用户在参数配置界面进行的数据筛选参数的配置操作,确定计算任务对应的数据筛选参数。
100.具体地,图5为本技术提供的一种确定数据筛选参数方法示意图,可以预先设置多个计算任务,并针对预先设置的计算任务设置对应的计算公式,如图5中左上图所示,可以预先设置计算任务1、计算任务2、计算任务3,通过点击计算任务1触发计算任务1对应的目标计算任务。在触发的目标计算任务后可以显示参数配置界面,在参数配置界面中可以显示至少一个可筛选的字段名称,如图5中右上图所示,可以显示筛选日期,其中,筛选日期表示筛选源数据集中的时间字段;在参数配置界面中,还可以显示筛选控件,示例性地,该组件可以显示为一个下拉箭头和输入框。如图5中右下图所示,在点击筛选控件后,可以显示参数选择框,可以通过点击参数选择框中的日期,选择数据筛选参数;此外,还可以在输入框中直接输入数据筛选参数。如图5中左下图所示,在用户选择数据筛选参数后,可以点击确定按钮,使任务执行装置确定计算任务对应的数据筛选参数。
101.在另一种可选的实施方式中,确定计算任务对应的数据筛选参数,包括:响应于用户触发的计算任务,显示源数据集展示界面;响应于用户在源数据集展示界面中对源数据的选择操作,确定计算任务对应的数据筛选参数。
102.具体地,图6为本技术提供的另一种确定数据筛选参数方法示意图,如图6中上方左侧图所示,可以提供创建计算任务组件,示例性地,该组件可以为创建计算任务按钮,通
过点击创建计算任务按钮创建计算任务可以触发计算任务。在触发计算任务后可以显示源数据集展示界面,在显示源数据集展示界面中可以显示至少一个可筛选的字段名称,如图6中上方右侧图所示,可以显示源数据集中的仓库所在地、仓库库存等仓库名称。如图6中下方右侧图所示,在点击仓库所在地对应的下拉箭头后,可以显示仓库所在地对应的数据,包括:a地区、b地区、c地区。用户可以在显示的数据中,选择数据筛选参数,并可以点击确定按钮,使任务执行装置确定计算任务对应的数据筛选参数,如图5中下方左侧图所示,可以选择a地区作为数据筛选参数,使任务执行装置筛选源数据集中a地区对应的数据,并将a地区对应的数据确定为筛选结果数据。
103.步骤s502、根据数据筛选参数从对应的源数据集中对数据进行筛选,获得筛选结果数据。
104.步骤s503、根据筛选结果数据执行目标计算任务,以获得执行结果数据。
105.示例性地,源数据集可以包括时间字段,可以通过确定数据筛选参数设置目标计算任务所依赖源数据集的时间范围。例如,目标计算任务可以为依赖源数据集中近四个月的数据预测销售额,可以通过确定计算任务对应的数据筛选参数确定目标计算任务所依赖源数据集的时间范围为近四个月,获取源数据集中近四个月的数据,根据近四个月的数据预测销售额。
106.本技术实施例提供的任务执行方法,确定计算任务对应的数据筛选参数;根据数据筛选参数从对应的源数据集中对数据进行筛选,获得筛选结果数据;根据筛选结果数据执行目标计算任务,以获得执行结果数据。可以通过数据筛选参数实现对源数据集中数据的筛选,根据筛选结果数据执行目标计算任务,获得根据筛选结果数据计算得到的执行结果数据,可以减少计算的数据量,从而提高计算速度。
107.可选地,在上述实施方式的基础上,在步骤s103根据源数据集执行目标计算任务,以获得执行结果数据之前,还可以包括以下步骤:对筛选结果数据的取值进行调整;将调整后的筛选结果数据的取值同步到对应分区的源数据集中,以形成目的数据集。
108.其中,目的数据集为对源数据集中数据的取值进行调整后的数据集。
109.本技术实施例中,可以对目标计算任务占用的第二分区中的数据的取值进行调整,形成目的数据集;根据目的数据集执行目标计算任务,获得执行结果数据。
110.在实际应用中,可能需要对源数据集中的数据进行调整,以进行特殊假设场景下的目标计算任务。
111.示例性地,可以进行存储规划,判断按存储规划调整的仓库库存可以提供的供应量是否能与预测销量匹配。具体地,源数据集中的字段可以包括仓库库存和仓库所在地,可以通过确定数据筛选参数为仓库所在地为a地区,获取a地区仓库的仓库库存;可以根据存储规划调整a地区的某一仓库的仓库库存,并同步到对应分区的源数据集中;根据调整后的仓库库存计算供应量,以确定供应量是否能与预测销量匹配。
112.本技术实施例提供的任务执行方法,对筛选结果数据的取值进行调整;将调整后的筛选结果数据的取值同步到对应分区的源数据集中,以形成目的数据集,可以满足特殊假设场景下的目标计算任务对调整源数据集中的数据的需求。
113.实施例五
114.图7为本技术实施例五提供的一种任务执行方法流程图,在上述任一实施例的基
础上,本技术实施例涉及的是对结果数据进行存储的过程。如图7所示,本技术实施例提供的任务执行方法包括以下步骤:
115.步骤s601、控制数据库创建对执行结果数据进行存储的结果表,并按照分区标识码在结果表中创建分区。
116.具体地,控制数据库创建结果表后,获取分区标识码,在结果表中针对获取的每个分区标识码创建一个对应的分区。其中,结果表用于存储执行结果数据。
117.在一种可选的实施方式中,按照分区标识码在结果表中创建分区的方式可以为:响应于触发的目标计算任务,获取数据库对应数据表中未被已执行计算任务占用的分区后,确定该分区对应的分区标识码,针对该分区对应的分区标识码在结果表中创建一个对应的分区。
118.在另一种可选的实施方式中,按照分区标识码在结果表中创建分区的方式可以为:从消息队列中读取第二分区的分区标识码,针对消息队列中第二分区的分区标识码创建一个对应的分区。
119.步骤s602、将分区标识码作为分区键添加到结果表对应的分区中。
120.具体地,按照分区标识码在结果表中创建分区后,将分区标识码作为分区键添加到结果表对应的分区中,以在获得执行结果数据后,将执行结果数据与分区标识码进行关联存储。
121.步骤s603、根据筛选结果数据执行计算任务,以获得执行结果数据。
122.步骤s604、将执行结果数据按照分区键存储到结果表对应的分区中。
123.具体地,将具有相同分区键的执行结果数据存储到同一结果表对应的分区中。
124.步骤s605、将执行结果数据在结果展示界面进行展示。
125.具体地,获取目标计算任务对应的分区标识码,根据分区标识码从结果表中获取目标计算任务对应的执行结果数据,将执行结果数据显示在结果展示界面中。
126.本技术实施例提供的任务执行方法,控制数据库创建对执行结果数据进行存储的结果表,并按照分区标识码在结果表中创建分区;将分区标识码作为分区键添加到执行结果数据中;将执行结果数据按照分区键存储到结果表对应的分区中;将执行结果数据在结果展示界面进行展示。可以使执行结果数据按照分区键在结果表中分区存储,可以提高获取计算任务对应执行结果数据的速度,并降低执行结果数据的元数据管理成本和数据库连接池资源消耗。
127.可选地,在上述任一实施例的基础上,还可以包括以下步骤:
128.步骤s701、响应于用户触发的数据查询请求,获取数据查询请求中的分区标识码及数据查询参数。
129.本技术实施例中,用户可以在查询界面输入分区标识码及数据查询参数触发的数据查询请求。其中,数据查询参数为对数据集进行筛选的参数。
130.步骤s702、从分区标识码对应的分区中获取对应的数据集,并在该数据集中获取与数据查询参数匹配的数据查询结果。
131.步骤s703、将数据查询结果进行显示。
132.其中,获取的数据集为分区标识码对应的分区中存储的数据集,可以为源数据集,也可以为对源数据集进行调整后的目的数据集。
133.具体地,在获取对应的数据集后,根据数据查询参数从数据集筛选出数据查询结果,并将数据查询结果进行显示。
134.可选地,若已执行步骤s604将执行结果数据按照分区键存储到结果表对应的分区中后,则在响应于用户触发的数据查询请求,获取数据查询请求中的分区标识码后,还可以从结果表中获取分区标识码对应分区中的执行结果数据,将对执行结果数据进行展示。
135.本技术实施例提供的任务执行方法,响应于用户触发的数据查询请求,获取数据查询请求中的分区标识码及数据查询参数;从分区标识码对应的分区中获取对应的数据集,并在该数据集中获取与数据查询参数匹配的数据查询结果;将数据查询结果进行显示;可以查询已执行计算任务依赖的数据集,使用户获知已执行计算任务依赖的源数据集;还可以查询已执行计算任务依赖的执行结果数据,使用户获知已执行计算任务依赖的执行结果数据,可以在多任务场景中,对比多计算任务的数据集及执行结果数据。
136.实施例六
137.图8为本技术实施例六提供的任务执行装置的结构示意图,如图8所示,本技术实施例六提供的任务执行装置80包括:第一获取模块801,第二获取模块802以及执行模块803。
138.具体地,第一获取模块801,用于响应于触发的目标计算任务,获取数据库对应数据表中未被已执行计算任务占用的分区;目标计算任务为多任务场景中的任意一个计算任务,在多任务场景中每个计算任务依赖的源数据集相同;数据表中预先创建有多个分区,每个分区中均预先存储有相同的源数据集;
139.第二获取模块802,用于从未被已执行计算任务占用的分区中获取对应的源数据集;
140.执行模块803,用于根据源数据集执行目标计算任务,以获得执行结果数据。
141.可选地,任务执行装置80还包括:存储模块;存储模块用于将源数据集存储到数据表中的第一分区中;为数据表中的至少一个第二分区分别生成对应的分区标识码;根据至少一个第二分区的分区标识码控制数据库将源数据集分别复制到对应的第二分区中,并将分区标识码作为分区键添加到对应的第二分区中;将至少一个第二分区的分区标识码存储到消息队列中。
142.可选地,第一获取模块801,具体用于:按照先进先出的原则,从消息队列中读取一个第二分区的分区标识码;将读取出的分区标识码对应的第二分区确定为未被已执行计算任务占用的分区。
143.可选地,任务执行装置80还包括:创建模块;创建模块用于生成新的分区标识码,并控制数据库在数据表中根据新的分区标识码创建对应的新第二分区。存储模块还用于:控制数据库将第一分区中的源数据集复制到新第二分区中;将新分区对应的分区标识码存储到消息队列中。
144.可选地,执行模块803,具体用于确定计算任务对应的数据筛选参数;根据数据筛选参数从对应的源数据集中对数据进行筛选,获得筛选结果数据;根据筛选结果数据执行目标计算任务,以获得执行结果数据。
145.可选地,任务执行装置80还包括:参数配置模块;参数配置模块用于:响应于用户触发的计算任务,显示参数配置界面;响应于用户在参数配置界面进行的数据筛选参数的
配置操作,确定计算任务对应的数据筛选参数。
146.可选地,任务执行装置80还包括:参数选择模块;参数选择模块用于:响应于用户触发的计算任务,显示源数据集展示界面;响应于用户在源数据集展示界面中对源数据的选择操作,确定计算任务对应的数据筛选参数。
147.可选地,创建模块还用于:控制数据库创建对执行结果数据进行存储的结果表,并按照分区标识码在结果表中创建分区;将分区标识码作为分区键添加到结果表对应的分区中。存储模块还用于:将执行结果数据按照分区键存储到结果表对应的分区中;将执行结果数据在结果展示界面进行展示。
148.可选地,任务执行装置80还包括:参数调整模块;参数调整模块用于:对筛选结果数据的取值进行调整;将调整后的筛选结果数据的取值同步到对应分区的源数据集中,以形成目的数据集。
149.可选地,任务执行装置80还包括:数据查询模块;数据查询模块用于:响应于用户触发的数据查询请求,获取数据查询请求中的分区标识码及数据查询参数;从分区标识码对应的分区中获取对应的数据集,并在该数据集中获取与数据查询参数匹配的数据查询结果;将数据查询结果进行显示。
150.需要说明的是,本技术实施例提供的任务执行装置执行的技术方案和效果可以参见前述方法实施例的相关内容,在此不再赘述。
151.实施例七
152.图9为本技术实施例七提供的电子设备的结构示意图,如图9所示,本技术还提供了一种电子设备90,包括:存储器901、处理器902及收发器903。
153.其中,存储器901,用于存放程序,收发器903用于收发数据。具体地,程序可以包括程序代码,程序代码包括计算机执行指令。存储器901可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
154.处理器902,用于执行存储器901存放的程序。
155.其中,计算机程序存储在存储器901中,并被配置为由处理器902执行以实现本技术任意一个实施例提供的任务执行方法。相关说明可以对应参见附图中的步骤所对应的相关描述和效果进行理解,此处不做过多赘述。
156.其中,本技术实施例中,存储器901和处理器902通过总线连接。总线可以是工业标准体系结构(industry standard architecture,简称为isa)总线、外部设备互连(peripheral component interconnect,简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture,简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
157.本技术实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现本技术任意一个实施例提供的任务执行方法。
158.本技术实施例还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现本技术任意一个实施例提供任务执行方法。
159.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为
一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
160.作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本技术实施例方案的目的。
161.另外,在本技术各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
162.用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程任务执行装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
163.在本技术的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
164.此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本技术的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
165.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本技术的真正范围和精神由下面的权利要求书指出。
166.应当理解的是,本技术并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献