数据采集方法、任务调度方法、装置、设备、介质和程序与流程

1.本公开涉及计算机领域，更具体地，涉及一种数据采集方法、任务调度方法、装置、设备、介质和程序。


背景技术：

2.随着信息技术的快速发展，虚拟业务线已经深入到各行各业，每条业务线的数据量也出现了迅猛增长。目前各业务数据来源方的数据比较割裂，难以完整地进行处理分析。一些数据同步技术由于同步压力大，需要大量的网络和存储资源，成本较高。


技术实现要素：

3.为了解决相关技术中的问题，本公开实施例提供了一种数据采集方法、任务调度方法、装置、设备、介质和程序。
4.本公开的一个方面提供了一种数据采集方法，包括：从自助任务平台接收第一消息；基于所述第一消息采集第一目标数据；将所述第一目标数据经第一处理后发送至数据存储系统；以及将所述第一目标数据经第二处理后发送至所述自助任务平台，其中，所述第一处理和所述第二处理相同或不同。
5.可选地，所述基于所述第一消息采集第一目标数据包括：在所述第一消息中包括采集参数的情况下，基于所述采集参数采集第一目标数据；或者，在所述第一消息为空消息的情况下，基于默认参数采集第一目标数据。
6.可选地，所述第一处理包括数据清洗、数据分析和数据汇总中的部分或全部，所述第二处理包括数据筛选。
7.本公开的另一个方面提供了一种任务调度方法，包括：发送第一消息，所述第一消息用于触发数据采集系统执行第一采集任务；接收来自所述数据采集系统的反馈消息；基于所述反馈消息生成第二消息；以及发送所述第二消息，所述第二消息用于触发所述数据采集系统执行第二采集任务。
8.可选地，所述发送第一消息包括：响应于满足触发条件，生成并发送第一消息，其中，所述触发条件包括正在执行的任务数量少于第一阈值、资源占用率低于第二阈值以及到达预定时刻中的至少一种，所述第一消息为携带采集参数的消息或空消息。
9.本公开的另一个方面提供了一种数据采集装置，包括第一接收模块、采集模块、第一发送模块和第二发送模块。其中，第一接收模块，被配置为从自助任务平台接收第一消息；采集模块，被配置为基于所述第一消息采集第一目标数据；第一发送模块，被配置为将所述第一目标数据经第一处理后发送至数据存储系统；第二发送模块，被配置为将所述第一目标数据经第二处理后发送至所述自助任务平台，其中，所述第一处理和所述第二处理相同或不同。
10.本公开的另一个方面提供了一种任务调度装置，包括第三发送模块、第二接收模块、生成模块和第四发送模块。其中，第三发送模块，被配置为发送第一消息，所述第一消息
用于触发数据采集系统执行第一采集任务；第二接收模块，被配置为接收来自所述数据采集系统的反馈消息；生成模块，被配置为基于所述反馈消息生成第二消息；第四发送模块，被配置为发送所述第二消息，所述第二消息用于触发所述数据采集系统执行第二采集任务。
11.本公开的另一个方面提供了一种电子设备，包括，至少一个处理器以及至少一个存储器，用于存储一个或多个计算机可读指令，其中，当所述一个或多个计算机可读指令被所述至少一个处理器执行时，使得所述处理器执行如上所述的方法。
12.本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
13.本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
14.根据本公开实施例提供的技术方案，能够在基于第一消息采集数据之后，将第一消息经处理反馈到自助任务平台，使得自助任务平台可以基于该信息生成后续采集指令，实现基于业务维度对数据采集任务进行编排，从而可以根据业务需要进行有限的数据采集，并保证采集数据的合理性和连续性，得到的数据完整、可靠。
15.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
16.结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
17.图1示意性示出了根据本公开实施例的数据采集方法和任务调度方法的应用场景的示意图；
18.图2示意性示出了根据本公开实施例的数据采集方法的流程图；
19.图3示意性示出了根据本公开实施例的任务调度方法的流程图；
20.图4示意性示出了根据本公开实施例的数据采集方法和任务调度方法的时序图；
21.图5示意性示出了根据本公开实施例的数据采集装置的框图；
22.图6示意性示出了根据本公开实施例的任务调度装置的框图；
23.图7示意性示出了根据本公开实施例的电子设备的框图；以及
24.图8示意性示出了适于实现本公开实施例的方法和装置的计算机系统的框图。
具体实施方式
25.下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
26.在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
27.另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
28.应当注意的是，本公开中数据的获取或展示均经用户授权、确认、或由用户主动选择。
29.本公开的实施例提供了一种数据采集方法，包括：从自助任务平台接收第一消息；基于所述第一消息采集第一目标数据；将所述第一目标数据经第一处理后发送至数据存储系统；以及将所述第一目标数据经第二处理后发送至所述自助任务平台，其中，所述第一处理和所述第二处理相同或不同。
30.图1示意性示出了根据本公开实施例的数据采集方法和任务调度方法的应用场景的示意图。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
31.如图1所示，该场景可以自助任务平台110、数据采集系统120、多个业务数据来源方130(例如业务数据来源方或其他第三方数据中心等)以及数据存储系统140。
32.根据本公开实施例，自助任务平台110可以部署于服务器或终端设备，用于发起数据采集命令，例如向数据采集系统120发送消息，以便数据采集系统120根据接收到的消息执行数据采集任务。数据采集系统120可以对多个系统的业务数据以及行为数据进行数据采集。业务数据来源方130通常有多个，例如可以包括一个或多个自有业务系统，也可以包括一个或多个第三方数据中心。数据存储系统140可以实现为部署有数据库或数据仓库的数据服务器，用于存储采集到的各类业务数据。
33.根据本公开实施例，自助任务平台110、数据采集系统120、多个业务数据来源方130和数据存储系统140之间可以采用消息队列或http通信的方式进行数据的交互。任何基于消息队列或http通信的数据采集任务都可以接入该数据采集体系，但需要在自助任务平台110进行任务注册。
34.本公开实施例所描述的数据采集方法可以由上述数据采集系统120执行，本公开实施例所描述的任务调度方法可以由上述自助任务平台110执行。下面结合图2～图4对本公开实施例提供的各种方法进行说明。
35.图2示意性示出了根据本公开实施例的数据采集方法的流程图。
36.如图2所示，该方法包括操作s210～s240。
37.在操作s210，从自助任务平台接收第一消息。
38.在操作s220，基于所述第一消息采集第一目标数据；
39.在操作s230，将所述第一目标数据经第一处理后发送至数据存储系统；
40.在操作s240，将所述第一目标数据经第二处理后发送至所述自助任务平台，其中，所述第一处理和所述第二处理相同或不同。
41.根据本公开实施例提供的技术方案，能够在基于第一消息采集数据之后，将第一消息经处理反馈到自助任务平台，使得自助任务平台可以基于该信息生成后续采集指令，实现基于业务维度对数据采集任务进行编排，从而可以根据业务需要进行有限的数据采集，并保证采集数据的合理性和连续性，得到的数据完整、可靠。
42.图3示意性示出了根据本公开实施例的任务调度方法的流程图。
43.如图3所示，该方法包括操作s310～s340。
44.在操作s310，发送第一消息，所述第一消息用于触发数据采集系统执行第一采集
任务；
45.在操作s320，接收来自所述数据采集系统的反馈消息；
46.在操作s330，基于所述反馈消息生成第二消息；
47.在操作s340，发送所述第二消息，所述第二消息用于触发所述数据采集系统执行第二采集任务。
48.根据本公开实施例提供的技术方案，能够基于第一消息的反馈消息生成后续的采集指令，实现基于业务维度对数据采集任务进行编排，从而可以根据业务需要进行有限的数据采集，并保证采集数据的合理性和连续性，得到的数据完整、可靠。
49.下面结合图4所示意的时序图对本公开实施例的方法进行介绍。
50.图4示意性示出了根据本公开实施例的数据采集方法和任务调度方法的时序图。
51.如图4所示，该方法包括操作s401～s410。
52.在操作s401，自助任务平台110向数据采集系统120发送第一消息。根据本公开实施例，可以通过消息队列或http通信发起调度。
53.根据本公开实施例，第一消息可以在各种时机下发送，例如，所述发送第一消息包括响应于满足触发条件，生成并发送第一消息。也就是说，第一消息可以是在满足触发条件的情况下自动生成并发送的。其中，该触发条件例如可以包括正在执行的任务数量少于第一阈值、资源占用率低于第二阈值以及到达预定时刻中的至少一种。当任务数量少于第一阈值或资源占用率低于第二阈值时，系统处于相对空闲的状态，本公开实施例的方法可以利用系统空闲时段执行数据采集任务。任务平台根据需求对采集任务进行按时调度。预定时刻可以是夜间的某一时刻，例如每日凌晨2:00，该时刻通常处于系统的空闲时段。除了指定夜间时段外，通过预定时刻的方式还可以保证每间隔一定周期至少采集一次数据，例如在每日凌晨2:00触发的情况下，可以保证每日至少采集一次数据。
54.在本公开另一些实施例中，还可以由管理员手动触发。自助任务平台110响应于管理员的输入动作，生成并发送第一消息。
55.根据本公开实施例，所述第一消息可以为携带采集参数的消息或空消息。自助任务平台110允许管理员手动输入采集参数，例如需要采集哪些数据，通过何种形式采集，以何种形式存储等等，也允许管理员不填写采集参数，而是发送一个空消息作为第一消息。类似地，在自动触发第一消息的情况下，也可以发送未填写任何采集参数的空消息。
56.在操作s402，数据采集系统120处理第一消息，并执行第一采集任务，向业务数据来源方130发起数据采集。类似地，可以通过消息队列或http通信发起数据采集。
57.根据本公开实施例，数据采集系统120存储有默认参数，在所述第一消息中包括采集参数的情况下，基于所述采集参数采集第一目标数据。或者，在所述第一消息为空消息的情况下，基于默认参数采集第一目标数据。
58.在操作s403，数据采集系统120获得采集到的业务数据，即第一目标数据。
59.在操作s404，数据采集系统120将所述第一目标数据经第一处理后发送至数据存储系统140进行存储。
60.根据本公开实施例，该第一处理可以包括数据清洗、数据分析和数据汇总，采集到的数据经过数据清洗、数据分析和数据汇总后存入数据存储系统140，以供其他系统使用。在本公开另一些实施例中，第一处理可以仅包括数据清洗，或仅包括数据清洗和数据分析，
而将剩余处理交由数据存储系统140完成。甚至，数据采集系统120可以不经任何处理将数据直接发送至数据存储系统140，以便数据存储系统140存储完整的原始数据。
61.在操作s405，数据采集系统120将所述第一目标数据经第二处理后得到反馈消息，并发送至自助任务平台110。该第二处理可以包括数据筛选的处理操作，根据预定的规则筛选自助任务平台110所需的数据进行反馈，以便自助任务平台110根据反馈消息发起下一次数据采集的调度。
62.其中，操作s404和s405的顺序可以调换，甚至可以同时执行。
63.根据本公开实施例，一轮数据采集任务完成后，可以再次通过消息队列或http通讯的方式对依赖该任务返回数据的其他采集任务进行调度，实现任务编排，保证业务逻辑的顺序性和合理性。即继续执行下述操作s406～s410。
64.在操作s406，自助任务平台110基于该反馈消息生成第二消息并发送至数据采集系统120。
65.操作s407～s410与上述s402～s405类似。
66.在操作s407，数据采集系统120处理第二消息，并执行第二采集任务，向业务数据来源方130发起数据采集。
67.在操作s408，数据采集系统120获得采集到的业务数据，即第二目标数据。
68.在操作s409，数据采集系统120将所述第一目标数据经第一处理后发送至数据存储系统140进行存储。
69.在操作s410，数据采集系统120将所述第一目标数据经第二处理后得到反馈消息，并发送至自助任务平台110。其中，操作s409和s410的顺序可以调换，也可以同时执行。
70.根据本公开实施例的技术方案，可以连续执行两次甚至更多次数据采集过程，实现基于业务维度对数据采集任务进行编排，从而可以根据业务需要进行有限的数据采集，并保证采集数据的合理性和连续性，得到的数据完整、可靠。同时，该方法可以有效减少开发者和运维人员的工作量，降低开发和运维成本，对于多人协作开发的情况，能够提升团队整体的开发效率，又能够对服务器端的项目进行更有有效的维护和管理。
71.图5示意性示出了根据本公开实施例的数据采集装置500的框图。其中，该装置500可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
72.如图5所示，该数据采集装置500包括第一接收模块510、采集模块520、第一发送模块530和第二发送模块540。该数据采集装置500可以执行上文图2描述的方法。
73.第一接收模块510，被配置为从自助任务平台接收第一消息。
74.采集模块520，被配置为基于所述第一消息采集第一目标数据。
75.第一发送模块530，被配置为将所述第一目标数据经第一处理后发送至数据存储系统。
76.第二发送模块540，被配置为将所述第一目标数据经第二处理后发送至所述自助任务平台，其中，所述第一处理和所述第二处理相同或不同。
77.根据本公开实施例提供的技术方案，能够在基于第一消息采集数据之后，将第一消息经处理反馈到自助任务平台，使得自助任务平台可以基于该信息生成后续采集指令，实现基于业务维度对数据采集任务进行编排，从而可以根据业务需要进行有限的数据采集，并保证采集数据的合理性和连续性，得到的数据完整、可靠。
78.图6示意性示出了根据本公开实施例的任务调度装置600的框图。其中，该装置600可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
79.如图6所示，该任务调度装置600包括第三发送模块610、第二接收模块620、生成模块630和第四发送模块640。该数据采集装置600可以执行上文图3描述的方法。
80.第三发送模块610，被配置为发送第一消息，所述第一消息用于触发数据采集系统执行第一采集任务。
81.第二接收模块620，被配置为接收来自所述数据采集系统的反馈消息。
82.生成模块630，被配置为基于所述反馈消息生成第二消息。
83.第四发送模块640，被配置为发送所述第二消息，所述第二消息用于触发所述数据采集系统执行第二采集任务。
84.根据本公开实施例提供的技术方案，能够基于第一消息的反馈消息生成后续的采集指令，实现基于业务维度对数据采集任务进行编排，从而可以根据业务需要进行有限的数据采集，并保证采集数据的合理性和连续性，得到的数据完整、可靠。
85.本公开还公开了一种电子设备，图7示出根据本公开的实施例的电子设备的框图。
86.如图7所示，所述电子设备700包括存储器701和处理器702，其中，所述存储器701用于存储支持电子设备执行上述任一实施例中的数据采集方法或代码生成方法的程序，所述处理器702被配置为用于执行所述存储器701中存储的程序。
87.根据本公开实施例，所述存储器701用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器702执行以实现以下步骤：
88.从自助任务平台接收第一消息；
89.基于所述第一消息采集第一目标数据；
90.将所述第一目标数据经第一处理后发送至数据存储系统；以及
91.将所述第一目标数据经第二处理后发送至所述自助任务平台，其中，所述第一处理和所述第二处理相同或不同。
92.根据本公开实施例，所述基于所述第一消息采集第一目标数据包括：
93.在所述第一消息中包括采集参数的情况下，基于所述采集参数采集第一目标数据；或者
94.在所述第一消息为空消息的情况下，基于默认参数采集第一目标数据。
95.根据本公开实施例，所述第一处理包括数据清洗、数据分析和数据汇总中的部分或全部，所述第二处理包括数据筛选。
96.或者，所述一条或多条计算机指令被所述处理器702执行以实现以下步骤：
97.发送第一消息，所述第一消息用于触发数据采集系统执行第一采集任务；
98.接收来自所述数据采集系统的反馈消息；
99.基于所述反馈消息生成第二消息；以及
100.发送所述第二消息，所述第二消息用于触发所述数据采集系统执行第二采集任务。
101.根据本公开实施例，所述发送第一消息包括：响应于满足触发条件，生成并发送第一消息，其中，所述触发条件包括正在执行的任务数量少于第一阈值、资源占用率低于第二阈值以及到达预定时刻中的至少一种。
102.根据本公开实施例，所述第一消息为携带采集参数的消息或空消息。
103.图8示意性示出了适于实现本公开实施例的方法和装置的计算机系统800的框图。
104.如图8所示，计算机系统800包括处理单元801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行上述实施例中的各种处理。在ram 803中，还存储有系统800操作所需的各种程序和数据。处理单元801、rom802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
105.以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。其中，所述处理单元801可实现为cpu、gpu、tpu、fpga、npu等处理单元。
106.特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。
107.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
108.描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
109.作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
110.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。