一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

任务处理方法、设备及系统与流程

2022-06-22 14:34:56 来源:中国专利 TAG:


1.本技术涉及计算机技术领域,尤其涉及一种任务处理方法、设备及系统。


背景技术:

2.社区团购是真实居住社区内居民团体的一种互联网线上线下购物消费行为,是依托真实社区的一种区域化、小众化、本地化、网络化的团购形式。消费用户可以通过信息平台提供的社区团购服务系统,如独立的应用程序,或者运行于其他应用程序中的小程序、轻应用等,选择团购物品,在下单时选择自提点,如用户所在小区的综合超市,或者快递服务网点等。同一自提点的下单物品可以统一安排配送,以提升配送效率。
3.随着社区团购的快速发展,订单量与日俱增,原有信息平台的货物计算性能已不能满足长期需求。慢结构化查询语言sql、高内存和高中央处理器cpu消耗对社区团购业务的各环节都可能造成严重打击,甚至直接造成业务不可用,影响信息平台物流数据(包括货量)统计的效率、稳定性、和准确性。


技术实现要素:

4.本技术实施例提供一种任务处理方法、设备及系统,提升对物流数据统计的效率。
5.本技术实施例第一方面提供一种任务处理方法,应用于第一设备,该方法包括:
6.周期性地接收来自任务调度设备的任务触发指令;
7.根据所述任务触发指令,向多个第二设备发送第一任务;
8.所述第一任务用于触发第二设备向多个第三设备发送第二任务,所述第二任务用于触发第三设备统计所述第三设备对应的目标地区的目标自提点的物流统计数据。
9.本技术第一方面的一个可选实施例中,所述根据所述任务触发指令,向多个第二设备发送第一任务,包括:
10.根据所述任务触发指令,从设备集群中随机选取所述多个第二设备;
11.向所述多个第二设备的每个第二设备发送所述第一任务;
12.其中,所述第一任务包括目标地区的数据库标识和数据表标识,不同第二设备的第一任务对应不同的目标地区。
13.本技术第二方面提供一种任务处理方法,应用于第二设备,所述方法包括:
14.接收来自第一设备的第一任务;
15.根据所述第一任务向多个第三设备发送第二任务,所述第二任务用于触发第三设备统计所述第三设备对应的目标地区的目标自提点的物流统计数据。
16.本技术实施例第二方面的一个可选实施例中,所述第一任务包括目标地区的数据库标识和数据表标识;
17.所述根据所述第一任务向多个第三设备发送第二任务,包括:根据所述目标地区的数据库标识和数据表标识,获取所述目标地区的自提点总数;
18.根据所述自提点总数以及预设自提点组的自提点数量,确定自提点组的数量,所
述自提点组的数量等于所述第三设备的数量;
19.根据所述第三设备的数量,从设备集群中随机选取所述多个第三设备,向所述多个第三设备的每个第三设备发送所述第二任务。
20.本技术第二方面的一个可选实施例中,所述第二任务包括所述目标地区的数据库标识、数据表标识以及自提点标识,不同第三设备对应同一目标地区的不同自提点。
21.本技术实施例第三方面提供一种任务处理方法,应用于第三设备,所述方法包括:
22.接收来自第二设备的第二任务,根据所述第二任务获取第一预设时段内与目标地区的目标自提点关联的物流单数据;
23.根据所述物流单数据,确定所述目标自提点在所述第一预设时段内的物流统计数据,所述物流统计数据包括物流单总数量以及所有物流单的物品总数量的至少一项;
24.根据所述目标自提点在所述第一预设时段内的物流统计数据确定是否更新所述目标自提点在第二预设时段内的物流统计数据;所述第二预设时段包括多个连续的所述第一预设时段。
25.本技术第三方面的一个可选实施例中,所述第二任务包括所述目标地区的数据库标识、数据表标识以及目标自提点标识;
26.所述根据所述第二任务,获取第一预设时段内与目标地区的目标自提点关联的物流单数据,包括:
27.根据所述目标地区的数据库标识和数据表标识,从第一数据库集群中获取所述目标地区对应的数据表;所述第一数据库集群用于存储不同地区的物流单数据以及自提点组的物流统计数据;
28.根据所述目标自提点标识,从所述目标地区对应的数据表中获取所述第一预设时段内与所述目标地区的目标自提点关联的物流单数据。
29.本技术第三方面的一个可选实施例中,所述物流单数据包括所述第一预设时段内与所述目标地区的目标自提点关联的所有物流单的标识,以及每个物流单的物品数量。
30.本技术第三方面的一个可选实施例中,所述根据所述目标自提点的标识,从所述目标地区对应的数据表中获取所述第一预设时段内与所述目标地区的目标自提点关联的物流单数据,包括:
31.根据所述目标自提点的标识,从所述目标地区对应的物流单项目表,获取所述第一预设时段内与所述目标地区的目标自提点关联的所有物流单的标识,以及每个物流单的物品数量;
32.其中,所述物流单项目表包括物流单的标识、物品数量以及自提点标识。
33.本技术第三方面的一个可选实施例中,所述根据所述目标自提点在所述第一预设时段内的物流统计数据确定是否更新所述目标自提点在第二预设时段内的物流统计数据,包括:
34.从所述目标地区对应的自提点组信息统计表,获取所述目标自提点在所述第二预设时段内的历史物流统计数据;所述自提点组信息统计表包括每组自提点的历史物流统计数据;
35.若所述目标自提点在所述第一预设时段内的物流统计数据不为0,根据所述目标自提点在所述第一预设时段内的物流统计数据以及所述目标自提点在所述第二预设时段
内的历史物流统计数据,更新所述目标自提点在所述第二预设时段内的物流统计数据。
36.本技术第三方面的一个可选实施例中,所述方法还包括:若确定更新所述目标自提点在所述第二预设时段内的物流统计数据,将更新信息记录到所述第三设备的二进制日志文件中。
37.本技术第三方面的一个可选实施例中,所述方法还包括:在所述第二预设时段结束时,获取所述目标自提点在所述第二预设时段内的最终物流统计数据;
38.向消息中间件发送所述最终物流统计数据,所述消息中间件用于将所述最终物流统计数据转发至物流运输端。
39.本技术实施例第四方面提供一种任务处理装置,包括:
40.接收模块,用于周期性地接收来自任务调度设备的任务触发指令;
41.发送模块,用于根据所述任务触发指令,向多个第二设备发送第一任务;所述第一任务用于触发第二设备向多个第三设备发送第二任务,所述第二任务用于触发第三设备统计所述第三设备对应的目标地区的目标自提点的物流统计数据。
42.本技术实施例第五方面提供一种任务处理装置,包括:
43.接收模块,用于接收来自第一设备的第一任务;
44.发送模块,用于根据所述第一任务向多个第三设备发送第二任务,所述第二任务用于触发第三设备统计所述第三设备对应的目标地区的目标自提点的物流统计数据。
45.本技术实施例第六方面提供一种任务处理装置,包括:
46.接收模块,用于接收来自第二设备的第二任务;
47.获取模块,用于根据所述第二任务获取第一预设时段内与目标地区的目标自提点关联的物流单数据;
48.处理模块,用于根据所述物流单数据,确定所述目标自提点在所述第一预设时段内的物流统计数据,所述物流统计数据包括物流单总数量以及所有物流单的物品总数量的至少一项;
49.根据所述目标自提点在所述第一预设时段内的物流统计数据确定是否更新所述目标自提点在第二预设时段内的物流统计数据;所述第二预设时段包括多个连续的所述第一预设时段。
50.本技术实施例第七方面提供一种电子设备,包括:存储器,处理器以及计算机程序;所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如本技术第一方面任一项所述的方法,或者如本技术第二方面任一项所述的方法,或者如本技术第三方面任一项所述的方法。
51.本技术实施例第八方面提供一种任务处理系统,包括:任务调度设备以及设备集群,所述设备集群包括多个设备,所述任务调度设备与所述设备集群中的每个设备连接;
52.所述任务调度设备用于周期性地向第一设备发送任务触发指令,所述第一设备为所述任务调度设备从所述设备集群中随机选取的设备;
53.所述第一设备用于执行如本技术第一方面任一项所述的方法;
54.所述第二设备用于执行如本技术第二方面任一项所述的方法;
55.所述第三设备用于执行如本技术第三方面任一项所述的方法。
56.本技术实施例第九方面提供一种计算机可读存储介质,其上存储有计算机程序,
所述计算机程序被处理器执行以实现如本技术第一方面任一项所述的方法,或者如本技术第二方面任一项所述的方法,或者如本技术第三方面任一项所述的方法。
57.本技术实施例第十方面提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如本技术第一方面任一项所述的方法,或者如本技术第二方面任一项所述的方法,或者如本技术第三方面任一项所述的方法。
58.本技术实施例提供一种任务处理方法、设备及系统,其中任务处理方法包括:任务调度设备向第一设备发送任务触发指令,第一设备根据该指令向多个第二设备发送第一任务,每个第二设备对应不同地区的第一任务。随后第二设备根据其对应的第一任务向多个第三设备发送第二任务,每个第三设备对应同一地区的不同自提点,第二任务用于触发第三设备统计第三设备对应的目标地区的目标自提点的物流统计数据。上述方法通过多级任务下发,实现多设备并行统计各地区的自提点的物流数据,提升了物流统计效率,为物流运输端的路线规划提供数据支撑。
附图说明
59.图1为本技术实施例提供的任务处理系统的架构示意图;
60.图2为本技术实施例提供的第一数据库集群和第二数据库集群的分库分表示意图;
61.图3为本技术实施例提供的任务处理方法的下游应用示意图;
62.图4为本技术实施例提供的任务处理方法的交互示意图一;
63.图5为本技术实施例提供的第一设备执行任务处理方法的流程示意图;
64.图6为本技术实施例提供的第二设备执行任务处理方法的流程示意图;
65.图7为本技术实施例提供的第三设备执行任务处理方法的流程示意图;
66.图8为本技术实施例提供的任务处理方法的交互示意图二;
67.图9为本技术实施例提供的任务处理方法的交互示意图三;
68.图10为本技术实施例提供的任务处理装置的结构示意图一;
69.图11为本技术实施例提供的任务处理装置的结构示意图二;
70.图12为本技术实施例提供的任务处理装置的结构示意图三;
71.图13为本技术实施例提供的电子设备的结构示意图。
具体实施方式
72.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
73.本技术实施例的说明书、权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述之外的顺序实施。应当理解,本文中使用的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限
于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
74.在本技术实施例的描述中,术语“对应”可表示两者之间具有直接对应或间接对应的关系,也可以表示两者之间具有关联关系,也可以是指示与被指示、配置与被配置等关系。
75.社区团购不同于以往的传统电商,它是拼团模式,社交电商时代延伸出的新业务。尤其是在疫情较为严重时,社区团购也改变了一部分人的生活购物习惯,社区团购的价值得到验证。
76.随着社区团购订单的增加,物流配送方面也会成为社区团购的核心竞争力之一,如何提高物流配送效率是亟需探讨的问题。物流配送需要作精细化数据分析,例如精确统计不同地区的自提点的配送货量,根据自提点的配送货量优化运输路线,从而提高全区物流配送效率。
77.现阶段,原有信息平台的货量计算性能已不能满足长期需求,虽然订单核心数据可以保留例如10天,但每日订单量增量例如2000万,也会对平台数据容量产生压力,影响计算性能,经常性的满sql已经严重影响平台包括货量统计等物流统计的效率、稳定性和准确性。
78.针对上述问题,本技术实施例提供一种任务处理方案,可提升物流统计的效率、稳定性和准确性。其主要发明思路如下:
79.第一,通过构建设备集群,可将不同地区自提点的物流统计任务下发给设备集群中的多个设备,多个设备并行处理各自的物流统计任务,提升物流统计效率。
80.第二,通过构建计算数据库集群,计算数据库集群中各数据库分别存储各自地区自提点的物流单数据,例如以物流单表、物流单项目表、自提点组信息统计表等形式存储物流单数据,设备集群中各设备分别访问数据库集群不同数据库的物流单数据,进行物流统计,提升物流统计的稳定性。
81.第三,通过周期性地触发设备集群中的设备执行物流统计任务,可及时获取到各地区自提点最新的物流统计数据,从而准确物流统计数据的准确性。进一步的,为了确保每日结束时物流运输端获取物流统计数据的准确性,还可以通过兜底下发方式,向物流传输端更新最终的物流统计数据。
82.为了便于理解本技术的技术方案,首先结合图1对本技术实施例的任务处理系统进行说明。
83.图1为本技术实施例提供的任务处理系统的架构示意图。如图1所示,该任务处理系统包括任务调度设备、设备集群、第一数据库集群以及第二数据库集群。任务调度设备可以与设备集群中的每个设备通信连接,设备集群中的设备之间可以通信连接,设备集群中的每个设备均可以访问第一数据库集群中的每个数据库,从数据库获取数据。第一数据库集群与第二数据库集群之间可以进行数据同步。
84.需要指出的是,第一数据库集群中所有数据库的数据总量小于第二数据库集群中所有数据库的数据总量。第一数据库集群的数据库的个数小于第二数据库集群的数据库的个数,即图1中m1<m2。
85.第一数据库集群的数据库主要存储与物流相关的数据。可选的,第一数据库集群
的各个数据库中包括但不限于物流单表、物流单项目表以及自提点组信息统计表等。第一数据库集群可以看作是计算库,包含用于计算不同地区自提点的物流统计数据的相关数据。
86.第二数据库集群的数据库除了存储与物流相关的数据外,还存储例如订单、换货单、退货单、售后单等环节的数据。第二数据库集群可以看作是中心库,包含全平台从生成订单到售后结束的全流程的所有数据。
87.作为一种示例,任务调度设备周期性地向设备集群中任一设备,如图1中的设备1,发送任务触发指令。设备1为任务调度设备从设备集群中随机选取的一个设备。其中,任务调度设备发送任务触发指令的发送周期为预设值,例如5分钟,即每5分钟任务调度设备发送一次任务触发指令。任务触发指令可以看作是物流统计任务的一级任务。
88.作为一种示例,设备1根据任务触发指令,向设备集群中多个设备发送第一任务,如图1中设备1向设备2至设备8的每个设备发送第一任务。设备2至设备8为设备1从设备集群中随机选取的设备。第一任务可以看作是物流统计任务的二级任务,指示第一数据库集群中数据库的标识,如设备1向设备2发送的第一任务包括第一数据库集群中库1的标识,库1存储某地区(如某省或某市)的物流数据。应理解,设备2至设备8接收到的第一任务的具体指示不同,即设备2至设备8对应不同地区的二级任务。
89.作为一种示例,设备2根据第一任务,向设备集群中多个设备发送第二任务,如图1中设备2向设备9至设备15的每个设备发送第二任务。设备9至设备15为设备2从设备集群中随机选取的设备。第二任务可以看作是物流统计任务的三级任务,除了指示第一数据库集群中数据库的标识,还指示自提点的标识。应理解,设备9至设备15接收到的第二任务包括同一数据库标识,如第一数据库集群中库1的标识,但自提点标识不同,即设备9至设备15对应同一地区的不同自提点(组)的物流统计任务。
90.需要说明的是,通常情况下,第二任务指示多个自提点的标识,这多个自提点在地区的地理位置上较为集中,例如多个自提点的任意两个自提点的距离均小于预设距离,这多个自提点可以看作是一个自提点组。
91.作为一种示例,第一数据库集群可通过消息中间件完成与第二数据库集群的数据同步(图1未示出)。基于上文描述,第一数据库集群与第二数据库集群之间的数据同步主要是同步物流单相关的数据。
92.作为一种示例,第一数据库集群用于存储不同地区的物流单数据以及自提点组的物流统计数据。第二数据库集群用于存储不同地区的物流单数据以及与物流单数据相关的其他业务环节的数据,例如退换货业务的数据、售后业务的数据等。
93.图2为本技术实施例提供的第一数据库集群和第二数据库集群的分库分表示意图。如图2所示,第一数据库集群包括例如8个数据库,分别记为compute_0000库至compute_0007库,每个数据库包括多个地区的数据表,例如compute_0000库包含16个地区的数据表,数据表标识为0000至0015。按照数据表的具体内容可进一步细分为3类表,分别为物流单表、物流单项目表以及自提点组信息统计表。例如地区a的数据表标识为0000,地区a的物流单表、物流单项目表以及自提点组信息统计表。
94.与第一数据库集群类似,第二数据库集群包括例如32个数据库,分别记为center_0000库至center_0031库。每个数据库同样包括多个地区的数据表,考虑每个数据库除了包
含地区物流单数据外,还包含其他业务环节的数据,每个数据库包含的地区数据表的数量小于第一数据库集群中每个数据库包含的地区数据表,例如center_0000库仅包含4个地区的数据表,每个地区的数据表按照数据表的具体内容同样分为3类,标记方式同上。
95.应理解,第一数据库集群和第二数据库集群中与物流单数据相关的数据表的总数量是相同的,例如第一数据库集群包括128个表,第二数据库集群也包括128个表。
96.作为一种示例,根据数据库配置信息对第一数据库集群与第二数据库集群中与物流数据相关的数据表的数据同步。其中数据库配置信息包括第一数据库集群与第二数据库集群的库表映射关系(分库分表路由规则)。
97.基于图1所示的系统架构,下面结合图3对设备集群中执行物流统计任务的三级任务的设备的下游应用进行说明。
98.图3为本技术实施例提供的任务处理方法的下游应用示意图。如图3所示,执行物流统计任务的三级任务的设备为设备9至设备15,设备9至设备15的任一设备均与消息中间件通信连接,消息中间件与物流运输端通信连接。作为一种示例,消息中间件可以从设备9至设备15的任一设备获取该设备的物流统计数据(该数据可能是一条新数据,也可能是一条更新数据),并将物流统计数据发送至物流运输端。物流运输端基于设备的物流统计数据编排运输路线。
99.例如,图3中设备9统计某地区的某几个自提点在当天的总货量,消息中间件从设备9获取其总货量,发送至物流运输端。同理,物流运输端获取设备10至设备15统计的总货量,由于不同设备对应同一地区不同的几个自提点,物流运输端可根据设备的总货量从大到小的顺序,制定运输路线,即先去哪些自提点,再去哪些自提点。
100.可选的,消息中间件通过如下两种可能的实现方式获取物流统计数据:
101.一种可能的实现方式,若设备9至设备15的任一设备确定物流统计数据(或物流统计数据的更新数据),向消息中间件发送该设备物流统计数据(或物流统计数据的更新数据)。
102.一种可能的实现方式,消息中间件监控设备9至设备15,若确定其中任一设备有物流统计数据更新,从该设备获取其物流统计数据的更新数据。
103.本实施例中,设备9至设备15均具有物流数据统计的功能和兜底下发功能。其中,物流数据统计是指统计指定的某地区的某几个自提点在预设时段,如1天内,的物流单数量和货物总数。兜底下发功能是指在预设时段结束后,设备需要将其最终物流统计数据发送给消息中间件,以便消息中间件将最终物流统计数据同步给物流运输端,避免漏单,确保运输和履约数据的准确性。
104.下面通过几个具体实施例对本技术实施例提供的任务处理方案进行详细说明。需要说明的是,本技术实施例提供的技术方案可以包括以下内容中的部分或全部,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
105.图4为本技术实施例提供的任务处理方法的交互示意图一。本实施例的任务处理方法涉及第一设备、第二设备以及第三设备的交互,其中第一设备可对应图1所示的设备1,第二设备可对应图1所示的例如设备2,当然第二设备还可以是图1中设备3至设备8的其中一个,第三设备可对应图1所示的设备9至设备15的其中一个。
106.如图4所示,该任务处理方法包括如下步骤:
107.步骤101、任务调度设备向第一设备发送任务触发指令。
108.本实施例中,任务调度设备根据预配置的任务调度周期,向第一设备发送任务触发指令。第一设备为设备集群中的任意一个设备。对于预配置的任务调度周期,本领域技术人员可以根据实际需求合理设置,例如设置为5分钟,即任务调度设备每5分钟向第一设备发送一次任务触发指令,对此本技术实施例不作任何限制。
109.步骤102、第一设备根据任务触发指令向第二设备发送第一任务。
110.需要说明的是,通常情况下,第一设备根据任务触发指令向多个第二设备发送第一任务。多个第二设备的第一任务分别对应不同地区,第二设备的数量与地区的划分数量相一致。例如,物流数据来自20个地区,则第一设备根据任务触发指令向20个第二设备发送第一任务。
111.为了方便描述,本步骤仅以多个第二设备的其中一个展开描述。
112.本实施例中,第一任务用于触发第二设备向多个第三设备发送第二任务。第二设备为设备集群中除第一设备外的任意一个设备。
113.步骤103、第二设备根据第一任务向第三设备发送第二任务。
114.需要说明的是,通常情况下,第二设备根据第一任务向多个第三设备发送第二任务。多个第三设备的第二任务分别对应目标地区的不同自提点组,第三设备的数量与目标地区的自提点组的数量相一致。例如,目标地区a包括3组自提点,每组自提点包括10个距离较近的自提点,则第二设备根据第一任务向3个第三设备发送第二任务。
115.为了方便描述,本步骤仅以多个第三设备的其中一个展开描述。
116.本实施例中,第二任务用于触发第三设备统计第三设备对应的目标地区的目标自提点的物流统计数据。第三设备为设备集群中处第一设备和第二设备外的任意一个设备。目标自提点的个数可以是一个或多个。
117.步骤104、第三设备根据第二任务,获取第一预设时段内与目标地区的目标自提点关联的物流单数据。
118.需要指出的是,第一预设时段的时长与任务调度周期相同。例如任务调度周期为5分钟,第一预设时段的时长为5分钟,即第三设备根据第二任务,获取前5分钟与目标地区的目标自提点关联的物流单数据。
119.具体的,第三设备根据第二任务,从第一数据库集群获取第一预设时段内与目标地区的目标自提点关联的物流单数据。
120.步骤105、第三设备根据物流单数据,确定目标自提点在第一预设时段内的物流统计数据。本实施例中,物流统计数据包括物流单总数量以及所有物流单的物品总数量的至少一项。
121.步骤106、第三设备根据目标自提点在第一预设时段内的物流统计数据确定是否更新目标自提点在第二预设时段内的物流统计数据。
122.其中,第一预设时段包括多个连续的第一预设时段。例如,第一预设时段的时长为5分钟,第二预设时段为每天的早9点至晚21点(720分钟),则第二预设时段包括144个连续的第一预设时段。即从每天早9点开始每5分钟统计一次物流数据。
123.具体的,若第三设备确定目标自提点在第一预设时段内的物流统计数据不为0,则
更新目标自提点在第二预设时段内的物流统计数据。
124.本实施例示出的任务处理方法,任务调度设备向第一设备发送任务触发指令,第一设备根据该指令向多个第二设备发送第一任务,每个第二设备对应不同地区的第一任务。随后第二设备根据其对应的第一任务向多个第三设备发送第二任务,每个第三设备对应同一地区的不同自提点,第二任务用于触发第三设备统计第三设备对应的目标地区的目标自提点的物流统计数据。上述方法通过多级任务下发,实现多设备并行统计各地区的自提点的物流数据,提升了物流统计效率,为物流运输端的路线规划提供数据支撑。
125.在上述实施例的基础上,下面通过几个实施例分别对第一设备、第二设备以及第三设备执行任务处理方法的具体过程进行详细说明。
126.图5为本技术实施例提供的第一设备执行任务处理方法的流程示意图。如图5所示,本实施例的任务处理方法包括如下步骤:
127.步骤201、周期性地接收来自任务调度设备的任务触发指令。
128.步骤202、根据任务触发指令,从设备集群中随机选取多个第二设备。
129.本实施例中,第一设备在接收到任务触发指令后,首先从第一数据库集群获取数据库标识以及每个数据库的数据表标识,根据数据库标识以及每个数据库的数据表标识,确定地区数量。随后根据地区数量从设备集群中随机选取多个第二设备。其中,地区数量即为选取第二设备的数量。
130.步骤203、向多个第二设备的每个第二设备发送第一任务。
131.本实施例中,第一任务包括目标地区的数据库标识和数据表标识,即第一设备将目标地区的数据库标识和数据表标识作为任务列表下发给第二设备。应理解,不同第二设备的第一任务对应不同的目标地区。
132.本实施例示出的任务处理方法主要涉及第一设备,第一设备在任务调度设备的触发下,生成物流统计任务的一级任务,一级任务包括目标地区的数据库标识以及数据表标识,向多个第二设备发送相应的一级任务。
133.图6为本技术实施例提供的第二设备执行任务处理方法的流程示意图。如图6所示,本实施例的任务处理方法包括如下步骤:
134.步骤301、接收来自第一设备的第一任务,第一任务包括目标地区的数据库标识和数据表标识。
135.步骤302、根据目标地区的数据库标识和数据表标识,获取目标地区的自提点总数。
136.本实施例的一个可选实施例中,第二设备根据目标地区的数据库标识和数据表标识,从第一数据库集群的对应库表获取目标地区的物流单项目表,物流单项目表包括物流单的标识、物品数量以及自提点标识,可统计目标地区的自提点总数。
137.步骤303、根据自提点总数以及预设自提点组的自提点数量,确定自提点组的数量,自提点组的数量等于第三设备的数量。
138.本实施例的一个可选实施例中,第二设备可从物流单项目表将所有自提点标识统一到一个列表中,然后按照预设自提点组的自提点数量,划分多个自提点组,确定每个自提点组的自提点标识。
139.例如,某市的自提点总数为2000个,按照每50个为一组进行划分,可确定自提点组
的数量为40个。
140.步骤304、根据第三设备的数量从设备集群中随机选取多个第三设备。
141.步骤305、向多个第三设备的每个第三设备发送第二任务。
142.本实施例中,第二任务包括目标地区的数据库标识、数据表标识以及自提点标识,即第二设备将目标地区的数据库标识、数据表标识以及自提点标识作为任务列表下发给第三设备。应理解,不同第二设备的第二任务对应同一地区不同的自提点。
143.基于步骤303的示例,第二设备从设备集群中随机选取40个第三设备,每个第三设备分别计算该市的某一自提点组的物流统计数据。
144.本实施例示出的任务处理方法主要涉及第二设备,第二设备在第一设备的触发下,生成物流统计任务的二级任务,二级任务包括目标地区的数据库标识、数据表标识以及自提点标识,向多个第三设备发送相应的二级任务。
145.图7为本技术实施例提供的第三设备执行任务处理方法的流程示意图。如图7所示,本实施例的任务处理方法包括如下步骤:
146.步骤401、接收来自第二设备的第二任务,第二任务包括目标地区的数据库标识、数据表标识以及自提点标识。
147.步骤402、根据目标地区的数据库标识和数据表标识,从第一数据库集群中获取目标地区对应的数据表。
148.其中第一数据库集群用于存储不同地区的物流单数据以及自提点组的物流统计数据。目标地区对应的数据表包括3类,分别为物流单表、物流单项目表以及自提点组信息统计表。物流单表包括目标地区的物流单的标识,物流单项目表包括目标地区的物流单的标识、物品数量以及自提点标识。自提点组信息统计表包括目标地区每组自提点的历史物流统计数据,
149.步骤403、根据目标自提点标识,从目标地区对应的数据表中获取第一预设时段内与目标地区的目标自提点关联的物流单数据。其中,物流单数据包括所有物流单的标识以及每个物流单的物品数量。
150.本实施例的一个可选实施例中,根据目标自提点标识,从目标地区对应物流单项目表,获取第一预设时段内与目标地区的目标自提点关联的所有物流单的标识,以及每个物流单的物品数量。
151.步骤404、根据物流单数据,确定目标自提点在第一预设时段内的物流统计数据。
152.其中,物流统计数据包括物流单总数量以及所有物流单的物品总数量。需要指出的是,目标自提点在第一预设时段内的物流统计数据是指目标自提点在第一预设时段内新产生的物流单的物流统计数据。
153.步骤405、获取目标自提点在第二预设时段内的历史物流统计数据。
154.本实施例的一个可选实施例中,从目标地区对应的自提点组信息统计表,获取目标自提点在第二预设时段内的历史物流统计数据。
155.步骤406、若目标自提点在第一预设时段内的物流统计数据不为0,根据目标自提点在第一预设时段内的物流统计数据以及目标自提点在第二预设时段内的历史物流统计数据,更新目标自提点在第二预设时段内的物流统计数据。其中,第二预设时段包括多个连续的第一预设时段。
156.具体的,若目标自提点在第一预设时段内的物流统计数据不为0,将目标自提点在第一预设时段内的物流统计数据与目标自提点在第二预设时段内的历史物流统计数据的和值,作为目标自提点在第二预设时段内的最新物流统计数据。
157.例如,第二预设时段为每天的早9点到晚21点,第一预设时段的时长为5分钟,截止当前时刻目标自提点的历史物流统计数据为12个物流单以及30个物品,当前时刻之后的5分钟内物流统计数据为1个物流单以及2个物品,则截止当前时刻之后的5分钟目标自提点的物流统计数据更新为13个物流单以及32个物品。
158.本实施例示出的任务处理方法主要涉及第三设备,第三设备在第二设备的触发下,执行物流统计任务的三级任务,统计目标地区的目标自提点在第一预设时段内的物流统计数据,如果该数据不为0,表明目标地区的目标自提点的物流数据有新增,需要及时更新目标自提点在第二预设时段内的物流统计数据。
159.在上述实施例的基础上,下面结合图8和图9对第三设备的下游应用方案进行详细说明。
160.图8为本技术实施例提供的任务处理方法的交互示意图二。本实施例的任务处理方法涉及第三设备、消息中间件以及物流运输端的交互。如图8所示,该任务处理方法包括如下步骤:
161.步骤501、第三设备若确定更新目标自提点在第二预设时段内的物流统计数据,将更新信息记录到第三设备的二进制日志文件中。
162.本实施例中,二进制日志文件可以是binlog日志文件。
163.步骤502、消息中间件通过检测二进制日志文件,获取物流统计数据的更新信息。
164.步骤503、消息中间件向物流运输端发送目标自提点在第二预设时段内的最新物流统计数据。
165.本实施例示出的任务处理方法,通过消息中间件的监控功能及时向物流运输端转发最新的物流统计数据,大大降低数据延迟。
166.图9为本技术实施例提供的任务处理方法的交互示意图三。本实施例的任务处理方法涉及第三设备、消息中间件以及物流运输端的交互。如图9所示,该任务处理方法包括如下步骤:
167.步骤601、第三设备在第二预设时段结束时,获取目标自提点在第二预设时段内的最终物流统计数据。
168.步骤602、第三设备向消息中间件发送目标自提点在第二预设时段内的最终物流统计数据。
169.可选的,第三设备通过metaq消息向消息中间件发送目标自提点在第二预设时段内的最终物流统计数据。
170.步骤603、消息中间件向物流运输端发送目标自提点在第二预设时段内的最终物流统计数据。
171.例如,第二预设时段为每天的早9点到晚21点,在每天21点之后,第三设备获取当天从早9点到晚21点的物流统计数据,进行兜底发送。
172.本实施例示出的任务处理方法,第三设备通过消息中间件向物流运输端发送目标自提点在第二预设时段内的全量统计数据,保证运输和履约数据的准确性。
173.上文描述了本技术实施例提供的任务处理方法,下面将描述本技术实施例提供的任务处理装置。
174.本技术实施例可以根据上述方法实施例对任务处理装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以使用硬件的形式实现,也可以使用软件功能模块的形式实现。
175.需要说明的是,本技术实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。下面以使用对应各个功能划分各个功能模块为例进行说明。
176.图10为本技术实施例提供的任务处理装置的结构示意图一。如图10所示,本实施例的任务处理装置700,包括:接收模块701、发送模块702以及处理模块702。
177.接收模块701,用于周期性地接收来自任务调度设备的任务触发指令;
178.发送模块702,用于根据所述任务触发指令,向多个第二设备发送第一任务;
179.所述第一任务用于触发第二设备向多个第三设备发送第二任务,所述第二任务用于触发第三设备统计所述第三设备对应的目标地区的目标自提点的物流统计数据。
180.本实施例的一个可选实施例,处理模块702,用于根据所述任务触发指令,从设备集群中随机选取所述多个第二设备;
181.发送模块702,用于向所述多个第二设备的每个第二设备发送所述第一任务;
182.其中,所述第一任务包括目标地区的数据库标识和数据表标识,不同第二设备的第一任务对应不同的目标地区。
183.本实施例提供的任务处理装置,可以执行前述任一实施例中第一设备的技术方案,其实现原理和技术效果类似,此处不再赘述。
184.图11为本技术实施例提供的任务处理装置的结构示意图二。如图11所示,本实施例的任务处理装置800,包括:接收模块801、发送模块802、获取模块803以及处理模块804。
185.接收模块801,用于接收来自第一设备的第一任务;
186.发送模块802,用于根据所述第一任务向多个第三设备发送第二任务,所述第二任务用于触发第三设备统计所述第三设备对应的目标地区的目标自提点的物流统计数据。
187.本实施例的一个可选实施例中,所述第一任务包括目标地区的数据库标识和数据表标识;
188.获取模块803,用于根据所述目标地区的数据库标识和数据表标识,获取所述目标地区的自提点总数;
189.处理模块804,用于根据所述自提点总数以及预设自提点组的自提点数量,确定自提点组的数量,所述自提点组的数量等于所述第三设备的数量;根据所述第三设备的数量,从设备集群中随机选取所述多个第三设备;
190.发送模块802,用于向所述多个第三设备的每个第三设备发送所述第二任务。
191.本实施例的一个可选实施例中,所述第二任务包括所述目标地区的数据库标识、数据表标识以及自提点标识,不同第三设备对应同一目标地区的不同自提点。
192.本实施例提供的任务处理装置,可以执行前述任一实施例中第二设备的技术方案,其实现原理和技术效果类似,此处不再赘述。
193.图12为本技术实施例提供的任务处理装置的结构示意图三。如图12所示,本实施例的任务处理装置900,包括:接收模块901、获取模块902、处理模块903、更新模块904、存储模块905以及发送模块906。
194.接收模块901,用于接收来自第二设备的第二任务;
195.获取模块902,用于根据所述第二任务获取第一预设时段内与目标地区的目标自提点关联的物流单数据;
196.处理模块903,用于根据所述物流单数据,确定所述目标自提点在所述第一预设时段内的物流统计数据,所述物流统计数据包括物流单总数量以及所有物流单的物品总数量的至少一项;
197.根据所述目标自提点在所述第一预设时段内的物流统计数据确定是否更新所述目标自提点在第二预设时段内的物流统计数据;所述第二预设时段包括多个连续的所述第一预设时段。
198.本实施例的一个可选实施例中,所述第二任务包括所述目标地区的数据库标识、数据表标识以及目标自提点标识;获取模块902,用于:
199.根据所述目标地区的数据库标识和数据表标识,从第一数据库集群中获取所述目标地区对应的数据表;所述第一数据库集群用于存储不同地区的物流单数据以及自提点组的物流统计数据;
200.根据所述目标自提点标识,从所述目标地区对应的数据表中获取所述第一预设时段内与所述目标地区的目标自提点关联的物流单数据。
201.本实施例的一个可选实施例中,所述物流单数据包括所述第一预设时段内与所述目标地区的目标自提点关联的所有物流单的标识,以及每个物流单的物品数量。
202.本实施例的一个可选实施例中,获取模块902,用于:
203.根据所述目标自提点的标识,从所述目标地区对应的物流单项目表,获取所述第一预设时段内与所述目标地区的目标自提点关联的所有物流单的标识,以及每个物流单的物品数量;
204.其中,所述物流单项目表包括物流单的标识、物品数量以及自提点标识。
205.本实施例的一个可选实施例中,获取模块902,用于:
206.从所述目标地区对应的自提点组信息统计表,获取所述目标自提点在所述第二预设时段内的历史物流统计数据;所述自提点组信息统计表包括每组自提点的历史物流统计数据;
207.更新模块904,用于若所述目标自提点在所述第一预设时段内的物流统计数据不为0,根据所述目标自提点在所述第一预设时段内的物流统计数据以及所述目标自提点在所述第二预设时段内的历史物流统计数据,更新所述目标自提点在所述第二预设时段内的物流统计数据。
208.本实施例的一个可选实施例中,存储模块905,用于若确定更新所述目标自提点在所述第二预设时段内的物流统计数据,将更新信息记录到所述第三设备的二进制日志文件中。
209.本实施例的一个可选实施例中,获取模块,用于在所述第二预设时段结束时,获取所述目标自提点在所述第二预设时段内的最终物流统计数据;
210.发送模块906,用于向消息中间件发送所述最终物流统计数据,所述消息中间件用于将所述最终物流统计数据转发至物流运输端。
211.本实施例提供的任务处理装置,可以执行前述任一实施例中第三设备的技术方案,其实现原理和技术效果类似,此处不再赘述。
212.图13为本技术实施例提供的电子设备的结构示意图。如图13所示,本实施例提供的电子设备1000,包括:存储器1001,处理器1002以及计算机程序;其中,计算机程序存储在存储器1001中,并被配置为由处理器1002执行以实现前述任一方法实施例中第一设备,或者第二设备,或者第三设备的技术方案,其实现原理和技术效果类似,此处不再赘述。
213.可选的,存储器1001既可以是独立的,也可以跟处理器1002集成在一起。当存储器1001是独立于处理器1002之外的器件时,电子设备1000还包括:总线1003,用于连接存储器1001和处理器1002。
214.本技术实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器1002执行以实现如前述任一方法实施例中第一设备,或者第二设备,或者第三设备的技术方案。
215.本技术实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如前述任一方法实施例中第一设备,或者第二设备,或者第三设备的技术方案。
216.本技术实施例提供了一种芯片,包括:处理模块与通信接口,该处理模块能执行前述任一方法实施例中第一设备,或者第二设备,或者第三设备的技术方案。
217.可选的,该芯片还包括存储模块(如,存储器),存储模块用于存储指令,处理模块用于执行存储模块存储的指令,并且对存储模块中存储的指令的执行使得处理模块执行前述任一方法实施例中第一设备,或者第二设备,或者第三设备的技术方案。
218.本技术实施例还提供一种任务处理系统,包括:任务调度设备以及设备集群,设备集群包括多个设备,任务调度设备与设备集群中的每个设备连接。系统示图可参照图1。
219.其中,任务调度设备用于周期性地向第一设备发送任务触发指令,第一设备为任务调度设备从设备集群中随机选取的设备。
220.其中,第一设备用于触发第二设备向第三设备发送第一任务,第二设备为第一设备从设备集群中随机选取的设备。第二设备的数量可以是多个。
221.其中,第二设备用于触发第三设备统计第三设备对应的目标地区的目标自提点的物流统计数据。第三设备为第二设备从设备集群中随机选取的设备。第三设备的数量可以是多个。
222.应理解,上述处理器可以是中央处理单元(英文:central processing unit,简称:cpu),还可以是其他通用处理器、数字信号处理器(英文:digital signal processor,简称:dsp)、专用集成电路(英文:application specific integrated circuit,简称:asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
223.存储器可能包含高速ram存储器,也可能还包括非易失性存储nvm,例如至少一个磁盘存储器,还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
224.总线可以是工业标准体系结构(industry standard architecture,isa)总线、外部设备互连(peripheral component,pci)总线或扩展工业标准体系结构(extended industry standard architecture,eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
225.上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
226.一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(application specific integrated circuits,简称:asic)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备中。
227.最后应说明的是:以上各实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述各实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例的技术方案的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献