一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种数据处理方法、装置、电子设备和存储介质与流程

2022-11-30 11:09:38 来源:中国专利 TAG:


1.本公开涉及大数据技术领域,尤其涉及一种数据处理方法、装置、电子设备和存储介质。


背景技术:

2.在大数据中,数据是存在生命周期的,数据会随着业务流程的开发、上线、运行、下线。因此,需要业务方定期对客户端数据采样进行筛查和调整。在现有技术中,往往需要在确定可以降低采样率的采样点或可以删除的采样点后,重新进行客户端开发,更新客户端版本,再进行线上版本的更新,需要耗费较高的时间成本,导致对客户端采样点进行数据管理的效率低的问题。


技术实现要素:

3.本公开提供一种数据处理方法、装置、电子设备和存储介质,以至少解决相关技术中对客户端采样点进行数据管理的效率低的问题。本公开的技术方案如下:
4.根据本公开实施例的第一方面,提供一种数据处理方法,所述方法包括;
5.获取目标处理配置信息,以及客户端中的多个数据处理项各自对应的历史处理数据量;
6.基于所述目标处理配置信息,以及所述多个数据处理项各自对应的历史处理数据量,确定所述多个数据处理项各自对应的数据处理更新信息;
7.基于所述多个数据处理项各自对应的数据处理更新信息,对所述多个数据处理项的历史处理配置信息进行更新,得到与所述多个数据处理项各自对应的更新处理配置信息;
8.向所述客户端发送所述更新处理配置信息;所述更新处理配置信息用于指示所述客户端中的所述多个数据处理项基于所述更新处理配置信息,执行数据处理任务。
9.在一个可选的实施例中,所述基于所述目标处理配置信息,以及所述多个数据处理项各自对应的历史处理数据量,确定所述多个数据处理项各自对应的数据处理更新信息包括:
10.基于所述多个数据处理项各自对应的历史处理数据量,确定所述多个数据处理项各自对应的匹配数据量级;
11.基于所述多个数据处理项各自对应的匹配数据量级,确定所述多个数据处理项各自对应的配置分配信息;
12.基于所述配置分配信息和所述目标处理配置信息,对所述多个数据处理项进行配置信息分配,得到所述多个数据处理项各自对应的数据处理更新信息。
13.在一个可选的实施例中,所述获取目标处理配置信息,以及客户端中的多个数据处理项各自对应的历史处理数据量之前,所述方法还包括:
14.对所述多个数据处理项进行处理项配置,确定第一数据处理项;所述第一数据处
理项为不参与处理配置信息更新的数据处理项;
15.所述基于所述目标处理配置信息,以及所述多个数据处理项各自对应的历史处理数据量,确定所述多个数据处理项各自对应的数据处理更新信息包括:
16.基于所述目标处理配置信息,以及第二数据处理项对应的历史处理数据量,确定所述第二数据处理项对应的数据处理更新信息;所述第二数据处理项为所述多个数据处理项除所述第一数据处理项以外的数据处理项。
17.在一个可选的实施例中,所述客户端包括采样率更新工具包,所述向所述客户端发送所述更新处理配置信息包括:
18.向所述客户端发送所述更新处理配置信息;所述更新处理配置信息用于指示所述采样率更新工具包基于所述更新处理配置信息,对所述多个数据处理项的采样率进行更新,以使得所述多个数据处理项基于更新后的采样率执行数据处理任务。
19.在一个可选的实施例中,所述向所述客户端发送所述更新处理配置信息之后,所述方法还包括:
20.获取所述客户端发送的所述更新处理配置信息对应的更新处理数据量;
21.对比所述更新处理数据量和所述目标处理配置信息对应的目标处理数据量,得到数据量对比结果;
22.在所述数据量对比结果指示所述更新处理数据量和所述目标处理数据量匹配的情况下,生成指示所述更新处理配置信息配置成功的数据处理状态信息。
23.在一个可选的实施例中,在对比所述更新处理数据量和所述目标处理配置信息对应的目标处理数据量,得到数据量对比结果之后,所述方法还包括:
24.在所述数据量对比结果指示所述更新处理数据量和所述目标处理数据量不匹配的情况下,对所述多个数据处理项各自对应的更新处理配置信息进行调整。
25.根据本公开实施例的第二方面,提供一种数据处理方法,其特征在于,所述方法包括:
26.接收服务器发送的更新处理配置信息;所述更新处理配置信息为所述服务器基于多个数据处理项各自对应的数据处理更新信息,对所述多个数据处理项的历史处理配置信息进行更新得到的;所述数据处理更新信息为所述服务器基于目标处理配置信息,以及所述多个数据处理项各自对应的历史处理数据量确定的;
27.基于所述更新处理配置信息,执行所述多个数据处理项对应的数据处理任务。
28.在一个可选的实施例中,客户端包括采样率更新工具包,所述基于所述更新处理配置信息,执行所述多个数据处理项对应的数据处理任务包括:
29.基于所述采样率更新工具包,将所述多个数据处理项的采样率更新为所述更新处理配置信息对应的采样率,以使得所述多个数据处理项基于更新后的采样率执行数据处理任务。
30.根据本公开实施例的第三方面,提供一种数据处理装置,所述装置包括:
31.信息获取模块,被配置为执行获取目标处理配置信息,以及客户端中的多个数据处理项各自对应的历史处理数据量;
32.更新信息确定模块,被配置为执行基于所述目标处理配置信息,以及所述多个数据处理项各自对应的历史处理数据量,确定所述多个数据处理项各自对应的数据处理更新
信息;
33.配置信息更新模块,被配置为执行基于所述多个数据处理项各自对应的数据处理更新信息,对所述多个数据处理项的历史处理配置信息进行更新,得到与所述多个数据处理项各自对应的更新处理配置信息;
34.配置信息发送模块,被配置为执行向所述客户端发送所述更新处理配置信息;所述更新处理配置信息用于指示所述客户端中的所述多个数据处理项基于所述更新处理配置信息,执行数据处理任务。
35.在一个可选的实施例中,所述数据处理更新信息确定模块包括:
36.匹配数据量级确定单元,被配置为执行基于所述多个数据处理项各自对应的历史处理数据量,确定所述多个数据处理项各自对应的匹配数据量级;
37.配置分配信息确定单元,被配置为执行基于所述多个数据处理项各自对应的匹配数据量级,确定所述多个数据处理项各自对应的配置分配信息;
38.配置信息分配单元,被配置为执行基于所述配置分配信息和所述目标处理配置信息,对所述多个数据处理项进行配置信息分配,得到所述多个数据处理项各自对应的数据处理更新信息。
39.在一个可选的实施例中,所述装置还包括:
40.处理项配置模块,被配置为执行对所述多个数据处理项进行处理项配置,确定第一数据处理项;所述第一数据处理项为不参与处理配置信息更新的数据处理项;
41.所述数据处理更新信息确定模块包括:
42.数据处理更新信息确定模单元,被配置为执行基于所述目标处理配置信息,以及第二数据处理项对应的历史处理数据量,确定所述第二数据处理项对应的数据处理更新信息;所述第二数据处理项为所述多个数据处理项除所述第一数据处理项以外的数据处理项。
43.在一个可选的实施例中,所述客户端包括采样率更新工具包,所述配置信息发送模块包括:
44.配置信息发送单元,被配置为执行向所述客户端发送所述更新处理配置信息;所述更新处理配置信息用于指示所述采样率更新工具包基于所述更新处理配置信息,对所述多个数据处理项的采样率进行更新,以使得所述多个数据处理项基于更新后的采样率执行数据处理任务。
45.在一个可选的实施例中,所述装置还包括:
46.更新处理数据量获取模块,被配置为执行获取所述客户端发送的所述更新处理配置信息对应的更新处理数据量;
47.数据量对比模块,被配置为执行对比所述更新处理数据量和所述目标处理配置信息对应的目标处理数据量,得到数据量对比结果;
48.状态信息生成模块,被配置为执行在所述数据量对比结果指示所述更新处理数据量和所述目标处理数据量匹配的情况下,生成指示所述更新处理配置信息配置成功的数据处理状态信息。
49.在一个可选的实施例中,所述装置还包括:
50.数据处理更新信息调整模块,被配置为执行在所述数据量对比结果指示所述更新
处理数据量和所述目标处理数据量不匹配的情况下,对所述多个数据处理项各自对应的更新处理配置信息进行调整。
51.根据本公开实施例的第四方面,提供一种数据处理装置,所述装置包括:
52.配置信息接收模块,被配置为执行接收服务器发送的更新处理配置信息;所述更新处理配置信息为所述服务器基于多个数据处理项各自对应的数据处理更新信息,对所述多个数据处理项的历史处理配置信息进行更新得到的;所述数据处理更新信息为所述服务器基于目标处理配置信息,以及所述多个数据处理项各自对应的历史处理数据量确定的;
53.数据采集模块,被配置为执行基于所述更新处理配置信息,执行所述多个数据处理项对应的数据处理任务。
54.在一个可选的实施例中,所述客户端包括采样率更新工具包,所述数据采集模块包括:
55.采样率更新单元,被配置为执行基于所述采样率更新工具包,将所述多个数据处理项的采样率更新为所述更新处理配置信息对应的采样率,以使得所述多个数据处理项基于更新后的采样率执行数据处理任务。
56.根据本公开实施例的第五方面,提供一种电子设备,包括:
57.处理器;
58.用于存储所述处理器可执行指令的存储器;
59.其中,所述处理器被配置为执行所述指令,以实现如上述所述的数据处理方法。
60.根据本公开实施例的第六方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上述所述的数据处理方法。
61.根据本公开实施例的第七方面,提供一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述所述的数据处理方法。
62.本公开的实施例提供的技术方案至少带来以下有益效果:
63.获取目标处理配置信息,以及客户端中的多个数据处理项各自对应的历史处理数据量。基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的数据处理更新信息。基于多个数据处理项各自对应的数据处理更新信息,对多个数据处理项的历史处理配置信息进行更新,得到与多个数据处理项各自对应的更新处理配置信息。向客户端发送更新处理配置信息,使得客户端中的多个数据处理项基于更新处理配置信息,执行数据处理任务。该方法实现了一键式的数据处理项的采集配置的更新处理,从而提高了对数据处理项进行数据管理的效率,并可以动态更新数据处理项对应的处理配置信息,提高了处理配置信息的灵活性和有效性。
64.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
65.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
66.图1是根据一示例性实施例示出的一种数据处理方法的应用场景示意图;
67.图2是根据一示例性实施例示出的一种数据处理方法的流程图。
68.图3是根据一示例性实施例示出的一种数据处理方法中进行处理项配置的流程图。
69.图4是根据一示例性实施例示出的一种数据处理方法中确定数据处理更新信息的流程图。
70.图5是根据一示例性实施例示出的一种数据处理方法中确定更新处理配置信息配置状态的流程图。
71.图6是根据一示例性实施例示出的一种数据处理方法应用在服务器侧的流程图。
72.图7是根据一示例性实施例示出的一种数据处理方法应用在客户端侧的流程图。
73.图8是根据一示例性实施例示出的一种数据处理方法服务器与客户端进行通信的信号传输示意图。
74.图9是根据一示例性实施例示出的一种数据处理装置在服务器侧的框图。
75.图10是根据一示例性实施例示出的一种数据处理装置在客户端侧的框图。
76.图11是根据一示例性实施例示出的一种客户端侧的电子设备的框图。
77.图12是根据一示例性实施例示出的一种服务器侧的电子设备的框图。
具体实施方式
78.为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
79.需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
80.需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
81.图1是根据一示例性实施例示出的一种数据处理方法的应用场景示意图,如图1所示,所述应用场景包括客户端110和服务器120,客户端110向服务器120发送多个数据处理项对应的数据处理结果,服务器120对数据处理结果进行数据统计,可以得到历史处理数据量。服务器120获取目标处理配置信息,并基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的数据处理更新信息。服务器120基于多个数据处理项各自对应的数据处理更新信息,对多个数据处理项的历史处理配置信息进行更新,得到与多个数据处理项各自对应的更新处理配置信息。服务器120向客户端110发送更新处理配置信息,客户端110中的多个数据处理项基于所述更新处理配置信息,执行数据处理任务。
82.在本公开实施例中,客户端110包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备,也可以包括运行于实体设备中的软体,例如
应用程序等。
83.在本公开实施例中,服务器120可以包括一个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群。服务器120可以包括有网络通信单元、处理器和存储器等等。
84.图2是根据一示例性实施例示出的一种数据处理方法的交互流程图,如图2所示,该方法为服务器与客户端间的双向通信,包括以下步骤。
85.s210.服务器获取目标处理配置信息,以及客户端中的多个数据处理项各自对应的历史处理数据量;
86.作为一个可选的实施例,数据处理项可以用于对客户端数据进行采集,数据处理任务可以为数据采集任务,历史处理数据量可以用于表征历史时间中采集到的数据量。客户端基于多个数据处理项执行数据处理任务,并向服务器上传数据处理任务对应的数据处理结果,服务器可以获取预设时间段内接收到的数据处理结果的数据量,作为多个数据处理项各自对应的历史处理数据量。基于目标处理配置信息可以对多个数据处理项的历史处理配置信息进行动态调整。目标处理配置信息表征多个数据处理项对应的处理数据总量的更新程度,该处理数据总量的更新程度可以为处理数据总量增加或处理数据总量减少。
87.按照预设周期对客户端传输的数据处理结果的数据量进行实时数据统计并存储,可以得到每个预设周期内多个数据处理项各自对应的处理数据量。在获取到目标处理配置信息时,服务器获取至少一个预设周期内的处理数据量作为历史处理数据量。
88.作为一个可选的实施例,请参见图3,服务器获取目标处理配置信息,以及客户端中的多个数据处理项各自对应的历史处理数据量之前,该方法还包括:
89.s310.对多个数据处理项进行处理项配置,确定第一数据处理项;第一数据处理项为不参与处理配置信息更新的数据处理项;
90.基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的数据处理更新信息包括:
91.s320.基于目标处理配置信息,以及第二数据处理项对应的历史处理数据量,确定第二数据处理项对应的数据处理更新信息;第二数据处理项为多个数据处理项除第一数据处理项以外的数据处理项。
92.作为一个可选的实施例,目标处理配置信息可以为目标采集数据量的配置信息,在对多个数据处理项的历史处理配置信息进行更新前,可以对多个数据处理项进行处理项配置,确定第一数据处理项。第一数据处理项为不参与处理配置信息更新的数据处理项。处理项配置可以重复进行多次,每一次处理项配置后即对第一数据处理项进行更新。第一数据处理项可以包括第一名单中的数据处理项和第二名单中的数据处理项。其中,第一名单中的数据处理项的处理数据量为0,不进行数据获取。第二名单中的数据处理项的处理数据量保持不变,不更新第二名单中的数据处理项的历史处理配置信息。
93.可以基于预设的数据处理项的优先级,对多个数据处理项进行处理项配置,确定第一数据处理项,将大于第一预设优先级的数据处理项作为第二名单中的数据处理项,将小于第二预设优先级的数据处理项作为第一名单中的数据处理项,第一预设优先级高于第二预设优先级。数据处理项的优先级可以为基于数据处理项采集的信息在数据分析中的重要程度确定的,重要程度越大则数据处理项的优先级越高,重要程度越小则数据处理项的
优先级越低。
94.基于第一数据处理项,可以对多个数据处理项对应的处理数据量进行数据量过滤,不统计第一名单中的数据处理项产生的处理数据量。
95.可以将多个数据处理项除第一数据处理项以外的数据处理项作为第二数据处理项。第二数据处理项为参与处理配置信息更新的数据处理项。可以基于目标处理配置信息,以及第二数据处理项对应的历史处理数据量,确定第二数据处理项对应的数据处理更新信息。
96.在第一名单中的数据处理项的历史处理数据量为0,且第二名单中的数据处理项的历史处理数据量不变的情况下,确定第二数据处理项对应的匹配数据量级,基于第二数据处理项对应的匹配数据量级,可以确定第二数据处理项各自对应的配置分配信息。基于配置分配信息和目标处理配置信息,对第二数据处理项进行配置信息分配,可以得到第二数据处理项对应的数据处理更新信息。
97.对多个数据处理项进行可以实时更新的处理项配置,从而可以对参与处理配置信息更新的第二数据处理项进行调整,直接将利用率低的采集数据对应的数据处理项下线,从而提高了数据处理项对应的采集数据的利用率和有效性。
98.s220.服务器基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的数据处理更新信息;
99.作为一个可选的实施例,基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量,确定对每个数据处理项的历史处理配置信息的更新程度,从而得到多个数据处理项各自对应的数据处理更新信息。数据处理更新信息为对历史处理配置信息进行更新的指示信息,也即执行更新操作的更新策略。历史处理配置信息可以表示数据处理项对应的数据采集信息。数据处理更新信息可以表示数据处理项对应的更新后的数据采集信息。数据采集信息可以为采样率。例如:数据处理项a的历史处理配置信息从a1调整为a2,数据处理项b的历史处理配置信息从b2调整为b1。
100.作为一个可选的实施例,请参见图4,服务器基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的数据处理更新信息包括:
101.s410.基于多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的匹配数据量级;
102.s420.基于多个数据处理项各自对应的匹配数据量级,确定多个数据处理项各自对应的配置分配信息;
103.s430.基于配置分配信息和目标处理配置信息,对多个数据处理项进行配置信息分配,得到多个数据处理项各自对应的数据处理更新信息。
104.作为一个可选的实施例,基于多个数据处理项各自对应的历史处理数据量,可以确定多个数据处理项各自对应的匹配数据量级,匹配数据量级可以基于预设的数据量阈值确定,在某一数据处理项对应的历史处理数据量大于预设的数据量阈值的情况下,可以确定该数据处理项对应的匹配数据量级即为该数据量阈值对应的匹配数据量级。数据量阈值可以有多个,相应的,匹配数据量级也可以有多个。
105.每个匹配数据量级与配置分配信息相对应,配置分配信息用于表征数据处理项对
应的处理数据量的更新程度,该处理数据量的更新程度可以为处理数据量增加或处理数据量减少。在某一数据处理项的历史处理数据量在满足匹配数据量级的情况下,可以将匹配数据量级对应的配置分配信息作为该数据处理项对应的配置分配信息。因此,基于多个数据处理项各自对应的匹配数据量级,可以确定多个数据处理项各自对应的配置分配信息。配置分配信息可以为数据量更新信息,即某一匹配数据量级对应的数据处理项减少预设的处理数据量或增加预设的处理数据量。
106.基于配置分配信息和目标处理配置信息,对多个数据处理项进行配置信息分配。基于数据处理项对应的处理数据量的更新程度,将目标处理配置信息中的处理数据总量的更新程度,划分为每个数据处理项对应的历史处理配置信息的更新程度,从而得到多个数据处理项各自对应的数据处理更新信息。每个数据处理项对应的处理配置信息可以为采样率,因此历史处理配置信息的更新程度也即采样率降低的程度或采样率升高的程度。
107.通过预设的匹配数据量级和匹配数据量级对应的配置分配信息,对目标处理配置信息进行划分并得到每个数据处理项对应的数据处理更新信息,再基于数据处理更新信息确定更新处理配置信息,实现了一键式的数据处理项的配置信息的更新处理,从而提高了对数据处理项进行数据管理的效率。
108.s230.服务器基于多个数据处理项各自对应的数据处理更新信息,对多个数据处理项的历史处理配置信息进行更新,得到与多个数据处理项各自对应的更新处理配置信息;
109.作为一个可选的实施例,服务器可以对多个数据处理项各自对应的数据处理更新信息进行调整,基于调整后的数据处理更新信息,对多个数据处理项的历史处理配置信息进行更新,得到与多个数据处理项各自对应的更新处理配置信息。更新处理配置信息可以为js对象简谱(javascript object notation,json)格式的信息,是一种轻量级的数据交换格式,采用完全独立于编程语言的文本格式来存储和表示数据。
110.s240.服务器向客户端发送更新处理配置信息;
111.s250.客户端中的多个数据处理项基于更新处理配置信息,执行数据处理任务。
112.作为一个可选的实施例,客户端包括采样率更新工具包,客户端中的多个数据处理项基于更新处理配置信息,执行数据处理任务包括:
113.基于采样率更新工具包,将多个数据处理项的采样率更新为更新处理配置信息对应的采样率,以使得多个数据处理项基于更新后的采样率执行数据处理任务。
114.作为一个可选的实施例,数据处理项的处理配置信息可以为采样率,多个数据处理项可以基于预配置的采样率执行数据处理任务,在采样率高的情况下,采样频次高则数据处理项对应处理数据量大,在采样率低的情况下,采样频次低则数据处理项对应的处理数据量小,从而可以通过调整采样率降低处理数据量或增加处理数据量,从而满足目标处理配置信息。因此,服务器确定得到的更新处理配置信息可以为更新后的采样率,客户端基于采样率更新工具包,可以将多个数据处理项的采样率更新为更新处理配置信息对应的采样率,以使得多个数据处理项基于更新后的采样率执行数据处理任务。
115.采样率更新工具包可以增加到处理项设置工具包中。处理项设置工具包可以为在客户端设置数据处理项的软件开发工具包(software development kit,sdk),处理项设置工具包可以提供采样点协议约束层,使得由处理项设置工具包设置的数据处理项均具有一
样的数据格式。对处理项设置工具包额外封装采样率控制层,从而在处理项设置工具包中增加采样率更新工具包。采样率更新工具包可以对接服务器中的动态采样配置,即从服务器中接收更新处理配置信息来调整数据处理项的采样率。
116.在客户端中对应设置采样率更新工具包,配合服务中的动态采样配置进行采样率的动态调整,从而配合服务器实现处理配置信息的动态更新,提高了处理配置信息的灵活性和有效性。
117.作为一个可选的实施例,请参见图5,服务器向客户端发送更新处理配置信息之后,该方法还包括:
118.s510.获取客户端发送的更新处理配置信息对应的更新处理数据量;
119.s520.对比更新处理数据量和目标处理配置信息对应的目标处理数据量,得到数据量对比结果;
120.s530.在数据量对比结果指示更新处理数据量和目标处理数据量匹配的情况下,生成指示更新处理配置信息配置成功的数据处理状态信息。
121.作为一个可选的实施例,客户端中的多个数据处理项基于更新后的采样率执行数据处理任务,可以得到更新处理配置信息对应的更新处理数据量。服务器接收客户端发送的更新处理数据量,并将更新处理数据量与目标处理配置信息对应的目标处理数据量进行对比,得到数据量对比结果。目标处理配置信息表征多个数据处理项对应的处理数据总量的更新程度,通过目标处理配置信息和预设周期对应的处理数据总量,可以确定目标处理数据量,例如目标处理配置信息为数据总量降低,则降低后的处理数据总量即为目标处理数据量。
122.在数据量对比结果指示更新处理数据量和目标处理数据量匹配的情况下,可以确定更新后的采样率可以满足目标处理配置信息的需求,可以生成指示更新处理配置信息配置成功的数据处理状态信息,提示数据处理成功。
123.在客户端基于更新处理配置信息执行数据处理任务后,服务器可以基于客户端反馈的更新处理数据量进行校验,确定是否满足目标处理配置信息对应的目标处理数据量,在匹配的情况下,提示数据处理成功,从而提高动态更新处理配置信息的准确性。
124.作为一个可选的实施例,请参见图5,在对比更新处理数据量和目标处理配置信息对应的目标处理数据量,得到数据量对比结果之后,该方法还包括:
125.s540.在数据量对比结果指示更新处理数据量和目标处理数据量不匹配的情况下,对多个数据处理项各自对应的更新处理配置信息进行调整。
126.作为一个可选的实施例,在数据量对比结果指示更新处理数据量和目标处理数据量不匹配的情况下,可以确定更新后的采样率不能满足目标处理配置信息的需求,此时可以重复执行基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的数据处理更新信息到向客户端发送更新处理配置信息的步骤,对多个数据处理项各自对应的更新处理配置信息进行调整。
127.配置分配信息可以为在预设范围内调整的信息,例如某一匹配数据量级对应的数据处理项至少减少预设的处理数据量或至多增加预设的处理数据量。因此在基于配置分配信息和目标处理配置信息,对多个数据处理项进行配置信息分配,得到多个数据处理项各自对应的数据处理更新信息之后,数据处理更新信息也可以为在预设范围内确定得到的历
史采样配置信息的更新程度,也即采样率降低的程度或采样率升高的程度。因此可以基于预设范围内确定的数据处理更新信息,对更新处理配置信息进行调整,直到数据量对比结果指示更新处理数据量和目标处理数据量匹配为止。
128.由于在获取到更新处理配置信息后,还可以对更新处理配置信息进行调整,再把调整后的更新处理配置信息发送到客户端中,因此可以在数据量对比结果指示更新处理数据量和目标处理数据量不匹配的情况下,返回到该步骤中对更新处理配置信息再次进行调整,直到数据量对比结果指示更新处理数据量和目标处理数据量匹配为止。
129.在客户端基于更新处理配置信息执行数据处理任务后,服务器可以基于客户端反馈的更新处理数据量进行校验,确定是否满足目标处理配置信息对应的目标处理数据量,在不匹配的情况下,调整更新处理配置信息,从而提高动态更新处理配置信息的准确性。
130.图6是根据一示例性实施例示出的一种数据处理方法的流程图,应用于服务器侧,该方法包括:
131.s610.获取目标处理配置信息,以及客户端中的多个数据处理项各自对应的历史处理数据量;
132.s620.基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的数据处理更新信息;
133.s630.基于多个数据处理项各自对应的数据处理更新信息,对多个数据处理项的历史处理配置信息进行更新,得到与多个数据处理项各自对应的更新处理配置信息;
134.s640.向客户端发送更新处理配置信息;更新处理配置信息用于指示客户端中的多个数据处理项基于更新处理配置信息,执行数据处理任务。
135.作为一个可选的实施例,在服务器获取目标处理配置信息以及历史处理数据量之前,对多个数据处理项进行处理项配置,确定第一数据处理项。第一数据处理项为不参与处理配置信息更新的数据处理项,包括第一名单中的数据处理项和第二名单中的数据处理项。基于第一数据处理项,可以对多个数据处理项对应的处理数据量进行数据量过滤,不统计第一名单中的数据处理项产生的处理数据量。
136.将多个数据处理项除第一数据处理项以外的数据处理项作为第二数据处理项。第二数据处理项为参与处理配置信息更新的数据处理项。可以基于目标处理配置信息,以及第二数据处理项对应的历史处理数据量,确定第二数据处理项对应的数据处理更新信息。
137.在服务器获取到目标处理配置信息时,服务器可以获取预设时间段内接收到的数据处理结果的数据量,作为多个数据处理项各自对应的历史处理数据量。
138.基于多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的匹配数据量级,从而基于多个数据处理项各自对应的匹配数据量级,确定多个数据处理项各自对应的配置分配信息。配置分配信息用于表征数据处理项对应的处理数据量的更新程度。
139.目标处理配置信息可以表征多个数据处理项对应的处理数据总量的增加程度或减少程度。基于配置分配信息和目标处理配置信息,对多个数据处理项进行配置信息分配。基于数据处理项对应的处理数据量的更新程度,将目标处理配置信息中的处理数据总量的更新程度,划分为每个数据处理项对应的历史处理配置信息的更新程度,从而得到多个数据处理项各自对应的数据处理更新信息。
140.服务器基于多个数据处理项各自对应的数据处理更新信息,对多个数据处理项的历史处理配置信息进行更新,得到与多个数据处理项各自对应的更新处理配置信息,并将更新处理配置信息发送到客户端中。
141.在无需更新应用版本的情况下,服务器可以对应用软件内数据处理项的处理配置信息进行动态更新,从而提高处理配置信息的灵活性和有效性,实现一键式的处理配置信息的更新,从而合理控制数据量的增减。
142.图7是根据一示例性实施例示出的一种数据处理方法的流程图,应用于客户端侧,该方法包括:
143.s710.接收服务器发送的更新处理配置信息;更新处理配置信息为服务器基于多个数据处理项各自对应的数据处理更新信息,对多个数据处理项的历史处理配置信息进行更新得到的;数据处理更新信息为服务器基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量确定的;
144.s720.基于更新处理配置信息,执行多个数据处理项对应的数据处理任务。
145.作为一个可选的实施例,客户端接收服务器发送的更新处理配置信息。更新处理配置信息可以为更新后的采样率,客户端基于采样率更新工具包,数据处理项的处理配置信息也可以为采样率,在客户端中可以将多个数据处理项的采样率更新为更新处理配置信息对应的采样率,以使得多个数据处理项基于更新后的采样率执行数据处理任务。
146.客户端中的处理项设置工具包内新增了采样率更新工具包,可以基于采样率更新工具包,执行将多个数据处理项的采样率更新为更新处理配置信息对应的采样率的操作。采样率更新工具包可以与服务器中的动态采样配置进行对接,从而接收服务器发送的更新处理配置信息,对多个数据处理项的采样率进行更新。
147.在客户端中的处理项设置工具包内新增采样率更新工具包,配合服务中的动态采样配置进行采样率的动态调整,可以在不更改数据处理项的设置方式的基础上,实现动态采样功能,从而节约了客户端的开发成本。
148.作为一个可选的实施例,请参见图8,如图8所示为服务器与客户端进行通信的信号传输示意图,服务器可以包括实时计算系统、自动化采样数据管理系统、实时计算名单配置、采样点自动化识别和采样率配置平台。数据处理项可以为客户端的应用软件内设置的采样点。
149.实时计算系统包括采样数据统计模块和数据调整策略生成模块,基于实时计算系统中的采样数据统计模块,按照预设周期对客户端传输的数据处理结果的数据量进行实时统计并将统计结果存储到数据库中,得到每个预设周期对应的处理数据量。该预设周期对应的处理数据量可以同步更新到服务器中的自动化采样数据管理系统中的历史数据统计模块内,在获取到目标处理配置信息时,从自动化采样数据管理系统中调用至少一个预设周期对应的处理数据量作为历史处理数据量。
150.实时计算名单配置可以对多个数据处理项进行处理项配置,确定第一数据处理项。第一数据处理项可以包括第一名单中的数据处理项和第二名单中的数据处理项。实时计算名单配置中包括第二名单控制模块和第一名单控制模块,可以分别执行第二名单对应的处理项配置操作和第一名单对应的处理项配置操作,从而可以实时更新第二名单和第一名单。
151.实时计算系统中的数据调整策略生成模块可以将多个数据处理项除第一数据处理项以外的数据处理项作为第二数据处理项,针对第二数据处理项生成数据调整策略,数据调整策略可以包括匹配数据量级和匹配数据量级对应的配置分配信息。
152.除了历史数据统计模块外,自动化采样数据管理系统还包括采样数据控制模块、采样点信息、数据调整策略管理模块、第一名单管理模块和第二名单管理模块。其中,第一名单管理模块和第二名单管理模块可以同步更新实时计算名单配置中确定的第一名单和第二名单,从而更新第一名单中的数据处理项和第二名单中的数据处理项。
153.采样数据控制模块可以触发数据调整策略生成模块,获取到数据调整策略对应的匹配数据量级和匹配数据量级对应的配置分配信息。在实时计算系统中,基于多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的匹配数据量级。基于多个数据处理项各自对应的匹配数据量级,确定多个数据处理项各自对应的配置分配信息。基于配置分配信息和目标处理配置信息,对多个数据处理项进行配置信息分配,得到多个数据处理项各自对应的数据处理更新信息。
154.数据调整策略生成模块将数据处理更新信息同步到数据调整策略管理模块中,由数据调整策略管理模块发送到采样率配置平台中。采样率配置平台则基于多个数据处理项各自对应的数据处理更新信息,对多个数据处理项的历史处理配置信息进行更新,得到与多个数据处理项各自对应的更新处理配置信息。采样率配置平台将更新处理配置信息发送到客户端中,由客户端内预设的处理项设置工具包中的采样率更新工具包,将多个数据处理项的采样率更新为更新处理配置信息对应的采样率,以使得多个数据处理项基于更新后的采样率执行数据处理任务。
155.采样点自动化识别包括采样点识别模块和采样点结构解析模块,采样点自动化识别可以从自动化采样数据管理系统中的采样点信息中获取到数据处理项的相关信息,并进行采样点识别和采样点结构解析处理。采样率配置平台也可以同步获取到采样点信息。客户端可以基于处理项设置工具包设置数据处理项,并上报数据处理项,使得自动化采样数据管理系统获取到采样点信息。处理项设置工具包可以提供采样点协议约束层,使得由处理项设置工具包设置的数据处理项均具有一样的数据格式。
156.本公开实施例提供了一种数据处理方法,该方法包括:获取目标处理配置信息,以及客户端中的多个数据处理项各自对应的历史处理数据量。基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的数据处理更新信息。基于多个数据处理项各自对应的数据处理更新信息,对多个数据处理项的历史处理配置信息进行更新,得到与多个数据处理项各自对应的更新处理配置信息。向客户端发送更新处理配置信息,使得客户端中的多个数据处理项基于更新处理配置信息,执行数据处理任务。该方法实现了一键式的数据处理项的采集配置的更新处理,从而提高了对数据处理项进行数据管理的效率,并可以动态更新数据处理项对应的处理配置信息,提高了处理配置信息的灵活性和有效性。
157.图9是根据一示例性实施例示出的一种数据处理装置在服务器侧的框图。参照图9,该装置包括:
158.信息获取模块910,被配置为执行获取目标处理配置信息,以及客户端中的多个数据处理项各自对应的历史处理数据量;
159.更新信息确定模块920,被配置为执行基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的数据处理更新信息;
160.配置信息更新模块930,被配置为执行基于多个数据处理项各自对应的数据处理更新信息,对多个数据处理项的历史处理配置信息进行更新,得到与多个数据处理项各自对应的更新处理配置信息;
161.配置信息发送模块940,被配置为执行向客户端发送更新处理配置信息;更新处理配置信息用于指示客户端中的多个数据处理项基于更新处理配置信息,执行数据处理任务。
162.在一个可选的实施例中,数据处理更新信息确定模块包括:
163.匹配数据量级确定单元,被配置为执行基于多个数据处理项各自对应的历史处理数据量,确定多个数据处理项各自对应的匹配数据量级;
164.配置分配信息确定单元,被配置为执行基于多个数据处理项各自对应的匹配数据量级,确定多个数据处理项各自对应的配置分配信息;
165.配置信息分配单元,被配置为执行基于配置分配信息和目标处理配置信息,对多个数据处理项进行配置信息分配,得到多个数据处理项各自对应的数据处理更新信息。
166.在一个可选的实施例中,装置还包括:
167.处理项配置模块,被配置为执行对多个数据处理项进行处理项配置,确定第一数据处理项;第一数据处理项为不参与处理配置信息更新的数据处理项;
168.数据处理更新信息确定模块包括:
169.数据处理更新信息确定模单元,被配置为执行基于目标处理配置信息,以及第二数据处理项对应的历史处理数据量,确定第二数据处理项对应的数据处理更新信息;第二数据处理项为多个数据处理项除第一数据处理项以外的数据处理项。
170.在一个可选的实施例中,客户端包括采样率更新工具包,配置信息发送模块包括:
171.配置信息发送单元,被配置为执行向客户端发送更新处理配置信息;更新处理配置信息用于指示采样率更新工具包基于更新处理配置信息,对多个数据处理项的采样率进行更新,以使得多个数据处理项基于更新后的采样率执行数据处理任务。
172.在一个可选的实施例中,装置还包括:
173.更新处理数据量获取模块,被配置为执行获取客户端发送的更新处理配置信息对应的更新处理数据量;
174.数据量对比模块,被配置为执行对比更新处理数据量和目标处理配置信息对应的目标处理数据量,得到数据量对比结果;
175.状态信息生成模块,被配置为执行在数据量对比结果指示更新处理数据量和目标处理数据量匹配的情况下,生成指示更新处理配置信息配置成功的数据处理状态信息。
176.在一个可选的实施例中,装置还包括:
177.数据处理更新信息调整模块,被配置为执行在数据量对比结果指示更新处理数据量和目标处理数据量不匹配的情况下,对多个数据处理项各自对应的更新处理配置信息进行调整。
178.图10是根据一示例性实施例示出的一种数据处理装置在客户端侧的框图。参照图10,该装置包括:
179.配置信息接收模块1010,被配置为执行接收服务器发送的更新处理配置信息;更新处理配置信息为服务器基于多个数据处理项各自对应的数据处理更新信息,对多个数据处理项的历史处理配置信息进行更新得到的;数据处理更新信息为服务器基于目标处理配置信息,以及多个数据处理项各自对应的历史处理数据量确定的;
180.数据采集模块1020,被配置为执行基于更新处理配置信息,执行多个数据处理项对应的数据处理任务。
181.在一个可选的实施例中,客户端包括采样率更新工具包,数据采集模块包括:
182.采样率更新单元,被配置为执行基于采样率更新工具包,将多个数据处理项的采样率更新为更新处理配置信息对应的采样率,以使得多个数据处理项基于更新后的采样率执行数据处理任务。
183.关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
184.图11是根据一示例性实施例示出的一种用于数据处理的电子设备的框图,该电子设备可以是终端,其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
185.图12是根据一示例性实施例示出的一种用于数据处理的电子设备的框图,该电子设备可以是服务器,其内部结构图可以如图12所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。
186.本领域技术人员可以理解,图11和图12中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
187.在示例性实施例中,还提供了一种电子设备,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中数据处理方法。
188.在示例性实施例中,还提供了一种存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中数据处理方法。
189.在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器,上述指令可由电子设备的处理器执行以完成上述方法。可选地,计算机可读存
储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
190.在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例中的数据处理方法。
191.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
192.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
193.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献