一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据压缩方法、装置、电子设备及可读存储介质与流程

2022-11-14 14:10:20 来源:中国专利 TAG:


1.本技术涉及数据处理领域,具体而言,涉及一种数据压缩方法、装置、电子设备及可读存储介质。


背景技术:

2.目前,在进行有损压缩实现中,通常是直接将超前点和非超前点使用同一种压缩窗口直接进行压缩存储的,当有些数据点为超前点并使用目标压缩窗口进行压缩,而后续数据点的点时间和当前时间差距不大,则可能会导致在进行压缩时将后续的点都判断为非超前点,因而不能根据数据点的实际情况进行压缩,导致压缩率较差。


技术实现要素:

3.有鉴于此,本技术实施例的目的在于提供一种数据压缩方法、装置、电子设备及可读存储介质。能够提高有损压缩的压缩率。
4.第一方面,本技术实施例提供了一种数据压缩方法,包括:根据目标数据点上报系统的上报时间与处理系统的处理时间的时间差值确定所述目标数据点的数据点类型;其中,所述处理系统用于对传输自所述上报系统的目标数据点进行压缩;根据所述目标数据点的数据点类型确定用于压缩所述目标数据点的目标压缩窗口;以及通过所述目标压缩窗口对所述目标数据点进行压缩。
5.在上述实现过程中,通过根据目标数据点的上报时间和处理时间的时间差值来确定目标数据点的数据点类型,并基于不同的数据点类型使用的不同的目标压缩窗口对目标数据点进行数据压缩,对目标数据点进行按类型压缩,实现了目标数据点的准确以及高效的压缩。且不同类型数据点之间的数据压缩不相互影响,提高了目标数据点的压缩率。
6.在一个实施例中,所述目标压缩窗口包括固定压缩窗口;所述根据目标数据点上报系统的上报时间与处理系统的处理时间的时间差值确定所述目标数据点的数据点类型,包括:将所述时间差值和预设时间间隔进行比较;其中,所述预设时间间隔为所述固定压缩窗口中所述上报时间相对于所述处理时间超前的数据点的时间间隔;根据比较结果确定所述目标数据点的数据点类型。
7.在上述实现过程中,通过将目标数据点的时间差值和预设时间间隔的比较结果确定目标数据点的数据点类型,以确定出目标数据点在上传过程中是否出现误差,以将正常数据点和出现异常的数据点进行区分,提高了目标数据点分类准确性。
8.在一个实施例中,所述数据点类型包括超前点和非超前点;所述根据比较结果确定所述目标数据点的数据点类型,包括:若所述比较结果为所述时间差值大于所述预设时间间隔,则确定所述目标数据点为超前点;若所述比较结果为所述时间差值不大于所述预设时间间隔,则确定所述目标数据点为非超前点。
9.在上述实现过程中,通过根据目标数据点的时间差值与预设时间间隔之间的比较结果,确定目标数据点是超前点还是非超前点,进一步确定出该目标数据点在传输时该系
统是否存在异常,实现了通过目标数据点的数据点类型确定系统的情况,提高了对系统的监测能力。
10.在一个实施例中,所述目标压缩窗口包括临时压缩窗口和固定压缩窗口;其中,所述临时压缩窗口用于压缩其所接收的当前批次数据点,所述固定压缩窗口用于压缩多批次数据点;所述多批次数据点包括所述固定压缩窗口所接收的当前批次的数据点与所述当前批次之后的一个或多个批次的数据点;所述根据所述目标数据点的数据点类型确定用于压缩所述目标数据点的目标压缩窗口,包括:若所述目标数据点为超前点,确定所述目标压缩窗口为临时压缩窗口;若所述目标数据点为非超前点,确定所述目标压缩窗口为固定压缩窗口。
11.在上述实现过程中,通过临压缩时窗口压缩超前点,用固定压缩窗口压缩非超前点,在当前批次数据点是超前点时,用临时压缩窗口压缩该当前批次数据点,当下一批次数据点为非超前点时,用固定压缩窗口压缩该下一批次数据点,防止了当前批次超前点的压缩对后续非超前点数据压缩的影响,提高了数据压缩的压缩率。
12.在一个实施例中,所述目标数据点包括超前点;其中,所述超前点为所述时间差值大于预设时间间隔的目标数据点;所述预设时间间隔为固定压缩窗口中所述上报时间相对于所述处理时间超前的数据点的时间间隔;所述固定压缩窗口用于压缩多批次数据点;所述通过所述目标压缩窗口对所述目标数据点进行压缩之后,所述方法还包括:根据所述目标数据点的数据点类型更新处理系统的超前点占比;根据更新后的所述超前点占比更新所述超前点的目标压缩窗口。
13.在上述实现过程中,通过根据超前点占比预测超前点形成的原因,进而更新超前点的目标压缩窗口,使得该超前点的目标压缩窗口可以根据超前点的实际产生原因进行相应的更新与改变,使得该超前点的目标压缩窗口更加符合目标数据点在进行数据点压缩的实际情况,以提高目标数据点压缩的灵活性,进而提高压缩准确率。
14.在一个实施例中,所述目标数据点还包括非超前点;其中,所述非超前点为所述时间差值不大于所述预设时间间隔的目标数据点;所述根据更新后的所述处理系统的超前点占比更新所述超前点的目标压缩窗口,包括:将更新后的所述处理系统的超前点占比和占比阈值进行比较,若更新后的所述处理系统的超前点占比大于所述占比阈值,则将所述超前点的压缩窗口更新为非超前点的压缩窗口。
15.在上述实现过程中,在超前点占比大于阈值时可以确定出该超前点是由于系统误差造成的,为了降低系统误差早前的数据点压缩不准确,通过将该超前点的目标压缩窗口更新为固定压缩窗口,以将该超前点视为非超前点,忽略了系统误差对压缩率的影响,提高了数据压缩的准确率和保证了目标数据点的良好压缩率。
16.在一个实施例中,所述根据所述目标数据点的数据点类型更新处理系统的超前点占比,包括:分别获取多个时间窗口中的当前总的数据点个数和当前超前点个数,所述时间窗口为处理系统启动时间点到设定时间点之间的窗口;通过所述当前总的数据点个数和所述当前超前点个数分别计算多个所述时间窗口中的超前点占比;根据多个所述时间窗口中的超前点占比更新所述处理系统的超前点占比。
17.在上述实现过程中,通过根据多个时间窗口的超前点占比计算处理系统的超前点占比,以使得该处理系统的超前点占比是由多个时间窗口综合计算得到,保证了超前点占
比计算与时间窗口关联,以使得该超前点占比的计算更加贴合处理系统的实际情况,提高了超前点占比计算的准确性。
18.第二方面,本技术实施例还提供一种数据压缩装置,包括:第一确定模块:用于根据目标数据点上报系统的上报时间与处理系统的处理时间的时间差值确定所述目标数据点的数据点类型;其中,所述处理系统用于对传输自所述上报系统的目标数据点进行压缩;第二确定模块:用于根据所述目标数据点的数据点类型确定用于压缩所述目标数据点的目标压缩窗口;压缩模块:用于通过所述目标压缩窗口对所述目标数据点进行压缩。
19.第三方面,本技术实施例还提供一种电子设备,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面的任一种可能的实施方式中的方法的步骤。
20.第四方面,本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面的任一种可能的实施方式中数据压缩方法的步骤。
21.为使本技术的上述目的、特征和优点能更明显易懂,下文特举实施例,并配合所附附图,作详细说明如下。
附图说明
22.为了更清楚地说明本技术实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本技术的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
23.图1为现有技术中超前点确定的示意图;
24.图2为本技术实施例提供的上报系统与处理系统进行交互的示意图;
25.图3为本技术实施例提供的电子设备的方框示意图;
26.图4为本技术实施例提供的数据压缩方法的流程图;
27.图5为本技术实施例提供的数据压缩中数据预测方法及相应处理方法流程图;
28.图6为本技术实施例提供的数据压缩装置的功能模块示意图。
具体实施方式
29.下面将结合本技术实施例中附图,对本技术实施例中的技术方案进行描述。
30.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本技术的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
31.在数据库中,一般设备会上报大量的数据,但在实际使用过程中并不需要全量的数据只需要其中的关键信息即可。因此,在存储过程中一般使用的是有损压缩算法,只保留少部分数据点的数据,其余时间点的数据可以使用线性插值的方法还原。为了便于理解,下面以pi的旋转门压缩算法为例,描述数据压缩过程,具体如下:
32.若当前批次存在超前点,则以当前批次第一个超前点a点为基准点,以该当前批次的最后一个点d点为last点。根据last点所在的数据值和数值范围确定last点上下两点。具
体地,设定数据范围为d,last点所在的数据值为a,则该last点上下两点为last点所在的数据值a
±
d。在确定出last点上下两点后,将该last点上下两点分别与基准点a连接,以确定出有效区域,并将该当前批次的所有数据进行压缩后存储。当下一批次数据上传后,判断该新上传的数据点是否在该有效区域范围内,若该数据点在有效区域范围内,则将该数据点进行存储。若该数据点不在有效区域范围内,则将last点存储在固定存储中,并将该last点作为新一轮压缩的基准点。
33.示例性地,如图1所示,图1中的a点为基准点、d点为last点,图中坐标中两条连线之间的区域为有效区域范围,此时可以判断出e点在该有效区域范围内,则将该e点进行存储。f点在该有效区域范围外,则将该d点进行存储,并将d点作为新一轮压缩的基准点,重新按照上述方法确定有效区域范围,并对后面的数据点进行判断。在上述压缩过程中,数据点是按照时间升序进行上传的,当存在有超前点时,由于基准点会随着超前点的出现重新确定,当有些数据点的点时出错,而后续数据点的点时间和当前时间差距不大,则会导致后续的点都成为非超前点,不能根据数据点的实际情况进行压缩,导致压缩率较差。
34.有鉴于此,本技术发明人提出一种数据压缩方法,通过根据数据点的上报时间和处理时间之间的关系确定出该数据点的数据点类型,基于该数据点的数据点类型确定该数据点进行压缩的压缩窗口,进而该数据点进行压缩,以防止不同类型数据点之间的压缩相互影响,以提高该数据点压缩的压缩率。
35.为便于对本实施例进行理解,首先对执行本技术实施例所公开的一种数据压缩方法的运行环境进行详细介绍。
36.如图2所示,是本技术实施例提供的上报系统200与处理系统300进行交互的示意图。该处理系统300通过网络与一个或多个上报系统200进行通信连接,以进行数据通信或交互。该处理系统300可以是网络服务器、数据库服务器等,还可以是个人电脑(personal computer,pc)、平板电脑、智能手机、个人数字助理(personal digital assistant,pda)等。该上报系统200可以是个人电脑(personal computer,pc)、平板电脑、智能手机、个人数字助理(personal digital assistant,pda)等。
37.可选地,该上报系统200与该处理系统300可以是同一种电子设备中两个不同设备,也可以是两个不同电子设备,还可以是同一电子设备,该上报系统200与处理系统300具体设备可以根据实际情况进行选择,本技术不做具体限制。
38.这里的上报系统200用于将自身数据或获取到的其他数据上传到处理系统300,并生成上报时间。
39.这里的处理系统300用于获取上报系统200上传的数据,并进行对数据进行压缩处理。该处理系统300还用于执行本实施例所公开的数据压缩方法。
40.为便于对本实施例进行理解,下面对执行本技术实施例所公开的数据压缩方法的电子设备进行详细介绍。
41.可以理解地,本技术实施例中的电子设备可以是处理系统。
42.如图3所示,是电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113、外设接口114。本领域普通技术人员可以理解,图3所示的结构仅为示意,其并不对电子设备100的结构造成限定。例如,电子设备100还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。
43.上述的存储器111、存储控制器112、处理器113及外设接口114各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。
44.其中,存储器111可以是,但不限于,随机存取存储器(random access memory,简称ram),只读存储器(read only memory,简称rom),可编程只读存储器(programmable read-only memory,简称prom),可擦除只读存储器(erasable programmable read-only memory,简称eprom),电可擦除只读存储器(electric erasable programmable read-only memory,简称eeprom)等。其中,存储器111用于存储程序,所述处理器113在接收到执行指令后,执行所述程序,本技术实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中,或者由处理器113实现。
45.上述的处理器113可能是一种集成电路芯片,具有信号的处理能力。上述的处理器113可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(digital signal processor,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
46.上述的外设接口114将各种输入/输出装置耦合至处理器113以及存储器111。在一些实施例中,外设接口114,处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
47.本实施例中的电子设备100可以用于执行本技术实施例提供的各个方法中的各个步骤。下面通过几个实施例详细描述数据压缩方法的实现过程。
48.请参阅图4,是本技术实施例提供的数据压缩方法的流程图。下面将对图4所示的具体流程进行详细阐述。
49.步骤201,根据目标数据点上报系统的上报时间与处理系统的处理时间的时间差值确定目标数据点的数据点类型。
50.其中,该处理系统用于对传输自上报系统的目标数据点进行压缩。该目标数据点为待压缩数据点。
51.这里的数据点类型包括超前点和非超前点。
52.上述的上报时间可以是上报系统对目标数据点进行上传的时间,也可以是通过设置的时间。该上报时间可以与该目标数据点一起上传,也可以单独伤处,该上报时间的上传方式可以自定义设置,本技术不做具体限制。
53.这里的上报系统用于将自身数据或获取到的其他数据上传到处理系统,并生成上报时间。该其他数据可以是其他设备发送到该上报系统的数据,也可以是用于输入到上报系统的数据,该其他数据可以根据实际情况进行选择或设置,本技术不做具体限制。
54.上述的处理时间为处理系统对目标数据点进行压缩的时间。
55.可以理解地,该上报系统在进行目标数据点上报时,可以按批次进行上报,一个批次可以包括多个目标数据点。
56.步骤202,根据目标数据点的数据点类型确定用于压缩目标数据点的目标压缩窗口。
57.这里的目标窗口可以包括临时压缩窗口和固定压缩窗口。其中,临时压缩窗口用于压缩其所接收的当前批次数据点。固定压缩窗口用于压缩多批次数据点,该多批次数据点包括该固定压缩窗口所接收的当前批次的数据点与当前批次之后的一个或多个批次的数据点。
58.步骤203,通过目标压缩窗口对目标数据点进行压缩。
59.在上述实现过程中,通过根据目标数据点的上报时间和处理时间的时间差值来确定目标数据点的数据点类型,并基于不同的数据点类型使用的不同的目标压缩窗口对目标数据点进行数据压缩,对目标数据点进行按类型压缩,实现了目标数据点的准确以及高效的压缩。且不同类型数据点之间的数据压缩不相互影响,提高了目标数据点的压缩率。
60.在一种可能的实现方式中,步骤201,包括:将时间差值和预设时间间隔进行比较;根据比较结果确定目标数据点的数据点类型。
61.其中,预设时间间隔为固定压缩窗口中上报时间相对于处理时间超前的数据点的时间间隔。
62.在一些实施例中,该预设时间间隔也可以是固定值,如该时间间隔为1s、1min、1h等。若该预设时间间隔是固定值,该预设时间间隔可以是人为设置,也可以是通过电子设备计算获得,该预设时间间隔的设置方式可以根据实际情况进行设置,本技术不做具体限制。
63.在上述实现过程中,通过将目标数据点的时间差值和预设时间间隔的比较结果确定目标数据点的数据点类型,以确定出目标数据点在上传过程中是否出现误差,以将正常数据点和出现异常的数据点进行区分,提高了目标数据点分类准确性。
64.在一种可能的实现方式中,根据比较结果确定目标数据点的数据点类型包括:若比较结果为时间差值大于预设时间间隔,则确定目标数据点为超前点;若比较结果为时间差值不大于预设时间间隔,则确定目标数据点为非超前点。
65.在一些实施例中,还可以将该目标数据点的上报时间与处理时间直接进行对比,若该目标数据点的上报时间晚于该处理时间,则确定该目标数据点为超前点。若该目标数据点的上报时间早于该处理时间,则确定该目标数据点为非超前点。例如,该目标数据点的上报时间为14点,而该目标数据点的处理时间为13点,则说明该目标数据点的传输可能出现异常,造成该目标数据点的上报时间大于处理时间,则此时确定该目标数据点为超前点。同理,若该时间间隔不大于预设时间间隔,则说明该目标数据点的上报时间不大于处理时间,则该目标数据点的传输不存在异常。例如,该目标数据点的上报时间为13点,而该目标数据点的处理时间为14点,则此时确定该目标数据点为非超前点。
66.在上述实现过程中,通过根据目标数据点的时间差值与预设时间间隔之间的比较结果,确定目标数据点是超前点还是非超前点,进一步确定出该目标数据点在传输时该系统是否存在异常,实现了通过目标数据点的数据点类型确定系统的情况,提高了对系统的监测能力。
67.在一种可能的实现方式中,步骤202,包括:若目标数据点为超前点,确定目标压缩窗口为临时压缩窗口;若目标数据点为非超前点,确定目标压缩窗口为固定压缩窗口。
68.若当前批次及后续的数据点均为非超前点时,则一直使用固定压缩窗口。当判断
到某一批次的数据点为超前点时,则使用临时窗口进行压缩,且仅压缩该批次的目标数据点。若该批次之后批次的数据点为非超前点,则继续使用固定压缩窗口。
69.可以理解地,该固定压缩窗口可以同时对多个批次数据进行压缩。例如,该上报系统向该处理窗口上报了3个批次的数据点,按照时间点先后顺序分别为批次1、批次2和批次3,且该批次1、批次2和批次3的数据点均不是超前点。则该固定压缩窗口可以同时对该批次1、批次2和批次3的数据进行压缩,且根据该批次1、批次2和批次3的所有数据点进行压缩率计算。通过将批次1、批次2和批次3的数据点一起进行压缩,并计算压缩率,可以均衡该多批次数据点之间的压缩,以防止因为各批次之间的数据点的数量差距较大造成压缩率准确性较低的问题。
70.在上述实现过程中,通过临压缩时窗口压缩超前点,用固定压缩窗口压缩非超前点,在当前批次数据点是超前点时,用临时压缩窗口压缩该当前批次数据点,当下一批次数据点为非超前点时,用固定压缩窗口压缩该下一批次数据点,防止了当前批次超前点的压缩对后续非超前点数据压缩的影响,提高了数据压缩的压缩率。
71.在一种可能的实现方式中,在步骤203之后,该数据压缩方法还包括:根据目标数据点的数据点类型更新处理系统的超前点占比;根据更新后的超前点占比更新超前点的目标压缩窗口。
72.当目标数据点的数据点类型为超前点,则说明该处理系统的超前点数量发生了变化,则需要根据该处理系统当前的超前点数量和总数据点数量进行超前点占比计算,以更新该处理系统的超前点占比。
73.可以理解地,当超前点占比较大时,说明当前的处理系统中存在较多的超前点,根据该超前点占比可以预测出该超前点出现的原因。若该超前点占比在正常范围内,则说明的超前点是由于数据点传输过程造成的。若该超前点占比过大,且超出正常范围时,则说明该超前点可能是由于上报系统和处理系统之间本身的误差造成的。进一步地,可以根据该超前点的形成原因使用相应的目标压缩窗口对目标数据点进行数据压缩。
74.若该超前点是因为上传系统与处理系统之间的系统本身误差造成的,由于系统之间本身存在误差,那么后续输入的数据点也可能会是超前点,此时使用临时压缩窗口进行数据点压缩,使得每一批次的数据点都和超前点一样存在压缩率较低的情况,进而造成所有批次的数据点压缩的压缩率都不准确。若此时将该目标压缩窗口更换为固定压缩窗口,将因为系统误差造成的超前点当作非超前点处理,使得后续所有批次的数据点都是按照固定压缩窗口进行压缩的,进而保证了在系统误差下,数据点压缩的压缩率。
75.在上述实现过程中,通过根据超前点占比预测超前点形成的原因,进而更新超前点的目标压缩窗口,使得该超前点的目标压缩窗口可以根据超前点的实际产生原因进行相应的更新与改变,使得该超前点的目标压缩窗口更加符合目标数据点在进行数据点压缩的实际情况,以提高目标数据点压缩的灵活性,进而提高压缩准确率。
76.在一种可能的实现方式中,根据目标数据点的数据点类型更新处理系统的超前点占比,包括:将更新后的处理系统的超前点占比和占比阈值进行比较,若更新后的处理系统的超前点占比大于占比阈值,则将超前点的压缩窗口更新为非超前点的压缩窗口。
77.可以理解地,若该处理系统的超前点占比超过阈值,则说明该超前点的产生可能并不数据点传输过程造成的,而是由于上传系统和处理系统两个系统之间本身的系统误差
或是其他误差造成的,那么可以预测后续的数据点中可能绝大部分的数据点均为超前点。此时,为避免系统的压缩效率降低,可对系统进行调整,即将该超前点认定为非超前点,将该超前点的目标压缩窗口更新为固定压缩窗口。
78.在一些实施例中,为了防止因系统本身的误差造成目标数据点的数据点类型误判,在确定出该处理系统的超前点占比超过阈值时,则可以进一步根据超前点的上报时间和处理时间更新预设时间间隔,进而根据更新后的预设时间间隔判断后续的目标数据点是否为超前点。
79.可选地,上述的根据超前点的上报时间和处理时间更新预设时间间隔可以为:预设时间间隔等于超前点的上报时间与处理时间之差。
80.可以理解地,如图5所示,图5为本技术实施例提供的数据压缩中数据预测方法及相应处理方法流程图。处理系统在获取到目标数据点时,将该目标数据点的时间差值和预设时间阈值进行比较,如果时间差值大于预设时间阈值,则确定该目标数据点为超前点,则使用临时压缩窗口对该超前点进行数据压缩。如果该时间差值不大于预设时间阈值,则确定该目标数据点为非超前点,则使用固定压缩窗口对该非超前点进行数据压缩。在对目标数据点进行压缩后,根据该处理系统中的超前点数量和总的数据点数量对该处理系统中的超前点占比进行更新,并将更新后的超前点占比与占比阈值进行比较,若更新后的所述处理系统的超前点占比大于所述占比阈值,则将所述超前点的压缩窗口更新为非超前点的压缩窗口并将预设时间阈值更新为目标数据点的上报时间和处理时间的时间差值。
81.在上述实现过程中,在超前点占比大于阈值时可以确定出该超前点是由于系统误差造成的,为了降低系统误差早前的数据点压缩不准确,通过将该超前点的目标压缩窗口更新为固定压缩窗口,以将该超前点视为非超前点,忽略了系统误差对压缩率的影响,提高了数据压缩的准确率和保证了目标数据点的良好压缩率。
82.在一种可能的实现方式中,根据目标数据点的数据点类型更新处理系统的超前点占比,包括:分别获取多个时间窗口中的当前总的数据点个数和当前超前点个数;通过当前总的数据点个数和当前超前点个数分别计算多个时间窗口中的超前点占比;根据多个时间窗口中的超前点占比更新处理系统的超前点占比。
83.其中,该时间窗口为处理系统启动时间点到设定时间点之间的窗口。如,该时间窗口为10s、80s、1280s等。该设定时间可以进行设置,该设定时间可以根据实际情况进行调整,申请不做具体限制。
84.下面以10s、80s以及1280s的时间窗口进行举例,进一步对该超前点占比计算进行说明:
85.获取该处理系统启动时间点到10s这一时间段内所有数据点的个数ns1以及超前点的个数np1,并根据该所有数据点的个数和超前点的个数计算该10s窗口内的超前点占比p1=np1/ns1。
86.获取该处理系统启动时间点到80s这一时间段内所有数据点的个数ns2以及超前点的个数np2,并根据该所有数据点的个数和超前点的个数计算该80s窗口内的超前点占比p2=np2/ns2。
87.获取该处理系统启动时间点到1280s这一时间段内所有数据点的个数ns3以及超前点的个数np3,并根据该所有数据点的个数和超前点的个数计算该80s窗口内的超前点占
比p3=np3/ns3。
88.则根据上述10s、80s以及1280s的时间窗口内的超前点占比计算该处理系统中超前点占比:p=k1*p1 k2*p2 k3*p3。其中,k1为10s时间窗口的权重,k2为80s时间窗口的权重,k3为1280s时间窗口的权重。
89.在一些实施例中,在上述超前点占比计算中,每隔10s将10s时间窗口的数据更新到80s时间窗口,每隔80s将80s时间窗口的数据更新到1280s的时间窗口中。
90.在上述实现过程中,通过根据多个时间窗口的超前点占比计算处理系统的超前点占比,以使得该处理系统的超前点占比是由多个时间窗口综合计算得到,保证了超前点占比计算与时间窗口关联,以使得该超前点占比的计算更加贴合处理系统的实际情况,提高了超前点占比计算的准确性。
91.基于同一申请构思,本技术实施例中还提供了与数据压缩方法对应的数据压缩装置,由于本技术实施例中的装置解决问题的原理与前述的数据压缩方法实施例相似,因此本实施例中的装置的实施可以参见上述方法的实施例中的描述,重复之处不再赘述。
92.请参阅图6,是本技术实施例提供的数据压缩装置的功能模块示意图。本实施例中的数据压缩装置中的各个模块用于执行上述方法实施例中的各个步骤。数据压缩装置包括第一确定模块301、第二确定模块302、压缩模块303;其中,
93.第一确定模块301用于根据目标数据点上报系统的上报时间与处理系统的处理时间的时间差值确定所述目标数据点的数据点类型;其中,所述处理系统用于对传输自所述上报系统的目标数据点进行压缩。
94.第二确定模块302用于根据所述目标数据点的数据点类型确定用于压缩所述目标数据点的目标压缩窗口。
95.压缩模块303用于通过所述目标压缩窗口对所述目标数据点进行压缩。
96.一种可能的实施方式中,第一确定模块301,还用于:将所述时间差值和预设时间间隔进行比较;其中,所述预设时间间隔为所述固定压缩窗口中所述上报时间相对于所述处理时间超前的数据点的时间间隔;根据比较结果确定所述目标数据点的数据点类型。
97.一种可能的实施方式中,第一确定模块301,具体用于:若所述比较结果为所述时间差值大于所述预设时间间隔,则确定所述目标数据点为超前点;若所述比较结果为所述时间差值不大于所述预设时间间隔,则确定所述目标数据点为非超前点。
98.一种可能的实施方式中,第一确定模块301,具体用于:若所述目标数据点为超前点,确定所述目标压缩窗口为临时压缩窗口;若所述目标数据点为非超前点,确定所述目标压缩窗口为固定压缩窗口。
99.一种可能的实施方式中,该数据压缩装置还包括更新模块,用于根据所述目标数据点的数据点类型更新处理系统的超前点占比;根据更新后的所述超前点占比更新所述超前点的目标压缩窗口。
100.一种可能的实施方式中,更新模块,具体用于将更新后的所述处理系统的超前点占比和占比阈值进行比较,若更新后的所述处理系统的超前点占比大于所述占比阈值,则将所述超前点的压缩窗口更新为非超前点的压缩窗口。
101.一种可能的实施方式中,更新模块,具体用于分别获取多个时间窗口中的当前总的数据点个数和当前超前点个数,所述时间窗口为处理系统启动时间点到设定时间点之间
的窗口;通过所述当前总的数据点个数和所述当前超前点个数分别计算多个所述时间窗口中的超前点占比;根据多个所述时间窗口中的超前点占比更新所述处理系统的超前点占比。
102.此外,本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的数据压缩方法的步骤。
103.本技术实施例所提供的数据压缩方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的数据压缩方法的步骤,具体可参见上述方法实施例,在此不再赘述。
104.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
105.另外,在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
106.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
107.以上所述仅为本技术的优选实施例而已,并不用于限制本技术,对于本领域的技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需
要对其进行进一步定义和解释。
108.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献