能耗数据预测编码压缩采集方法及系统与流程

1.本发明涉及计算机技术领域，尤其涉及一种能耗数据预测编码压缩采集方法及系统。


背景技术：

2.随着互联网和计算机的快速发展，云计算国家战略的不断推进，用于承载云计算任务的各类数据中心也日益增多，密集的服务和计算资源集中于数据中心。当前我国数据中心建设和运行过程中面临的一个主要挑战是数据中心能耗的急剧增长。大部分的能源消耗来于it设备与空调制冷系统，对数据中心it基础设施进行有效的能耗数据采集、分析和监控管理，将会很大程度上降低能耗，提高数据中心能源的有效使用率。能耗数据的传输可靠性，已逐渐成为一个亟需解决的问题。
3.能耗采集系统采集到数据后将数据传输至服务端。而当几百、上千个节点在同一时间统一发送数据时将会遇到网络带宽不足的问题。因此能耗采集系统需要一种稳定可靠的传输方式，使得服务端可以平稳接收数据的同时，不因海量的数据小包而造成网络拥堵。


技术实现要素：

4.为了解决以上问题，在对能耗数据实时采集和数据压缩传输技术的研究进展和历史现状深入了解后，针对现有数据中心能耗数据采集频次高、采集点多、汇集及处理数据量大等特点，设计了一种能耗数据预测编码压缩采集方法及系统；基于预测编码、自适应组块、自适应精度控制的分布式能耗数据采集方法，有效实现数据中心机房能耗数据实时采集，为监控与评估数据中心能耗，实现能耗高效管理提供数据支撑。
5.本发明提供一种能耗数据预测编码压缩采集方法，包括以下步骤：获取用电设备的能耗数据；将获取的能耗数据存储至定长内存队列中；按照转发频率定期启动线程读取队列，将能耗数据按照预设帧结构自适应进行预测压缩传输。
6.在本发明的一个实施例中，通过将获取的能耗数据存储至定长内存队列中，而不是直接转发，一方面可以更快速的响应采集模块，让采集模块在单位时间内发送更多的数据，提高效率并保证采集能耗数据的实时性。另一方面，可以将零散的能耗数据做成恒定大小的批次转发给数据服务器，服务器就不会受到流量高峰的冲击，运行的更稳定从而保证了数据的准确性。通过对数据进行自适应压缩有效降低数据中心能耗数据采集过程中的数据传输量，特别是降低汇集节点与总汇集节点之间的数据传输量，降低能耗数据采集过程中对网络带宽的占用。
7.进一步优选的，所述获取用电设备的能耗数据包括按照网络分布和能耗数据性质差异对能耗数据进行分组采集；所述用电设备包括以下设备中的几种或一种：服务器、网络设备、供电设备及制冷设备。
8.进一步优选的，所述定长的内存队列，采用如下方法形成：按照获取能耗数据的采集频率，将采集的能耗数据存储至对应的内存队列中；计算每一队列的能耗数据所属计算
设备id的哈希值；根据哈希值确定对应的内存队列，将能耗数据存入对应的内存队列中，形成每个队列存储的数据项相同的定长内存队列。
9.在上述任意一项实施例中优选的，所述预测压缩传输，包括如下步骤：
10.判断是否存在该内存队列对应的预测压缩方式，若存在，则按照对应的预测压缩方式压缩；
11.若不存在则计算帧间预测和帧内预测的压缩比，选取压缩比较高的预测压缩方式，按照预设帧结构进行预测压缩传输。
12.在本发明的一个实施例中，利用帧间预测和帧内预测，对数据进行压缩，具体的，帧间预测指利用前面一个或多个采集值预测下一个采集值进行。帧内预测指利用帧内其他采集项预测特定采集项。然后对实际值和预测值的差(预测误差)进行传输，如果预测比较准确，误差就会很小。在同等精度要求的条件下，就可以用比较少的比特进行传输，达到压缩数据的目的在同等精度要求的条件下，就可以用比较少的比特进行传输，实现了数据压缩。
13.在上述任意一项实施例中优选的，所述预设帧结构包括帧元信息和采集信息；所述帧元信息采用一般传输形式或初次传输形式，两种形式表示；
14.所述一般传输形式，采用采集块类型id表示；所述初次传输形式包括设备数量n、设备1至设备n的设备采集项数量和总长度；
15.所述采集信息包括设备1至设备n的采集项顺序及设备1至设备n的各采集项数据。
16.在上述任意一项实施例中优选的，所述选取压缩比较高的预测压缩方式，按照预设帧结构进行压缩传输；包括如下步骤：对采集信息中的每一个采集项计算预测值与实际值的差值，调整差值的精度符合预设精度要求；若选取帧间预测，按照差值由大至小的顺序排列；若选取帧内预测，则按照约定的采集项顺序排列。
17.在本发明的一个实施例中。当使用帧间预测传输时，在同一采集块中，将传输值按照从大到小方式排列，采集块会呈现相邻数据相同和零数据集中排列等特点，便于网络传输中对数据进行块内压缩。当使用帧内预测传输时，同一设备各项能耗数据变化趋势具有一定关联性，将关联性较强的采集项放在一起，预测时利用前几项采集值预测下一项采集值。在传输前需要对每一采集块计算帧间预测和帧内预测两种方式的压缩效果，使用压缩效果更好的预测方式进行传输，在进行多次传输后，选择频率较高的预测方式作为该采集块的默认预测方式。
18.本发明还提供一种能耗数据预测编码压缩采集系统，包括采集层、汇聚服务器和数据服务器；所述采集层用于获取用电设备的能耗数据；所述汇聚服务器用于将获取的能耗数据存储至定长内存队列中；按照转发频率定期启动线程读取队列，将能耗数据按照预设帧结构进行预测压缩传输至数据服务器。
19.在上述任意一项实施例中优选的，所述定长内存队列，用于临时存储来中转能耗数据，采用如下方式形成：根据获取能耗数据的采集频率，将采集的能耗数据存储至对应的内存队列中；
20.计算每一队列的能耗数据所属计算设备id的哈希值；根据哈希值确定对应的内存队列，将能耗数据存入对应的内存队列中，形成每个队列存储的数据项相同的定长内存队列。
21.在上述任意一项实施例中优选的，获取用电设备的能耗数据包括按照网络分布和能耗数据性质差异对能耗数据进行分组采集；所述用电设备包括以下设备中的几种或一种：服务器、网络设备、供电设备及制冷设备。
22.在上述任意一项实施例中优选的，所述汇聚服务器还包括将采集到的数据通过相应能耗公式计算并转发后，将时序数据和结构化数据分别存入rrd环形数据库和mysql数据库中，分库归档，便于后期追溯和查询。
附图说明
23.构成本技术的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
24.图1为本发明一种能耗数据预测编码压缩采集方法的工作流程图；
25.图2为本发明一种能耗数据预测编码压缩采集系统的能耗采集传输框架图；
26.图3为进一步实施例中的能耗数据预测编码压缩采集系统的能耗采集框架；
27.图4为进一步实施例中的能耗数据预测编码压缩采集系统的采集层数据队列示意图。
具体实施方式
28.下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
29.以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本技术所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
30.本发明提供一种能耗数据预测编码压缩采集方法，包括以下步骤：
31.s1、获取用电设备的能耗数据；所述获取用电设备的能耗数据包括按照网络分布和能耗数据性质差异对能耗数据进行分组采集；所述用电设备包括以下设备中的几种或一种：服务器、网络设备、供电设备及制冷设备。采集到的数据通过相应能耗公式计算并转发，将时序数据和结构化数据分别存入rrd环形数据库和mysql数据库中，分库归档策略的设计便于后续的查询分析。
32.如图4所示，s2、将获取的能耗数据存储至定长内存队列中；进一步优选的，所述定长的内存队列，采用如下方法形成：按照获取能耗数据的采集频率，将采集的能耗数据存储至对应的内存队列中；计算每一队列的能耗数据所属计算设备id的哈希值；根据哈希值确定对应的内存队列，将能耗数据存入对应的内存队列中，形成每个队列存储的数据项相同的定长内存队列。
33.s3、按照转发频率定期启动线程读取队列，将能耗数据按照预设帧结构自适应进行预测压缩传输。
34.所述预测压缩传输，包括如下步骤：
35.判断是否存在该内存队列对应的预测压缩方式，若存在，则按照对应的预测压缩方式压缩；
36.若不存在则计算帧间预测和帧内预测的压缩比，选取压缩比较高的预测压缩方式，按照预设帧结构进行预测压缩传输。
37.进一步，所述预设帧结构包括帧元信息和采集信息；所述帧元信息采用一般传输形式或初次传输形式，两种形式表示；
38.所述一般传输形式，采用采集块类型id表示；所述初次传输形式包括设备数量n、设备1至设备n的设备采集项数量和总长度；
39.所述采集信息包括设备1至设备n的采集项顺序及设备1至设备n的各采集项数据。
40.即采集块元信息包括设备数量n、设备1采集项数量和总长度、
…
、设备n采集项数量和总长度，采集信息包括设备1采集项顺序、设备1各采集项数据、
…
、设备n采集项顺序、设备n采集项顺序、设备n各采集项数据。其中，采集块元信息通常不会变化，为减少每次冗余信息的传输，可以使用采集块类型id取代。使用帧间预测时，采集项顺序通常也不会发生变化，在传输时可以省略，以减少传输消耗。
41.所述选取压缩比较高的预测压缩方式，按照预设帧结构进行压缩传输；包括如下步骤：对采集信息中的每一个采集项计算预测值与实际值的差值，调整差值的精度符合预设精度要求；精度按照历史最大值的0.02计算；若选取帧间预测，按照差值由大至小的顺序排列；若选取帧内预测，则按照约定的采集项顺序排列。
42.本发明所述的自适应精度传输是指根据数据特点，对不同采集项设置不同的精度，精度设置为最大值的0.02，如采集项是cpu使用率，最大值为100，则传输精度为1，即当预测值与实际值的差值小于等于1，则传输0，以此来降低传输成本。若采集项最大值不确定或通常不会出现，则使用已经出现过的最大值。
43.本发明还提供一种能耗数据预测编码压缩采集系统，包括采集层、汇聚服务器和数据服务器；所述采集层用于获取用电设备的能耗数据；所述汇聚服务器用于将获取的能耗数据存储至定长内存队列中；按照转发频率定期启动线程读取队列，将能耗数据按照预设帧结构进行预测压缩传输至数据服务器。进一步，还可以包括采集模块和转发模块。采集模块在采集点进行数据采集，形成采集层，将数据传输至汇聚服务器；转发模块在汇聚服务器将收到的数据压缩转发至数据服务器。
44.转发模块是汇聚服务器在接收到采集数据后，会根据数据所属设备，把数据存放到对应的采集块中，而不是直接发送给总据服务器。聚集服务器将采集到的能耗数据按采集批次进行整合，发送时将采集块封装为采集帧向数据服务器发送。这样一方面可以更快速的响应采集模块，让采集模块在单位时间内发送更多的数据，提高效率并保证采集能耗数据的实时性。另一方面，可以将零散的能耗数据做成恒定大小的批次转发给数据服务器，服务器就不会受到流量高峰的冲击，运行的更稳定从而保证了数据的准确性。
45.如图2所示，本发明的采集模块负责对服务器、网络设备、供电及制冷等设备进行能耗数据的实时采集工作，主要是按照网络模块分布和能耗数据性质的差异对资源分类，以达到分组采集的目的。可以理解为能耗采集部分作为单一模块负责获取各个终端部分的能耗数据信息并且将获得的数据按照对应方式发送给上一部分的汇聚服务器，汇聚服务器又将能耗数据汇集并发送到数据中心的主服务器。其中，为减小数据传输时的网络传输压力，本发明使用预测编码、自适应组块编码和自适应精度编码等方法压缩汇聚服务器向数据中心主服务器的数据。
46.本发明所述的自适应组块指数据在汇聚服务器采集块内的存储顺序是根据数据间的关系和预测方式来组织的。当使用帧间预测传输时，在同一采集块中，将传输值按照从大到小方式排列，采集块会呈现相邻数据相同和零数据集中排列等特点，便于网络传输中对数据进行块内压缩。当使用帧内预测传输时，同一设备各项能耗数据变化趋势具有一定关联性，将关联性较强的采集项放在一起，预测时利用前几项采集值预测下一项采集值。在传输前需要对每一采集块计算帧间预测和帧内预测两种方式的压缩效果，使用压缩效果更好的预测方式进行传输，在进行多次传输后，选择频率较高的预测方式作为该采集块的默认预测方式。
47.图3是本发明的能耗采集机制的整体框架，最底层为系统需要采集的能耗及负载指标，由于各类数据中心需要采集能耗数据的设备类型是不同的，因此需要对不同类型的设备采用不同的数据采集方法。采集到的数据通过相应能耗公式计算并转发，将时序数据和结构化数据分别存入rrd环形数据库和mysql数据库中，分库归档策略的设计便于后续的查询分析。
48.转发模块通过json rpc端口建立长连接来接收采集模块和自定义脚本推送的能耗数据，对接收到的能耗数据做进一步的校验和过滤，以保证数据安全性。
49.为了解决采集模块上报和用户推送数据的频率，避免恶意攻击形成高峰流量等问题，数据转发模块并非将接收的数据立即进行逐条转发，而是设计了定长内存队列作为临时存储来中转能耗数据。模块在实现过程中，会首先按照数据的采集频率将数据存入对应的内存队列，再将每一队列的数据按照所属计算设备id的哈希值，将数据存入对应的内存队列中，这样每个队列存储的数据项总是不变的。每个队列按照转发频率定期启动线程读取队列将数据进行压缩传输，数据转发过程如图4所示。
50.在进行数据压缩时，首先判断是否有该内存队列对应的压缩方式，若不存在则计算帧间压缩和帧内压缩两种方式，选取压缩比较高的方式作为该队列的默认压缩方式。对每一个采集项计算预测值与实际值的差值，精度按照历史最大值的0.02计算。在组装帧结构时，采集块的元信息使用采集块类型id(若第一次传输，则还需要传输具体采集块元信息，包括设备数量n、设备1采集项数量和总长度、
…
、设备n采集项数量和总长度)。采集块的数据信息，若采取帧间预测，按照差值由大至小的顺序排列。若使用帧内预测，则按照约定的采集项顺序排列，工作流程如图1所示。
51.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
52.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
53.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
54.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
55.由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。