基于分段符号表示的多能源荷数据在线压缩与重构方法与流程

1.本发明涉及数据压缩领域，具体涉及基于分段符号表示的多能源荷数据在线压缩与重构方法与系统。


背景技术：

2.以建筑、楼宇为基本单元的多能流源荷设备运行态势实时感知是实现“建筑、园区、区域”多层级综合能源自治协同的基础，且建筑内设备高效精准监控要求感知算法对设备短时间尺度特性加以描述
1.。为获取细粒度源荷设备监测数据，已有监测方案可分为侵入式监测以和非侵入式监测两种。前者需对每种电源设备和负荷设备(全文简称“源荷设备”)加装量测设备运营成本较高，而后者仅需通过分析综合能源系统端口处测量到的总量数据，就能获取总量数据中投切的各种源荷设备运行状态信息。非侵入式方案成本低，数据可靠性高等优点，使其逐渐成为多能源荷设备运行数据获取的主流方案。然而，为保证设备运行状态辨识效果，现有解决方案通常需要传回大量秒级数据进行云端分析，给系统的通信、储存和计算等环节带来巨大挑战。为了能够在减轻传输压力、减少存储开销的同时增强系统数据分析能力、保证数据应用价值，开发高效的数据压缩模型势在必行。
3.数据压缩方法主要分为无损压缩和有损压缩两类。无损压缩方法通常通过消除统计冗余来减少比特，这类方法可从结果中完整恢复原始数据，但运行时间较长，压缩比也比有损压缩方法低得多。提出了一种可恢复源荷设备监测数据压缩方法
2.，它基于家庭源荷设备监测数据中大多数连续值之间差值较小的特点，对于完整的时间序列，完整记录第一个监测值，之后只记录连续设备运行监测值之间的差值，从而可以用更少的位来存储。该方法可实现无损数据压缩，与当前用于电能计量的传输编码方案相比，压缩效率提高了一个数量级。有损压缩方法允许原始信息在可以接受的范围内有所丢失，这类方法通常通过识别数据中的不必要信息并且将其移除来减少比特。使用符号聚合近似(sax)方法进行有损数据压缩
3.，该方法对固定时间窗内的源荷设备监测数据平均值进行符号化表示，具有较高的压缩效率。但是压缩后的数据会丢失部分高频信息，因此数据重构精度不高。有学者提出了一种基于特征的源荷设备监测数据压缩方法
4.，它利用家庭源荷设备监测数据的广义极值分布特征得到区分基本状态与刺激状态的边界值，对源荷设备监测数据进行运行状态等特征识别，并将其以所提出的高效数据压缩格式存储。还有人提出了一种基于压缩感知的源荷设备监测数据压缩方法
5.，它根据源荷设备监测数据在频域上的稀疏特性进行数据约简，不过处理时间较长，难以满足在线应用的要求。
4.有损压缩从数据源删除了不重要的细节，并保留了数据应用的关键信息，能够支持重要的多能源荷设备监测数据挖掘应用。若能够接受数据压缩和信息丢失之间的适当权衡，有损压缩方法适合广泛应用。结合现存问题，本文提出了一种高频多能源荷设备监测数据分段差异化有损压缩方法，针对智能电表可(本地)实时采集的秒级高频多能源荷设备监测数据，按照所含信息量的不同将其划分为不同区段，并对应采取不同的压缩处理方法，以尽可能在降低(向主站)回传数据量的同时不丢失重要信息。
5.[参考文献]
[0006]
[1]贾宏杰,穆云飞,余晓丹.对我国综合能源系统发展的思考[j].电力建设,2015,36(001):16-25.
[0007]
[2]a.unterweger and d.engel,“resumable load data compression in smart grids,”ieee trans.smart grid,vol.6,no.2,pp.919
–
929,mar.2015.j.clerk maxwell,a treatise on electricity and magnetism,3rd ed.,vol.2.oxford:clarendon,1892,pp.68
–
73.
[0008]
[3]a.notaristefano,g.chicco and f.piglione,“data size reduction withsymbolic aggregate approximation for electrical load pattern grouping,"ietgeneration,transmission&distribution,vol.7,no.3,pp.108-117,jan.2013.
[0009]
[4]x.tong et al.,“smart metering load data compression based on load feature identification,”ieee trans.smart grid,vol.7,no.5,pp.2414
–
2422,sep.2016.
[0010]
[5]tripathi s,de s.an efficient data characterization and reduction scheme for smart metering infrastructure[j].ieee transactions on industrial informatics,2018,14(10):4300-4308.


技术实现要素：

[0011]
考虑到现有技术存在的不足，为进一步促进数据压缩与重构在源荷设备监测数据的推广应用，减轻传输压力、减少存储开销的同时增强系统数据分析能力、保证数据应用价值，本发明结合事件检测方法和sax(symbolic aggregate approximation，符号聚合近似)理论，提出了一种基于分段符号表示的多能源荷数据在线压缩与重构方法，旨在解决大量源荷设备监测数据的储存和传输问题。此发明能够以较高的重构精度和压缩效率对电表数据进行在线压缩，可以为精细化智能数据分析应用提供支撑。
[0012]
为了解决上述技术问题，本发明提出的一种基于分段符号表示的多能源荷数据在线压缩与重构方法，包含以下步骤；
[0013]
步骤1、按照采样频率采样得到源荷设备监测数据，使用非侵入式负荷识别领域的事件检测方法对源荷设备监测数据进行事件检测，并将源荷设备监测数据划分为事件段和平稳段，其中，所述平稳段是指事件检测过程中时间跨度大于一定长度，且段内任意相邻样本点之间功率差小于指定阈值的区段，平稳段之外的区段为事件段；对于事件段的源荷设备监测数据，进入步骤2；对于平稳段的源荷设备监测数据，进入步骤3；
[0014]
步骤2、将所述事件段的源荷设备监测数据储存并回传至远程主站，然后，进入步骤4；
[0015]
步骤3、使用不规则时间分区sax方法来压缩所述平稳段的源荷设备监测数据，然后，进入步骤4；
[0016]
步骤4、远程主站按照事件段与平稳段发生的时间顺序依次进行分段重构，得到完整的重构后的用电功率数据，并结合源荷设备监测数据的采样频率得到每一个源荷设备监测数据对应的时刻。
[0017]
进一步讲，本发明所述方法的步骤3的内容如下：
[0018]
首先，对于长度为l的平稳段源荷设备监测数据时间序列，计算对应的差分时间序列{γ
l
}，γ
l
＝|p
l-p
l 1
|，l＝1,2,
…
,l-1，对差分时间序列{γ
l
}进行归一化处理得到其概率密度函数，进而构造对应的累积分布函数，以表示源荷设备运行过程的整体变化；
[0019]
依据累积分布函数曲线的概率等分位点在时间轴上的投影划分时间区间，所有投影点构成时间分区断点序列《c1,c2,
…
,cz,
…
,cz》，其中，z为预先设定的时间分区数；
[0020]
对每个时间分区的功率幅度进行符号化表示，符号表示数目为n时，高斯分布分位点序列为《β1,β2,
…
,βn,
…
,β
n-1
》，该高斯分布分位点序列将时间序列的幅值划分为n个区间《-∞,β1》,《β1,β2》,
…
,《β
n-1
, ∞》，将各区间分别用符号“1”,“2
”…
,“n”来表示，具体做法是：
[0021]
先依据式(1)对功率进行标准化处理；再计算各时间分区内的功率数据均值各时间分区对应分断点c
z-1
到cz之间的时间分区；最后根据均值落入幅值区间的位置对相应时间分区内的数据进行符号化表示，如式(2)；
[0022][0023]
式(1)中，p
t
′
是标准化处理后的功率幅值，p
t
是原始功率幅值，和σ分别是该平稳段整体时间序列的均值和标准差；
[0024][0025]
式(2)中，是分断点c
z-1
到cz之间的时间分区内源荷设备监测数据的符号表示结果，βn是第n个高斯分布分位点；
[0026]
至此，完成了所述平稳段的源荷设备监测数据的数据压缩，通过通信网络将压缩后的数据信息回传至远程主站。
[0027]
本发明所述方法的步骤4中，包括事件段的分段重构和平稳段的分段重构：4-1)对于事件段，读取回传的原始源荷设备监测数据即可；4-2)对于平稳段，通过回传数据信息中的平稳段整体时间序列的均值、标准差及符号表示结果和每个时间分区的位置记录进行逐段重构。
[0028]
上述步骤4-2)的内容如下：
[0029]
对于第i个平稳段，按照式(3)计算第z个时间分区内的源荷设备监测数据重构值时间分断点c
i,z-1
至c
i,z
之间每个采样点的运行功率重构值均为c
i,z
对应第z个时间分区的终点时标；
[0030][0031]
式(3)中，和分别是第i个平稳段中第z个时间分区的功率符号表示所在区间的下界值和上界值，和σi分别是第i个平稳段时间序列的均值和标准差。
[0032]
同时本发明中还公开了用于实现基于分段符号表示的多能源荷数据在线压缩与重构方法的系统，该系统包括数据分段模块、压缩模块、储存与传输模块、分段重构模块和对外交互功能模块；
[0033]
所述数据分段模块使用非侵入式负荷识别领域的事件检测方法将源荷设备监测数据划分为事件段和平稳段；
[0034]
所述压缩模块对于事件段和平稳段采用不同的压缩处理方法，其中，对于事件段数据，原样保留；对于平稳段数据，在设备运行功率曲线变化幅度较大的时段用相对密集的分区，曲线变化幅度较小的时段则用相对稀疏的分区，对各分区内的数据进行符号化的压缩表示；
[0035]
所述储存与传输模块将电数据采集终端在本地完成压缩的数据进行储存，并通过通信网络将压缩后的数据信息回传至远程主站；
[0036]
所述分段重构模块在远程主站按照事件段与平稳段发生的时间顺序依次进行分段重构；
[0037]
所述对外交互功能模块实现基于分段符号表示的源荷设备监测数据在线压缩与重构方法的系统与外界进行数据信息交互，包括(但不限于)展示和纯输出重构后的完整的用电功率波形曲线、结合源荷设备监测数据的采样频率得到每一个源荷设备监测数据对应的时刻和每个事件段对应的用电功率波形曲线。
[0038]
与现有技术相比，本发明的有益效果是：
[0039]
本发明采用事件检测方法，将源荷设备监测数据划分为事件段和平稳段，对事件段采用回传原值的方式，最大程度地保留了重要的用电信息，对平稳段则采用不规则时间分区的sax方法，在保留平稳段的用电水平特征的同时能够有效地对其进行压缩，显著提升了压缩效率。该方法表现出较高的重构精度和压缩效率，同时耗时较短，可为精细化智能数据分析应用提供支撑。
附图说明
[0040]
图1是本发明基于分段符号表示的多能源荷设备监测数据在线压缩与重构系统示意图；
[0041]
图2是本发明基于分段符号表示的多能源荷数据在线压缩与重构方法流程图；
[0042]
图3是事件检测示意图；
[0043]
图4是不规则时间分区sax原理示意图；
[0044]
图5是平稳段数据重构示意图。
具体实施方式
[0045]
本发明基于分段符号表示的多能源荷数据在线压缩与重构方法的设计构思是：使用事件检测方法将源荷设备监测数据划分为事件段和平稳段；对事件段的数据将其原样回传至远程主站；对平稳段的数据使用不规则时间分区sax方法来处理，设备运行功率曲线变化幅度较大的时段用相对密集的分区，曲线变化幅度较小的时段则用相对稀疏的分区，对各分区内的平稳段功率数据进行压缩表示；源荷设备监测数据采集终端(如智能电表)在本地完成数据压缩，并通过通信网络将压缩后的数据信息回传至主站；在主站按照事件段与平稳段发生的时间顺序依次进行分段重构，对事件段只需读取回传的数据，无需进行其它处理；对平稳段需要通过回传的均值、标准差和符号表示和每个时间分区的位置记录进行逐段重构。
[0046]
下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。
[0047]
实现本发明基于分段符号表示的多能源荷数据在线压缩与重构方法的系统，如图1所示，该系统主要包括以下5个功能模块，各功能模块的作用如下：
[0048]
(1)数据分段模块使用非侵入式负荷识别领域的事件检测方法将源荷设备监测数据划分为事件段和平稳段；
[0049]
(2)压缩模块对于事件段和平稳段采用不同的压缩处理方法，其中，对于事件段数据，原样保留；对于平稳段数据，在设备运行功率曲线变化幅度较大的时段用相对密集的分区，曲线变化幅度较小的时段则用相对稀疏的分区，对各分区内的数据进行符号化的压缩表示；
[0050]
(3)储存与传输模块将电数据采集终端(如智能电表)在本地完成压缩的数据进行储存，并通过通信网络将压缩后的数据信息回传至远程主站；
[0051]
(4)分段重构模块在远程主站按照事件段与平稳段发生的时间顺序依次进行分段重构；
[0052]
(5)对外交互功能模块实现本系统与外界进行数据信息交互，诸如包括(但不限于)展示和输出重构后的完整的用电功率波形曲线、结合源荷设备监测数据的采样频率得到每一个源荷设备监测数据对应的时刻(即事件发生的起止时间)和每个事件段对应的用电功率波形曲线(即事件波形)。
[0053]
如图2所示，利用由上述5个功能模块构成的系统实现基于分段符号表示的多能源荷数据在线压缩与重构方法，包括以下步骤：
[0054]
步骤1、按照采样频率采样得到源荷设备监测数据，使用非侵入式负荷识别领域的事件检测方法对源荷设备监测数据进行事件检测，并将源荷设备监测数据划分为事件段和平稳段，其中，所述平稳段是指事件检测过程中时间跨度大于一定长度，且段内任意相邻样本点之间功率差小于指定阈值的区段，平稳段之外的区段为事件段；
[0055]
对功率秒数据进行逐点“扫描”，当扫描点与后一点的功率差的绝对值大于预定义阈值，|p
i-p
i 1
|＞ε，其中pi是扫描点的功率值，p
i 1
是扫描点的后一点的功率值，ε是预定义的功率差阈值。则将该扫描点视为“变点”。从而通过检测变点的方式将源荷设备监测数据划分为事件段和平稳段交替的诸多区段。其中，平稳段要求该过程没有功率变点，且其时间长度大于预定义阈值。事件段对应的就是一个事件的暂态过程，如图3示意。
[0056]
判断待压缩数据属于事件段还是平稳段，若属于事件段，则事件段的数据以双精度浮点数的形式原样储存并回传至远程主站，否则进入步骤3。
[0057]
步骤3、使用不规则时间分区sax方法来压缩所述平稳段的源荷设备监测数据。
[0058]
首先，对于长度为l的平稳段的原始有功功率时间序列，计算对应的差分时间序列{γ
l
}，γ
l
＝|p
l-p
l 1
|，其中l＝1,2,
…
,l-1，对差分时间序列{γ
l
}进行归一化处理得到其概率密度函数(pdf)，进一步构造对应的累积分布函数(cdf)，以表示设备运行的整体变化。在此基础上，依据cdf曲线的(纵坐标)概率等分位点在时间轴上的投影划分时间区间，所有投影点构成时间分区断点序列《c1,c2,
…
,cz,
…
,cz》，其中z为预先设定的时间分区数。接下来，对每个时间分区的功率幅度进行符号化表示，符号表示数目为n时，高斯分布分位点序列为《β1,β2,
…
,βn,
…
,β
n-1
》，该序列将时间序列的幅值划分为n个区间《-∞,β1》,《β1,β2》,
…
,《β
n-1
, ∞》，本发明中，将各区间分别用符号“1”,“2
”…
,“n”来表示。具体做法是，先依据式(1)对功率进行标准化处理，再计算各时间分区内的功率数据均值(对应分断点c
z-1
到cz之间的时间分区)，最后根据均值落入幅值区间的位置对相应时间分区内的数据进行符号化表示，如式(2)。图4给出了标准化处理后的有功功率时间序列曲线及其对应的cdf曲线示例。
[0059][0060]
式(1)中，p
t
′
是标准化处理后的功率幅值，p
t
是原始功率幅值，和σ分别是该平稳段整体时间序列的均值和标准差。
[0061][0062]
式(2)中，是分断点c
z-1
到cz之间的时间分区内源荷设备监测数据的符号表示结果，βn是第n个高斯分布分位点。
[0063]
完成了所述平稳段的源荷设备监测数据的数据压缩，通过通信网络将压缩后的数据信息回传至远程主站，对于平稳段数据，由于时间分区不规则，需要用整型数据记录每个分区断点的位置，各占2个字节。每个符号化表示后的字符以ascii码的形式进行储存，占1个字节。此外，还需以双精度浮点数的形式回传平稳段的均值和标准差。
[0064]
步骤4、远程主站按照事件段与平稳段发生的时间顺序依次进行分段重构，得到完整的重构后的用电功率数据，并结合源荷设备监测数据的采样频率得到每一个源荷设备监测数据对应的时刻。
[0065]
判断待重构数据属于事件段还是平稳段，若属于事件段，则进入步骤4-1)，否则进入步骤4-2)。
[0066]
4-1)对于事件段，读取回传的原始源荷设备监测数据即可，无需进行其它处理。
[0067]
4-2)对于平稳段，需要通过回传数据信息中的平稳段整体时间序列的均值、标准差及符号表示结果和每个时间分区的位置记录进行逐段重构。
[0068]
对于平稳段，根据步骤3所介绍的不规则时间分区sax方法进行数据重构。对于第i个平稳段，按照式(3)计算第z个时间分区内的源荷设备监测数据重构值时间分断点c
i,z-1
至c
i,z
之间每个采样点的设备运行功率重构值均为c
i,z
对应第z个时间分区终点时标；
[0069][0070]
式(3)中，和分别是第i个平稳段中第z个时间分区的功率符号表示所在区间的下界值和上界值，和σi分别是第i个平稳段时间序列的均值和标准差，它们是根据上式(2)查表得到的。
[0071]
以图5为例，对于第1个平稳段，基于回传的时间分区断点序列《c
1,1
,c
1,2
,c
1,3
,c
1,4
,c
1,5
》、符号表示序列均值和标准差σ1，根据式(3)可计算得到从而第1个采样点至c
1,1
的时间区域内源荷设备监测数据重构值均为以此类推，c
1,4
至c
1,5
时间区域内源荷设备监测数据重构值均为
[0072]
第1个平稳段重构结束后，对第1个事件段进行重构，即依次读取回传的该事件段原始功率值，直至事件段结束。重复上述过程对平稳段和事件段交分段重构，便可得到完整
的重构功率曲线。
[0073]
尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可做出很多变形，这些均属于本发明的保护之内。