一种合成电器指纹聚合数据的方法与流程

1.本发明属于非侵入式负荷监测技术领域，具体为一种合成电器指纹聚合数据的方法。


背景技术：

2.电表只能报告家庭总的电力负荷数据，因此如何推断特定设备的电力负荷、进行电力负荷分解是现阶段主要的研究目标，如何利用深度学习相关的方法来提升负荷分解的准确率是当前研究的热门。但非侵入式负荷监测非侵入式负荷监测任务使用的数据集有的只针对单一电器进行负载监控，有的聚合信息具有较强的分布性(例如集中电水壶、冰箱等电器)，针对这些数据集的建模手段具有针对性，鲁棒性较低，并且没有对电器进行一个统一的类别区分，相同类型电器如电脑一与电脑二在绝大数负载情况会出现较大差异。
3.当前缺少一种类型丰富的电器指纹聚合数据集来推动非侵入式负荷监测任务的前进，并且真实场景下负载数据收集的成本十分高，并且很多情况下还会产生很多无用测量，如设备暂停运行的零负载情形，因此如何以较低成本实现丰富的电器种类聚合数据获取是当前的主要问题之一。


技术实现要素：

4.本发明的目的在于提供一种合成电器指纹聚合数据的方法，以解决非侵入式负荷监测领域现有公共数据集中存在缺少统一标准化、最大并发负载数较少等的问题。
5.本发明提供的合成电器指纹聚合数据的方法，通过筛选现有公共数据集、进行归一化处理得到统一标准化的基础数据集，再从中筛选不同种类的电器进行指纹数据的聚合，产生多并发电器负载信号集，并且通过不同的电器组合产生不同的信号表示，最后划分训练、验证以及测试集以满足非侵入式负荷监测任务的数据需求。生成的聚合数据集对模型的训练效果同真实测量数据集相差无几，减少了真实场景下负载数据收集(有时还会产生很多无用测量，如零负载情况)的成本从而可以解决上述技术中存在的困难。
6.本发明提供的合成电器指纹聚合数据的方法，具体步骤为：
7.步骤1：选取公共数据集，作为最初的数据来源；
8.步骤2：对公共数据集进行归一化处理，确保不同测量环境下的电器负载信号可以进行合并；
9.步骤3：确定最终电器种类，合并不同数据集，得到基础数据集；
10.步骤4：确定最大并发负载数，设定不同电器组合数以及单一电器表示组合数的限制；
11.步骤5：合成聚合信号数据集，划分训练、验证以及测试集。
12.下面对各步骤作进一步的具体说明。
13.步骤1选取公共数据集，作为最初的数据来源。
14.首先明确电器指纹主要分为两个方面：
15.①
频采样：主要表现为电器稳态、瞬态的状态切换，以及持续负载状态下的信号波形；
16.②
低频采样：主要表现为均方根值(root
‑
mean
‑
squared，rms)，即有效电流、电压等相关信息，与均方根相关的电器指纹与设备的当前状态以及人为使用因素相关，难以被观测到，相当于是高频采样下的一种特殊情况。
17.本发明提出的合成电器指纹聚合数据的方法，主要是针对低频采样下的电器指纹数据进行聚合，利用归一化签名合成器合成想要的聚合数据，表示为：
18.sns：p
→
s
w
[0019][0020]
其中，p表示为基础数据集，s表示为聚合数据集，s
w
为最大并发负载电器数为w的聚合数据集；这里，所述低频采样，主要表现为均方根值(rms)，即有效电流、电压相关信息，与均方根相关的电器指纹与设备的当前状态以及人为使用因素相关，难以被观测到，相当于是高频采样下的一种特殊情况；高频采样主要表现为电器稳态、瞬态的状态切换，以及持续负载状态下的信号波形。
[0021]
步骤2对公共数据集进行归一化处理。
[0022]
步骤2.1：电压控制，舍弃电压总谐波失真超过阈值t
thd
的指纹数据；
[0023]
谐波是指电路中所含有的频率为基波的整数倍的电量，一般是指对周期性的非正弦电量进行傅里叶级数分解，其余大于基波频率的电路产生的电量，高次谐波的干扰是当前电力系统中影响电能质量的一大“公害”。聚合数据应是正常运作状态下的电器指纹数据，因此需要设置一个阈值t
thd
，确保电压总谐波失真较高(一般该谐波失真值大于0.1)的指纹数据不会被使用。谐波失真值的计算首先得到电压数据的傅里叶变换结果sf，然后计算sf平方和减去sf的初始值sf[0]并开根号，最后除以sf[0]得到失真值。
[0024]
步骤2.2：提取需要的波形区域，在每条数据的整个波形上，计算一个周期大小的滑动窗口均方根值，在均方根值高于激活阈值t
on
的指纹数据上应用二进制掩码，以便后续进行提取；
[0025]
该激活阈值t
on
是人为设定的值，针对整体数据的情况，查看电流与采样频率的大小关系进行确定的，其中均方根的计算首先根据波形的频率值除以基准频率50hz得到数据长，然该信号值电流的平方除以数据长得到均方根。
[0026]
步骤2.3：信号持续时间控制，删除负载信号持续时间小于t
sec
的数据，保留数据的持续时间四舍五入为整数值，以避免后续步骤的光谱泄漏；
[0027]
步骤2.4：频率标准化，利用librosa library(b.mcfee,c.raffel,d.liang,d.p.ellis,m.mcvicar,e.battenberg,and o.nieto,“librosa:audio and music signal analysis in python,”inproceedings of the 14th python in science conference,vol.8,2015.)提出的时间拉伸(time
‑
stretch)方法，将电流和电压的波形转换成参考频率f
ref
，并且波形是以f0/f
ref
倍数进行拉伸以避免波动，并匹配来自不用频率电网(如中国为50hz，美国为60hz)的指纹数据，其中，f0是实际的基准频率；
[0028]
步骤2.5：降采样，合理设置最终聚合数据的频率f
down
的值，将原始波形进行降采
样到频率f
down
以减少内存使用，并确保不会显著丢失信息；
[0029]
步骤2.6：缩放，将电压波形放大至基准电压v
ref
，当前的波形也依据上述步骤重新调整，以保持原有负载功耗。
[0030]
步骤3确定最终电器种类，合并不同数据集，得到基础数据集。
[0031]
经过步骤2归一化处理的公共数据集ds具有相同的电压、电流波形，由于不同数据集有不同的电器种类，因此需要确定最终的电器种类，依据需求设定电器标签集l
n
＝{l1，l2，
…
，l
n
}，表示该基础数据集p共包含n种不同的电器，合并过程可以表示为：
[0032][0033]
步骤4确定最大并发负载数，设定不同电器组合数以及单一电器表示组合数的限制。
[0034]
步骤4.1：确定最大并发负载电器数w，w为在持续时间间隔t
obs
内出现的设备标签数，且有：
[0035][0036]
其中|*|表示为*的基数；
[0037]
步骤4.2：s表示为共包含n种电器的聚合数据集，s
w
为最大并发负载电器数为w的聚合数据集；从n种电器中选择w种电器进行聚合，得到s
w
的理论最大可能数据数为num
comb
(w)；引入一个限制实际的电器组合数为：
[0038][0039]
不同w下的限制的设定依据：
[0040]
①
增加较小w(例如，w<n*0.3)组合的数，以实现模型更精确的单个电器指纹预测效果；
[0041]
②
减少较大w(例如，w>n*0.7)组合的数，以提高模型的分解能力；
[0042]
步骤4.3：记p
l
∈p(l∈l
n
)，|p
l
|≥1为仅有电器l的基础数据集，因此聚合数据集的每个组合数根据单个电器表示为：
[0043][0044]
同样针对num
repr
(w)，引入一个限制
[0045]
除此之外为确定具体的组合数，还需引入权重ω：
[0046][0047]
其中，pr(l
n
)＝u(1,l
n
)以实现不同电器在聚合数据集中的均匀分布；
[0048]
综上可知从单个l
w
获得的唯一聚合信号的数量为：
[0049][0050]
对于整个数据集，不同集合中repr(w)/comb(w)以两倍比率下降。
[0051]
步骤5合成聚合信号数据集，划分训练、验证以及测试集
[0052]
根据上述步骤处理数据后得到的聚合信号数据集s，数据统计有两种方式，一是依据不同电器组合得到的组合数comb(w)，二是依据单一电器表示的组合数repr(w)；s按照一定百分比(该百分比依照网络学习任务的目标来确定)划分成训练集s
train
、验证集s
val
以及测试集s
test
，以消除p中来自不同数据集之间独有的指纹数据缺失问题，一般训练集占据全部数据集一半以上，测试集所占百分比较高于验证集。其中s
train
为对不同并发负载数的集合s
w
间隔取用(如w＝10，取{2，4，6，8，10})所得。
[0053]
和现有技术相比，本发明的有益效果如下：
[0054]
本发明通过筛选现有公共数据集，然后进行归一化处理得到统一标准化的基础数据集，并从中筛选不同种类的电器进行指纹数据的聚合，产生多并发电器负载信号集，并且可以通过不同的电器组合产生不同的信号表示，最后划分训练、验证以及测试集以满足非侵入式负荷监测(非侵入式负荷监测)任务的数据需求。生成的聚合数据集对模型的训练效果同真实测量数据集相差无几，减少了真实场景下负载数据收集(有时还会产生很多无用测量，如零负载情况)的成本。
附图说明
[0055]
图1为本发明的合成电器指纹聚合数据方法的流程图。
具体实施方式
[0056]
以下结合附图和实施例对本发明的技术方案进行详细阐述。
[0057]
实施例：
[0058]
本发明提出一种合成电器指纹聚合数据的方法，其流程图如图1所示，可分为如下几个步骤：
[0059]
步骤1：选取公共数据集，作为最初的数据来源；
[0060]
步骤2：对公共数据集进行归一化处理，确保不同测量环境下的电器负载信号可以进行合并；
[0061]
步骤3：确定最终电器种类，合并不同数据集得到基础数据集；
[0062]
步骤4：确定最大并发负载数，设定不同电器组合数以及单一电器表示组合数的限制；
[0063]
步骤5：合成聚合信号数据集，划分训练、验证以及测试集。
[0064]
下面对各步骤作进一步的具体说明。
[0065]
1.选取公共数据集，作为最初的数据来源；
[0066]
首先明确电器指纹主要分为两个方面：
[0067]
②
频采样：主要表现为电器稳态、瞬态的状态切换，以及持续负载状态下的信号波形；
[0068]
②
低频采样：主要表现为均方根值(root
‑
mean
‑
squared，rms)，即有效电流、电压等相关信息，与均方根相关的电器指纹与设备的当前状态以及人为使用因素相关，难以被观测到，相当于是高频采样下的一种特殊情况。
[0069]
本文提出的一种合成电器指纹聚合数据的方法主要是针对低频采样下的电器指纹数据进行聚合，利用归一化签名合成器合成想要的聚合数据，表示为：
[0070]
sns：p
→
s
w
[0071][0072]
其中，p表示为基础数据集，s表示为聚合数据集，s
w
为最大并发负载电器数为w的聚合数据集；这里，所述低频采样，主要表现为均方根值(rms)，即有效电流、电压相关信息，与均方根相关的电器指纹与设备的当前状态以及人为使用因素相关，难以被观测到，相当于是高频采样下的一种特殊情况；高频采样主要表现为电器稳态、瞬态的状态切换，以及持续负载状态下的信号波形；
[0073]
构建p时，选取以rms形式为负载信号的公共数据集，并且数据集中具有多个单一电器的指纹数据。
[0074]
2.对公共数据集进行归一化处理；
[0075]
本示例中对whited(gao,j.,giri,s.,kara,e.c.,berg,m.&#233 2014.plaid:a public dataset of high
‑
resoultion electrical appliance measurements for load identification research:demo abstract.proceedings of the 1st acm conference on embedded systems for energy
‑
efficient buildings.memphis,tennessee:acm.)以及plaid(kahl,m.,haq,a.u.,kriechbaumer,t.&jacobsen,h.
‑
a.whited
‑
a worldwide household and industry transient energy data set.workshop on non
‑
intrusive load monitoring(nilm),2016proceedings of the 3rd international,2016)数据集进行归一化处理，两个数据集分别包含16类、55类设备，分别具有1343和1876个可用的电器指纹数据(每1个运行设备有1个记录)，都有15个常见的电器类别：烙铁、冰箱、笔记本电脑、洗衣机、吹风机、灯泡、加热器、风扇、冰箱、咖啡机、壶、水壶、手电筒、微波炉、真空吸尘器和空调。
[0076]
步骤2.1：电压控制，电压总谐波失真超过阈值t
thd
＝0.1的指纹数据将被舍弃；
[0077]
步骤2.2：提取需要的波形区域，在每条数据的整个波形上，计算一个周期大小的滑动窗口均方根值，在均方根值高于激活阈值t
on
＝0.1的指纹数据上应用二进制掩码，以便后续进行提取，需要的波形区域二进制掩码为1，无效部分为0；
[0078]
步骤2.3：信号持续时间控制，删除负载信号持续时间小于t
sec
＝1秒(s)的数据，保留数据的持续时间四舍五入为整数值，以避免后续步骤的光谱泄漏；
[0079]
步骤2.4：频率标准化，利用librosa library提出的时间拉伸(time
‑
stretch)方法，将电流和电压的波形转换成参考频率f
ref
＝50赫兹(hz)，并且波形是以f0/f
ref
倍数进行拉伸以避免波动，并匹配来自不用频率电网(如中国为50hz，美国为60hz)的指纹数据，其中f0是实际的基准频率；
[0080]
步骤2.5：降采样，合理设置f
down
＝4000赫兹(hz)的值确保不会显著丢失信息，将原始波形进行降采样到频率f
down
以减少内存使用；
[0081]
步骤2.6：缩放，电压波形被放大至基准电压v
ref
＝311伏特(v)，当前的波形也依据上述步骤重新调整，以保持原有负载功耗；
[0082]
whitd数据集中4个电器指纹数据被舍弃，plaid中的208个电器指纹数被舍弃。
[0083]
3.确定最终电器种类，合并不同数据集得到基础数据集；
[0084]
经过步骤2归一化处理的公共数据集ds具有相同的电压、电流波形，由于不同数据集有不同的电器种类，因此需要确定最终的电器种类，依据需求设定电器标签集l
n
＝{l1，l2，
…
，l
n
}，表示该基础数据集p共包含n种不同的电器，合并过程可以表示为：
[0085][0086]
4.确定最大并发负载数，设定不同电器组合数以及单一电器表示组合数的限制；
[0087]
步骤4.1：确定最大并发负载电器数w，w为在持续时间间隔t
obs
＝5秒(s)内出现的设备标签数，且有：
[0088][0089]
其中|*|表示为*的基数。
[0090]
步骤4.2：s表示为共包含n种电器的聚合数据集，s
w
为最大并发负载电器数为w的聚合数据集，因此从n种电器中选择w种电器进行聚合可得到s
w
的理论最大可能数据数为num
comb
(w)，但在很多情形下num
comb
(w)会非常大，因此引入一个限制实际的电器组合数为：
[0091][0092]
对于不同w下的限制的设定依据：
[0093]
①
增加较小w(w<n*0.3)组合的数，以实现模型更精确的单个电器指纹预测效果；
[0094]
②
减少较大w(w>n*0.7)组合的数，以提高模型的分解能力；
[0095]
步骤4.3：记p
l
∈p(l∈l
n
)，|p
l
|≥1为仅有电器l的基础数据集，因此聚合数据集的每个组合数还可以根据单个电器表示为：
[0096][0097]
同样针对引入一个限制除此之外为确定具体的组合数，还需要引入权重ω，其中pr(l
n
)＝u(1,l
n
)实现电器均匀分布出现：
[0098][0099]
所以从单个l
w
获得的唯一聚合信号的数量为：
[0100][0101]
对于整个数据集不同集合中repr(w)/comb(w)以两倍比率下降，s
train
中repr/comb{3，4，6，8，10}＝{12，12，6，3，3}，s
val
中repr/comb{1～10}＝{
‑
，2，2，2，1，1，1，1，1，1}，s
test
中repr/comb{1～10}＝{
‑
，6，6，6，3，3，3，1，1，1}，其中w＝1时最大电器负载组合数为1，同时运行的电器只为一个，因此不同电器组合数为就为电器数，不会出现repr相关的限制。
[0102]
5.合成聚合信号数据集，划分训练、验证以及测试集；
[0103]
根据上述步骤处理数据后得到的聚合信号数据集s，数据统计有两种方式，一是依据不同电器组合得到的组合数comb(w)，二是依据单一电器表示的组合数repr(w)。s按照一定百分比划分成训练集s
train
(60％)、验证集s
val
(10％)以及测试集s
test
(30％)，目的是为了消除p中来自不同数据集之间独有的指纹数据缺失问题，其中s
train
为对不同并发负载数的
集合s
w
间隔取用(如w＝10，取{3，4，6，8，10})所得。