基于深度学习和注意力的台区运行状态评估方法及系统与流程

1.本发明属于电力信息处理的技术领域，尤其涉及基于深度学习和注意力的台区运行状态评估方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.随着智能电网的深入发展，用户对电能质量的要求也不断提高。部分台区由于配电网结构复杂、规模巨大、不确定因素较多等因素的影响，无法保证用户用电的质量。这些问题如果没有得到及时发现和解决，会对用户的用电体验造成很大的影响。如何准确评估台区的运行状态，为台区科学管理提供决策支撑，是需要解决的一个关键问题。
4.在对台区进行运行状态评估时，面临着一些问题和挑战，包括：
5.台区运行中产生大量的数据、指标等，这些运行数据从不同维度表征台区的运行状态，这些运行数据具有不同的物理意义，具有不同的含义，如何选择合适的运行数据对台区运行状态进行评估，是需要解决的首要问题。
6.另外，影响或表征台区运行状态的运行数据之间存在着复杂的关联关系，同时，这些运行数据影响或表征台区运行状态的重要程度不同，这些都对台区运行状态评估带来了困难。
7.同一运行数据在台区运行的不同时刻，表征着台区运行的运行状态，不同时刻运行数据对台区运行状态的影响权重是不同的。为实现对台区运行状态的准确评估，需要准确度量不同时刻不同因素的影响程度。


技术实现要素：

8.为克服上述现有技术的不足，本发明提供了一种基于深度学习和注意力的台区运行状态评估方法，能够确保台区运行状态评估的准确性。
9.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
10.第一方面，公开了一种基于深度学习和注意力的台区运行状态评估方法，包括：
11.获取表征台区运行状态的运行数据序列及影响台区运行的潜在影响因素序列数据；
12.基于所获取的数据进行特征提取，提取与台区运行状态评估变化关联度大于预设关联度阈值的特征，抽取得到与台区运行状态变化的相关的状态上下文特征；
13.基于状态上下文特征进行联合分布嵌入，获得联合嵌入表征；
14.基于联合嵌入表征进行融合注意力机制的深度学习模型训练，获得评估模型，基于该模型进行台区运行状态评估。
15.进一步的技术方案，基于所获取的台区运行数据序列数据及潜在影响因素序列数据，首先进行数据预定义，然后进行数据规范化处理，接着进行特征相关统计量计算，基于
计算的统计量获取筛选特征，基于筛选特征获得与台区状态变化相关的状态上下文特征。
16.进一步的技术方案，针对在给定时间区间范围的台区运行状态序列数据和各个潜在影响因素的序列数据，基于person相关选择影响台区运行状态评估变化的特征选择，消除特征的冗余并提取与台区运行状态评估变化高关联度的特征，在台区运行过程中，筛选特征与台区运行状态评估之间的相关统计量随着时间的变化而改变。
17.进一步的技术方案，通过公开数据服务，如天气预报网等，采集台区潜在影响因素序列数据，包括温度、雷雨、风力及雾霾影响因素；
18.对采集的上述影响因素数据进行向量化，转换为对应的影响因素向量，在一个时间间隔内的变化可构成一个轨迹数据。
19.进一步的技术方案，所述台区运行数据序列获取时，首先获得台区在某时刻产生的运行向量，以及其在一个时间区间内的变化可构成运行数据变化的轨迹数据。
20.进一步的技术方案，所述特征提取的具体过程是：
21.针对n个不同的台区，定义任一台区的运行状态向量变化，以及其对应的状态上下文标识；
22.对上述台区运行状态向量进行规范化处理；
23.给定一个包含n个台区的样本集合，对每一个样本基于person相关计算其与上下文特征中不同影响因素的相关度；
24.设置阈值，抽取person相关系数超过阈值的某影响因素，将相关统计量大于阈值的影响因素作为筛选特征，基于筛选特征数据，获得抽取的特征。
25.进一步的技术方案，构建台区运行状态的联合分布嵌入表征的过程是：
26.获取台区运行状态向量序列数据及上下文特征数据，将特征数据映射为索引表示，构建特征
‑
索引映射矩阵，得到对应的低维稠密的向量集合；
27.基于低维特征向量集合，构建由输入门、候选记忆单元、输出门和遗忘门组成的长短期记忆网络；
28.基于构建的长短期记忆网络，计算出一系列正向隐状态；
29.基于长短期记忆网络的隐状态数据，采用数据加权求和获取最终台区运行状态向量和上下文状态向量的组合隐状态，从而获得台区运行状态的联合分布嵌入表征。
30.进一步的技术方案，基于联合嵌入表征进行融合注意力机制的深度学习模型训练，以不同台区的运行状态向量序列数据和上下文特征向量序列数据的嵌入表征作为输入，通过注意力机制，基于特征之间相互影响以及特征内部之间时间因素影响复杂关联关系的考虑进行协同建模。
31.进一步的技术方案，基于联合嵌入表征进行融合注意力机制的深度学习模型训练，训练过程为：
32.利用台区运行状态向量序列数据及状态上下文特征，对其进行联合嵌入表征；
33.将得到的联合嵌入表征输入到双向长短期记忆网络中进行训练，其得到隐藏状态；
34.对于隐藏状态，通过attention机制进行学习，并通过softmax函数得到目前时刻台区的二元运行状态良好、糟糕的概率；
35.通过不断迭代，直到模型收敛，或达到最大训练次数。
36.进一步的技术方案，针对某台区某一时间间隔内的运行状态向量序列和上下文序列，得到联合表征，然后输入评估模型，得到台区在此时间间隔结束时的运行状态。
37.第二方面，公开了一种基于深度学习和注意力的台区运行状态评估系统，包括：
38.特征提取模块，被配置为：基于所获取的数据进行特征提取，提取与台区运行状态评估变化关联度大于预设关联度阈值的特征，抽取得到与台区运行状态变化的相关的状态上下文特征，获取的数据为台区运行状态序列数据及潜在影响因素序列数据；
39.联合分布嵌入模块，被配置为：基于状态上下文特征进行联合分布嵌入，获得联合嵌入表征；
40.融合注意力机制的深度学习模块，被配置为：基于联合嵌入表征进行融合注意力机制的深度学习模型训练，学习台区运行状态序列数据和上下文特征的联合嵌入表征，获得评估模型；
41.台区运行状态评估模块，基于给定的台区运行状态序列和上下文状态序列，输入至评估模型，输出在序列结束时的台区运行状态评估结果。
42.以上一个或多个技术方案存在以下有益效果：
43.本发明通过基于深度学习的方法自动抽取与台区运行相关的特征，并通过注意力机制，实现对特征之间相互影响以及特征内部之间时间因素影响等复杂关联关系的协同建模，确保台区运行状态评估的准确性。
44.本发明通过对台区运行情况的分析，提取与台区运行状态评估变化相关的特征，将其作为台区运行状态评估的影响因素，将其与台区运行状态序列作为联合嵌入表征，以更好地表征台区运行状态的真实情况。
45.本发明通过双向长短期记忆网络深度学习方法，自动抽取与台区运行状态评估相关的特征，减少人工特征工程的不完备性。
46.本发明通过融合注意力机制，挖掘台区运行不同状态序列间相互影响，以及特征内部之间时间因素影响等复杂关联关系，提高台区运行状态评估的准确性。
47.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
48.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
49.图1为本公开实施例提供的基于深度学习和注意力的台区运行状态评估方法的整体流程图；
50.图2为本公开实施例提供的基于relief算法的台区运行状态评估相关联的特提取流程图；
51.图3为本公开实例提供的台区运行状态序列数据与运行上下文特征序列数据的联合嵌入表征流程图；
52.图4为公开实施例提供的基于深度学习和注意力机制的台区运行状态评估生成图；
53.图5为本公开实施例提供的基于深度学习和注意力机制的台区运行状态评估生成
装置结构示意图。
具体实施方式
54.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
55.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
56.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
57.实施例一
58.如图1所示，本实施例公开了基于深度学习和注意力的台区运行状态评估方法，首先接收台区运行数据序列数据等运行状态信息和潜在影响台区运行状态评估的上下文特征序列数据，提取与台区运行状态评估变化关联度大于预设关联度阈值的特征，得到与台区运行状态变化相关的特征；
59.基于与台区运行状态评估变化相关的上下文特征，基于长短期记忆网络，构建台区运行状态的联合嵌入表征；
60.结合双向长短期记忆网络和注意力机制，构建台区运行状态评估模型，输入台区运行状态序列数据及其联合表征，输出为台区运行状态评估结果，对双向长短期记忆网络和注意力机制进行训练；
61.基于训练后的台区运行状态评估模型，输入台区运行的状态序列和上下文序列，得到台区运行状态评估。
62.具体步骤包括：
63.步骤a：采集台区运行的相关信息，包含台区运行中接收到的台区运行数据序列及台区设备运行环境数据，对获取的序列数据进行预处理，提取台区运行状态评估相关的特征数据。具体地，基于某台区为应用实例，将该台区某时间间隔内的台区运行的序列状态数据及台区运行的上下文数据作为训练样本。
64.特征提取的一般过程为：
65.a1.分析台区运行的各种影响因素。通过专家分析，从公开数据服务，如天气预报网等，得到如下潜在影响因素：温度、雷雨、风力、雾霾等。
66.表1台区运行的部分潜在影响因素
[0067][0068]
本发明对表1中的影响因素进行数据收集，并对其进行向量化，转换为对应的影响因素向量。对某台区c
x
，某时刻t
i
影响因素上下文可标识为
[0069][0070]
其在一个时间间隔[t
i
,t
j
]内的上下文变化可构成一个影响因素上下文序列，即轨迹数据
[0071]
a2.台区运行状态数据收集及预处理。
[0072]
为简便起见，对某台区c
x
，假定其在某时刻t
i
产生的运行状态向量为其在一个时间区间内的变化可构成状态变化的轨迹数据即台区状态向量序列为：
[0073][0074]
对于该台区，其评估状态序列为
[0075][0076]
a3.对不同台区的状态向量序列及对应的上下文序列进行规范化处理，进行影响因素的特征选择，消除特征的冗余并提取与台区运行状态评估变化高度关联的特征。
[0077]
其中，对获取的台区状态向量序列进行预处理，包括缺失值处理、数据归一化，并采用卡方检验进行简单的相关性分析，消除重复影响因素及因子选择的任意性，降低问题的复杂度，从而消除台区运行状态评估影响因素特征的冗余。
[0078]
针对在时间区间范围[t
i
,t
j
]的台区状态向量序列和各个潜在影响因素的变化基于person相关选择影响台区运行状态评估变化的特征选择，消除特征的冗余并提取与台区运行状态评估变化高关联度的特征，在台区运行过程中，筛选特征与台区运行状态评估之间的相关统计量随着时间的变化而改变。
[0079]
具体地，如图2所示，所述步骤a3中进行影响台区运行状态评估的特征选择的一般生成过程为：
[0080]
a3.1.假定有n个不同的台区，第x个台区的状态向量变化定义为如公式(2)所示，其对应的状态上下文如公式(1)所示。
[0081]
a3.2.对台区状态向量进行规范化处理，采用min
‑
max标准化方法进行归一化处理，特征数据取值为[0,1]。
[0082]
a3.3.给定一个包含n个台区的样本集合对每一个样本基于person相关计算其与上下文特征中不同影响因素的相关度。
[0083]
a3.4.设置阈值τ，抽取person相关系数超过阈值τ的某影响因素将相关统计量大于阈值τ的影响因素作为筛选特征，记为基于选择数据，抽取的上下文特征数据为：
[0084][0085]
步骤b：
[0086]
基于与台区运行状态变化相关的上下文特征，构建台区运行状态序列的联合分布嵌入表征，如图3所示，其构建台区运行状态的联合分布嵌入表征的一般过程为：
[0087]
b1.基于步骤a获取台区运行状态向量序列数据及抽取的上下文特征数据采用embedding层将特征数据映射为索引表示，构建特征
‑
索引映射矩阵a，通过embedding映射，得到对应的低维稠密的向量集合v＝{v
i
,v
i 1
,
…
,v
j
}。
[0088][0089]
式中，k为embedding层的维度，k＝j
‑
i，a∈r
|c|
·
k
表示特征映射矩阵，c为中相关影响因素的个数。φ为针对台区运行状态数据与上下文特征数据的聚合函数，可以采用不同的聚合函数。
[0090][0091][0092][0093]
b2.基于低维特征向量集合v，构建由输入门、候选记忆单元、输出门和遗忘门组成的长短期记忆网络lstm，模型构建原理过程如下：
[0094]
f
t
＝sigmoid(w
f
·
[h
t
‑1,v
t
] b
f
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0095]
i
t
＝sigmoid(w
i
·
[h
t
‑1,v
t
] b
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0096]
c
t
＝tanh(w
c
·
[h
t
‑1,v
t
] b
c
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0097]
c
t
＝f
t
×
c
t
‑1 i
t
×
c
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0098]
o
t
＝sigmoid(w
o
·
[h
t
‑1,v
t
] b
o
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0099]
h
t
＝o
t
×
tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0100]
式中，v
t
表示t时刻的输入向量，h
t
‑1表示上一个时刻的输出向量，{w
f
,w
i
,w
c
,w
o
}为对应单元的权重系数矩阵，{b
f
,b
i
,b
c
,b
o
}为对应单元的偏移向量，sigmoid为激活函数，式(9)为遗忘门数据处理过程，t时刻遗忘门值由v
t
和h
t
‑1计算获取，旨在对数据记录进行保留或遗弃；式(10)是以sigmoid函数激活w
i
·
[h
t
‑1,v
t
] b
i
细胞状态的值，式(11)是获取候选记忆单元的值；式(12)是以f
t
、i
t
对候选记忆单元c
t
‑1、c
t
进行取值调节；式(13)和式(14)是在t时刻由h
t
‑1和v
t
进行的内部循环和更新，从而获取长短期记忆网络lstm最后的隐状态的输出h
j
；
[0101]
基于构建的lstm，lstm读取从v
i
到v
j
序列计算出一系列正向隐状态
[0102]
b3.基于长短期记忆网络的隐状态数据，采用数据加权求和获取最终台区运行状态向量和上下文状态向量的组合隐状态h
j
，即台区运行状态向量和上下文状态向量的联合嵌入表征。
[0103]
台区c
x
运行状态的联合分布嵌入表征则为将其表征为：
[0104][0105]
式中，
[0106]
步骤c：基于深度学习和注意力机制，构建台区运行状态评估学习模型，以不同台区的运行状态向量序列数据和上下文特征向量序列数据的嵌入表征作为输入，通过注意力机制，实现对特征之间相互影响以及特征内部之间时间因素影响等复杂关联关系的考虑和协同建模。如图4所示，基于深度学习和注意力机制的训练过程为：
[0107]
c1.利用台区运行状态向量序列数据及状态上下文特征基于步骤b对其进行联合嵌入表征，得到
[0108]
c2.将得到的联合嵌入表征输入到双向长短期记忆网络中进行训练，其得到隐藏状态{h
ti
,h
ti 1
,
…
,h
tj
}。
[0109]
c3.对于隐藏状态{h
ti
,h
ti 1
,
…
,h
tj
}，通过attention机制进行学习，并通过softmax函数得到目前时刻t
j
台区c
x
的二元运行状态良好(good,g)、糟糕(bad,b)的概率，输出为status。
[0110]
c4.不断迭代，直到模型收敛，或达到最大训练次数num。
[0111]
步骤d：
[0112]
通过基于深度学习和注意力机制的台区运行状态评估模型，输入某台区c
x
某一时间间隔内的运行状态向量序列和上下文序列，得到联合表征，然后输入台区运行状态评估模型，得到台区在此时间间隔结束时的运行状态。其一般处理过程为：
[0113]
d1.设台区c
x
运行状态向量序列为和上下文序列将其输入到联合嵌入模块中，得到联合嵌入表征
[0114]
d2.将联合嵌入表征输入到台区运行状态评估模块中，得到台区c
x
在t
j
的评估evaluation。
[0115]
如图5所示，本实施例提供了一种基于深度学习和注意力的台区运行状态评估装置，包括：
[0116]
特征提取模块，其用于从潜在影响因素序列数据中提取与台区运行状态序列数据变化关联度大于预设阈值的特征；
[0117]
联合分布嵌入模块，其用于将台区运行状态序列数据与其相关的上下文特征进行联合表征；
[0118]
融合注意力机制的深度学习模块，其用于学习台区运行状态序列数据和上下文特征的联合嵌入表征；
[0119]
台区运行状态评估模块，其用于基于给定的台区运行状态序列和上下文状态序列，输出在序列结束时的台区运行状态评估，该评估结果可用于提示管理者进行必要的介入提醒。
[0120]
在另一实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如图1所示的基于深度学习和注意力的台区运行状态评估方法中的步骤。
[0121]
在又一实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1所示的基于深度学习和注意力的台区运行状态评估方法中的步骤。
[0122]
以上实施例的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
[0123]
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
[0124]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。