一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

去噪模型训练方法、装置、计算机设备和存储介质与流程

2023-01-15 10:24:35 来源:中国专利 TAG:


1.本技术涉及电力监测技术领域,特别是涉及一种去噪模型训练方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术:

2.随着电力监测技术领域的发展,出现了电力监测数据去噪技术,该技术通过去噪模型检测出电力监测数据当中的噪声数据并删除该噪声数据。
3.然而,上述技术方案中,上述去噪模型不可避免地会把电力监测数据当中的一部分非噪声数据,当作噪声数据进行删除,相当于抹去了一部分电力监测数据原本的信息,使得电力监测数据的去噪不够准确。


技术实现要素:

4.基于此,有必要针对上述技术问题,提供一种能够准确去除电力监测数据噪声数据的去噪模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面,本技术提供了一种去噪模型训练方法。所述方法包括:获取不同数据传输通道相同测点的包含有噪声数据的多个电力监测样本数据,并根据所述多个电力监测样本数据,得到样本噪声数据,以及电力监测样本均值数据;将所述多个电力监测样本数据中的目标电力监测样本数据,以及所述样本噪声数据输入至待训练的去噪模型;通过所述去噪模型的第一分支,生成第一子预测噪声数据,以及通过所述去噪模型的第二分支,得到所述目标电力监测样本数据对应的去噪数据;获取第二子预测噪声数据,并将所述第一子预测噪声数据以及所述第二子预测噪声数据合并,得到预测噪声数据;基于所述去噪数据与所述预测噪声数据,得到电力监测预测数据;利用所述第一子预测噪声数据与所述样本噪声数据,得到第一损失值,以及利用所述电力监测预测数据与所述电力监测样本均值数据,得到第二损失值;利用所述第一损失值以及所述第二损失值对所述待训练的去噪模型进行训练,得到训练完成的去噪模型。
6.在其中一个实施例中,所述第一子预测噪声数据服从期望值为零的目标正态分布;所述通过所述去噪模型的第一分支,生成第一子预测噪声数据,包括:通过所述第一分支,生成多个候选第一子预测噪声数据;所述多个候选第一子预测噪声数据分别服从期望值为零,且方差值不同的多个正态分布;从所述多个候选第一子预测噪声数据中,随机选择一个候选第一子预测噪声数据作为所述第一子预测噪声数据。
7.在其中一个实施例中,所述利用所述第一子预测噪声数据与所述样本噪声数据,得到第一损失值,包括:获取所述第一子预测噪声数据对应的采样值;基于所述样本噪声数据,以及所述采样值,得到所述样本噪声数据对应的实际噪声数据与所述第一子预测噪声数据的第一差异程度;将所述第一差异程度作为所述第一损失值。
8.在其中一个实施例中,所述通过所述去噪模型的第二分支,得到所述目标电力监测样本数据对应的去噪数据,包括:通过所述第二分支,去除所述目标电力监测样本数据中的噪声数据,得到所述目标电力监测样本数据对应的去噪数据。
9.在其中一个实施例中,所述利用所述电力监测预测数据与所述电力监测样本均值数据,得到第二损失值,包括:获取所述电力监测样本均值数据与所述电力监测预测数据之间的第二相似程度;根据所述第二相似程度,得到所述第二损失值。
10.在其中一个实施例中,所述利用所述第一损失值以及所述第二损失值对所述待训练的去噪模型进行训练,得到训练完成的去噪模型,包括:利用所述第一损失值以及所述第二损失值对所述待训练的去噪模型进行训练,直到所述第一损失值为最小值且第二损失值为最小值时,得到训练完成的去噪模型。
11.在其中一个实施例中,所述得到训练完成的去噪模型之后,还包括:获取待去除噪声的电力监测数据,并将所述待去除噪声的电力监测数据输入至所述去噪模型;通过所述去噪模型,得到去除噪声后的电力监测数据。
12.第二方面,本技术还提供了一种去噪模型训练装置。所述装置包括:样本数据获取模块,用于获取不同数据传输通道相同测点的包含有噪声数据的多个电力监测样本数据,并根据所述多个电力监测样本数据,得到样本噪声数据,以及电力监测样本均值数据;预测数据获取模块,用于将所述多个电力监测样本数据中的目标电力监测样本数据,以及所述样本噪声数据输入至待训练的去噪模型;通过所述去噪模型的第一分支,生成第一子预测噪声数据,以及通过所述去噪模型的第二分支,得到所述目标电力监测样本数据对应的去噪数据;获取第二子预测噪声数据,并将所述第一子预测噪声数据以及所述第二子预测噪声数据合并,得到预测噪声数据;损失值获取模块,用于基于所述去噪数据与所述预测噪声数据,得到电力监测预测数据;利用所述第一子预测噪声数据与所述样本噪声数据,得到第一损失值,以及利用所述电力监测预测数据与所述电力监测样本均值数据,得到第二损失值;去噪模型训练模块,用于利用所述第一损失值以及所述第二损失值对所述待训练的去噪模型进行训练,得到训练完成的去噪模型。
13.第三方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取不同数据传输通道相同测点的包含有噪声数据的多个电力监测样本数据,并根据所述多个电力监测样本数据,得到样本噪声数据,以及电力监测样本均值数据;将所述多个电力监测样本数据中的目标电力监测样本数据,以及所述样本噪声数据输入至待训练的去噪模型;通过所述去噪模型的第一分支,生成第一子预测噪声数据,以及通过所述去噪模型的第二分支,得到所述目标电力监测样本数据对应的去噪数据;获取第二子预测噪声数据,并将所述第一子预测噪声数据以及所述第二子预测噪声数据合并,得到预测噪声数据;基于所述去噪数据与所述预测噪声数据,得到电力监测预测数据;利用所述第一子预测噪声数据与所述样本噪声数据,得到第一损失值,以及利用所述电力监测预测数据与所述电力监测样本均值数据,得到第二损失值;
利用所述第一损失值以及所述第二损失值对所述待训练的去噪模型进行训练,得到训练完成的去噪模型。
14.第四方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取不同数据传输通道相同测点的包含有噪声数据的多个电力监测样本数据,并根据所述多个电力监测样本数据,得到样本噪声数据,以及电力监测样本均值数据;将所述多个电力监测样本数据中的目标电力监测样本数据,以及所述样本噪声数据输入至待训练的去噪模型;通过所述去噪模型的第一分支,生成第一子预测噪声数据,以及通过所述去噪模型的第二分支,得到所述目标电力监测样本数据对应的去噪数据;获取第二子预测噪声数据,并将所述第一子预测噪声数据以及所述第二子预测噪声数据合并,得到预测噪声数据;基于所述去噪数据与所述预测噪声数据,得到电力监测预测数据;利用所述第一子预测噪声数据与所述样本噪声数据,得到第一损失值,以及利用所述电力监测预测数据与所述电力监测样本均值数据,得到第二损失值;利用所述第一损失值以及所述第二损失值对所述待训练的去噪模型进行训练,得到训练完成的去噪模型。
15.第五方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:获取不同数据传输通道相同测点的包含有噪声数据的多个电力监测样本数据,并根据所述多个电力监测样本数据,得到样本噪声数据,以及电力监测样本均值数据;将所述多个电力监测样本数据中的目标电力监测样本数据,以及所述样本噪声数据输入至待训练的去噪模型;通过所述去噪模型的第一分支,生成第一子预测噪声数据,以及通过所述去噪模型的第二分支,得到所述目标电力监测样本数据对应的去噪数据;获取第二子预测噪声数据,并将所述第一子预测噪声数据以及所述第二子预测噪声数据合并,得到预测噪声数据;基于所述去噪数据与所述预测噪声数据,得到电力监测预测数据;利用所述第一子预测噪声数据与所述样本噪声数据,得到第一损失值,以及利用所述电力监测预测数据与所述电力监测样本均值数据,得到第二损失值;利用所述第一损失值以及所述第二损失值对所述待训练的去噪模型进行训练,得到训练完成的去噪模型。
16.上述去噪模型训练方法、装置、计算机设备、存储介质和计算机程序产品,通过获取不同数据传输通道相同测点的包含有噪声数据的多个电力监测样本数据,并根据多个电力监测样本数据,得到样本噪声数据,以及电力监测样本均值数据;将多个电力监测样本数据中的目标电力监测样本数据,以及样本噪声数据输入至待训练的去噪模型;通过去噪模型的第一分支,生成第一子预测噪声数据,以及通过去噪模型的第二分支,得到目标电力监测样本数据对应的去噪数据;获取第二子预测噪声数据,并将第一子预测噪声数据以及第二子预测噪声数据合并,得到预测噪声数据;基于去噪数据与预测噪声数据,得到电力监测预测数据;利用第一子预测噪声数据与样本噪声数据,得到第一损失值,以及利用电力监测预测数据与电力监测样本均值数据,得到第二损失值;利用第一损失值以及第二损失值对
待训练的去噪模型进行训练,得到训练完成的去噪模型。本技术通过利用第一子预测噪声数据与样本噪声数据,得到第一损失值,利用电力监测预测数据与电力监测样本均值数据,得到第二损失值,能够训练出准确去除电力监测数据噪声数据的去噪模型。
附图说明
17.图1为一个实施例中去噪模型训练方法的流程示意图;图2为一个实施例中生成第一子预测噪声数据的流程示意图;图3为一个实施例中获取第一损失值的流程示意图;图4为另一个实施例中去噪模型训练方法的流程示意图;图5为一个实施例中去噪模型训练装置的结构框图;图6为一个实施例中计算机设备的内部结构图。
具体实施方式
18.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
19.需要说明的是,本发明实施例所涉及的术语“第一\第二”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换,以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
20.在一个实施例中,如图1所示,提供了一种去噪模型训练方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:步骤s101,获取不同数据传输通道相同测点的包含有噪声数据的多个电力监测样本数据,并根据多个电力监测样本数据,得到样本噪声数据,以及电力监测样本均值数据。
21.其中,不同数据传输通道相同测点,指的是多个并列数据传输通道在同一位置的数据获取点,而多个电力监测样本数据为用于模型训练的电力设备的监测数据,实际上,不同数据传输通道相同测点获得的多个电力监测样本数据间的差异非常小,至于噪声数据为监测时,电力设备周围环境产生的噪声,该噪声数据包括可加性高斯噪声数据和其他可加性噪声数据,且其他可加性噪声数据占比很小,对电力监测样本数据做均值处理后可忽略不计。然后,样本噪声数据是基于多个电力监测样本数据计算得到的与上述噪声数据相关的数据,具体地,该样本噪声数据为上述噪声数据对应的正态分布的采样值。最后,电力监测样本均值数据为多个电力监测样本数据的平均值,由于多个电力监测样本数据间的差异不大,故可以用上述电力监测样本均值数据代表任意一个电力监测样本数据,实践中,用上述电力监测样本均值数据来训练模型会使得去噪模型更加准确。
22.具体地,从多个并列数据传输通道在同一位置的数据获取点获取多个电力监测样本数据,然后计算多个电力监测样本数据的平均值,得到电力监测样本均值数据。至于样本噪声数据,首先电力监测样本数据可以表示为g(t)=f(t) n
g ,其中,g(t)为电力监测样本
数据,f(t)为去噪数据,ng为噪声数据,ng服从正态分布,即ng~n(μ,σ),而n(μ,σ)=n(0,σ) μ,g(t1)-g(t2)=f(t1)-f(t2) n
g-ng,由于多个电力监测样本数据对应的多个去噪数据差异极小,所以f(t1)-f(t2)可以看作零,则g(t1)-g(t2)=n(μ,σ)-n(μ,σ)=√2 n(0,σ),由于常数项在拟合时可忽略,最后得到g(t1)-g(t2)=n(0,σ),其中g(t1)-g(t2)为正态分布n(0,σ)的取样值,若有n个电力监测样本数据,则取样值的数量为c
n2
个,上述样本噪声数据即为正态分布n(0,σ)的取样值。
23.步骤s102,将多个电力监测样本数据中的目标电力监测样本数据,以及样本噪声数据输入至待训练的去噪模型;通过去噪模型的第一分支,生成第一子预测噪声数据,以及通过去噪模型的第二分支,得到目标电力监测样本数据对应的去噪数据;获取第二子预测噪声数据,并将第一子预测噪声数据以及第二子预测噪声数据合并,得到预测噪声数据。
24.其中,目标电力监测样本数据为多个电力监测样本数据中的任意一个数据,而待训练的去噪模型为待训练的去除上述电力监测样本数据中的噪声数据的模型上述待训练的去噪模型包含有第一分支以及第二分支,两个模型训练分支,其中,第一分支可以拟合出正态分布,第二分支使用的是u-net模型中的encoder-decoder结构。至于去噪数据,指的是目标电力监测样本数据去除噪声后的数据。最后,预测噪声数据指的是目标电力监测样本数据中噪声数据对应的预测数据,预测噪声数据服从上述n(μ,σ)正态分布,即ng~n(μ,σ),而第一子预测噪声数据为上述ng~n(μ,σ)=n(0,σ) μ中的n(0,σ)部分,也即第一子预测噪声数据服从正态分布n(0,σ),至于第二子预测噪声数据为上述ng~n(μ,σ)=n(0,σ) μ中的μ部分,也就是说,第一子预测噪声数据为上述预测噪声数据的前半部分数据,第一子预测噪声数据服从n(0,σ)正态分布,而第二子预测噪声数据为上述预测噪声数据的后半部分数据,第一子预测噪声数据为一个常数变量μ。
25.具体地,获取多个电力监测样本数据中的任意一个数据作为目标电力监测样本数据,将目标电力监测样本数据以及样本噪声数据输入至待训练的去噪模型中,然后基于样本噪声数据,通过去噪模型的第一分支,生成第一子预测噪声数据,再基于目标电力监测样本数据,通过去噪模型的第二分支,得到目标电力监测样本数据对应的去噪数据,最后,将一常熟变量作为第二子预测噪声数据,并将第一子预测噪声数据以及第二子预测噪声数据合并,得到上述预测噪声数据。
26.步骤s103,基于去噪数据与预测噪声数据,得到电力监测预测数据;利用第一子预测噪声数据与样本噪声数据,得到第一损失值,以及利用电力监测预测数据与电力监测样本均值数据,得到第二损失值。
27.其中,电力监测预测数据为电力监测样本均值数据对应的预测值,而第一损失值为,第一子预测噪声数据对应的正态分布与样本噪声数据对应的正态分布之间的相对熵值,至于第二损失值为,电力监测预测数据与电力监测样本均值数据之间的传输距离。
28.具体地,将去噪数据与预测噪声数据合并,得到电力监测预测数据,然后利用第一子预测噪声数据与样本噪声数据,得到第一子预测噪声数据对应的正态分布与样本噪声数据对应的正态分布之间的相对熵值,即为第一损失值,然后,利用电力监测预测数据与电力监测样本均值数据,得到电力监测预测数据与电力监测样本均值数据之间的传输距离,即为第二损失值。
29.步骤s104,利用第一损失值以及第二损失值对待训练的去噪模型进行训练,得到
训练完成的去噪模型。
30.其中,训练完成的去噪模型为已完成训练的去噪模型。
31.具体地,利用第一损失值以及第二损失值对待训练的去噪模型进行训练,当第一损失值以及第二损失值符合预设条件时,得到训练完成的去噪模型。
32.上述去噪模型训练方法中,通过获取不同数据传输通道相同测点的包含有噪声数据的多个电力监测样本数据,并根据多个电力监测样本数据,得到样本噪声数据,以及电力监测样本均值数据;将多个电力监测样本数据中的目标电力监测样本数据,以及样本噪声数据输入至待训练的去噪模型;通过去噪模型的第一分支,生成第一子预测噪声数据,以及通过去噪模型的第二分支,得到目标电力监测样本数据对应的去噪数据;获取第二子预测噪声数据,并将第一子预测噪声数据以及第二子预测噪声数据合并,得到预测噪声数据;基于去噪数据与预测噪声数据,得到电力监测预测数据;利用第一子预测噪声数据与样本噪声数据,得到第一损失值,以及利用电力监测预测数据与电力监测样本均值数据,得到第二损失值;利用第一损失值以及第二损失值对待训练的去噪模型进行训练,得到训练完成的去噪模型。本技术通过利用第一子预测噪声数据与样本噪声数据,得到第一损失值,利用电力监测预测数据与电力监测样本均值数据,得到第二损失值,能够训练出准确去除电力监测数据噪声数据的去噪模型。
33.在一个实施例中,如图2所示,第一子预测噪声数据服从期望值为零的目标正态分布;通过去噪模型的第一分支,生成第一子预测噪声数据,包括以下步骤:步骤s201,通过第一分支,生成多个候选第一子预测噪声数据;多个候选第一子预测噪声数据分别服从期望值为零,且方差值不同的多个正态分布。
34.其中,候选第一子预测噪声数据服从随机产生的期望值为零的正态分布。
35.具体地,随机产生的期望值为零的多个正态分布。
36.步骤s202,从多个候选第一子预测噪声数据中,随机选择一个候选第一子预测噪声数据作为第一子预测噪声数据。
37.具体地,从期望值为零的多个正态分布中随机选择一个作为目标正态分布,第一子预测噪声数据服从目标正态分布。
38.本实施例中,通过随机产生期望值为零的多个正态分布,能够使得去噪模型第一分支准确生成第一子预测噪声数据。
39.在一个实施例中,如图3所示,利用第一子预测噪声数据与样本噪声数据,得到第一损失值,包括以下步骤:步骤s301,获取第一子预测噪声数据对应的采样值。
40.其中,采样值为第一子预测噪声数据对应的目标正态分布的采样值。
41.具体地,对第一子预测噪声数据对应的目标正态分布进行采样,得到上述采样值。
42.步骤s302,基于样本噪声数据,以及采样值,得到样本噪声数据对应的实际噪声数据与第一子预测噪声数据的第一差异程度。
43.其中,实际噪声数据为电力监测样本数据的真实噪声数据的前半部分数据,实际噪声数据可以理解为第一子预测噪声数据对应的第一子真实噪声数据。而第一差异程度为实际噪声数据与第一子预测噪声数据的相对熵值。
44.具体地,基于样本噪声数据,以及采样值,得到样本噪声数据对应的实际噪声数据
与第一子预测噪声数据的相对熵值,即为第一差异程度。
45.步骤s303,将第一差异程度作为第一损失值。
46.具体地,将第一差异程度即为上述第一损失值。
47.本实施例中,通过获取第一子预测噪声数据对应的采样值,进一步得到样本噪声数据对应的实际噪声数据与第一子预测噪声数据的第一差异程度,能够准确地得到上述第一损失值。
48.在一个实施例中,通过去噪模型的第二分支,得到目标电力监测样本数据对应的去噪数据,包括以下步骤:通过第二分支,去除目标电力监测样本数据中的噪声数据,得到目标电力监测样本数据对应的去噪数据。
49.具体地,通过第二分支,去除目标电力监测样本数据中的噪声数据,得到目标电力监测样本数据对应的去噪数据。
50.本实施例中,通过第二分支,能够准确得到目标电力监测样本数据对应的去噪数据。
51.在一个实施例中,利用电力监测预测数据与电力监测样本均值数据,得到第二损失值,包括以下步骤:获取电力监测样本均值数据与电力监测预测数据之间的第二相似程度;根据第二相似程度,得到第二损失值。
52.其中,第二相似程度为电力监测样本均值数据与电力监测预测数据之间的传输距离。
53.具体地,获取第二相似程度为电力监测样本均值数据与电力监测预测数据之间的传输距离,将传输距离作为第二损失值。
54.本实施例中,通过获取电力监测样本均值数据与电力监测预测数据之间的第二相似程度,能够准确获得第二损失值。
55.在一个实施例中,利用第一损失值以及第二损失值对待训练的去噪模型进行训练,得到训练完成的去噪模型,包括以下步骤:利用第一损失值以及第二损失值对待训练的去噪模型进行训练,直到第一损失值为最小值且第二损失值为最小值时,得到训练完成的去噪模型。
56.具体地,利用第一损失值以及第二损失值对待训练的去噪模型进行训练,直到第一损失值对应相对熵值最小时,且第二损失值对应传输距离为最优传输距离时,得到训练完成的去噪模型。
57.本实施例中,通过第一损失值以及第二损失值,能够使得训练出来的去噪模型准确去除电力监测数据的噪声。
58.在一个实施例中,得到训练完成的去噪模型之后,还包括以下步骤:获取待去除噪声的电力监测数据,并将待去除噪声的电力监测数据输入至去噪模型;通过去噪模型,得到去除噪声后的电力监测数据。
59.其中,待去除噪声的电力监测数据为直接获取的包含噪声数据的电力监测数据,去除噪声后的电力监测数据为真实的电力设备监测数据。
60.具体地,将待去除噪声的电力监测数据输入至去噪模型,通过去噪模型,得到去除噪声后的电力监测数据。
61.本实施例中,通过训练完成的去噪模型,能够准确地得到去除噪声后的电力监测
数据。
62.在一个应用实施例中,提供了一种不同测量通道相同测点的电力监测数据去噪方法,该方法通过训练去噪模型来实现电力监测数据的准确去噪,如图4所示,去噪模型的训练包括以下步骤:首先,同一测点的并列传输通道的每一个通道都有一串数据,并且每个通道受到的电力监测数据都可以近似看为相似的,这样n条通道,每条通道有m个值,就得到了一个(n*m)的数据矩阵。对于实际的数据和受到噪声的数据我们可以得到以下的数学公式,,其中f(t)为获得的电力监测数据,g(t)为包括可加性噪声和原数据的数据,nr为其他噪声,f2(t)为实际数据,为可加性高斯噪声,no为其他加性噪声。那么首先由于大部分引起的噪声都是可加性噪声,其他类型的噪声影响性并不大或者说是并不会一直作用于数据,并且我们所拥有的数据是多个数据同测点数据链,所以暂时可以把公式写成,其中,为均值后的监测数据。这样的话我们只需要知道g(t)和ng no就可以知道f2(t)的数据是多少了。又由于ng n
o 中可加性高斯噪声占得比例是最大的,n
o 的影响可以忽略掉,所以我们所需要知道的就是的分布函数,最终得到公式为 ,可以把g(t)看作监测数据。
63.第一步是拟合出高斯白噪声分布,从下面的ε开始,ε是一个服从均值为0,方差为1的高斯分布ε~(0,1),我们想获得的是图4中的z^,这是获得数据中的高斯白噪声的分布,我们设,根据高斯分布的运算方式,我们可以把公式拆为,这样的话我们就得到了z^(相当于n(μ,σ))和b(相当于μ),接下来我们使用重参数的方法使公式中的σ变为可训练参数,就得到了图4中的ε~(0,1)和σ。我们发现根据公式并不能直接获得我们所需要的,但是由于我们是同一测点的多个传输路线获得的数值,所以我们可以通过的方式得到,通过这种方式得到的分布数据链,数量为,其中t为每个数据链的数据长度,n为数据链的个数。这些数据链都是数据中含有的加性高斯白噪声的实际采样值,通过kl散度来进行损失函数计算,并通过重参数的方法将原有的分布参数进行修改迭代更新σ的值(使用kl散度的原因是因为不用担心两个分布没有交集,因为均值相同的两个分布一定有交集),是z分布逐渐接近真正的z^分布。
64.第二步是通过获得的高斯白噪声分布,通过输入原始的数据链(n*m的数据矩阵)和偏置b(这个偏置是为了补足前面高斯分布的均值),然后通过计算与的w(wasserstein)距离来迭代更新b和u-net中的参数,使之与实际的数据分布相近,上述公式中的是均值后的数据链(所有数据链每个时间点做均值之后得到n*1的矩阵),通过逐渐减小两个分布的距离来拟合偏置b和原数据f(t),最后得到基本去除了原本的高斯白噪声的原数据。
65.具体地,在获得了拟合数据的加性高斯分布后,我很还需要根据原数据和已有的加性高斯分布获得原数据的函数,这时候使用的就是u-net模型的encoder-decoder结构来
进行噪声去除,通过将原始数据放入u-net(将内置的卷积核计算方法全置成same,这样就不会存在两边有差的情况,也是后面优化后模型的效果)模型之后我们想要获得去噪之后的原始数据,这就需要我们对损失函数进行处理。原始数据放入的是n*m的数据矩阵,我们经过u-net模型去噪后获得的数据也是n*m的数据矩阵,之后在计算损失之前我们将每个数据都加入相同的偏差b值和我们获得的可加高斯噪声的采样值,通过计算我们加算后的数据与原始数据的w距离来拟合两个分布,由于加性高斯噪声的分布是固定的(上一步已经拟合过了,不需要进行二次拟合),所以迭代的是偏差b的值和去噪后数据,这样就实现了对去噪数据的迭代训练,得到了训练完成的去噪模型。
66.其中,w距离为最优传输距离:wassersteindistance,也称为推土机距离,w距离的定义是评估由p分布转换成q分布所需要的最小代价(移动的平均距离的最小值)

和挖东墙补西墙类似(把一个形状转换成另一个形状所需要做的最小工),所以经常查到w距离称为推土机距离。
67.;其中,代表和所有可能的联合概率分布的集合。代表了在中出现x同时在中出现y的概率,γ的边缘分布分别为和。在这个联合分布下可以求得所有x与y距离的期望,存在某个联合分布使这个期望最小,这个期望的下确界(infimum)就是、的wasserstein距离。直观上看,如果两个分布是两堆土,希望把其中的一堆土移成另一堆土的位置和形状,有很多种可能的方案。每一种方案可以对应于两个分布的一种联合概率分布,代表了在中从x的位置移动的土量到中的y位置,对所有的x按移动,则可将分布转化成。
68.最后通过训练完成的去噪模型,我们就获得了电力监测数据的去噪数据。
69.本实施例中,通过将电力监测数据放入模型中,获得了电力监测数据的去噪数据,并且由于没有进行滤波等模糊操作,所以原始数据的信息也会很好的保留下来,能够准确获取电力监测数据的去噪数据。
70.应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
71.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的去噪模型训练方法的去噪模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个去噪模型训练装置实施例中的具体限定可以参见上文中对于去噪模型训练方法的限定,在此不再赘述。
72.在一个实施例中,如图5所示,提供了一种去噪模型训练装置,包括:样本数据获取模块501、预测数据获取模块502、损失值获取模块503和去噪模型训练模块504,其中:
样本数据获取模块501,用于获取不同数据传输通道相同测点的包含有噪声数据的多个电力监测样本数据,并根据多个电力监测样本数据,得到样本噪声数据,以及电力监测样本均值数据;预测数据获取模块502,用于将多个电力监测样本数据中的目标电力监测样本数据,以及样本噪声数据输入至待训练的去噪模型;通过去噪模型的第一分支,生成第一子预测噪声数据,以及通过去噪模型的第二分支,得到目标电力监测样本数据对应的去噪数据;获取第二子预测噪声数据,并将第一子预测噪声数据以及第二子预测噪声数据合并,得到预测噪声数据;损失值获取模块503,用于基于去噪数据与预测噪声数据,得到电力监测预测数据;利用第一子预测噪声数据与样本噪声数据,得到第一损失值,以及利用电力监测预测数据与电力监测样本均值数据,得到第二损失值;去噪模型训练模块504,用于利用第一损失值以及第二损失值对待训练的去噪模型进行训练,得到训练完成的去噪模型。
73.在其中一个实施例中,预测数据获取模块502,进一步用于通过第一分支,生成多个候选第一子预测噪声数据;多个候选第一子预测噪声数据分别服从期望值为零,且方差值不同的多个正态分布;从多个候选第一子预测噪声数据中,随机选择一个候选第一子预测噪声数据作为第一子预测噪声数据。
74.在其中一个实施例中,损失值获取模块503,进一步用于获取第一子预测噪声数据对应的采样值;基于样本噪声数据,以及采样值,得到样本噪声数据对应的实际噪声数据与第一子预测噪声数据的第一差异程度;将第一差异程度作为第一损失值。
75.在其中一个实施例中,预测数据获取模块502,进一步用于通过第二分支,去除目标电力监测样本数据中的噪声数据,得到目标电力监测样本数据对应的去噪数据。
76.在其中一个实施例中,损失值获取模块503,进一步用于获取电力监测样本均值数据与电力监测预测数据之间的第二相似程度;根据第二相似程度,得到第二损失值。
77.在其中一个实施例中,去噪模型训练模块504,进一步用于利用第一损失值以及第二损失值对待训练的去噪模型进行训练,直到第一损失值为最小值且第二损失值为最小值时,得到训练完成的去噪模型。
78.在其中一个实施例中,去噪模型训练模块504,进一步用于获取待去除噪声的电力监测数据,并将待去除噪声的电力监测数据输入至去噪模型;通过去噪模型,得到去除噪声后的电力监测数据。
79.上述去噪模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
80.在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、
移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种去噪模型训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
81.本领域技术人员可以理解,图6中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
82.在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
83.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
84.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
85.需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
86.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
87.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
88.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献