基于时序神经网络的动态测量系统不确定度的评定方法

1.本发明属于可靠性分析技术领域，具体涉及基于神经网络的动态测量系统不确定度的评定方法。


背景技术：

2.gum《guide to the expression of uncertainty in measurement》建立了不确定度表示体系，对静态测量不确定度的评定已经有了一个很完整的测量框架。但对于动态测量系统，由于系统状态随时间发生变化，被测量也随着时间不断变化，不再满足使用gum作为评定不确定度方式的条件。于是推出的补充版《gum-s1》和《gum-s2》解决了不确定度表示指南在动态测量不确定度量化方面的难题，通过概率密度函数的引入还避免了对模型是线性还是非线性的讨论。
3.在此基础上，研究人员推出了一些动态不确定度的表示方法，比如贝叶斯方法、滤波器方法等。贝叶斯方法可以根据先验分布得到后验分布，结合各种因素，包括当前的动态测量数据、专家意见等预测未来某时刻的数据。但难点在于先验分布难以得到，并且后验分布通常难以计算，通常利用似然函数来逼近后验分布。研究人员提出了多种逼近贝叶斯分布的方法，比如dropout、变分分布等，这些方法大多计算量非常大。而线性滤波器方法难以处理动态测量系统中最为常见的非线性系统问题。
4.近年来，神经网络展现了在建模计算方面的强大映射能力，可以用来建模逼近任何线性以及非线性系统，但其可信赖程度依然值得考究。现有的神经网络不确定度评定方式主要有网络集成方法、贝叶斯方法、测试时间数据增强法、单一确定性方法等。本发明将神经网络强大的建模能力和量化不确定度能力应用到动态测量系统中，补充了动态测量系统不确定度利用神经网络建模的空缺。


技术实现要素：

5.本发明旨在补充利用时序神经网络方法对动态测量系统不确定度建模量化的空缺。
6.本发明解决其技术问题是通过以下方法解决的：
7.基于时序神经网络的动态测量系统不确定度的评定方法，包括以下步骤：
8.步骤s1，样本数据采集，基于已知的动态测量系统模型参数和建模过程，将动态测量系统的输入数据、输出数据作为训练数据；
9.步骤s2，数据处理，对训练数据进行预处理，调整每组输入和对应的输出数据为相同的维度和大小，对长序列输入信号进行时间维度切片重构；
10.步骤s3，神经网络建模；
11.在单个网络中构建两个独立的前馈神经网络结构，其中一个前馈神经网络结构为可处理时序信息的神经网络，用来输出估计值均值xn；另一个前馈神经网络为线性前馈神经网络，用来输出估计值方差σ2；
12.步骤s4，损失函数计算及网络训练；
13.采用mse损失函数，计算神经网络输出xn与真值x
t
的loss，将误差反向传递，利用随机梯度下降法进行优化逼近，通过最大化估计均值的后验分布训练单个网络；
14.步骤s5：神经网络集成；
15.将测试数据输入训练好的集成网络，分别量化数据不确定度和模型不确定度。
16.本发明提供的优选技术方案是：
17.所述的步骤s1具体为，批量采集m组动态时间相关信号x1、x2、x3...xm，每组时间相关的动态信号的频率相同，峰值不同，峰值出现的时间不同，作为动态测量系统的输入信号x
t
(t＝1,2,...n)是时间t的函数，时序长度为n；
18.在输入信号下，动态测量系统生成m组对应的系统输出信号y1、y2、y3...ym，每组输出信号为y
t
(t＝1,2,..,.n)；每个时间t的输出y
t
都服从正态分布，概率密度函数为η
t
(t＝1,2,...,n)，整个时间序列的联合概率密度函数编码为则动态测量系统输出序列的概率密度函数为：
[0019][0020]
匹配每组输入和输出信号作为样本数据集，其中k(k《m)组作为训练数据，其余作为测试数据；
[0021]
本发明提供的另外的优选技术方案是：其中，
[0022]
步骤s3中，利用可处理时序信息的神经网络对步骤s1的动态测量系统的反测量过程进行建模，动态测量系统的输出信号y
t
作为神经网络的输入信号yn(n＝1,2,...,n)，神经网络输出xn(n＝1,2,...,n)作为反测量动态测量系统的输入估计值，步骤s1动态测量系统的输入信号x
t
作为神经网络的输出真值。
[0023]
本发明提供的进一步的优选技术方案是：其中，
[0024]
所述的步骤s4具体为：
[0025]
由于动态测量系统每个时间t的输出y
t
都服从正态分布，概率密度函数为η
t
(t＝0,1,2,...,n)，整个时间序列的联合概率密度函数编码为则动态测量系统输出的概率密度函数
[0026][0027]
作为神经网络的数据先验分布p(yn)；
[0028]
(1)利用mse函数计算xn和x
t
的损失loss1；
[0029]
(2)根据贝叶斯定理，输入输出服从正态分布，且输入yn和θ都为变量，步骤s1的概率密度函数p(y|x)作为神经网络输入yn的已知数据先验分布，采用为yn附加高斯噪声的方案代替p(y|x)；
[0030]
神经网络建模为：
[0031]
p(x
t
|yn,θ)＝n(x
t
；xn,σ2)
ꢀꢀꢀ
(2)
[0032]
目的是得到真值x
t
的估计均值xn和方差σ2。最大化后验预测分布的似然函数：
[0033][0034]
其中n为时间序列长度，取似然函数的自然对数的负值作为loss2：
[0035][0036]
最后的总loss为：
[0037]
loss＝loss1 loss2
ꢀꢀꢀ
(5)
[0038]
对样本进行1000次训练或目标函数梯度不再下降则停止训练。
[0039]
本发明提供的最优选技术方案是：其中，
[0040]
所述的步骤s5具体为：
[0041]
输入测试数据，对步骤s5的每一个网络的输出进行保存并求样本均值和方差s2：
[0042][0043]
模型不确定度为总体方差：
[0044][0045]
根据gum以置信区间方法表示集成方法的模型不确定度，模型的不确定性主要是由模型的体系结构、训练过程和训练数据中代表性不足的区域引起的，取置信水平为95％，估计值表示为：
[0046][0047]
单个网络输出的数据不确定度u
1d
由输入信号yn的不确定度u
x
和网络参数θ的不确定度u
θ
两个不确定度分量组成，不确定度传播由对贝叶斯条件概率公式(2)求解实现；
[0048]
则神经网络输出xn的不确定度u
1d
就包含了输入信号yn和网络参数θ的不确定度；
[0049]
集成网络的数据不确定度是对每个网络符合正态分布的输出标准差σ＝u
1d
求平均值得到：
[0050][0051]
数据不确定度主要是由数据噪声引起的，取置信水平为95％，估计值表示为：
[0052][0053]
最后将模型不确定度和数据不确定度求和作为总不确定度:
[0054]ut
＝um udꢀꢀꢀ
(11)
[0055]
本发明的有益效果包括：
[0056]
1.采用可处理时序信息的神经网络方法对动态测量系统进行建模，不仅可以逼近线性系统，还能对非线性关系做出很好的映射，有很强的泛化能力。
[0057]
2.动态测量系统的输入和输出都有很强的时序依赖性，当前的输出既取决于当前输入，也受到过去输入的影响，传统神经网络的一一映射关系不适用于动态测量系统的建模。可处理时序信息的神经网络可以很好的将过去的信息记住，并且作用于当前的输出，和动态测量系统的机制有很好的相似性。
[0058]
3.本发明利用神经网络集成的方法量化估计值的不确定度，避免了传统方法中由于不确定度传播对于模型输入的依赖性而导致最终不确定度变化趋势和模型输入相同的情况。并且对于模型不确定度和数据不确定度进行独立评定。
附图说明
[0059]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0060]
图1为本发明所述方法的简易流程示意图；
[0061]
图2为本发明所涉及的动态测量系统输入、输出信号实例；
[0062]
图3为本发明集成神经网络建模的动态测量系统输入、输出信号；
[0063]
图4为本发明网络集成后的模型不确定度(a)和数据不确定度(b)；
[0064]
图5为本发明网络集成后的总不确定度。
具体实施方式
[0065]
下面将结合附图对本技术实施例中的技术方案进行清楚、完整地描述。
[0066]
如图1所描述的流程，本发明的基于时序神经网络的动态测量系统不确定度的评定方法，包括以下步骤：
[0067]
步骤s1，样本数据采集，基于已知的动态测量系统模型参数和建模过程，将动态测量系统的输入数据、输出数据作为训练数据；
[0068]
为了利用时序神经网络建模动态测量系统，需要动态测量系统的输入、输出数据作为训练数据。本发明引用了滤波器的方法建立了二阶线性时不变动态测量系统。如图2所示，动态测量系统输入为类高斯冲激信号，输出为连续衰减的系统响应信号。由于系统输入具有不可知性，神经网络建模的目的是从建立系统输出到系统输入的映射关系，从而逼近动态测量系统的反测量过程，并且量化输入估计值的不确定度。
[0069]
采集100组峰值不同、冲激时间不同，频率相同的类高斯冲激信号x1、x2、x3...x
100
经过iir滤波器建立的二阶动态测量系统输出的100组对应的响应信号y1、y2、y3...y
100
。其中90组作为训练数据，余下10组作为测试数据。
[0070]
步骤s2，数据处理，对训练数据进行预处理，调整每组输入和对应的输出数据为相同的维度和大小，对长序列输入信号进行时间维度切片重构；
[0071]
原始数据是超长时间序列信号x
t
(t＝1,2,...,2000)，经过在时间维度上进行切片重构的方式改变输入的维度。神经网络每次输入8个时间点的信号值，直至信号结束，避免了单个时间逐点处理带来的庞大计算量，提高了运算速度。
[0072]
步骤s3，神经网络建模；
[0073]
在单个网络中构建两个独立的前馈神经网络结构，其中一个前馈神经网络结构为可处理时序信息的神经网络，用来输出估计值均值xn；另一个前馈神经网络为线性前馈神经网络，用来输出估计值方差σ2；
[0074]
单个神经网络包含两个独立的网络结构，分别输出被测量估计值的均值和方差。对于均值，由于输入输出是时间序列数据，有很强的时序依赖性，当前的输出受到过去输入和当前输入决定，而不是简单的一一对应的映射关系。本实例采用rnn的特殊网络结构lstm。lstm是长短期记忆网络，由于其特殊的结构，可以用来处理长时间序列的数据。对于方差，采用一般的线性前馈神经网络。
[0075]
步骤s4，损失函数计算及网络训练；
[0076]
采用mse损失函数，计算神经网络输出xn与真值x
t
的loss，将误差反向传递，利用随机梯度下降法进行优化逼近；
[0077]
由于动态测量系统每个时间t的输出y
t
都服从正态分布，概率密度函数为η
t
(t＝0,1,2,...,n)，整个时间序列的联合概率密度函数编码为1,2,...,n)，整个时间序列的联合概率密度函数编码为则动态测量系统输出的概率密度函数
[0078][0079]
作为神经网络的数据先验分布p(yn)。
[0080]
(1)其中lstm网络输出估计值均值xn，为了使xn逼近真值x
t
，利用mse函数计算xn和x
t
的损失loss1；
[0081]
(2)根据贝叶斯定理，输入输出服从正态分布，且输入yn和θ都为变量，步骤一的概率密度函数p(y|x)作为神经网络输入yn的已知数据先验分布，采用为yn附加高斯噪声的方案代替p(y|x)。神经网络建模为：
[0082]
p(x
t
|yn,θ)＝n(x
t
；xn,σ2)
ꢀꢀꢀ
(2)
[0083]
目的是得到真值x
t
的估计均值xn和方差σ2。最大化后验预测分布的似然函数：
[0084][0085]
其中n为时间序列长度，取似然函数的自然对数的负值作为loss2：
[0086][0087]
最后的总loss为：
[0088]
loss＝loss1 loss2
ꢀꢀꢀ
(5)
[0089]
对样本进行1000次训练或目标函数梯度不再下降则停止训练。
[0090]
单个神经网络训练结果如图3所示，对于不同于训练时的输入信号也有很好的拟合结果。
[0091]
训练100个相同结构的神经网络，每个神经网络训练迭代次数为1000次。每次训练后将网络参数保留并编号，由于网络的学习具有随机性，每次的训练结果都会不同。
[0092]
步骤s5：将测试数据输入训练好的集成网络，分别量化数据不确定度和模型不确定度。
[0093]
输入测试数据，对每一个网络的输出进行保存并求样本均值和方差s2：
[0094][0095]
模型不确定度为总体方差，如图4(b)所示：
[0096][0097]
根据gum以置信区间方法表示集成方法的模型不确定度，模型的不确定性主要是由模型的体系结构、训练过程和训练数据中代表性不足的区域引起的，取置信水平为95％，估计值表示为：
[0098]
[0099]
单个网络输出的数据不确定度u
1d
由输入yn的不确定度u
x
和网络参数θ的不确定度u
θ
两个不确定度分量组成，不确定度传播由对贝叶斯条件概率公式(2)求解实现。则神经网络输出xn的不确定度u
1d
就包含了输入和参数的不确定度。
[0100]
集成网络的数据不确定度是对每个网络符合正态分布的输出标准差σ＝u
1d
求平均值得到，如图4(a)所示：
[0101][0102]
数据不确定度主要是由数据噪声引起的，取置信水平为95％，估计值表示为：
[0103][0104]
最后将模型不确定度和数据不确定度求和作为总不确定度，如图5所示出的；
[0105]ut
＝um udꢀꢀꢀ
(11)
[0106]
虽然神经网络的不确定度和gum的不确定度评定方式有着较大区别，没有明确的不确定度传播过程，但实际的不确定度传播是在概率密度函数的计算中考虑的，利用网络集成方法既考虑了传播过程中的贝叶斯定理，也考虑了合成不确定度阶段采用的经典gum方法。
[0107]
以上所述之实施例仅为本发明的较佳实施例，并非对本发明做任何形式上的限制。任何熟悉本领域的研究技术人员，在不脱离本发明技术方案范围情况下，利用上述揭示的技术内容对本发明技术方案作出更多的变动和润饰，或修改，均为本发明的等效实施例。故凡未脱离本发明技术方案的内容，依据本发明之思路所作的等同等效变化，均应涵盖于本发明的保护范围。