一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种基于贝叶斯推理的轨道交通监测数据清洗方法及系统与流程

2023-02-10 19:16:43 来源:中国专利 TAG:

技术特征:
1.一种基于贝叶斯推理的轨道交通监测数据清洗方法,其特征在于,具体包括以下步骤:步骤一、基于极限学习机神经网络模型,输入部分轨道温度和应变监测数据作为训练数据,利用稀疏贝叶斯学习方法求解极限学习机神经网络模型输出层的权重参数,进而得到轨道交通监测数据中温度与结构应变响应之间非线性回归关系;步骤二、以通过训练得到的稀疏贝叶斯极限学习机温度与结构应变响应之间非线性回归关系为基准,按预测误差绝对值大小将温度和应变监测数据组成的轨道交通联合监测数据划分成规律数据集和可疑数据集,通过贝叶斯推理得到轨道交通监测可疑数据集各数据点异常概率的计算结果;步骤三、选择数据异常概率的阈值,将异常概率小于该阈值的数据点重新划分到规律数据集中,大于该阈值的数据点作为识别出来的异常值放入数据集s中,将更新后的规律数据集重新作为训练数据训练极限学习机非线性回归模型,重复步骤一和二,往复迭代,直至可疑数据集中每一个数据点的概率均小于该阈值,此时数据集s中的数据点即为识别出来的异常值;步骤四、对于步骤三选取不同的阈值,对比最终的识别结果,根据识别结果的差异选取出最合理的数据异常概率的阈值,最后将识别的异常数据在监测数据中剔除,实现数据的清洗。2.根据权利要求1所述的方法,其特征在于,所述步骤一具体为:步骤1.1、以轨道交通监测温度数据为输入,以监测应变数据为输出,从均匀分布[-1,1]中随机生成输入层权重β
i
和偏置b
i
,选取激活函数计算矩阵h0:其中n为数据点个数,m为设置的隐含层节点数,将偏置向量与输出矩阵进行列合并,则隐含层输出矩阵h=[e;h0],其中e=[1,...,1]
t
为长度为n且元素全为1的列向量;步骤1.2、对于输出层权值w,通过层次贝叶斯求解后验分布,解得后验分布服从均值为μ,方差为∑的高斯分布;其中:∑=(σ-2
h
t
h a
mp
)-1
a
mp
=diag(α
mp,0
,...,α
mp,m
)其中α
mp,i
为输出层权值w先验分布中的超参数元素的最可能值,u
i
为向量μ中的第i个元素,∑
ii
为矩阵∑中第i个对角线元素,α
i
为迭代更新前的值;为预测误差的方差参数的后验概率极大值,选取输出层权值后验概率高斯分布中的均值作为输出层权值的最可能值。3.根据权利要求2所述的方法,其特征在于,所述预测误差的方差参数的后验概率极大值具体计算公式为:
4.根据权利要求3所述的方法,其特征在于,所述步骤二具体为:步骤2.1、将需要检测的数据集输入稀疏贝叶斯极限学习机非线性回归模型,得到相应的训练模型,以该模型为基准计算各个数据点的预测误差ε:ε
i
=t
i-h
i
ω其中ω为输出层权值,由稀疏贝叶斯极限学习机训练模型得到,h
i
为隐含层输出矩阵h中的第i行,为输入x
i
经极限学习机在高维空间映射后的值;步骤2.2、按预测误差的绝对值进行升序排列,将预测误差较大的后30%作为可疑数据集d
s
,预测误差较小的前70%作为规律数据集d
r
;对于可疑数据集d
s
中的每一个数据点采用实际模拟近似求解异常概率为:其中n
s
为模拟样本数,为从高斯分布随机生成的随机数,φ(
·
)为标准正态分布函数。5.根据权利要求4所述的方法,其特征在于,所述步骤三具体为:步骤3.1、对于步骤二中计算出的可疑数据点的异常概率,选取一个异常概率的阈值,根据异常概率的大小重新划分规律数据集和可疑数据集,将异常概率小于该阈值的数据点重新划分到规律数据集d
r
中,异常概率大于该阈值的数据点则作为识别出来的异常值放入s中;步骤3.2、对于更新后的规律数据集d
r
,作为全新的数据集重复步骤一和二,往复迭代,直到划分出来的可疑数据集中所有的数据点的异常概率均大于选择的阈值,则最终的可疑数据集s中的数据点即为识别出来的异常值。6.根据权利要求5所述的方法,其特征在于,所述步骤四具体为:步骤4.1、分别选取0.5,0.6,0.7,0.8,0.9作为数据异常概率的阈值,重复步骤三,计算数据点的异常概率并划分不同的数据集,求解数据集s;步骤4.2、对不同阈值下求解出的数据集s进行稀疏贝叶斯极限学习机训练并对比模型的预测精度,最终选取合适的数据异常概率的阈值,最后将识别的异常数据在监测数据中剔除,实现轨道交通监测数据的清洗。7.一种基于贝叶斯推理的轨道交通监测数据清洗系统,其特征在于,所系统具体包括:非线性回归关系求解模块:基于极限学习机神经网络模型,输入部分轨道交通温度和应变监测数据作为训练数据,利用稀疏贝叶斯学习方法求解极限学习机神经网络模型输出层的权重参数,进而得到轨道交通监测数据中温度与结构应变响应之间非线性回归关系;计算模块:以通过训练得到的稀疏贝叶斯极限学习机温度与结构应变响应之间非线性回归关系为基准,按预测误差绝对值大小将温度和应变监测数据组成的轨道交通联合监测数据划分成规律数据集和可疑数据集,通过贝叶斯推理得到轨道交通监测可疑数据集各数据点异常概率的计算结果;识别模块:选择数据异常概率的阈值,将异常概率小于该阈值的数据点重新划分到规
律数据集中,大于该阈值的数据点作为识别出来的异常值放入数据集s中,将更新后的规律数据集重新作为训练数据训练极限学习机非线性回归模型,重复步骤一和二,往复迭代,直至可疑数据集中每一个数据点的概率均小于该阈值,此时数据集s中的数据点即为识别出来的异常值;清洗模块:对于步骤三选取不同的阈值,对比最终的识别结果,根据识别结果的差异选取出最合理的数据异常概率的阈值,最后将识别的异常数据在监测数据中剔除,实现数据的清洗。8.根据权利要求7所述的系统,其特征在于,所述非线性回归关系求解模块具体包括:矩阵计算模块:以轨道交通监测温度数据为输入,以监测应变数据为输出,从均匀分布[-1,1]中随机生成输入层权重β
i
和偏置b
i
,选取激活函数计算矩阵h0:其中n为数据点个数,m为设置的隐含层节点数,将偏置向量与输出矩阵进行列合并,则隐含层输出矩阵h=[e;h0],其中e=[1,...,1]
t
为长度为n且元素全为1的列向量;后验分布求解模块:对于输出层权值w,通过层次贝叶斯求解后验分布,解得后验分布服从均值为μ,方差为∑的高斯分布;其中:∑=(σ-2
h
t
h a
mp
)-1
a
mp
=diag(α
mp,0
,...,α
mp,m
)其中α
mp,i
为输出层权值w先验分布中的超参数元素的最可能值,u
i
为向量μ中的第i个元素,∑
ii
为矩阵∑中第i个对角线元素,α
i
为迭代更新前的值;为预测误差的方差参数的后验概率极大值,选取输出层权值后验概率高斯分布中的均值作为输出层权值的最可能值。9.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-6任一项所述方法的步骤。10.一种计算机可读存储介质,用于存储计算机指令,其特征在于,所述计算机指令被处理器执行时实现权利要求1-6任一项所述方法的步骤。

技术总结
本发明提出一种基于贝叶斯推理的轨道交通监测数据清洗方法及系统。所述方法包括稀疏贝叶斯极限学习机模型的训练、根据模型划分数据集实现异常概率的计算、异常值的迭代求解识别等。本发明所述方法通过训练好的稀疏贝叶斯极限学习机模型为基准,并通过计算数据点的预测误差划分规律数据集和可疑数据集,进而计算可疑数据集中数据点的异常概率来更新数据集,最终不断迭代识别异常值。本发明所述方法通过计算数据点的异常概率,可以做到量化数据点的异常程度,通过循环往复不断迭代从而达到数据清洗的目的,能够为轨道交通结构健康监测领域提供一种有效的数据预处理手段。提供一种有效的数据预处理手段。提供一种有效的数据预处理手段。


技术研发人员:孙立 李秋义 李琦 朱彬 黄永 张政 林超 李路遥
受保护的技术使用者:中铁第四勘察设计院集团有限公司 中国铁建股份有限公司
技术研发日:2022.09.16
技术公布日:2023/2/6
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献