基于不确定性的城市供水管网多参数水质异常检测方法
本发明属于城市供水管网水质监测与智能诊断,涉及基于不确定性的城市供水管网多参数水质异常检测方法。
背景技术:
1、城市供水管网具有空间分布范围广、运行工况变化频繁以及水质参数相互耦合等特点。为实现对管网污染事件的及时感知,通常在关键节点布设在线水质传感器,对余氯、浊度、ph值、电导率、水温等多种水质参数进行连续监测。管网水质状态受到传感器噪声、运行工况变化以及复杂水质动态过程等多重不确定因素影响,单一观测信息难以准确刻画正常状态边界,极易导致异常误判或漏检。因此,有必要针对多参数耦合与动态不确定条件下的水质状态表征问题,构建一种能够充分挖掘时空关联特征并实现可靠异常识别的方法。
2、为解决上述问题,中国发明专利cn111191855b提出了一种基于管网多元水质时序数据的水质异常事件识别预警方法。该方法通过构建水质异常检测模型:预处理监测数据并模拟异常事件,建立多指标预测模型,通过残差分析优化阈值,结合时序贝叶斯更新实现异常概率评估与污染事件报警。然而,该方法并未将监测数据还可能受到传感器噪声、零点漂移、通信延迟以及不同监测点采样时间不一致的影响考虑在内。除此之外,中国发明专利cn115470850b提出一种基于管网水质时空数据的水质异常事件识别预警方法。首先对管网中趋势相同相邻站点分组预处理;然后构建对抗网络训练至收敛;利用生成器与判别器构造异常分数并选定阈值;计算各时刻污染概率并做平滑;最后融合单站点与多站点概率得组合事件概率。但该方法主要聚焦于数据之间的时空关联,通常输出单一预测值或单一重构值,难以描述同一运行条件下正常水质状态可能形成的多模态概率分布。
3、此外,城市供水管网在线监测数据还可能受到传感器噪声、零点漂移、数据缺失、通信延迟以及不同监测点采样时间不一致的影响。若异常检测模型不能同步给出重构结果的可信程度,则较大的重构误差既可能来源于真实水质异常,也可能来源于正常状态本身的不确定性或观测质量下降,因而难以形成稳定可靠的报警依据。部分监督学习方法还需要数量充足且类型完备的异常样本,而实际管网中的异常事件发生频率低、成因复杂且标注成本高,异常样本不足会限制该类方法的适用性。
4、因此,如何利用水质时序数据,在收到传感器噪声、水力波动以及工况频繁变化的情况下,学习不同时间条件和不同运行工况下的正常水质联合概率分布,在检测过程中同时量化重构误差和重构不确定性,并通过贝叶斯时序更新与多参数融合形成可持续积累的异常证据,是城市供水管网多参数水质异常检测中亟待解决的技术问题。
技术实现思路
1、本发明要解决的技术问题是:针对现有城市供水管网水质异常检测方法难以表征正常水质状态的复杂概率分布、难以区分真实异常与重构不确定性、单时刻报警结果稳定性不足的问题,提供一种基不确定性的城市供水管网多参数水质异常检测方法。本发明通过比较不同历史条件重构的同一时间段的不确定性差异,能够实现水质异常事故检测。
2、为解决上述技术问题,本发明采用技术方案:
3、基于不确定性的城市供水管网多参数水质异常检测方法,包括以下步骤:
4、第一步,水质数据获取与预处理,得到预处理水质数据序列,将其划分为训练集、验证集和测试集。
5、从供水管网监测节点的多个水质传感器上获取水质数据及其对应时间,并进行预处理,预处理包括时间对齐、异常通信值剔除、缺失值处理。
6、第二步,基于第一步得到的测试集构建污染事件。
7、步骤2.1,定义测试集中的水质数据为,根据污染事件发生时间和持续时间,向测试集的水质数据中加入具有高斯变化特征的污染扰动,得到添加污染事件后的水质数据;如以下公式所示:
8、(1)
9、(2)
10、其中,表示污染事件发生过程中,第
i个水质指标在第个时间步所叠加的污染扰动值;表示污染影响后的变化方向;表示污染事件强度;表示污染事件持续过程中的时间步;表示正常运行状态下第个水质指标的标准差;表示污染事件的持续时间;表示正态分布的概率密度函数;表示正态分布概率密度函数的自变量;表示正态分布的标准差。
11、步骤2.2,设置多组污染事件强度和持续时间的组合,并执行步骤2.1,得到与各组合一一对应的污染事件,即多个污染检测场景。
12、第三步,基于第一步得到的预处理水质数据序列,构建基于条件扩散模型的水质概率重构模型,通过正向扩散和条件反向去噪学习目标时间窗口的条件概率分布,具体如下:
13、步骤3.1,基于第一步得到的训练集训练条件扩散模型。按照预设时间步长将训练集中的水质数据序列进行划分,划分后的数据片段根据预设时间步长截取分为目标时间窗口和提供重构条件的历史条件窗口。
14、步骤3.2,对目标时间窗口进行正向扩散,在第个扩步骤,按照下式向目标时间窗口逐步加入高斯噪声:
15、(3)
16、其中:表示目标时间窗口;表示扩散模型在第个时间步所得到的带噪数据;为从第一步到第步,目标窗口原始信息总体还保留了多少;为随机高斯噪声。
17、步骤3.3,构建以历史条件窗口为条件。训练参数为噪声的条件扩散模型的水质概率重构模型,并按照下式建立从第个扩散步至第个扩散步的条件反向去噪分布:
18、(4)
19、其中,表示提供重构条件的历史条件窗口;为反向扩散过程中第步重构得到的目标序列;为由训练参数确定的条件反向转移概率分布。
20、步骤3.4,从高斯噪声状态开始执行步骤3.3;条件反向去噪,针对同一目标时间窗口生成m个后验重构样本,并根据m个后验重构样本计算各个水质指标在各采样时刻的后验均值、后验标准差和后验概率分布。
21、第四步,基于第三步构建的条件扩散模型和第一步得到的训练集构建双分支条件扩散模型,利用自相关分析确定构建双分支条件扩散模型中局部历史重构分支和周期历史重构分支的条件窗口,对两个重构分支进行联合训练,并利用训练后的两个重构分支对同一目标窗口进行概率重构,得到两组后验重构样本对应的后验均值、后验标准差和概率分布差异。具体如下:
22、步骤4.1,分别对训练集中的水质指标进行自相关分析,在一周时间内根据各水质指标的自相关系数峰值对应的时间长度确定两个重构分支的历史条件窗口长度。
23、步骤4.2,根据步骤4.1确定的两个重构分支的历史条件窗口长度,在预设片段中从目标时间窗口之前的数据序列作为局部历史重构分支的历史条件窗口。从预设片段中取目标窗口前一日的数据作为周期历史重构分支的历史条件窗口,并对目标时间窗口相邻的区域进行遮蔽。
24、步骤4.3,将4.2步骤中的两个重构分支输入第三步构建的基于条件扩散模型的水质概率重构模型中,建立用于表征水质连续性变化规律和周期性变化规律的双分支条件扩散模型。
25、步骤4.4,采用扩散噪声损失、序列重构损失和双分支一致性损失约束对步骤4.3建立的双分支条件扩散模型进行训练,训练联合目标函数如下:
26、(5)
27、其中,为扩散噪声损失,为序列重构损失,为双分支一致性损失;为序列重构损失权重;为双分支一致性损失权重。
28、步骤4.5,根据步骤4.4得到模型训练输出结果,包括:局部历史重构分支的后验均值、后验标准差,周期历史重构分支的后验均值、后验标准差,以及概率分布差异。
29、第五步,输入训练集,基于第四步得到的局部历史重构分支和周期历史重构分支的后验均值、后验标准差以及概率分布差异,计算两个重构分支的后验均值差异、后验标准差差异以及概率分布差异。对三类差异证据进行标准化处理,并以此完成异常证据融合和多水质指标融合,得到综合异常评分。具体的:
30、步骤5.1,计算局部历史重构分支、周期历史重构分支的后验均值差异、后验标准差差异以及概率分布差异,分别计算公式如下:
31、后验均值差异:
32、(6)
33、后验标准差差异:
34、(7)
35、概率分布差异:
36、(8)
37、后验均值差异值用于描述确定性偏离;标准差差异值用于描述预测不确定性变化;概率分布差异值作为kl散度,用于描述整体概率分布变化。
38、步骤5.2,考虑正常运行过程中水力波动、需求变化以及传感器噪声造成的自然差异,采用robust-z方法进行标准化。将验证集中的水质数据序列输入步骤4.3和步骤4.4中,根据步骤4.5得到各水质指标的三类差异指标在正常运行状态下的背景证据集合,并采用robust-z方案按照下式对步骤5.1得到的三个水质指标的三类差异指标进行标准化。公式如下:
39、 (9)
40、 (10)
41、其中,表示水质指标;表示三类差异指标;表示时间步;表示变量在时间上对应第类异常证据的原始证据值;表示验证集中变量和证据类型的证据,即正常背景证据分布;表示正常背景证据分布的中位数;表示正常背景证据的中位数绝对偏差;表示一个很小的正常数,用于防止mad极小或为0;表示变量在时间上第类证据的单侧鲁棒;表示正值截断函数。
42、步骤5.3,对步骤5.2得到的标准化后的三类差异指标进行加权融合:
43、(11)
44、其中,为水质指标的异常得分;为后验均值差异的权重;为后验标准差差异权重;为概率分布差异权重;
45、步骤5.4,基于步骤5.3得到的水质指标的异常得分,对各水质指标的异常得分进行加权融合,获得综合异常评分:
46、(12)
47、其中,为综合异常评分;为第个水质指标异常得分的权重;为个水质指标异常得分;为第个水质指标。
48、第六步,将验证集和测试集分别输入第五步得到的正常运行的水质综合异常评分和待测定的水质综合异常评分,利用测试集中的水质数据序列、真正例率、误报率和前一采样时刻的污染事件概率进行贝叶斯序贯更新,并将更新后的污染事件概率与报警阈值比较,输出污染事件检测结果;具体如下:
49、步骤6.1,根据验证集中水质数据序列对应的水质综合异常评分的第分位数确定异常评分阈值;对于第个采样时刻,当大于时,将当前异常状态记为1;否则,将当前异常状态记为0,由此得到异常状态序列。
50、步骤6.2,设置初始污染事件概率,并根据当前异常状态对前一采样时刻的污染事件概率进行递推更新;当=1时,按照下式更新当前采样时刻的污染事件概率:
51、(13)
52、其中,为时刻污染后验概率;为时刻的污染先验概率;和分别为真阳性率和假阳性率。
53、步骤6.3,确定污染报警结果。当更新后的污染事件概率超过设定阈值时,判定发生污染事件,并输出报警结果。所述设定阈值0.8。
54、本发明的有益效果为:
55、(1)本发明构建双分支条件扩散模型,利用局部历史重构分支和周期历史重构分支对同一目标时间窗口进行概率重构,同时获得水质监测值的后验均值、后验标准差和后验概率分布;通过比较两个历史条件下的三类差异指标,将正常运行状态下的概率波动和重构不确定性与真实异常偏离进行区分。
56、(2)本发明利用贝叶斯异常证据概率更新对连续时间窗口内的异常信息进行递进式累积,避免孤立噪声导致的瞬时异常误判,从而有效降低由水质自然波动、传感器噪声以及数据质量下降引起的误报警。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com