一种耦合BPNN回归和BN分类的供水管道破损预测模型的建立方法

一种耦合bpnn回归和bn分类的供水管道破损预测模型的建立方法
技术领域
1.本发明涉及一种耦合误差反向传播神经网络(error back propagation neural network，bpnn)回归模型和贝叶斯网络(bayesian network，bn)分类模型的供水管道破损预测方法，属于城市供水管网领域。


背景技术：

2.城市供水管网是输送水资源的基础设施，稳定高效运行的供水管网为人们的生产和生活提供保障。由于管道老化和环境因素影响，管道破损事故频发，不仅造成大量水资源浪费，而且带来水质风险和路面塌陷等安全问题，但供水管道的状态难以直接检测。因此，开发供水管道破损预测模型，预测供水管道未来的破损状况，指导管道更新改造具有重要意义。
3.在基于分类模型的管道破损概率预测研究方面，以破损概率为输出的供水管道破损预测研究中，虽然模型的auc均达到0.7以上，非破损管道的误报率不高，但在实际管网中非破损管道数量大，导致误报的管道数量仍然较多，难以有效指导实际管道改造。
4.在基于回归模型的管道破损数量预测研究方面，以破损数量为输出的回归模型的预测对象大多为一组管道，同一分组内所有管道的预测结果相同，在实际应用时，根据分组破损数排序确定高危管道分组，在分组内管道数量很多的情况下，高危管道的范围会很大，难以为管道维护工作提供有效的指导。


技术实现要素：

5.鉴于以上问题，为提高破损预测模型对实际管道更新维护工作的指导性，提出耦合bpnn回归模型和bn分类模型的预测方法。在bpnn回归模型预测结果的基础上，选取破损数排序靠前的管道组，在此基础上应用bn分类模型预测这些管道组中管道的破损概率。从而缩小高危管道的预测数量和范围，提高破损管道预测准确率。
6.本方法的技术方案如下：
7.一种基于bpnn回归和bn分类的供水管道耦合破损预测方法，其特征在于该方法包括如下步骤：
8.第一步：数据收集与处理
9.(1)信息完善：利用城市供水管网的地理信息系统(geographic information system，gis)，将管道破损记录点和每年留档的管道gis数据库进行空间连接，获得破损记录点的管道属性，包括管道编号、管材、管径、管长、管道埋设时间、破损事件接报时间等；同时对管道相关的环境数据进行处理，获得环境属性数据，包括运行压力、埋深和地表类型。
10.(2)信息筛选：根据管网运营工作者的经验，修正记录错误的管道属性数据，如管材，对于记录错误且无可靠修正信息的管道属性数据，如管道埋设时间，从数据库中剔除。
11.第二步：破损影响因素的确定
12.通过数据处理和相关性分析，确定和管道破损事件的主要影响因素，包括：管径、管龄、管长、运行压力、埋深、地表类型等。
13.第三步：bpnn回归模型的建立
14.(1)数据分组
15.①
选择数据库中m年的完整的管道数据和破损数据作为原始数据，其中前m-1年原始数据用于模型训练，第m年的原始数据用于模型测试；
②
合并训练数据，将训练数据中相邻n年的管道数据进行合并，以减少总体分组数量，减小建模的复杂度；
③
根据影响因素对训练数据集和测试数据集中的管道进行分组，以管长为权重计算每个组的加权埋深埋深和加权压力；n为2或3；
16.(2)模型训练
17.以每个管道组的管径、管龄、地表类型、管长、加权压力、加权埋深为自变量，管道组的破损数为因变量，采用bpnn建立管道分组破损数预测模型；在模型训练中，采用决定系数量化模型精度，并比选确定最佳模型参数设置。
18.第四步：bn分类模型的建立
19.(1)数据集准备
20.为了更好的学习破损类管道的特征，采用平衡数据集训练模型，前m-1年的破损管道数据和相同数量的非破损管道数据组成训练集；测试集由第m年破损管道数据和未用做训练的非破损管道数据组成，测试集为不平衡数据集。
21.(2)变量取值离散化
22.由于bn分类模型要求变量为离散变量，需将各变量的取值区间离散化；通过数据处理分析确定影响变量的取值区间划分，每个区间对应该变量的一个状态。
23.(3)bn分类模型构建
24.采用马尔可夫链蒙特卡罗(mcmc)算法学习bn的结构，采用em算法学习bn的参数，建立基于bn的管道破损事件预测模型，预测测试集管道的破损概率；用混淆矩阵和roc曲线表示模型的预测精度，其中混淆矩阵用来计算召回率、特异度等分项指标，采用roc曲线下的面积值(auc)表示模型整体性能。
25.第五步：耦合bpnn回归模型和bn分类模型的管道破损事件预测
26.首先利用bpnn模型进行管道分组的破损数预测，选取破损数较大的管道分组为高危管道待选集；再用bn分类模型预测高危管道待选集中的管道的破损概率，根据破损概率排序挑选高危管道。
27.与现有供水管道破损预测模型相比，本发明的创新成果为：(1)两种模型耦合预测的方法，可以提高破损管道的预测准确度，为管网更新改造提供更准确的待改造管道清单；(2)结合回归模型在整体数据集特征分析、分类模型在平衡数据集特征提取方面的优势，提供一种管道破损预测的新思路。
附图说明
28.图1为bn分类模型的结构。
具体实施方式
29.为更好的理解和实施本发明，下面结合实施例进行详细阐述，但本发明并不限于以下实施例。
30.鉴于以上问题，本方法的目的是提供一种基于bpnn回归和bn分类耦合的供水管道破损预测模型的建立方法。该方法可以提高破损管道预测准确度，为管网更新改造提供更准确的待改造管道清单。本方法的技术方案如下：
31.一种基于bpnn回归和bn分类耦合的供水管道破损预测模型的建立方法，其特征在于该方法包括如下步骤：
32.第一步：数据收集与处理
33.(1)信息完善：利用城市供水管网的地理信息系统(geographic information system，gis)，将管道破损记录点和每年留档的管道gis数据库进行空间连接，获得破损记录点的管道属性，包括管道编号、管材、管径、管长、管道埋设时间、破损事件接报时间等；同时对管道相关的环境数据进行处理，获得环境属性数据，包括运行压力、埋深和地表类型。
34.(2)信息筛选：根据管网运营工作者的经验，修正记录错误的管道属性数据，如管材，对于记录错误且无可靠修正信息的管道属性数据，如管道埋设时间，从数据库中剔除。
35.第二步：破损影响因素的确定
36.通过数据处理和相关性分析，确定和管道破损事件的主要影响因素，包括：管径、管龄、管长、运行压力、埋深、地表类型等。
37.第三步：bpnn回归模型的建立
38.(1)数据分组
39.①
选择数据库中11年的完整的管道数据和破损数据作为原始数据，其中前10年原始数据用于模型训练，第11年的原始数据用于模型测试；
②
合并训练数据，将训练数据中相邻两年的管道数据进行合并，以减少总体分组数量，减小建模的复杂度；
③
根据管径、管龄、地表类型对训练数据集和测试数据集中的管道进行分组，分组标准见表1，分组后，训练集中有3129个管道组，测试集中有226个分组，以管长为权重计算每个组的加权埋深和加权压力。
40.表1数据集分组标准
[0041][0042]
(2)模型训练
[0043]
以每个管道组的管径、管龄、地表类型、管长、加权压力、加权埋深为自变量，管道组的破损数为因变量，采用bpnn建立管道分组破损数预测模型；在模型训练中，比选后确定最佳的bpnn模型的隐含层数为3，隐含层节点数为5。
[0044]
(3)模型测试
[0045]
将训练好的bpnn回归模型应用在测试数据集上，预测每个管道组的破损数，模型的r2＝0.6。
[0046]
第四步：bn分类模型的建立
[0047]
(1)数据集准备
[0048]
为了更好的学习破损类管道的特征，采用平衡数据集训练模型，前10年的破损管道数据和相同数量的非破损管道数据组成训练集；测试集由第11年的破损管道数据和未用做训练的非破损管道数据组成，测试集为不平衡数据集。
[0049]
(2)变量取值离散化
[0050]
由于bn分类模型要求变量为离散变量，需将各变量的取值区间离散化；通过数据处理分析确定影响变量的取值区间划分，每个区间对应该变量的一个状态，变量状态划分情况见表2。
[0051]
表2变量的状态划分情况
[0052][0053]
注：地表类型中的干路包括次干路、主干路和快速路
[0054]
(3)bn分类模型构建
[0055]
采用马尔可夫链蒙特卡罗(mcmc)算法学习bn的结构，采用em算法学习bn的参数，建立基于bn的管道破损事件预测模型，预测测试集管道的破损概率，bn分类模型结构见图1。训练好的bn分类模型的召回率为0.76，特异度为0.78，roc曲线下的面积(auc)达到0.84，表明模型的分类性能较好。
[0056]
第五步：耦合bpnn回归模型和bn分类模型的管道破损事件预测
[0057]
首先利用bpnn模型进行管道分组的破损数预测，选取破损数排序60％(1043km)的管道分组为高危管道待选集；再用bn分类模型预测高危管道待选集中的管道的破损概率，根据破损概率排序挑选高危管道。分别以前50km，前100km，前150km，前200km管道为高危管道，比较三类模型预测的高危管道涵盖的破损管道数，比较结果见表3。由表3可知，在相同长度的高危管道范围内，bpnn bn耦合模型所涵盖的破损管道数明显多于bn分类模型和bpnn回归模型。若分别根据bpnn bn耦合模型、bn分类模型、bpnn回归模型的预测结果提前改造前50km的高危管道，分别能避免45次、19次、6次破损事件，可见bpnn bn耦合模型对破损管道的预测准确性高于bn分类模型和bpnn回归模型。
[0058]
表3bpnn bn耦合模型、bn分类模型与bpnn回归模型的预测效果对比
[0059][0060]
根据上述一种基于bpnn回归和bn分类耦合的供水管道破损预测模型的建立方法。首先对建模的原始数据进行处理，确定管径、管龄、管长、地表类型、运行压力和埋深为自变量；基于bpnn建立回归模型，预测分组管道的破损数；基于bn建立破损事件分类模型，预测单根管道的破损概率；最后耦合bpnn回归模型和bn分类模型进行管道破损概率预测，利用bpnn破损数预测模型挑选高危管道组，再用bn模型预测这些管道中的每根管道的破损概率。以提升破损管道预测准确度，提供更准确的管道改造清单。