一种反渗透膜污堵预警方法及系统与流程

1.本发明涉及水处理系统的信息化领域，特别是关于一种反渗透膜污堵预警方法及系统。


背景技术：

2.目前，在高标准工业纯水(例如锅炉化学水)的生产工艺以及废污水处理工艺中，反渗透(reverse osmosis，ro)装置作为除盐处理工艺的应用十分广泛。尽管反渗透进水的预处理工艺已经十分成熟，但是反渗透膜污染的发生是不可避免的。随着反渗透膜污堵的逐渐加剧，反渗透装置的段间压差也随之增大，当段间压差累积至设定阈值时，则需对反渗透装置膜组件进行停机化学清洗，这直接影响了反渗透装置的运行效率。因此，对反渗透膜污堵的提前预警显得尤为重要。
3.现有的反渗透装置均设置若干传感器，采集大量的运行数据，并没有反渗透膜污堵预警功能，现场运行人员往往根据经验和段间压差达到阈值时，对反渗透装置膜组件进行停机化学清洗，如何利用海量的历史运行数据，并结合人工智能方法，对反渗透膜的污堵进行预警，及时为运行人员推送预警信息，指导运行人员调整反渗透装置的运行工况，延缓反渗透膜污堵的趋势，增加反渗透装置的运行周期时长，对于控制反渗透膜污堵以及提高反渗透装置的运行效率具有十分重要的意义。


技术实现要素：

4.针对上述问题，本发明的目的是提供一种能够提高反渗透装置运行效率的反渗透膜污堵预警方法及系统。
5.为实现上述目的，本发明采取以下技术方案：第一方面，提供一种反渗透膜污堵预警方法，包括：
6.采用机器学习方法，基于待测反渗透装置的历史实测数据，构建反渗透膜污堵预警模型；
7.获取待测反渗透装置的实测数据，并选取特征变量进行去噪和预处理；
8.将去噪和预处理后的特征变量输入至构建的反渗透膜污堵预警模型，得到待测反渗透装置的预警结果。
9.进一步地，所述采用机器学习方法，基于反渗透装置的历史实测数据，构建反渗透膜污堵预警模型，包括：
10.获取待测反渗透装置的历史实测数据进行特征工程和特征选择，确定历史实测数据中反渗透装置各运行参数之间的相关系数，并根据确定的相关系数，选择对反渗透膜污堵问题影响最大的一个或多个运行参数作为特征变量；
11.对选择的特征变量进行去噪并进行预处理；
12.采用机器学习方法，根据预处理后的特征变量构建反渗透膜污堵预警模型，并确定反渗透膜污堵预警模型的评价指标，包括准确率指标和auc指标；
13.根据预处理后的特征变量和确定的评价指标，对构建的反渗透膜污堵预警模型进行训练、验证和测试，得到构建好的反渗透膜污堵预警模型。
14.进一步地，所述相关系数ρ为：
[0015][0016]
其中，xi和yi表示两个变量的值；和表示两个变量总体的均值。
[0017]
进一步地，所述反渗透装置各运行参数包括浓水与产水的电导、ph值、orp值、温度、流量和压力，高压泵的运行频率反馈与电流和反渗透装置的进出口差压中的一种或多种的组合。
[0018]
进一步地，所述根据预处理后的特征变量和确定的评价指标，对构建的反渗透膜污堵预警模型进行训练、验证和测试，得到构建好的反渗透膜污堵预警模型，包括：
[0019]
将预处理后的特征变量分为训练集、验证集和测试集，并设置构建的反渗透膜污堵预警模型的超参数；
[0020]
基于设置的超参数，通过训练集、验证集和测试集对构建的反渗透膜污堵预警模型进行训练、交叉验证和测试，并计算构建的反渗透膜污堵预警模型在训练集、验证集和测试集上的准确率，绘制反渗透膜污堵预警模型在测试集上的roc曲线，计算测试集的auc，并输出预警结果；
[0021]
若准确率和auc均高于预先设定的阈值，则得到构建好的反渗透膜污堵预警模型；否则，对反渗透膜污堵预警模型进行改进，直至得到达到现场部署要求的反渗透膜污堵预警模型。
[0022]
进一步地，所述对反渗透膜污堵预警模型进行改进，包括：
[0023]
重新设置超参数；
[0024]
若重新设置超参数后的反渗透膜污堵预警模型的准确率和auc仍均不高于预先设定的阈值，则采用其他机器学习方法构建反渗透膜污堵预警模型，直至得到达到现场部署要求的反渗透膜污堵预警模型。
[0025]
进一步地，如果待测反渗透装置开始发生污堵，则预警结果为发出预警信号，根据预警结果及时检查和调整该反渗透装置的运行工况；调整运行工况后，通过构建的反渗透膜污堵预警模型判断待测反渗透装置是否还存在污堵；若还存在，则预警结果继续发出预警信号；若不存在，则预警结果发出正常信号。
[0026]
第二方面，提供一种反渗透膜污堵预警系统，包括：
[0027]
模型构建模块，用于采用机器学习方法，基于待测反渗透装置的历史实测数据，构建反渗透膜污堵预警模型；
[0028]
数据获取模块，用于获取待测反渗透装置的实测数据，并选取特征变量进行去噪和预处理；
[0029]
预警模块，用于将去噪和预处理后的特征变量输入至构建的反渗透膜污堵预警模型，得到待测反渗透装置的预警结果。
[0030]
第三方面，提供一种处理设备，包括计算机程序指令，其中，所述计算机程序指令被处理设备执行时用于实现上述反渗透膜污堵预警方法对应的步骤。
[0031]
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时用于实现上述反渗透膜污堵预警方法对应的步骤。
[0032]
本发明由于采取以上技术方案，其具有以下优点：
[0033]
1、本发明在具体操作时，可以根据传感器采集的反渗透装置的实测数据，如果反渗透膜开始污堵，利用现场部署的反渗透膜污堵预警模型，实时判断是否发生污堵，当发生污堵时，模型会及时向运行人员推送预警信号，从而指导运行人员调整反渗透装置的运行工况，延缓反渗透膜污堵的趋势，增加反渗透装置的运行周期时长。
[0034]
2、本发明中构建的反渗透膜污堵预警模型能够在运行人员调整反渗透装置的运行工况后，还可以判断膜污堵是否有所改善，从而判断运行人员的操作调整是否有效，本发明能够监测反渗透膜的污堵状况，及时调整运行工况，延后反渗透膜的化学清洗时间，提高运行效率。
[0035]
综上所述，本发明可以广泛应用于水处理系统的信息化领域中。
附图说明
[0036]
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：
[0037]
图1是本发明一实施例提供的方法流程示意图；
[0038]
图2是本发明一实施例提供的采用指数滑动平均方法去噪前后一段压差数据的曲线对比示意图；
[0039]
图3是本发明一实施例提供的采用小波变换方法去噪前后一段压差数据的曲线对比示意图；
[0040]
图4是本发明一实施例提供的采用高压泵运行频率的方法去噪前后一段压差数据的曲线对比示意图；
[0041]
图5是本发明一实施例提供的进行去噪和预处理后的图像数据形式示意图；
[0042]
图6是本发明一实施例提供的采用本发明方法构建的模型在测试集上的roc曲线与auc示意图；
[0043]
图7是本发明一实施例提供的采用本发明方法构建的模型在测试集上的预测结果示意图。
具体实施方式
[0044]
下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整地传达给本领域的技术人员。
[0045]
应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此
指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。
[0046]
本发明实施例提供的反渗透膜污堵预警方法及系统，以反渗透膜污堵相关的历史实测数据为基础，建立基于机器学习的反渗透膜污堵预警模型，对数据进行去噪处理和特征工程，进行模型的训练、验证、测试和现场部署。该模型能够用于反渗透膜污堵的预警，提醒操作员处理，指导运行人员调整反渗透装置的运行工况，延缓反渗透膜污堵的趋势，从而延缓反渗透膜污堵，进而利用该模型判断膜污堵是否有所改善。
[0047]
实施例1
[0048]
如图1所示，本实施例提供一种反渗透膜污堵预警方法，包括以下步骤：
[0049]
1)采用机器学习方法，基于待测反渗透装置的历史实测数据，构建反渗透膜污堵预警模型，具体为：
[0050]
1.1)提取数据平台中存储的待测反渗透装置的历史实测数据进行特征工程和特征选择，确定历史实测数据中反渗透装置各运行参数之间的相关系数，并根据确定的相关系数，选择对反渗透膜污堵问题影响最大的一个或多个运行参数作为特征变量。
[0051]
具体地，反渗透装置各运行参数包括浓水与产水的电导、ph值(氢离子浓度指数)、orp值(氧化还原电位)、温度、流量和压力等指标，高压泵的运行频率反馈与电流和反渗透装置的进出口差压等中的一种或多种的组合。
[0052]
具体地，本发明的目的是反渗透膜污堵的预警判断，标签为预警/正常的离散变量，因此采用spearman相关系数计算变量之间的相关性，spearman相关系数ρ为：
[0053][0054]
其中，xi和yi表示两个变量的值；和表示两个变量总体的均值。
[0055]
更具体地，若x增加时，y趋向于增加，则spearman相关系数则为正；若x增加时，y趋向于减少，则spearman相关系数则为负。spearman相关系数为0，则表明当x增加时y没有任何趋向性；当x和y越来越接近完全的单调相关时，spearman相关系数会在绝对值上增加。
[0056]
1.2)对选择的特征变量进行去噪并进行预处理。
[0057]
1.2.1)对选择的特征变量进行去噪。
[0058]
具体地，由于反渗透装置的启停和数据仪表的误差，传感器采集的实测数据中往往存在明显的噪声。为提高数据的信噪比，防止噪声对模型效果造成干扰，需要采用方法来降低实测数据中的噪声，例如均值滤波、指数滑动平均或采用与噪声相关联的参数去噪等。
[0059]
1.2.2)对去噪后的特征变量进行预处理。
[0060]
具体地，将去噪后的特征变量整理为下述反渗透膜污堵预警模型所需的格式，例如一维数据、二维图形或多维数据等。
[0061]
1.3)用机器学习方法，根据预处理后的特征变量构建反渗透膜污堵预警模型，并确定反渗透膜污堵预警模型的评价指标，具体为：
[0062]
1.3.1)采用机器学习方法，根据预处理后的特征变量，构建反渗透膜污堵预警模型，其中，反渗透膜污堵预警模型的输入为预处理后的特征变量，反渗透膜污堵预警模型的
输出为预警结果，包括报警信号和正常信号，当反渗透装置的反渗透膜发生污堵时预警结果为报警信号；否则，为正常信号。
[0063]
具体地，反渗透膜污堵预警模型可以为线性回归模型、支持向量机模型、随机森林模型、普通深度神经网络模型、卷积神经网络模型或循环神经网络模型等。
[0064]
1.3.2)确定反渗透膜污堵预警模型的评价指标，包括准确率指标和auc指标。
[0065]
具体地，本发明涉及的反渗透膜污堵预警问题是一个二分类问题，即根据格式化的数据判断反渗透膜单元是否发生污堵。考虑到预测结果的及时性，本发明中构建的反渗透膜污堵预警模型中的网络参数不宜过多，以免影响模型部署后判断的速度。确定二分类模型效果最常用的评价指标为准确率accuracy，定义为所有样本中分类正确的样本占总样本数目的比例，可以用于训练过程与最终效果的评价指标：
[0066][0067]
其中，t(true)和p(positive)分别表示真实和正类；f(false)和n(negative)分别表示错误和负类；tp为真阳性，表示预测正样本正确的数量；fp为假阳性，表示预测正样本错误的数量；tn为真阴性，表示预测负样本正确的数量；fn为假阴性，表示预测负样本错误的数量。
[0068]
具体地，准确率指标方便直观，但是对于分布不平衡的样本，准确率指标无法反映模型真正的性能，而roc曲线(receiver operating characteristic curve，接收机工作特性曲线)在样本中正负样本分布变化时能保持不变。机器学习任务中分类器输出的结果一般为概率值，设置不同的阈值可能会导致不同的预测结果。以不同阈值情况下模型预测得到的真阳性率为横轴，假阳性率为纵轴绘图得到的曲线即为roc曲线，roc曲线下的面积为auc(area under curve，曲线下面积)，取值范围为[0,1]。理想情况下，真阳性率为1，假阳性率为0，此时auc为1，因此auc越接近1代表模型的性能越好，auc小于0.5则说明模型无效，auc达到0.9以上则说明模型的效果比较好。
[0069]
1.4)根据预处理后的特征变量和确定的评价指标，对构建的反渗透膜污堵预警模型进行训练、验证、测试和评价，得到构建好的反渗透膜污堵预警模型，具体为：
[0070]
1.4.1)将预处理后的特征变量分为训练集、验证集和测试集，并设置构建的反渗透膜污堵预警模型的超参数。
[0071]
1.4.2)基于设置的超参数，通过训练集、验证集和测试集对构建的反渗透膜污堵预警模型进行训练、交叉验证和测试，并计算构建的反渗透膜污堵预警模型在训练集、验证集和测试集上的准确率，绘制反渗透膜污堵预警模型在测试集上的roc曲线，计算测试集的auc，并输出预警结果。
[0072]
1.4.3)若准确率和auc均高于预先设定的阈值例如90％，则表明构建的反渗透膜污堵预警模型可以达到现场部署的要求，进入步骤1.4.4)；否则，进入步骤1.4.1)重新设置超参数，若准确率和auc仍均不高于预先设定的阈值，则进入步骤1.3.1)采用其他机器学习方法构建反渗透膜污堵预警模型，直至得到达到现场部署要求的反渗透膜污堵预警模型。
[0073]
1.4.4)对构建的反渗透膜污堵预警模型进行现场测试：
[0074]
在现场离散控制系统(distributed control system，dcs)或数据平台部署构建的反渗透膜污堵预警模型，并采用现场离散控制系统的历史实测数据进行特征变量选取、
去噪和预处理后测试构建的反渗透膜污堵预警模型的测试效果，若测试结果不达到预期，则对现场离散控制系统或数据平台的接口程序进行修改。
[0075]
2)通过传感器获取待测反渗透装置的实测数据，并将获取的实测数据上传至离散控制系统以及存储在数据平台中。
[0076]
3)选取获取的实测数据的特征变量，并进行去噪和预处理。
[0077]
4)将去噪和预处理后的特征变量输入至构建好的反渗透膜污堵预警模型中，得到待测反渗透装置的预警结果。
[0078]
具体地，如果待测反渗透装置开始发生污堵，则预警结果为发出预警信号，运行人员根据预警结果及时检查和调整该反渗透装置的运行工况。
[0079]
具体地，调整运行工况后，还可以调用构建的反渗透膜污堵预警模型判断待测反渗透装置是否还存在污堵；若还存在，则预警结果继续发出预警信号；若不存在，则预警结果发出正常信号。
[0080]
下面以某火力发电厂化学水处理的反渗透装置为具体实施例详细说明本发明的反渗透膜污堵预警方法：
[0081]
1)基于该化学水处理的反渗透装置的历史实测数据，构建反渗透膜污堵预警模型：
[0082]
①
提取数据平台中存储的该化学水处理的反渗透装置实测历史数据，包括2019～2020年供暖季与2020～2021年供暖季的数据，共包括a、b、c和e四套反渗透装置。对数据进行分析，进行特征工程和特征选择，研究变量之间的相关系数。根据相关系数的计算结果，选择对反渗透膜污堵问题影响较大的一个或多个变量，作为特征变量。
[0083]
从相关系数计算结果可知，对反渗透膜污堵影响最大的特征为一段进出口差压和加药计量泵电流信号，此外，产水电导、进出口/产水流量、高压泵频率反馈均对反渗透膜污堵有一定的影响，而其他变量例如进口母管水质的ph、orp、温度等指标等和膜污堵之间的相关性接近于0，几乎没有什么相关性，不具备在机器学习模型中被利用的价值，因此在后面模型的训练中可以抛弃这些指标。
[0084]
②
对选择的特征变量进行去噪并进行预处理。
[0085]
去噪：以指数滑动平均方法去噪为例，设定平滑系数为0.3，指数滑动平均去噪结果如图2所示(其中，raw data为原始数据，denoised data为去噪后的数据)，从图中可以看出，通过数据的噪声得到一定的改善，但是仍然存在明显的“尖峰”异常值，去噪效果并不能达到模型的要求，仍需要寻找更佳的算法为数据去噪。小波变换的去噪效果如图3所示，相对于指数滑动平均去噪方法，小波变换的去噪效果有所改善，出现“尖峰”的幅度明显降低，突变的趋势减小。但是小波变换去噪不能使“尖峰”的数目减少，因此效果仍然不能让人满意。
[0086]
结合反渗透装置的运行工况，对实测数据进行分析发现，传感器采集的实测数据中数据噪声主要来源于反渗透高压泵的启停与频率调整。在高压泵停泵时，一段压差会降至零；在正常运行过程中，反渗透段间压差会随着高压泵频率的增加而变大、减小而降低。根据上述特性，可以根据高压泵运行频率对一段压差数据进行处理，去除噪声与异常值，具体过程为：
[0087]
a)在取得一段压差数据后取得相同点位相同时间段与压差数据一一对应的高压
泵频率数据。
[0088]
b)删除高压泵频率小于正常运行频率(例如20hz)的一段压差数据，以去除因高压泵启停导致段间压差变化的影响。
[0089]
c)如果高压泵频率发生改变，则判断改变后的频率持续时间是否小于预先设定的时长例如0.5～1h，如果是，则删除对应的一段压差数据，以去除高压泵短时间频率变化导致段间压差变化的影响。
[0090]
d)将删除的数据进行插值填充，以保证总数据量不减少，得到去噪后的数据。
[0091]
从原始实测数据中选取2020年12月14日以后一段时间的一段压差数据，从图4中可以看出，通过上述方法可以去除因反渗透高压泵运行工况的改变导致一段压差异常波动的数据，降低实测数据中的噪声。结合高压泵运行频率的去噪方法去噪效果如图4所示，相对于小波变换去噪，该方法能够进一步降低异常值的幅度。从图4中可以看出，经过去噪处理后曲线基本已经变得光滑，原实测数据中的异常值基本都被消除，数据的信噪比有显著的提升。
[0092]
预处理：例如对于某一时间点，取往前一段时间的实测数据，以时间为横轴、一段压差为纵轴绘图，并结合高压泵频率的去噪方法进行去噪，最终将图片保存为二维矩阵，如图5所示。
[0093]
③
构建反渗透膜污堵预警模型，并确定反渗透膜污堵预警模型的评价指标。
[0094]
④
根据预处理后的特征变量和确定的评价指标，对构建的反渗透膜污堵预警模型进行训练、验证、测试和评价。
[0095]
原历史实测数据中包括2019～2020年供暖季与2020～2021年供暖季的数据，2020～2021年供暖季的数据共包括a、b、c和e四套装置，前三套装置的历史实测数据作为训练集，e装置的历史实测数据作为验证集，2019～2020年的所有历史实测数据均作为测试集。进行训练、验证和测试后，反渗透膜污堵预警模型在训练集、验证集和测试集上的准确率如下表1所示，反渗透膜污堵预警模型在测试集上的roc曲线和预测结果如图6和7所示。
[0096]
从下表1中可以看出，反渗透膜污堵预警模型在训练集、验证集和测试集上的准确率分别为100％、95％和96％，在测试集上的auc可达到0.98，在测试集上的准确率和auc均能达到工业部署的要求。图7中展示反渗透膜污堵预警模型在预测2019～2020年供暖季的预测结果，其中，菱形点表示反渗透膜污堵预警模型发出预警的时间点，圆点表示正常工况的时间点，可以看出，预警的时间与实际发生污堵的时间点非常吻合：
[0097]
表1：反渗透膜污堵预警模型分别在训练集、验证集和测试集上的准确率
[0098] 准确率样本数训练集1.00761验证集0.95159测试集0.961110
[0099]
对构建的反渗透膜污堵预警模型进行现场测试，测试结果与上述测试结果相同。
[0100]
2)通过传感器获取该反渗透装置的实测数据，并将获取的实测数据上传至离散控制系统以及存储在数据平台中。
[0101]
3)选取获取的实测数据的特征变量，并进行去噪和预处理。
[0102]
4)将去噪和预处理后的特征变量输入至构建的反渗透膜污堵预警模型，得到待测
反渗透装置的预警结果。
[0103]
实施例2
[0104]
本实施例提供一种反渗透膜污堵预警系统，包括：
[0105]
模型构建模块，用于采用机器学习方法，基于待测反渗透装置的历史实测数据，构建反渗透膜污堵预警模型。
[0106]
数据获取模块，用于获取待测反渗透装置的实测数据，并选取特征变量进行去噪和预处理。
[0107]
预警模块，用于将去噪和预处理后的特征变量输入至构建的反渗透膜污堵预警模型，得到待测反渗透装置的预警结果。
[0108]
实施例3
[0109]
本实施例提供一种与本实施例1所提供的反渗透膜污堵预警方法对应的处理设备，处理设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例1的方法。
[0110]
所述处理设备包括处理器、存储器、通信接口和总线，处理器、存储器和通信接口通过总线连接，以完成相互间的通信。存储器中存储有可在处理设备上运行的计算机程序，处理设备运行计算机程序时执行本实施例1所提供的反渗透膜污堵预警方法。
[0111]
在一些实现中，存储器可以是高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0112]
在另一些实现中，处理器可以为中央处理器(cpu)、数字信号处理器(dsp)等各种类型通用处理器，在此不做限定。
[0113]
实施例4
[0114]
本实施例提供一种与本实施例1所提供的反渗透膜污堵预警方法对应的计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例1所述的反渗透膜污堵预警方法的计算机可读程序指令。
[0115]
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
[0116]
上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。