基于线性回归和决策树模型的市政污水除磷药剂投加方法与流程

1.本发明涉及市政污水药剂投加领域，尤其涉及一种基于线性回归和决策树模型的市政污水除磷药剂投加方法。


背景技术：

2.市政污水是人们日常生活排放的污水，包括居民、公共设施和工厂的厨房、卫生间等生活设施的污水。这类污水不同于工业废水，其水质、水量的小时变化系数较大，尤其白天和夜间的变化显著，且短期内用水量变化又具有周期性。其中，进水流量的变化会对污水加药除磷工艺的絮凝沉淀过程产生很大的影响。当进水流量增加时，就会缩短絮体碰撞凝聚成大颗粒的时间，使得絮体生成不充分，同时也减少了絮体的沉降时间，降低了杂质去除率，从而影响出水水质。因此，当进水流量增大时，为了保证出水水质，需要增加除磷药剂投加量，反之则减少除磷药剂投加量。
3.在市政污水处理中需要根据进水流量变化正确控制除磷药剂投加量。当水量变化较小时，除磷药剂投加量、进水流量之间及水质参数之间呈现出较明显的对应关系；但水量变化较大时，除磷药剂投加量、进水流量及水质参数之间的数据多呈现非线性。
4.因此，基于上述存在的问题，有必要提供一种新的技术方案。


技术实现要素：

5.鉴于此，本发明的目的是提出一种基于线性回归和决策树模型的市政污水除磷药剂投加方法，以解决上述除磷药剂投加过程中存在的问题。
6.本发明提供了以下技术方案：
7.一种基于线性回归和决策树模型的市政污水除磷药剂投加方法，包括如下步骤：
8.数据模型建立：采用多个数据采集组件获取包括实时数据和历史数据的加药数据；依据除磷药剂投加原理对历史数据进行数据预处理；计算污水小时流量系数；由污水小时流量系数将历史数据划分为正负样和负样本，并用正样本和负样本训练svm分类器；根据水质参数分别建立除磷药剂投加量预测的线性回归模型和决策树模型，从而完成除磷药剂投加量预测模型的建立与训练。
9.数据模型现场部署及运行：将数据模型封装后部署到污水处理工艺流程现场，将实时数据接入到除磷药剂投加量预测模型；运行除磷药剂投加量预测模型，计算当前状态下所需的除磷药剂投加量。
10.控制系统自动投加：将除磷药剂投加量数据传递给控制系统，控制系统依据数据模型运算结果完成除磷药剂的自动投加。
11.进一步地，多个数据采集组件包括：流量计、正磷酸盐在线分析仪、温度计、电磁控制泵和总磷测定仪等；
12.所述除磷药剂投加量预测模型包括线性回归模型和决策树模型，所述数据模型包括训练好的svm分类器和除磷药剂投加量预测模型。
13.进一步地，加药数据包括：进水流量、正磷酸盐浓度、水温、除磷药剂投加量和出口总磷等数据，并将加药数据接入控制系统中便于后续的数据预处理和数据模型训练。
14.进一步地，数据预处理包括：根据停留时间计算公式确定历史数据的对应关系；由于仪器检修等因素的影响，采集到的原始历史数据必然存在缺失值、噪声点和离群点，因而需要审核原始历史数据的完整性和准确性，删除原始历史数据中的缺失值、噪声点或离群点，修复原始历史数据中参数间时序性偏差，减小数据模型训练过程中的误差；通过以上数据预处理，提高数据模型建模速度和精度。
15.进一步地，污水小时流量系数计算公式如下：
[0016][0017]
其中:k
h,i
为污水小时流量系数；q
h,i
为污水的小时流量；i为时刻，i＝1，2，
…
，24。
[0018]
假设市政污水流量在1小时内是均匀的，依据进水流量的每小时数据，即污水的小时流量，计算污水小时流量系数k
h,i
；污水小时流量系数k
h,i
随市政污水流量的不同而变化，市政污水流量越大且变化幅度越小，污水小时流量系数k
h,i
也越小，反之则k
h,i
越大。
[0019]
由于市政污水每日用水集中和水量变化趋势存在规律性，而进水流量大小直接影响到后续除磷药剂投加量，因此需要根据历史数据计算污水小时流量系数k
h,i
，作为污水水量变化稳定性的判断标准。
[0020]
进一步地，得到历史数据中的污水进水流量的污水小时流量系数范围之后，通过样本全局分析，选择合适的污水小时流量系数值k
h,i*
作为划分进水流量正样本和负样本的标准；
[0021]kh,i
′
为当前进水流量与上一小时进水流量的变化度，计算公式如下：
[0022][0023]
若k
h,i
′
≤k
h,i*
，则看作当前进水流量变化较为稳定，将此时的历史数据划分为负样本；若k
h,i
′
》k
h,i*
，则看作当前进水流量变化幅度较大，水量不稳定，将此时的历史数据划分为正样本；据此将历史数据划分出正样本和负样本，并用正样本和负样本训练svm分类器；
[0024]
进一步地，svm分类器的输出结果w仅取两个值：-1和1，当输出结果w取-1时选择线性回归模型，当输出结果w取1时选择决策树模型；svm分类器基于对历史数据的学习，动态决策出当前的水量变化是否稳定，从而提高后续根据实时水量来选择除磷药剂投加量预测模型的准确性。
[0025]
进一步地，根据水质参数分别建立除磷药剂投加量预测的线性回归模型和决策树模型具体方式为：当污水进水流量变化较为稳定时，对应的历史数据用线性回归模型训练；当污水进水流量变化幅度较大、情况较为复杂时，对应的历史数据采用决策树模型进行训练；通过这一分类训练的方法，能有效利用数据模型特点挖掘数据信息，提高数据模型运算速度和除磷药剂投加量预测准确度。
[0026]
进一步地，将训练好的svm分类器和除磷药剂投加量预测模型封装部署到污水处理工艺流程现场中，并将数据采集装置采集的实时数据接入到数据模型。
[0027]
进一步地，根据实时数据，先由svm分类器判断进水流量变化幅度，选择出合适的除磷药剂投加量预测模型；然后计算出在当前市政污水进水流量和水质参数条件下所需的除磷药剂投加量。
[0028]
与现有技术相比，本发明至少具有如下一种或多种有益效果：
[0029]
本发明针对市政污水在不同时间的进水流量和水质差异较大的变化特质，建立不同水量变化特点的除磷药剂投加量预测算法，不仅能减少数据模型的计算量，而且可以提高运算速度和预测精度，同时能够实现自动最优化处理市政污水，对于市政污水除磷药剂投加具有十分重要的现实意义，应用性很强。
附图说明
[0030]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，图中相同的标记表示相同的部件，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图，重点在于示出本发明的主旨。
[0031]
图1是本发明实施例所述的基于线性回归和决策树模型的市政污水除磷药剂投加方法流程图；
[0032]
图2是本发明实施例所述的svm分类器判别水量变化流程图；
[0033]
图3是本发明实施例所述的决策树模型预测流程图。
具体实施方式
[0034]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其它所有实施例，都属于本发明保护的范围。
[0035]
实施例
[0036]
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明，如图1所示，该方法包括以下步骤：
[0037]
s1：加药数据采集
[0038]
加药数据采集包括：采用流量计采集市政污水的进水流量、采用正磷酸盐在线分析仪检测市政污水中的正磷酸盐浓度、采用温度计采集市政污水的水温、采用电磁控制泵采集除磷药剂加入到市政污水中的除磷药剂投加量、采用总磷测定仪采集市政污水的出口总磷，以上多个数据采集组件每小时采集一次加药数据，收集加药数据的历史数据和实时数据，为后续数据模型构建做准备，示例中，污水处理工艺流程现场包括控制系统和多个数据采集组件，多个数据采集组件与控制系统通讯连接，多个数据采集组件包括流量计、正磷酸盐在线分析仪、温度计、电磁控制泵和总磷测定仪等，控制系统安装于上位机内，上位机设置于污水处理工艺流程现场。
[0039]
依据除磷药剂投加原理对原始历史数据进行数据预处理，数据预处理为根据停留时间计算公式确定历史数据的对应关系，停留时间为市政污水进入污水处理工艺流程现场的混凝沉淀池，然后与除磷药剂充分反应，最终流出混凝沉淀池所经历的时间，其中，市政
污水进入混凝沉淀池的流量为进水流量。停留时间计算公式包括估算公式和精确公式，估算公式为：精确计算公式跟流动相关，通过cfd的流动方程求解出精确的停留时间。
[0040]
历史数据的对应关系是历史数据中各参数的入口和出口的数据对应关系。由于停留时间的存在，在当前时刻采集记录的混凝沉淀池的入口数据，然后经历停留时间之后到达出口，再检测出口的数据。因此，在历史数据库中，根据计算停留时间，找到入口采集数据对应的出口数据，即确定这样的历史数据的对应关系。确定历史数据对应关系的目的是解决加药数据中参数间时序性偏差的问题。
[0041]
由于仪器检修等因素的影响，采集到的原始数据必然存在缺失值、噪声点和离群点，根据停留时间计算公式确定加药数据的对应关系时，需要审核加药数据的完整性和准确性，删除加药数据中的缺失值、噪声点或离群点，减小数据模型训练过程中的误差；通过以上数据预处理，提高数据模型建模速度和精度。
[0042]
s2：计算污水小时流量系数
[0043][0044]
其中:k
h,i
为污水小时流量系数；q
h,i
为污水的小时流量；i为时刻，i＝1，2，
…
，24。污水小时流量系数作为市政污水水量变化稳定性的判断标准。
[0045]
假设市政污水流量在1小时内是均匀的，依据进水流量的每小时数据，即污水的小时流量，计算污水小时流量系数k
h,i
；污水小时流量系数k
h,i
随市政污水流量的不同而变化，市政污水流量越大且变化幅度越小，k
h,i
也越小，反之则k
h,i
越大。
[0046]
得到历史数据中的进水流量的污水小时流量系数范围之后，通过样本全局分析，选择合适的污水小时流量系数值k
h,i*
作为划分进水流量正样本和负样本的标准，即k
h,i*
为标准污水小时流量系数值；
[0047]kh,i
′
为当前进水流量与上一小时进水流量的变化度，计算公式如下：
[0048][0049]
若k
h,i
′
≤k
h,i*
，则看作当前进水流量变化较为稳定，若k
h,i
′
》k
h,i*
，则看作当前进水流量变化幅度较大，市政污水的水量不稳定；据此将历史数据划分出正样本和负样本，即当k
h,i
′
≤k
h,i*
，时，此历史数据划分为正样本，当k
h,i
′
》k
h,i*
时，此历史数据划分为负样本，并用这些正样本和负样本训练svm分类器；
[0050]
s3：svm分类器判别水量变化是否稳定
[0051]
如图2所示，先将步骤s1收集的历史数据划分为训练数据集和测试数据集，划分训练数据集和测试数据集时采用随机不放回抽样的方式，划分出两个互斥的集合，并均应保持训练数据集和测试数据集内数据分布的一致性，即类别比例相似，可以采用分层抽样的方式。示例中，训练数据集和测试数据集划分时采用7：3的比例。训练数据集内的历史数据称为样本数据，训练数据集又称训练样本，针对训练数据集，选择核函数以及其对应的参数，其中，svm分类器中主要有4种核函数，(1)线性核函数：k(x,y)＝x
t
y；(2)多项式核函数：
k(x,y)＝(γx
t
y r)d，其中，d用来设置多项式核函数的最高此项次数；γ用来设置核函数的系数；r用来设置核函数中的常数项；(3)双曲正切核函数：k(x,y)＝tanh(γx
t
y r)，其中，d用来设置多项式核函数的最高此项次数；γ用来设置核函数的系数；r用来设置核函数中的常数项；(4)高斯径向基核函数：k(x,y)＝e-γ‖x-y‖2，其中，d用来设置多项式核函数的最高此项次数；γ用来设置核函数的系数；r用来设置核函数中的常数项。核函数的选择主要通过不同核函数和参数的组合实验找到最优值。svm分类器是通过在特征空间中建立分类超平面实现对样本数据的划分，分类超平面的函数表达式为：w
t
x b＝0，而位于分类超平面两侧的样本数据计算则分别为w
t
x b＝1和w
t
x b＝-1，以此将分类超平面两侧的样本数据分为正样本数据和负样本数据，因而svm分类器是一种典型的线性二分类机器学习模型，svm分类器也可称为svm模型，当样本数据在二维空间内无法进行线性分割时，需要利用核函数将样本数据映射到三维空间内帮助构建分类超平面，而根据核函数选择的差异，其参数也各有不同。随后在svm模型中输入预测因子和污水小时流量系数并运行svm模型，得到样本数据的预测值，预测值包括正预测值和负预测值，其中，预测因子可包括影响污水小时流量系数计算的各参数，示例中，输入的预测因子是输入的进水量。通过步骤s2中标准污水小时流量系数值k
h,i*
将样本数据划分为正真实值和负真实值，正真实值和负真实值统称真实值，将预测值和真实值按照准确率、召回率和f值等svm模型评价指标进行分析，找出最优的分类超平面。
[0052]
根据分类超平面的函数表达式，该最优的分类超平面需确保位于分类超平面两侧的正样本数据和负样本数据到分类超平面的距离都尽可能远，实现间隔最大化，才能使得svm分类器具有更好的泛化性能，提高分类准确性。通过最小二乘法计算样本数据的真实值和svm模型对样本数据的预测值间的平方损失函数来确定该最优的分类超平面，平方损失函数的计算表达式为：l(y,f(x))＝(y-f(x))2，其中x为svm模型输入的预测因子，f(x)为svm模型对样本数据的预测值，y为样本数据的真实值。通过测试数据集计算出最小化平方损失函数，并以最小化平方损失函数来判断当前svm模型的预测精度是否满足要求，其是否满足要求，通过计算svm模型的平方损失函数是否已经达到最小化来判断，如不满足要求，则需要重新选择核函数和参数进行svm模型的训练，直至svm模型的平方损失函数达到最小化，从而得到最优的svm分类器。
[0053]
训练后的svm分类器，其输出结果w仅取两个值：-1和1，输出结果w能根据输入的实时数据判断当前进水流量变化稳定性。当输出结果w为-1时表示进水流量变化幅度小，水量较为稳定，后续选择线性回归模型，当输出结果w为1时表示进水流量变化幅度大，后续应选择决策树模型。
[0054]
s4：线性回归模型预测除磷药剂投加量。
[0055]
由于市政污水除磷环节的影响参数较多，当选择线性回归建立除磷药剂投加量预测模型时，多选用多元线性回归模型，该多元线性回归模型定义为：f(x1,x2,
…
xn)＝w0 w1x1 w2x2
…
wnxn，其中，w0为常数项，xi为影响目标值f(x1,x2,
…
xn)的特征参数，wi为特征参数的权重，wi表示特征参数对目标值f(x1,x2,
…
xn)的影响程度，其中i＝1，2，
…
，m。如增加一个特征参数值x0＝1，该方程就可以简化为进一步可以表达
为矩阵形式f(x)＝w
t
x，即其中f(x)为m
×
1的向量，x为m
×
(n 1)的向量，w为1
×
(n 1)的向量，m代表样本数据的个数，n代表样本数据的特征数，yi为线性回归模型针对第i个样本数据给出的预测目标的预测值，其中i＝1，2，
…
，m。
[0056]
确定多元线性回归模型的方程后，需要求出该方程的损失函数，一般线性回归模型的方程采用均方误差作为损失函数，损失函数的计算公式为：其中表示第i个样本数据预测目标的真实值，这样做是为了将方程组的求特征参数问题转化成求最优解问题，使得损失函数最小化，一般采用最小二乘法进行求解。
[0057]
最小二乘法进行求解，先对所有的w求偏导数，得到n个方程组表示第i个样本数据的第k个特征参数，解得个特征参数，解得向量化后得到x
t
xw＝x
t
y，w＝(x
t
x)-1
x
t
y，从而求解出多元线性回归模型的特征参数的权重，使得损失函数最小化。
[0058]
在除磷药剂投加量预测中，水质参数和除磷药剂投加量都是特征参数xi，他们的波动会影响到反应沉淀池内的絮凝沉淀过程，从而影响到目标值出口总磷f(x)。当基于历史数据对多元线性回归模型进行训练后，得到常数项w0和特征参数的权重值wi，随后根据不同的水质参数和除磷药剂投加量就能预测出该条件下的出口总磷，判断出口总磷是否满足不小于0.5mg/l的国家指标。将多元线性回归模型进行变形，得到除磷药剂投加量xi＝(f(x)-w
0-w1x
1-w2x2‑…wi-1
x
i-1-w
i 1
x
i 1
…‑
wnxn)/wi，将f(x)设为污水处理厂的出水总磷排放目标值，其余参数均为多元线性回归模型训练过程中计算出的结果，就可以在不同的水质条件下，求出合理的除磷药剂投加量，减少药耗成本，该除磷药剂投加量即为线性回归模型的输出结果y1。
[0059]
s5：决策树模型预测除磷药剂投加量。
[0060]
如图3所示的决策树模型预测流程图，决策树模型不同于线性回归模型，是典型的针对非线性数据的回归方法，当水量变化幅度较大时，水质参数常常也会发生变化，加药数据多呈现非线性，普通的线性回归模型则不能满足除磷药剂投加量的预测需求，故采用具有很高复杂度和非线性的决策树模型方法。
[0061]
假设x和y分别为特征参数和预测目标，训练数据集为d＝{(x1,y1),(x2,y2)
…
(xm,ym)}，其中为特征向量，m代表样本数据的个数，n代表样本数据的特征数。决策树模型采用启发式方法，每次划分都遍历当前训练数据集中所有特征参数的全部取值，直到找到一个最优划分点，使得在该最优划分点将整个训练数据集分成两个子集时的损失函数最小。对样本数据中第j个特征变量xj和它的取值s作为切分变量和切分点，并定义如下两个区域r1(j,s)＝{x|xj≤s}和r2(j,s)＝{x|xj》s}，为了找出最优的j和s，需求
解算式解算式也就是找出使要划分的两个区域平方误差和最小时的j和s，其中，c1为划分的区域r1内的固定输出值，c2为划分的区域r2内的固定输出值，方括号内的两个min表示使用的是最优的c1和c2，也就是选取的固定输出值c1使区域r1内的平方误差和最小，选取的固定输出值c2使区域r2内的平方误差和最小，在一维空间内使样本均值的平方误差和最小的固定输出值是最优的固定输出值，所以这两个最优的固定输出值c1和c2就是各自对应区域内y的均值，上式可写为其中其中找出最优的j和s后，依次将训练数据集中的样本数据划分到上述的两个区域，区域内划分的样本数据构成子集，两个区域形成了两个子集，没有被划分的样本数据称为叶子节点，叶子节点内的样本称为元素。
[0062]
再分别寻找训练数据集的两个子集的最优划分点继续切分，直至达到预设的终止条件才停止划分，此时叶子节点所含训练数据集的均值即为该叶子节点的输出值。当输入新的加药数据后，通过之前训练好的划分准则，将该加药数据最后落到的叶子节点的输出值作为该加药数据的预测值。在市政污水除磷药剂投加量预测中，同样将水质参数和除磷药剂投加量作为特征值，将出口总磷作为该条件下的预测值，当其他条件保持不变，调整除磷药剂投加量，可以精确的计算出目前的预测出口总磷，从而得到最合适的除磷药剂投加量y2，方便污水处理的技术人员针对特征参数的变化及时调整除磷药剂投加量，对建立节能环保型水厂具有深远的现实意义。
[0063]
s6:数据模型现场部署及运行。
[0064]
将训练好的svm分类器和除磷药剂投加量预测模型封装后部署到污水处理工艺流程现场，接入实时数据；运行除磷药剂投加量预测模型，计算当前状态下所需的除磷药剂投加量。其中，所述除磷药剂投加量预测模型包括线性回归模型和决策树模型，当前状态包括当前市政污水进水流量和水质参数。
[0065]
s7：控制系统自动投加。
[0066]
将除磷药剂投加量数据传递给控制系统，控制系统依据数据模型运算结果完成除磷药剂自动投加。
[0067]
以上对本发明实施例进行了详细介绍，以上实施例的说明只是用于帮助理解本发明的方法及设备；同时，对于本技术领域的普通技术人员来说，依据本发明的思想，在具体实施方式及应用范围上均会有所改变，综上所述，本说明书内容不应理解为对本发明的限制。