基于残差拟合机制简化深度森林回归的炉排炉MSWI过程二噁英排放软测量方法

基于残差拟合机制简化深度森林回归的炉排炉mswi过程二噁英排放软测量方法
技术领域
1.本发明属于固废焚烧领域。


背景技术：

2.城市固废(msw)处理旨在实现无害化、减量化和资源化，其中msw焚烧(mswi)是目前的主要方式。但是，mswi过程也是当前排放剧毒有机污染物二噁英(dxn)的主要工业过程之一，约占我国总排放量的9％。mswi主要采用炉排炉、流化床和回转窑等技术，其中以炉排炉技术在我国的占比最大。基于炉排炉的mswi过程的优化运行对实现我国dxn减排具有重要贡献。因此，对dxn排放浓度进行高精度的实时检测是十分必要的。
3.基于数据驱动的软测量技术可有效地解决上述问题，即通过机器学习或深度学习的方法表征易测过程变量与dxn排放浓度之间的相关性。这通常需要确定一个映射函数达到预测dxn排放浓度的目的。例如，将遗传规划与神经网络(neural network，nn)相结合的方式对dxn排放进行建模，但其不适用于不同类型的焚烧厂；设计基于反向传播神经网络(back-propagation nn，bpnn)的软测量模型，但其可移植性不佳，并且bpnn在面对小样本问题时存在较为严重的过拟合问题；采用选择性集成和评估变量投影重要性策略，通过使用支持向量机和核潜结构映射算法选择有价值过程变量构建dxn软测量模型，但其不能表征深度特征。
4.基于某800吨炉排炉12年的dxn数据，提出了一种精度高、耗时短的具有残差拟合机制的简化深度森林回归(sdfr)方法(sdfr-ref)。本文的主要创新包括：采用决策树取代复杂的森林算法，从而减少深度森林集成模型的规模；在级联层之间采用带学习因子的残差拟合策略，使模型具有较高的预测性能；利用互信息(mi)和显著性检验(st)进行特征选择，简化软测量模型的输入。
5.在我国，焚烧是主要的msw处理方法，其典型工艺如图1所示。如图1所示，基于炉排炉的mswi工艺流程包括：固废储运、固废焚烧、余热锅炉、蒸汽发电、烟气净化和烟气排放6个阶段。目前我国mswi厂主要集中在沿海地区，其中90％以上采用炉排炉。炉排式mswi工艺具有日处理能力大、运行稳定、dxn排放浓度低等优点。本文dxn排放浓度的检测是针对烟气排放阶段的“烟气g3”位置。
6.本文所研究的mswi厂已于2009年点火并投入运行。从2009到2013年，dxn的排放水平不高于中国的环境排放标准(gb18485 2001)，即1ng i-teq/nm3(氧气含量为11％)，相应地dxn检测次数逐年增加，最终稳定在4次/年。自2014年以来，我国对dxn的排放限值进行了修订(由1ng i-teq/nm3更新为0.1ng i-teq/nm3)。显然，越来越严格的排放限制导致企业和政府对dxn的检测次数逐渐增加，企业的运营成本也在相应增加。


技术实现要素：

7.本文旨在探讨如何利用mswi过程数据和有限的dxn检测数据建立dxn软测量模型，
为mswi企业的dxn减排优化控制和降低成本提供关键指标数据。
8.本文提出一种基于特征选择和sdfr-ref的建模策略，结构如图2所示。
9.图2可知，所提建模策略包含基于mi和st的特征选择模块以及基于残差拟合机制sdfr模块，其中：前者通过计算每个特征的mi值和st值选择相应的特征；对于后者，layer-k表示第k层模型，表示第1层模型的输出向量，表示第二层输入的增广回归向量，表示的平均值，α是各层之间的剩余学习率；x和x
xsel
分别表示特征选择前和后的过程数据；y、和e分别是真值、预测值和预测误差。
10.此外，{δ
mi
,δ
sl
,θ,t,α,k}表示所提sdfr-ref的学习参数集，其中：δ
mi
表示mi的阈值，δ
sl
表示显著性水平的阈值，θ表示叶节点中的最小样本数，t表示每层模型中决策树的数量，α是梯度提升过程中的学习率，k表示层数。这些学习参数的全局优化选择可提高不同模块之间的协同作用，进而提高模型的整体性能。因此，所提建模策略可表述为求解以下优化问题：
[0011][0012]
其中，f
sdfr-ref
(
·
)表示sdfr-ref模型；f
feasel
(
·
)表示本文所提的非线性特征选择算法；n表示建模样本数量；yn表示第n个真值；表示第1棵cart的第l个叶节点的预测值，表示第t棵cart的第l个叶节点的预测值；d＝{x,y|x∈rn×m,y∈rn×1}表示原始建模数据，也是特征选择算法的输入，m是原始特征的数量；为指示函数，当x
xsel
∈rm×n时当时
[0013]
4.1基于mi和st的特征选择
[0014]
mi和st用于计算原始特征(过程变量)与dxn值之间的信息相关性，通过预设阈值实现特征的最佳选择。对于输入数据集，本文所提的非线性特征选择算法f
feasel
(
·
)定义如下：
[0015]dsel
＝f
feasel
(d,δ
mi
,δ
sl
) (2)
[0016]
其中，分别表示所提特征选择算法的输出，m
sel
是所选特征的数量。
[0017]
事实上，mi无需假设数据潜在联合分布，mi提供了随机变量之间统计依赖程度的信息量化度量，并且估计两个随机变量之间的相互依赖程度以表达共享的信息，其计算过程如下所示：
[0018][0019]
其中，xi是x第i个特征向量，x
n,i
是x第i个特征向量的第n个值；y表示dxn真值向
量，yn为y的第n个值；p(x
n,i
,yn)表示联合概率密度；p(x
n,i
)和p(yn)表示x
n,i
和yn的边缘概率密度。
[0020]
如果某个特征的mi值大于阈值δ
mi
，则将其视为构成初选特征集x
mi
的重要特征。
[0021]
进一步，利用st分析基于mi所选特征之间的关联度并去除共线性特征。所选特征和之间的皮尔逊系数值pcoe的计算如下：
[0022][0023]
其中，和分别表示和的平均值，和表示和的第n个值。
[0024]
z-test用于计算特征和之间的z
test
值，
[0025][0026]
其中，si和sj表示和的标准差；ni和nj表示和的样本数。
[0027]
进一步，p-value通过z
test
值查表获得。至此，我们在h0中假设第i个和第j个特征之间不存在线性关系，且皮尔逊系数pcoe视作替代假设h1。根据p-value和显著性水平δ
sl
的比较，确定最终选定的包括优选特征的x
xsel
，其准则表示如下：
[0028][0029]
基于上述假设，mi选择的共线性特征被移除，从而减少了数据噪声对训练模型的影响。
[0030]
4.2基于残差拟合机制的sdfr(sdfr-ref)
[0031]
4.2.1第一层实现
[0032]
将特征选择后的训练集记为d
sel
，sdfr算法是将原始dfr中的森林算法替换为决策树，即cart。每一层包含多个决策树，利用平方误差最小化准则分割树节点。该过程的最小损失函数表示如下：
[0033][0034]
其中，和分别为r
left
和r
right
节点的输出；y
left
和y
right
分别表示r
left
和r
right
节点中的真值。
[0035]
具体来讲，通过以下方式确定节点，
[0036][0037]
其中，j和s分别表示分割特征和分割值；为所选特征x
sel
的第j个特征值。
[0038]
因此，cart可以表示为：
[0039]
[0040]
其中，l表示cart叶节点的数量，表示cart第l个叶节点的输出，为指示函数，当时当时
[0041]
包含多个cart的第一层模型表示如下：
[0042][0043]
其中，表示sdfr中的第一层模型，t表示每层模型中cart的数量，表示第1层第t个cart模型。
[0044]
此外，来自第一层模型的第一层回归向量表示如下：
[0045][0046]
其中，表示第1棵cart的第l个叶节点的预测值，表示第t棵cart的第l个叶节点的预测值。
[0047]
增广回归向量通过合并层回归向量获得，表示如下：
[0048][0049]
其中，表示特征向量组合函数。
[0050]
之后作为下一层的特征输入。本文中dxn真值不再用于后续的级联模块，而是通过梯度提升策略重新计算新的真值。因此，本文采用下式计算平方误差的损失函数，
[0051][0052]
其中，表示sdfr-ref中平方误差损失函数；表示第1层训练集的第n个真值。
[0053]
损失函数进一步用于计算梯度方向，如下所示。
[0054][0055]
其中，是第1层的第n个真值的梯度；表示初始真值的算术平均值，即yn表示第n个真值。
[0056]
然后，目标函数为
[0057][0058]
其中，是第1层模型；α表示学习率；ir(x
sel
)表示当x
sel
∈r时ir(x
sel
)＝1，当时ir(x
sel
)＝0。
[0059]
因此，第二层的真值为
[0060][0061]
其中，y1是第1层模型的真值，即y1＝y，y为dxn的真值向量；表示第1层回归向量的均值。
[0062]
4.2.2第k层实现
[0063]
基于第(k-1)层的增广回归向量的第k层训练集表示为1)层的增广回归向量的第k层训练集表示为为第k-1层的增广回归向量，yk为第k个真值。
[0064]
首先，根据公式(7)和(8)建立第k层的决策树第k层模型表示如下：
[0065][0066]
其中，表示第k层模型，第k层第t个cart模型。
[0067]
接着，第k层的增广回归向量表示如下：
[0068][0069]
其中，表示第k层回归向量，即
[0070]
然后，参照公式(12)和(13)计算梯度第(k 1)层的真值表示如下：
[0071][0072]
4.2.3第k层实现
[0073]
第k层是sdfr-ref训练过程的最后一层，即预设最大层数，其训练集为
[0074]
首先，通过训练集构建决策树模型并进一步得到第k层模型接着，根据输入的增广回归向量计算第k层回归向量其表示如下：
[0075][0076]
其中，表示第k层第1个cart模型，表示第k层第t个cart模型。
[0077]
最后，通过学习率α梯度提升后的输出值为
[0078][0079]
其中，表示第k层回归向量的均值。
[0080]
4.2.4预测输出实现
[0081]
多层叠加后，利用每一层减小前一层的残差。最后，sdfr-ref模型如下所示：
[0082][0083]
其中，ir(x
sel
)表示当x
sel
∈r时ir(x
sel
)＝1，当时ir(x
sel
)＝0。
[0084]
由于f
sdfr-ref
(
·
)是根据加法计算的，最终的预测值不能简单计算平均。因此，需要
先计算各层回归向量的均值，以第1层为例，如下所示：
[0085][0086]
将k个预测值相加得到最终预测值，如下所示：
[0087][0088]
其中，是sdfr-ref模型的预测值；表示当x
sel
∈rm×n时当时
附图说明
[0089]
图1基于炉排炉的mswi典型工艺流程
[0090]
图2本文所提建模策略
具体实施方式
[0091]
本节使用真实的dxn数据集验证所提方法的有效性。dxn数据源自北京某焚烧厂近12年的实际mswi过程，包括141个样本和116个过程变量。过程变量涵盖mswi的四个阶段，即固废焚烧、余热锅炉、烟气净化和烟气排放，表1展示了详细信息。
[0092]
表1过程变量的类型
[0093][0094]
[0095]
训练、验证和测试集的样本量分别为原始样本数据的1/2、1/4和1/4。
[0096]
表2过程变量的缩写
[0097]
[0098][0099]
先计算116个过程变量和dxn排放浓度之间的mi值。本文将mi的阈值δ
xsel
设置为0.75，以确保所选过程变量和dxn排放之间的信息量尽可能大，选择的初始特征数量为30；进一步，设置显著性水平δ
sl
＝0.1，最终选择的过程变量为t2、t4、t5、t6、t7、t9、t10、t16、t20、t21、laf1、fus1、dc1和cc1，共计14个。所选过程变量之间的线性相关性较弱，这表明了所用方法的有效性。
[0100]
本节中通过经验设置sdfr-ref的超参数如下：最小样本数为3，随机特征选择数为11，cart数为500，层数为500，学习率为0.1。采用rf、bp神经网络(bpnn)、xgboost、dfr、dfr-clfc和imdfr建模方法进行实验比较，参数设置如下：1)rf：最小样本数为3，cart数为500，随机特征选择11；2)bpnn：隐藏层神经元个数为30，收敛误差为0.01，代数为1500，学习率为0.1；3)xgboost：最小样本数为3，xgboost数为10，正则项系数为1.2，学习率为0.8；4)dfr和
dfr-clfc：最小样本数为3，cart数为500，随机特征选择数为11，rf和crf数分别为2。
[0101]
采用rmse和r2评估建模方法的性能，其定义如下：
[0102][0103][0104]
其中，yn表示第n个真值，表示第n个预测值，表示平均输出值，n表示样本数量。
[0105]
在此基础上，对七种方法进行了30次重复实验，表3展示了统计结果。表4给出了训练时间的统计结果。
[0106]
表3 dxn数据集不同方法的统计结果
[0107]
[0108][0109]
表4模型训练时间统计结果
[0110][0111]
由表3可知：1)在训练集中，所提方法sdfr-ref在rmse和r2的均值(6.6200e-04和9.9950e-01)和最佳值(5.2456e-04和9.9970e-01)上具有最优结果；由于没有引入随机性，xgboost的方差统计量几乎为0；2)在验证集中，sdfr-ref没有明显的优势，它的性能仅仅优于bpnn、xgboost和imdfr；rf、dfr和dfr-clfc的泛化性能几乎相同；3)在测试集中，sdfr-ref具有最佳的测量精度(1.4500e-02)和拟合性能(6.9780e-01)。
[0112]
综上所述，sdfr-ref与经典学习方法(rf、bpnn和xgboost)相比具有更强大的学习能力。此外，sdfr-ref对比深度学习方法(dfr、dfr-clfc、imdfr)在简化森林算法的基础上进一步增强了模型的实现。sdfr-ref在测试集中的表现也表明它的泛化能力强于其他方法。因此，所提出的方法对于mswi过程的dxn预测是有效的。
[0113]
表4表明本文所提方法与同为决策树的方法相比，在训练时间的均值上具有较大优势。
[0114]
本文提出一种基于sdfr-ref的方法用于预测基于炉排炉的mswi过程中的dxn排放浓度。主要贡献如下：1)基于互信息和显著性检验的特征选择模块有效降低了计算复杂度，提高了预测性能；2)在深度集成结构中采用决策树代替森林算法，训练速度和学习能力均
优于dfr和dfr clfc；3)由于引入了残差拟合，sdfr-ref的预测精度进一步提高。实验结果表明，与传统集成学习和深度集成学习相比，sdfr-ref具有更好的建模精度和泛化性能，训练成本低于最先进的集成模型。因此，sdfr-ref更容易进行实际应用。