基于门控多专家混合堆叠自编码器的产品质量预测方法

1.本发明属于工业过程控制领域，特别涉及一种基于门控多专家混合堆叠自编码器的产品 质量预测方法。


背景技术：

2.随着现代工业技术的不断发展进步，如何保证工业生产过程中的产品质量成为了工业过 程控制领域重点关注和需要解决的关键问题之一。在工业生产过程中，对产品质量变量的 实时测量和准确预报对从业人员非常重要，能够通过质量变量的变化对生产过程状态进行 实时的监控，对过程控制策略进行及时地调整，同时也能够达到降低生产成本、提高生产 效率、优化产品质量等。随着现代测量手段的不断发展和进步，可以从过程中测量得到更 多的数据，工业生产过程积累了大量的数据。数据描述了制造各生产阶段的真实情况，为 读懂、分析和优化制造过程提供了宝贵的数据资源，是实现智能制造的智能来源。因此， 如何合理地利用制造过程积累的数据信息，建立适用于工业过程的智能分析模型，以更好 地为制造过程的智能决策与质量控制服务，是工业界较为关注的热点问题。
3.现阶段适用于工业过程产品质量预测的模型主要可以分为基于机理的建模，基于专家经 验的建模以及基于数据驱动的建模，由于工业过程系统往往是复杂的黑箱状态，因此近年 来数据驱动模型成为主要的研究方向，同时也有着更好的预测效果。数据驱动的质量预测 方法利用机器学习、深度学习等智能分析技术，对工业数据深入挖掘、建模和分析，为用 户和工业提供实时准确的产品质量预测结果。数据驱动模型作为一种黑箱模型可以解决所 研究对象机理模糊不清的问题。数据驱动模型可以仅采用一种算法建立，也可以采用多种 算法集成建立。同时，数据驱动模型采用的算法可以根据实际问题灵活调整内部超参数或 利用优化算法进行改良。数据驱动模型通常利用历史数据建立，旨在描述研究对象的内部 运行规律和相关模式区别，并可结合在线数据的参数输入实现模型的在线输出。
4.但是，现有的一些数据驱动的建模方法，在工业系统发生了动态的工况变化时，模型并 不能很好地跟踪和描述系统的变化，导致对产品质量的预测结果产生了一定的误差，影响 了工业生产应用。因此，亟需提供一种有更高自适应能力和鲁棒性的产品质量预测方法， 使得模型能够在系统工况发生变化时也能够很好地完成对目标产品质量变量的实时和准确 预测。


技术实现要素：

5.本发明的目的在于针对现有技术的不足，提供一种基于门控多专家混合堆叠自编码器 的产品质量预测方法，
6.一种基于门控多专家混合堆叠自编码器的产品质量预测方法，该方法包括以下步骤：
7.步骤一：收集工业过程的传感器数据与产品质量数据，得到建模用的训练数据集其中，x代表输入样本，y代表样本标签，m表示有标签样本个数；
8.步骤二：构建用于产品质量预测的门控多专家混合堆叠自编码器模型，利用步骤一中 的训练数据集对门控多专家混合堆叠自编码器模型进行训练；
9.所述门控多专家混合堆叠自编码器模型包括多个专家子网和一个门控结构，每个专家 子网均包括一个堆叠自编码器结构，所述门控结构用于收集输入数据信息与多个专家子网 最后一层隐藏层信息，并计算得到对应专家子网输出结果的权重，最后利用权重和输出值 进行加权融合计算得到模型的总体预测结果；
10.步骤三：采集工业现场工作数据，并输入训练后的门控多专家混合堆叠自编码器模型， 输出对应的产品质量预测结果。
11.进一步地，所述步骤二具体分为如下的子步骤：
12.(2.1)构建用于每个专家子网的堆叠自编码器结构；
13.所述堆叠自编码器结构包含多层编码器和多层解码器，堆叠自编码器每层的输出是对 输入的重构；
14.对单层的自编码器，计算公式如下：
[0015][0016][0017]
其中，为编码器函数，为解码器函数，x代表输入的数据集，h代表编码器的 输出同时为解码器的输入，为解码器的输出；w
(e)
,w
(d)
为编码器和解码器的权重系数矩阵， b
(e)
,b
(d)
为编码器和解码器的偏差系数矩阵；
[0018]
对于堆叠自编码器结构，上一层编码器的输出作为下一层编码器的输入，其计算公式 如下：
[0019][0020]
其中，l代表隐藏层的层数，和为对应隐藏层的权重系数矩阵和偏差系数矩阵；
[0021]
对于单个专家子网，基于其最后一层隐藏层结果的专家子网输出结果的计算公式如下：
[0022][0023]
其中，为第r个的专家子网的输出，w
reg,r
和b
reg,r
为对应隐藏层的权重系数矩阵和偏 差系数矩阵；f
reg,r
为回归器函数；h
r,l
为第r个的专家子网的最后一层隐藏层；
[0024]
(2.2)对于多个专家子网结构，门控结构收集输入数据信息与多个专家子网最后一层 隐藏层信息，计算对应专家子网输出结果的权重：
[0025]
[w
e,1
,w
e,2
,...,w
e,r
]＝softmax(gate(x,h
1,l
,h
2,l
,...,h
r,l
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0026][0027]
其中，r为专家子网的总数量；
[0028]
利用权重和输出值进行加权融合：
[0029][0030]
其中，w
e,r
为专家子网的输出值权重，为专家子网的输出值；
[0031]
(2.3)采用步骤一构建的训练数据集，采用随机梯度下降算法对所述门控多专家混合 堆叠自编码器模型进行训练，其模型训练损失函数定义为对输入的重构误差，重构误差由 下式所示：
[0032][0033][0034][0035]
其中，ws与wa分别为对应的mse与mae的权重值，n表示样本的总量；yi代表第i个 有标签输入样本，代表堆叠自编码器对它的重构。
[0036]
本发明的有益效果如下：
[0037]
本发明的基于门控多专家混合堆叠自编码器的产品质量预测方法，专门针对工业过程中 动态的工况变化情况，设计了多专家子网结构与门控结构以及基于权重设计实现子网差异 化的模型训练损失函数，使得模型能够在工况变化时实时对模型的专家子网输出值权重进 行调整，使模型更好追踪和描述系统特征，提高了模型的自适应能力和鲁棒性，对工业过 程的产品质量预测有更好的预测效果。
附图说明
[0038]
图1为自编码器示意图；
[0039]
图2为堆叠自编码器示意图；
[0040]
图3为门控多专家混合堆叠自编码器示意图；
[0041]
图4为不同模型的产品质量预测结果曲线图；
具体实施方式
[0042]
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白， 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0043]
本发明的基于门控多专家混合堆叠自编码器的产品质量预测方法，包括如下步骤：
[0044]
步骤一：进行数据采集；工业现场一般布置有大量传感器设备以监控过程状态，传感器 是一种检测装置，能感受到被测量的信息，并能将检测感受到的信息，按一定规律变换成 为电信号或其他所需形式的信息输出，进行对产品质量进行预测前，首先应当收集工业过 程的传感器数据与对应时刻下的产品质量数据，得到建模用的训练数据集其 中，x代表输入样本，输入样本一般为多维度向量，即对应生产过程中多个
传感器设备采集 的数据，y代表样本标签，即产品的质量变量，m表示有标签样本个数；
[0045]
步骤二：构建用于产品质量预测的门控多专家混合堆叠自编码器模型，并利用工业过程 数据样本集对门控多专家混合堆叠自编码器模型进行训练；所述门控多专家混合堆叠自编 码器模型包括多个专家子网和一个门控结构，每个专家子网均包括一个堆叠自编码器结构， 所述门控结构用于收集输入数据信息与多个专家子网最后一层隐藏层信息，并计算得到对 应专家子网输出结果的权重，最后利用权重和输出值进行加权融合计算得到模型的总体预 测结果；
[0046]
具体分为以下子步骤：
[0047]
(2.1)构建用于每个专家子网中的堆叠自编码器结构，包含多层编码器和多层解码器， 模型输出是对输入的重构，要求经过自编码器得到的输出值要尽可能与输入值相等；
[0048]
对单层的自编码器，计算公式如下：
[0049][0050][0051][0052]
其中，为编码器函数，为解码器函数，x代表输入的训练数据集，h为隐藏层 信息，作为编码器的输出同时为解码器的输入，为解码器的输出。w
(e)
,w
(d)
分别为编码器 和解码器的权重系数矩阵，b
(e)
,b
(d)
分别为编码器和解码器的偏差系数矩阵，j
ae
(θ)为单层 自编码器训练过程中使用的均方误差公式，训练时要求j
ae
(θ)结果趋近于0越好。
[0053]
对于堆叠的自编码器来说，整体的结构由多个单层自编码器堆叠形成，整体堆叠自编 码的效果与单层自编码器相似，完成对输入数据的重构，在其内部的层与层的结构上，上 一层单层编码器的输出可以作为下一层单层编码器的输入，其计算公式如下：
[0054][0055]
其中，l代表隐藏层的层数，和为对应隐藏层的权重系数矩阵和偏差系数矩阵，为堆叠自编码器中层与层之间的编码器函数。
[0056]
对于单个专家子网，网络基于其最后一层隐藏层结果的子网输出结果的计算公式如下：
[0057][0058]
其中，为第r个的专家子网的输出，w
reg,r
和b
reg,r
为对应隐藏层的权重系数矩阵和 偏差系数矩阵；f
reg,r
为回归器函数；h
r,l
为第r个的专家子网的最后一层隐藏层；。
[0059]
(2.2)对于多个专家子网结构，门控结构收集输入数据信息与多个专家子网最后一层 隐藏层信息，计算对应专家子网输出结果的权重，利用权重和输出值进行加权融合：
[0060]
其中，对多专家子网权重进行计算的公式如下：
[0061]
[w
e,1
,w
e,2
,...,w
e,r
]＝softmax(gate(x,h
1,l
,h
2,l
,...,h
r,l
))
ꢀꢀꢀꢀꢀ
(6)
[0062][0063]
其中r为专家子网的总数量；w
e,r
为第r个专家子网的权重。
[0064]
门控结构提取了各专家子网中堆叠自编码器最后一层隐藏层信息以及输入的数据信息， 引入了softmax函数将采集的信息映射到表示概率分布的[0,1]之间的实数域上，计算每一个 专家子网输出值的权重值，使每一个专家子网对应输出值的权重值总和为1。门控结构的加 权计算公式如下：
[0065][0066]
其中，w
e,r
为第r个专家子网的输出值权重，为第r个专家子网的输出值，代表了 门控堆叠自编码器模型对产品质量的总预测值。
[0067]
(2.3)采用步骤一构建的训练数据集，训练过程中采用了随机梯度下降算法对所述门 控多专家混合堆叠自编码器模型进行训练，使得损失函沿负梯度方向前进找到更小的函数 值，即训练过程中预测结果的误差尽可能小。训练时损失函数定义为输出对输入的重构误 差，重构误差由下式所示：
[0068][0069][0070][0071]
本方法中，输出对输入的重构误差由均方误差(mse)和平均绝对误差(mae)的加 权融合设计而成，其中ws与wa分别为对应的mse与mae的权重值，通过采用不同的权 重值完成对专家子网的差异化处理，一般情况下，设计ws与wa的总和为1并且不考虑ws与 wa取负值的情况；yi代表第i个有标签输入样本，代表堆叠自编码器的输出值，即对yi的 重构。
[0072]
步骤三：采集工业现场工作数据并输入本方法所述用于产品质量预测的门控多专家混合 堆叠自编码器模型，输出对应的产品质量预测结果。
[0073]
下面以一个具体工业过程实例验证本发明的方法的有效性。所有的数据采集于某炼铁厂 的高炉炼铁生产过程运行数据。采集到的数据一共包括9000个数据样本，其中6000个数 据样本作为训练集，2000个数据样本作为验证集，1000个数据样本作为测试集。数据集一 共有110个过程变量，待预测的质量变量为硅含量，硅含量是高炉炼铁过程中重要的铁水 质量指标之一，能够很好地反映高炉炼铁工业系统的运行状态和产品质量。
[0074]
为了评价所设计产品质量预测模型的预测性能，实验过程中使用均方根误差作为评价标 准，其定义如下：
[0075][0076]
其中，n代表测试集的总数据量，yi与分别为输出的质量变量的真实值和预测值。
[0077]
对比实验的测试结果如表1所示，其中结果为测试集上堆叠自编码器模型(sae)、袋 装算法堆叠自编码器模型(bagging-sae)以及门控多专家混合堆叠自编码器模型 (mmoe-sae)三种模型的rmse。
[0078]
表1
[0079]
模型rmsesae0.0517bagging-sae0.0499mmoe-sae0.0299
[0080]
图4给出了在测试集上，三种不同的模型在对产品质量预测过程中的预测结果与产品 质量真实值之间的曲线图。从图4以及表1的结果上可以比较明显地看出，无论是堆叠自 编码器模型或者是袋装算法模型在对有工况变化下的高炉系统进行产品质量预测时，预测 结果与真实值之间存在比较明显的误差，而预测精度相对较低。而对于本发明提出的门控 多专家混合堆叠自编码器模型，相比另外两种模型，本发明提出模型的预测效果明显高于 另外两个模型，在平稳过程预测偏差更小，有更好的自适应能力和鲁棒性，在产品质量预 测效果上更优。
[0081]
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发 明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可 以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在 发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。