融合定性和定量信息的隐变量高斯过程软测量建模方法

1.本发明涉及软测量建模过程具有高维数据特性“小样本”的情形，特别涉及一种融合定性和定量信息的隐变量高斯过程软测量建模方法。


背景技术：

2.近年来，随着通信技术和存储技术的快速发展，大量的工业过程数据被收集和存储。在大数据环境下，研究者们致力于软测量模型的构建和训练方法的研究。然而，在许多场景下，“小样本”的问题尤为突出，但却很少受到关注，例如药品生产、特种化学品制备等高附加价值的工业过程。这些过程为满足不同的产品需求，需频繁改变操作条件，导致每种条件下生产的产品数量是有限的。然而，对于数据驱动过程建模，模型的可靠性极度依赖于训练样本的质量。仅以少量的样本构建过程变量与关键质量变量间的模型是困难的。
3.一种典型的“小样本”过程是挤出机挤出过程。螺杆是挤出机的重要组成部分，固体粒子通过螺杆完成输送、熔融、熔体输送的完整物料传输过程。挤出机的性能主要依赖于系统操作条件和螺杆配置。根据制造商提供的各种类型的螺杆元件，可以得到不同的螺杆配置。因此，选择合适的螺杆元件并确定它们在螺杆轴上的位置，对于产品的生产是至关重要的。近年来，由于低成本、易操作等优点，基于统计特性和机器学习的数据驱动模型被用来替代计算机仿真过程以确定螺杆元件配置。为了满足不同的产品需求，不同螺杆配置下收集的样本是有限的。因此，如何在小样本情况下建立挤出机的软测量模型是值得研究的。
4.为了解决样本量不足模型不可靠的问题，一种可行的方法是通过收集不同任务下的有限样本扩大样本容量。这一方法类似于多任务学习，即共享相似任务下的有用信息以同时对各种任务进行建模。考虑到螺杆元件配置对软测量建模的影响，通过one-hot编码量化定性信息并与定量因素融合，实现挤出机过程关键质量变量预测。然而，在实际过程中，类型多样的螺杆元件导致构建融合定量因素与定性因素的模型是困难的。因为高维度的定性因素会淹没定量因素对模型构建的作用。同时，高维变量中可能包含冗余信息，对模型的构建造成干扰。因此，有必要在构建软测量模型前从高维变量中提取有效的低维隐层特征表示。


技术实现要素：

5.为了解决工业过程中具有高维数据特性的“小样本”建立可靠软测量模型困难的问题，本发明提出一种融合定性和定量信息的隐变量高斯过程软测量建模方法；通过学习融合定性信息与定量信息的高维变量有效特征，去除冗余信息对模型构建的影响；有利于在隐变量与关键质量变量间构建可靠的软测量模型实现对测试样本关键质量变量的预测。
6.本发明解决其技术问题所采用的技术方案是：
7.一种融合定性和定量信息的隐变量高斯过程软测量建模方法，所述方法包括以下步骤：
8.1)获取聚丙烯数据
9.聚丙烯的生产加工过程在双螺杆挤出机中完成。本方法中采用ludovic仿真软件模拟聚丙烯在同向双螺杆挤出机流道内的流动过程，并生成用于过程建模的数据。聚丙烯在挤出机的流动情况与两个重要的质量变量有关，即物料出口温度和停留时间。由于实时测量物料出口温度和停留时间比较困难，选择三个与聚丙烯生产过程密切相关的辅助变量构建软测量模型，其包含两个定量因素：进料流速、螺杆转速及一个定性因素螺杆配置。
10.2)确定聚丙烯数据的训练集与测试集以及预处理工作
11.首先，将收集到的聚丙烯数据划分为训练集和测试集，接着，为了在建模过程中给定量因素和定性因素赋予权重，对定量因素和定性因素分别进行预处理。
12.3)融合定量因素与定性因素构建新的过程变量
13.同时考虑对聚丙烯过程关键质量变量有影响的定量因素与定性因素，将定量因素与定性因素相融合构建新的高维过程变量。
14.4)学习有效的潜层变量
15.基于新构成的高维过程变量，通过高斯过程潜变量模型(gaussian process latent variable model,gplvm)学习有效的隐层特征表示，以去除冗余信息对模型的影响。
16.5)建立基于隐变量的软测量模型
17.在隐变量与关键质量变量间构建软测量模型实现对测试样本关键质量变量的预测。
18.6)模型表现评估
19.为了更客观地评价本发明所提方法，引入评价指标均方根误差(root mean square error,rmse)。
20.进一步，所述步骤2)的过程为：
21.步骤2.1：训练集与测试集划分
22.在混合聚丙烯挤出工艺中，使用不同的螺杆元件作为挤出机配置的候选元件，从螺杆配置总数中，随机选择m个配置，在不同的配置下，在不同操作条件中收集过程输入和输出数据；对于每种操作条件，采用拉丁超立方体抽样方法确定收集的样本，并将样本划分为训练集与测试集。
23.步骤2.2：数据预处理
24.对于定量因素进料流速和螺杆转速，采用最大-最小归一化方法进行预处理，其公式表示为：
[0025][0026]
式中，p为归一化处理后的数据；a为采集的原始数据；a
min
为原始数据中的最小值；a
max
为原始数据中的最大值。将进料流速和螺杆转速经最大-最小归一化处理后的变量分别表示为p1和p2。
[0027]
对于定性因素螺杆配置，采用one-hot编码进行预处理。第一种候选螺杆配置表示为[1,0,0,
…
,0,0]，第二种候选螺杆配置表示为[0,1,0,
…
,0,0]，以此类推。
[0028]
进一步，所述步骤(3)的过程为：
[0029]
将定量因素与定性因素相融合，构成新的输入变量(e)。在这里采用符号表示向
量的连接操作。因此，
[0030][0031]
进一步，所述步骤(4)的过程为：
[0032]
步骤4.1：学习高维过程变量e的低维潜在表示
[0033]
gplvm模型在数据降维和特征学习方面具有优越的性能。gplvm通过学习低维空间隐变量z实现高维数据x的降维，具体的，对给定的n个d维观测样本进行降维，得到这些样本在低维空间中的有效表示，记作其中q表示经降维后的维度，q＜＜d。隐变量与观测变量间的关系可以表示如下：
[0034]
xn＝fg(zn) εn[0035]
其中，fg(
·
)表示服从高斯过程先验的非线性函数，满足fg(
·
)～gp(0,k)。εn为高斯噪声，满足εn～n(0,σ2)。通过推导，可以得到gplvm边际似然p(x|z,θ)的具体形式：
[0036][0037]
其中，θ表示核函数核噪声分布中的超参数。x
:,d
表示矩阵x的第d列元素。k表示协方差。σ2表示方差。i为单位矩阵。在学习过程中，通过最大化gplvm边际似然的方式获得最优的隐变量和超参数
[0038][0039]
步骤4.2：确定核函数
[0040]
gplvm采用复合核函数平方指数自相关核函数，其表达式如下所示：
[0041][0042]
其中，x表示输入变量，x
′
表示目标变量，σ
se
为超参数，决定核函数的振幅，h表示输入变量个数，λh表示输入变量与目标变量间的相关性，数值越小相关性越大。
[0043]
进一步，所述步骤(5)的过程为：
[0044]
建立高斯过程回归(gaussian process regression,gpr)模型预测聚丙烯过程的关键质量变量。gpr与gplvm同属高斯过程框架，采用gpr方法基于隐变量与关键质量变量训练模型，进而实现对测试集关键质量变量的预测。
[0045]
进一步，所述步骤(6)的过程为：
[0046]
均方根误差定义如下：
[0047][0048]
式中：表示测试数据yi的预测值，r为测试集样本总数。rmse越小，说明回归模型的预测性能越好。
[0049]
本发明的有益效果主要表现在：
[0050]
本发明提出一种融合定性和定量信息的隐变量高斯过程软测量建模方法，通过学习融合定量因素与定性因素的高维过程变量在低维的有效潜在表示，消除冗余特征对建模的影响，有利于解决具有高维数据特性的“小样本”建立可靠软测量模型困难的问题。
附图说明
[0051]
图1是本发明方法的网络流程图；
[0052]
图2是本发明方法对于停留时间预测结果的箱型图；
[0053]
图3是本发明方法对于物料出口温度预测结果的箱型图；
具体实施方式
[0054]
下面结合附图对本发明作进一步描述。
[0055]
参照图1～图3，一种融合定性和定量信息的隐变量高斯过程软测量建模方法，所述方法包括以下步骤：
[0056]
(1)获取聚丙烯数据
[0057]
聚丙烯的生产加工过程在双螺杆挤出机中完成。本文采用ludovic仿真软件模拟聚丙烯在同向双螺杆挤出机流道内的流动过程，并生成用于过程建模的数据。聚丙烯在挤出机的流动情况与两个重要的质量变量有关，即物料出口温度和停留时间。由于实时测量物料出口温度和停留时间是困难的，三个与聚丙烯生产过程密切相关的辅助变量被选择以构建软测量模型，辅助变量包含两个定量因素：进料流速、螺杆转速和一个定性因素即螺杆配置。
[0058]
(2)确定聚丙烯数据的训练集与测试集以及预处理工作
[0059]
首先，将收集到的聚丙烯数据划分为训练集和测试集，接着，为了在建模过程中给定量因素和定性因素赋予权重，对定量因素和定性因素分别进行预处理。
[0060]
步骤2.1：训练集与测试集划分
[0061]
对于混合聚丙烯挤出工艺，总共使用30种不同的螺杆元件作为挤出机配置的候选元件，因此螺杆配置总数为303＝27000。从整个池中随机选择m个配置，其中，m＜＜27000。在不同的配置下，从四种不同操作条件中收集过程输入和输出数据。对于每种操作条件，采用拉丁超立方体抽样方法确定收集的样本，样本满足区间：进料流速[50,80]kg/h和螺杆转速[200,300]rpm。因此，模型训练的样本大小为m＝4m。此外，包含400个观察值的测试数据集被用来评估不同方法的性能。
[0062]
步骤2.2：数据预处理
[0063]
对于定量因素进料流速和螺杆转速，采用最大-最小归一化方法进行预处理，其公式表示为：
[0064][0065]
式中，p为归一化处理后的数据；a为采集的原始数据；a
min
为原始数据中的最小值；a
max
为原始数据中的最大值。将进料流速和螺杆转速经最大-最小归一化处理后的变量分别表示为p1和p2。
[0066]
对于定性因素螺杆配置，采用one-hot编码进行预处理。由于螺杆元件数为30，因此，每个one-hot向量的长度是30。第一种候选螺杆配置表示为[1,0,0,
…
,0,0]，第二种候选螺杆配置表示为[0,1,0,...,0,0]，以此类推。将经预处理后的螺杆配置表示成{q1,q2,...,q
30
}。
[0067]
(3)融合定量因素与定性因素构建新的过程变量
[0068]
同时考虑对聚丙烯过程关键质量变量有影响的定量因素与定性因素，将定量因素与定性因素相融合构建新的高维过程变量(e)。在这里采用符号表示向量的连接操作。公式如下：
[0069][0070]
(4)学习有效的潜层变量
[0071]
基于新构成的高维过程变量，通过高斯过程潜变量模型(gaussian process latent variable model,gplvm)学习有效的隐层特征表示，以去除冗余信息对模型的影响。
[0072]
步骤4.1：学习高维过程变量e的低维潜在表示
[0073]
gplvm模型在数据降维和特征学习方面具有优越的性能。gplvm通过学习低维空间隐变量z实现高维数据x的降维，具体的，对给定的n个d维观测样本进行降维，得到这些样本在低维空间中的有效表示，记作其中q表示经降维后的维度，q＜＜d。隐变量与观测变量间的关系可以表示如下：
[0074]
xn＝fg(zn) εn[0075]
其中，fg(
·
)表示服从高斯过程先验的非线性函数，满足fg(
·
)～gp(0,k)。εn为高斯噪声，满足εn～n(0,σ2)。通过推导，可以得到gplvm边际似然p(x|z,θ)的具体形式：
[0076][0077]
其中，θ表示核函数核噪声分布中的超参数。x
:,d
表示矩阵x的第d列元素。k表示协方差。σ2表示方差。i为单位矩阵。在学习过程中，通过最大化gplvm边际似然的方式获得最优的隐变量和超参数
[0078][0079]
步骤4.2：确定核函数
[0080]
gplvm采用复合核函数平方指数自相关核函数，其表达式如下所示：
[0081][0082]
其中，x表示输入变量，x
′
表示目标变量，σ
se
为超参数，决定核函数的振幅，h表示输入变量个数，λh表示输入变量与目标变量间的相关性，数值越小相关性越大。
[0083]
(5)建立基于隐变量的软测量模型
[0084]
建立高斯过程回归(gaussian process regression,gpr)模型预测聚丙烯过程的关键质量变量。gpr与gplvm同属高斯过程框架，采用gpr方法基于隐变量与关键质量变量训练模型，进而实现对测试集关键质量变量的预测。lvgpr方法的总体流程图如图1所示。
[0085]
(6)模型表现评估
[0086]
均方根误差定义如下：
[0087][0088]
式中：表示测试数据yi的预测值，r为测试集样本总数。rmse越小，说明回归模型的预测性能越好。
[0089]
将所提的lvgpr方法与未经降维的gpr方法、采用pca降维的pca-gpr方法做对比。这三种模型都是基于定量因素与定性因素相融合的混合过程变量而建立。我们研究当螺杆元件数量m＝300时所提方法的性能，此时训练集的数量规模m＝1200。为了减小单次实验过程结果的偶然性，重复模型的训练和测试过程100次。以100次实验的平均值作为最终的预测结果。将gpr、pca-gpr和lvgpr三种方法在测试集上的预测结果记录在表1中。同时，在图2和图3中显示了停留时间和物料出口温度的rmse值箱型图。从表格与图中可以看出，对于两个关键质量变量的预测，lvgpr方法的rmse比gpr和pca-gpr方法的小，这表明lvgpr方法的性能优于gpr和pca-gpr方法。
[0090]
表1
[0091][0092]
本发明方法采用一种融合定性和定量信息的隐变量高斯过程软测量模型，解决了具有高维数据特性的“小样本”建立可靠软测量模型困难的问题。相比于传统的软测量建模方法，所提方法可以较大地提升模型的预测性能，具有普遍性和通用性。
[0093]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。