一种基于分子光谱流程工业在线测量方法及系统与流程

1.本发明涉及流程工业在线测量技术领域，特别是涉及一种基于分子光谱流程工业在线测量方法及系统。


背景技术：

2.流程工业智能制造是过程信息化与自动化的融合。其中，信息化占主导地位，而过程信息化的核心则是过程信息感知技术。与成熟的诸多过程信息(如温度、流量等)感知技术相比，过程物料组成及关键性质的过程分析技术则是流程工业智能制造亟待发展的信息感知技术。近红外光谱可从分子水平上反映物质组成与结构信息，是理想的过程分析信号。随着光纤、光学材料和仪器制造技术的快速发展，可以方便、快速地获取流程工业过程物料的近红外光谱信号，与化学计量学方法结合，可以实现工艺过程中物料组成和多种物化性质的实时检测(即过程物料信息感知技术)，对于提高流程工业过程优化与控制具有重要作用。基于近红外光谱的过程分析技术(processanalytical technology，pat)，已广泛用于石化、制药和半导体制造等流程工业领域，对其工业生产质量提升具有明显作用，有着光明的应用前景。
3.目前近红外光谱的过程分析技术主要是用反向区间pls建立定量校正模型，然后将未知样本的近红外光谱数据带入定量校正模型中以预测在线生产物料的组分含量或者物理性质。建立一个稳健的、准确的且能够用于在线监测的定量校正模型大概需要收集1000个样本，甚至更多，且这1000个样本的性质要有一定的分散性，能够涵盖生产中的所有物料性质的变化。一般建立一个定量校正模型需要一年以上的时间。因此建立定量校正模型的过程将耗费大量的人力物力，耗时也较长。实际上，在工业生产中，在线测量的目的是为先进控制提供有效参数，实现生产的平稳运行，而在控制实施过程中往往只关心组分性质参数的变化趋势。因此一种无须建模即能够满足先进控制的近红外监测技术对于近红外光谱技术的应用以及成本的节约具有重要意义。


技术实现要素：

4.本发明的目的是提供一种基于分子光谱流程工业在线测量方法及系统，极大的缩短了在线近红外光谱技术的调试建模时间，对于流程工业生产具有重要意义。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于分子光谱流程工业在线测量方法，包括：
7.获取目标样本当前阶段对应的光谱数据；
8.基于所述当前阶段对应的光谱数据和标记组分光谱，绘制当前阶段目标样本中标记组分的浓度变化曲线图；
9.其中，所述标记组分光谱是根据波长变量筛选算法和多元分析手段对历史光谱数据进行处理得到的。
10.可选的，所述标记组分光谱的确定过程为：
11.获取历史光谱数据；所述历史光谱数据为在一段时间内采集的标定样本对应的光谱数据；所述目标样本和所述标定样本为在同一管线上的采集的物质；所述标定样本的个数为5～10个；
12.计算每个所述标定样本中标记组分对应的浓度值；
13.将所述历史光谱数据与每个所述标定样本中标记组分对应的浓度值进行对应组合，进而形成光谱矩阵；
14.采用波长变量筛选算法，对预处理后的光谱矩阵中的特征波长进行筛选，并记录所述特征波长对应的索引位置；
15.将预处理后的历史光谱数据与所述索引位置对应的数值进行组合，形成新矩阵；
16.采用多元分析手段对所述新矩阵进行处理，得到主成成分光谱矩阵；
17.采用渐进因子分析算法或者简化自模式算法对所述主成成分光谱矩阵进行处理，得到所述主成成分光谱矩阵的初始值；
18.基于交替最小二乘算法和所述主成成分光谱矩阵的初始值进行迭代优化，得到标记组分光谱。
19.可选的，所述基于所述当前阶段对应的光谱数据和标记组分光谱，绘制当前阶段目标样本中标记组分的浓度变化曲线图，具体包括：
20.对所述当前阶段对应的光谱数据进行预处理；
21.根据预处理后的当前阶段对应的光谱数据和所述索引位置对应的数值，得到目标波长；
22.基于所述目标波长和标记组分光谱，采用广义逆矩阵计算当前阶段目标样本中标记组分的各个浓度值，并根据所有所述浓度值绘制当前阶段目标样本中标记组分的浓度变化曲线图。
23.可选的，所述基于所述当前阶段对应的光谱数据和标记组分光谱，绘制当前阶段目标样本中标记组分的浓度变化曲线图，具体包括：
24.对所述当前阶段对应的光谱数据进行预处理；
25.根据预处理后的当前阶段对应的光谱数据和标记组分光谱，采用正交投影和斜投影计算当前阶段目标样本中标记组分的各个浓度值，并根据所有所述浓度值绘制当前阶段目标样本中标记组分的浓度变化曲线图。
26.可选的，所述预处理的方法包括导数、平滑、snv、msc、消除常数偏移、减去一条直线、离散小波变换、连续小波变换的一种或者几种的组合。
27.可选的，所述多元分析手段为主成分分析算法或者多元曲线分辨算法。
28.可选的，所述波长变量筛选算法为反向区间pls法、无信息变量消除法、蒙特卡洛-无信息变量消除法或竞争自适用重加权采样法。
29.一种基于分子光谱流程工业在线测量系统，包括：
30.光谱数据获取模块，用于获取目标样本当前阶段对应的光谱数据；
31.浓度变化曲线绘制模块，用于基于所述当前阶段对应的光谱数据和标记组分光谱，绘制当前阶段目标样本中标记组分的浓度变化曲线图；
32.其中，所述标记组分光谱是根据波长变量筛选算法和多元分析手段对历史光谱数据进行处理得到的。
33.根据本发明提供的具体实施例，本发明公开了以下技术效果：
34.本发明提供了一种基于分子光谱流程工业在线测量方法及系统，根据波长变量筛选算法和多元分析手段对历史光谱数据进行处理得到标记组分光谱，然后基于目标样本当前阶段对应的光谱数据和标记组分光谱，绘制当前阶段目标样本中标记组分的浓度变化曲线图，无需建模，极大的缩短了在线近红外光谱技术的调试建模时间，对于流程工业生产具有重要意义。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明一种基于分子光谱流程工业在线测量方法的流程示意图；
37.图2为本发明标记组分光谱确定过程示意图；
38.图3为本发明标记组分浓度预测过程示意图；
39.图4为本发明生产过程近红外光谱数据示意图；
40.图5为本发明cars选择变量频率分布和所选择特征波长位置分布图；
41.图6为本发明近红外趋势预测结果示意图；
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.在线近红外光谱技术在使用过程中需要建立校正模型，该校正模型建立周期长，耗费大量人力物力，且校正模型需要周期性维护，成本高。本发明的目的是为了解决在线近红外光谱技术使用过程需要建立校正模型的问题，使用非建模的方式预测物料的变化趋势，为先进过程控制提供可靠的性质参数，从而使生产平稳运行。本发明的使用极大的缩短了在线近红外光谱技术的调试建模时间，对于流程工业生产具有重要意义。
44.本发明的主要步骤如下：
45.1)使用合适的光谱处理手段(包括导数、消除常数偏移、去趋势校正、多元散射校正、标准正态变量变换等)对光谱数据进行预处理，消除部分无关信息的影响。
46.2)使用合适的变量筛选方法(反向区间pls、无信息变量消除法、蒙特卡洛-无信息变量消除法、竞争自适用重加权采样(cars)等)对变量进行筛选，选择最相关的变量进行后续运算。
47.3)使用主成分分析(pca)或者多元曲线分辨(mcr)的方法从历史光谱数据中提取“纯组分信号”。
48.4)未知待分析信号向“纯组分信号”做正交投影计算、斜投影或者广义逆计算，计算物料的变化趋势。
49.下面结合附图和具体实施方式对本发明作进一步详细的说明。
50.实施例一
51.目前在线近红外光谱技术需要将近红外光谱与实验室分析数据通过化学计量学软件进行关联，建立校正模型。在应用时将校正模型导入在线分析软件，在线分析软件采集到未知物料性质的光谱时即可预测该物料性质。建立稳定可靠的模型一般需要至少1000个具有代表性样本，由于在线生产工艺相对稳定，样本性质变化较小，因此建模周期长，严重影响在线近红外光谱技术在流程工业中的应用。
52.请参见图1，本实施例提供的一种基于分子光谱流程工业在线测量方法，包括：
53.步骤101：获取目标样本当前阶段对应的光谱数据。
54.步骤102：基于所述当前阶段对应的光谱数据和标记组分光谱，绘制当前阶段目标样本中标记组分的浓度变化曲线图。
55.其中，所述标记组分光谱是根据波长变量筛选算法和多元分析手段对历史光谱数据进行处理得到的。
56.本实施例使用变量筛选算法结合pca或者mcr等多元分析手段分析历史光谱数据。本实施例变量筛选过程与传统的建模相比，本实施例使用5～10个代表性样本进行变量筛选，选择最具代表性的特征波长用于趋势分析。
57.1)在生产线上安装在线近红外光谱分析系统，每隔一定时间(1min、3min、10min等)收集一条光谱数据，将一段时间内收集的光谱数据组成光谱矩阵d1，即历史光谱数据
58.2)稳定生产时在管线上取一个样本进行实验室分析，得到该测点物料最关心的一个或者几个性质值，本实施例所述性质值为浓度值；在工艺波动时在管线上取多个样本进行实验室分析，得到相同的性质值，并记录每个样本的详的取样时间，总共记录5～10个样本的性质值。
59.3)根据取样时间将实验室分析值，即浓度值与历史光谱数据相对应，这一系列操作后组成光谱矩阵d2，组分浓度为c2。
60.4)对光谱矩阵d2进行预处理，其目的是消除光谱漂移、噪音、基线等干扰因素的影响，预处理方法为导数、平滑、snv、msc、消除常数偏移、减去一条直线、离散小波变换、连续小波变换的一种或者几种的组合。
61.5)使用波长变量筛选算法(反向区间pls法、无信息变量消除法、蒙特卡洛-无信息变量消除法、竞争自适用重加权采样(cars)法)对预处理后的光谱矩阵d2进行处理，选择最合适的波长变量，即特征波长，并记录该特征波长的索引位置，其目的是找到与待测组分浓度最相关的波长变量。
62.6)对光谱矩阵d1进行与步骤4)相同的预处理；选择步骤5)特征波长的索引位置的数值组成新矩阵d3。
63.7)采用多元分析手段对新矩阵d3进行处理，得到主成成分光谱矩阵。
64.8)对主成成分光谱矩阵使用渐进因子分析(efa)或者使用简化自模式(simplisma)算法估算初始值。
65.9)假设主成成分光谱矩阵为各“纯组分”光谱与其浓度乘积的线性加和后组成的光谱矩阵。
66.在封闭性、非负性等一种或者多种的约束条件下使用交替最小二乘(als)算法进
行如公式(2)和公式(3)的迭代计算。
67.d＝cs
t
ꢀꢀ
(1)；
68.s
t
＝c
dꢀꢀ
(2)；
69.c＝d(s
t
)

ꢀꢀ
(3)；
70.当迭代计算前后两次光谱的残差小于给定阈值或者迭代次数达到100次停止迭代。
71.其中，d为原始光谱矩阵，c为浓度矩阵，s为组成体系的纯组分光谱，即标记组分光谱，c

和(s
t
)

分别是c和s
t
的广义逆矩阵。
72.10)当光谱仪收集到新的未知浓度信息的光谱数据时，即获取到目标样本当前阶段对应的光谱数据，根据步骤4)的预处理方法进行预处理，并根据步骤5)记录的索引位置数值得到新的向量d，将公式(3)中的d改为d，即可计算该光谱的组分浓度信息。
73.11)随着时间的变化，不断收集未知物料信息的光谱，求得组分浓度信息，一系列组分浓度信息即可组成浓度变化趋势，即根据预处理后的当前阶段对应的光谱数据和所述索引位置对应的数值，得到目标波长；基于所述目标波长和标记组分光谱，采用广义逆矩阵计算当前阶段目标样本中标记组分的各个浓度值，并根据所有所述浓度值绘制当前阶段目标样本中标记组分的浓度变化曲线图。
74.或者根据公式(4)和公式(5)进行斜投影和正交投影计算，得到组分浓度信息。
75.e
s|h
＝s(s
t
ph⊥
s)-1st
ph⊥
ꢀꢀ
(4)。
76.ph⊥
＝i-ph＝i-h(h
t
h)-1ht
ꢀꢀ
(5)。
77.式中，s为被测组分的纯光谱信号，h为背景光谱信号，i为与ph维数相同的单位矩阵，t为矩阵的转置，ph⊥
为正交投影算子，e
s|h
为斜投影算子。
78.11)随着时间的变化，不断收集未知物料信息的光谱，求得组分浓度信息，一系列组分浓度信息即可组成浓度变化趋势，即根据预处理后的当前阶段对应的光谱数据和标记组分光谱，采用正交投影和斜投影计算当前阶段目标样本中标记组分的各个浓度值，并根据所有所述浓度值绘制当前阶段目标样本中标记组分的浓度变化曲线图。
79.其中，步骤(1)～步骤(9)为历史数据建立模型步骤，其流程图如图2所示。步骤(10)～步骤(11)为预测未来数据步骤，具体计算流程如图3所示。
80.实施例二
81.下面通过一条具体生产线来说明本发明技术方案
82.1)在某流程工业生产线上安装傅里叶型在线近红外光谱(波长范围10000～4000cm-1
，分辨率8cm-1
，扫描次数32次)分析系统，每1分钟收集一条光谱数据，将一段时间内收集的光谱数据组成光谱矩阵d1。
83.2)稳定生产时，在管线上取一个样进行实验室分析，得到该测点物料最关心的一个性质值(本测点为m2含量)；在工艺波动时，取样进行m2含量的实验室分析，取样分析时记录详细的取样时间，总共记录10个样本的性质值。
84.3)根据取样时间将实验室分析值(即性质值)与光谱相对应，这一系列光谱组成光谱矩阵d2，组分性质为c2。
85.4)对光谱矩阵d2进行一阶导数(savitzky-golay法，拟合次数2次，窗口宽度为17)和snv预处理。
86.一阶导数计算公式为：
[0087][0088]
其中，窗口宽度为2m 1，a为归一化常数，x
′i为光谱数据xi的导数，wj为相应的导数系数，在窗口宽度确定后，wj就确定了。
[0089]
snv的计算公式为：
[0090][0091]
其中，m为变量个数，i＝1,2,3,
…
n，n为样本数目。
[0092]
5)使用cars选择最合适的波长变量，并记录该变量的索引位置。
[0093]
6)对d1进行与步骤4)相同的预处理并对所有数据取绝对值处理；选择步骤5)变量索引位置的数值组成新的矩阵d3。
[0094]
7)对d3做主成分分析计算主成分贡献率，根据主成分贡献率确定保留的组分数。
[0095]
8)对d3使用简化自模式(simplisma)算法估算初始值。
[0096]
9)按照式(2)和(3)进行多元曲线分辨计算，对s设定非负性约束，对c设定封闭性和非负性约束。当前后两次迭代s的平均标准偏差小于0.001时或者迭代次数达到100次时停止迭代。迭代计算后的s即用于下一步计算。
[0097]
10)当光谱仪收集到新的未知浓度信息的光谱，根据步骤4)预处理方法进行预处理并求绝对值，根据5)记录的索引位置数值得到新的向量d，根据公式(4)进行斜投影计算得到各个分辨光谱的组分浓度信息。
[0098]
11)再在线取样分析用于验证分辨光谱的准确性，取10个样本按照步骤10进行计算，计算各个分辨光谱计组分浓度信息和取样分析组分浓度的相关系数，相关系数最大的浓度趋势用作该物料的主要浓度变化趋势。
[0099]
12)随着时间的变化，不断收集未知物料信息的光谱，求得组分浓度信息，一系列组分浓度信息即可组成浓度变化趋势。
[0100]
对光谱进行导数和snv预处理可以消除光谱由加性效应和乘性效应引起的的噪音，savitzky-golay法不仅可以对光谱求导数，还可以对光谱进行平滑处理，从而消除部分仪器和环境变化引起的高频噪音，snv可以消除光程微量变化、杂散光等影响。因此savitzky-golay导数结合snv方法对在线连续收集的近红外光谱预处理，可以最大程度的消除噪音信息。
[0101]
cars具有“优胜劣汰，从中取优”的特点,首先以指数函数快速递减的方式快速剔除大部分无用变量，再将剩余变量随机组合选出最优变量组合，所选择的变量能够最大限度的代表组分信息，从而排除其他无关变量的干扰。因此该发明选择使用cars选择少数几个变量用于迭代计算。
[0102]
多元曲线分辨(mcr)的目的是将各个纯组分的光谱及其在体系中的含量从复杂的
混合物光谱中分辨出来，与pca不同，mcr-als作为mcr的重要手段在实施过程中通常施加一定的约束条件，如单峰性、封闭性、非负性，通过迭代计算分辨所得的组分光谱具有真实的物理和化学意义。因此本发明选择mcr-als用于求取所关心组分的“真实光谱”。
[0103]
斜投影算法是通过数据向量空间描述化学复杂体系，其数据向量空间m被分为两部分：被测变量的向量子空间s和被测组分之外变量，即向量相邻子空间h。子空间s指体系中被测组分的纯信号，即投影方向。相邻子空间h指体系中除被测组分外的其余组分信号，即投影空间，有m＝s
⊕
h。斜投影算子e
s|h
是将待测组分纯信号从混合信号中分离出来。
[0104]
如图4所示，收集了一系列在线生产的近红外光谱数据。把10条具有实验室化验数据的光谱进行预处理，并选择特征波长，其预处理光谱和位置如图5所示，图5(a)中是cars计算的选中变量频率分布直方图，图5(b)是预处理光谱和选中变量的位置。使用选中变量进行mcr-als计算，对未来一天的数据进行预测，其预测趋势图如图6所示，可以发现两者预测趋势图几乎完全一致，趋势预测结果噪音更小，更有利于控制过程。
[0105]
实施例三
[0106]
本实施例提供了一种基于分子光谱流程工业在线测量系统，包括：
[0107]
光谱数据获取模块，用于获取目标样本当前阶段对应的光谱数据；
[0108]
浓度变化曲线绘制模块，用于基于所述当前阶段对应的光谱数据和标记组分光谱，绘制当前阶段目标样本中标记组分的浓度变化曲线图；
[0109]
其中，所述标记组分光谱是根据波长变量筛选算法和多元分析手段对历史光谱数据进行处理得到的。
[0110]
此外，预处理方法中snv可以换成msc、基线校正等；一阶导数可以换成二阶导数；导数方法可以换成norris求导法、差分求导法或者连续小波变换法。
[0111]
变量筛选方法中cars可以换成反向区间偏最小二乘、无信息变量消除(uve)、蒙特卡洛-无信息变量消除(mc-uve)、遗传算法、相关系数法等。
[0112]
本发明是在线光谱分析的数据处理方法，因此也适用于拉曼光谱、紫外光谱和中红外光谱等分子光谱。
[0113]
本发明交替最小二乘(als)法计算时，给定的初始值为初始光谱矩阵，也可以给定初始浓度矩阵
[0114]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0115]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。