基于有标样模型传递的提高模型稳健性的波段筛选方法

1.本发明涉及一种基于有标样模型传递的提高模型稳健性的波段筛选方法。属于近红外无损检测应用领域。


背景技术：

2.得益于近红外光谱分析技术可以对样本进行无损、快速实时的检测，目前该技术也被广泛应用于鲜果内部品质的无损检测，也相应地研发出了多种无损检测仪器。由于近红外光谱普遍存在噪声、吸收强度弱，光谱重叠等缺点，需要借助稳定的模型才能进行定量或者定性的分析，但在实际生产过程中，存在环境、仪器或加工精度、仪器老化等不稳定因素，这些因素对光谱信号产生了一定影响，进而出现模型通用性问题，最终导致台间差，严重制约了光谱分析技术的发展。所以，对仪器的光谱信号进行校正，建立一种模型之间的传递，实现仪器之间模型共享的方法，已经成为近红外光谱分析技术的一项重要研究工作。
3.目前，近红外光谱模型传递技术已经取得了一些成果，但在实际的生产中，模型传递技术并没有广泛的使用，根本原因还是模型传递后的预测精度不够理想，建立的预测模型的稳健性还有待提高。对从仪器光谱用模型传递算法校正后，与主仪器的光谱并不能完全吻合，在部分波段存在较大偏差，这些波段会极大地影响模型的预测效果。因此，如何将偏差较大的波段剔除，筛选出一致性较好的波段是在模型传递过程中需要考虑到的。


技术实现要素：

4.为了克服现有技术的不足，本发明基于有标样模型传递的主从仪器间的相对误差分析，提出了一种相对误差分析(relative error analysis,rea)的波段选择方法。为了达到上述目的，本发明的技术解决方案如下：
5.1.首先，在主、从仪器上记录标准样品的近红外光谱，利用spxy从原始样本中提取75％作为模型传递的标样集光谱，剩余25％作为测试光谱。利用模型传递算法建立主、从标样光谱间的校正函数，再将从仪器标样光谱带入该函数中，得到校正后的光谱数据集xms，将标样光谱信号作为分析的变量，求算xms与主仪器标样光谱xm之间的绝对误差(absolute error,ae),如公式(1)所示，其中j为光谱波长点数，xmsj为第j个波长点的转换谱，xmj为第j个波长点的主仪器标样谱。计算出各波段的ae值后，代入公式(2)求算解两组数据的相对误差(relative error,re)。
6.aej＝xms
j-xmjꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0007][0008]
2.其次，再根据re值求各波段的平均相对误差(mean relative error,mre)的绝对值|mrej|，计算方法如公式(3)所示，其中i为样本序号，n为样本总数.
[0009][0010]
3.最后，利用计算得到的|mrej|值绘制出相对误差曲线，以|mrej|值为波段一致性
的评价指标。根据各波段的|mrej|分布划分阈值，对阈值内的波段进行筛选，依据偏最小二乘法(partial least squares,pls)建立ssc预测模型，对比不同阈值(threshold,t)筛选的波段建立的pls模型预测均方根误差(root mean square error of prediction,rmsep)，最小的rmsep值对应的便是最优阈值。
[0011]
4.阈值筛选是为确保所选择的波长适合该模型的传递，阈值t主要依据|mrej|确定，本文主要将t的值主要根据|mrej|值的范围来确定。t＝1时，对应|mrej|≤1，t＝2对应|mrej|≤2，以此类推，当t＝20时对应的为|mrej|≤20，t越低说明主从仪器在该阈值对应的波段的响应更具一致性。然而，t值过小也会导致筛选的波段过少，存在有效信息的波段被剔除的风险，本研究采用的筛选方法可将这种风险降到最低。使用pls预测模型的rmsep值作为筛选波段的评价指标。
[0012]
5.对波段筛选的优化性能进行评价。使用标准化前rmsep(before)(定义式为公式(4)所示)和标准化后rmsep(after)(定义式为公式(5)所示)之间的相对变化率(relative variation ratio,rvr)来比较各模型对从仪器光谱的校正能力，rvr值越高，说明校正前后的rmsep值变化越大，该方法的优化性能越好，定义式如公式(6)所示。
[0013][0014][0015][0016]
其中n表示样本数，i表示样本中第i个样本i＝1,2,3,
…
,n。ym表示主仪器光谱浓度值ys表示从仪器光谱浓度值，yc表示传递后从仪器光谱浓度值。
[0017]
6.将其与其他变量选择方法进行比较，验证方法的有效性。为了评估各种方法的优化性能，统一将模型传递前的主、从仪器模型的rmsep作为计算rvr值的rmsep(before)，再对比各方法下的rvr值，以便评估哪种方法对主仪器的预测模型优化能力更强。
附图说明
[0018]
图1为本发明总体流程图。
[0019]
图2为原始主、从仪器采集的近红外光谱图。
[0020]
图3为各方法建立的pls预测模型散点图。
具体实施方式
[0021]
实施方案：为了证明本发明的适用性，结合实例进行详细的说明。但是本发明也可以应用于本次所采用的实例之外的光谱数据。
[0022]
图1是本发明提供的rea波段筛选方法的流程图，本发明具体包括以下步骤：
[0023]
(1)本次研究选用的样品是产于中国四川攀枝花米易县的鹰嘴芒，为了建立更加稳定的模型需要保证实验样品间可溶性固形物足够大的梯度范围，总共选择了116个芒果。
实验分别采用海洋光学公司生产的两台不同型号的光谱仪，qe65pro(主仪器)和qe65000(从仪器)微型光纤科研级光谱仪采集芒果的光谱数据。采集前将样品先置于(22
±
1)℃的实验室环境中24h，避免温度对测量结果的影响，以空气作为参比，控制环境光照度低于1lx，采用积分球漫反射部件测试，22℃下扫描20次，主、从仪器采集波长范围分别在317.60-1115.08nm、349.26-1131.78nm，分别都为1044个波长点数，分辨率分别0.76nm和为0.75nm。并采集芒果赤道部位关于果核对称的两个面的光谱信息，共获得232组样本信息，使用spxy算法按照3:1的比例选择174个样本作为标样集，58个样本作为测试集。
[0024]
(2)对于芒果样本的光谱数据，采集光谱时所用的主从仪器型号不同，仪器的入射狭缝、光栅、探测器不同，导致最终测得的光谱波长点数、光谱数据长度存在很大差异，主、从仪器测量的光谱信号无法相匹配。又由于光谱仪采集波段范围不同，本文截取公共波段350nm-1115nm作为研究波段(主仪器采集波段：317.60-1115.08nm；从仪器采集波段：349.26-1131.78nm)，波长点数为766个。根据光谱信号具有连续性的特点，采用均值插补法对光谱数据进行插补，插补后的主、从仪器数据点可以较好地匹配，为后续的数据分析奠定基础。
[0025]
(3)为验证rea方法的适用性，本研究主要使用了光谱空间变换sst模型传递方法。通过校正后的主仪器预测模型结果如图3(b)所示。
[0026]
(4)为确定波段筛选的最优阈值，将各波段的|mre|划分成15个阈值：t＝1,2,3，
…
，15，各阈值对应的波段的|mrej|范围分别为：|mrej|≤1,|mrej|≤2,|mrej|≤3,
…
,|mrej|≤15。在不同阈值下得到的预测模型的rmsep分布情况如图2所示。
[0027]
(5)根据确定的最佳阈值筛选波段，并建立pls模型，再与竞争性自适应重加权算法(cars),连续投影算法(spa),无变量信息消除(uve)筛选的波段建立的预测结果做对比，建模散点图如图3所示。建模数据如下表所示(表中ww表示全波段，rmsec表示校正均方根误差)；
[0028][0029]
本方案到此结束。