一种基于光谱特征融合的激光诱导击穿光谱异常数据剔除方法

1.本发明涉及光谱分析技术领域，具体涉及一种基于光谱特征融合的激光诱导击穿光谱异常数据剔除方法。


背景技术：

2.激光诱导击穿光谱(laser-induced breakdown spectroscopy，libs)利用高能量脉冲激光聚焦到样品表面，激发聚焦处的微量样品产生激光诱导等离子体光谱，通过光谱仪和探测器对等离子体光谱分析检测，基于等离子体光谱数据中谱线的波长确定检测对象中所含的元素，并根据谱线的强度确定元素的含量。libs几乎可以检测元素周期表内的所有元素，可以同时分析多种元素，分析快速且样品前处理少，被测对象可以是气体、固体、液体、气溶胶等。因此，libs技术在冶金、煤炭和水泥生产等工业过程中具有巨大的应用市场，已广泛应用于生物医学、环境监测和矿物勘探等领域，并在辐射高温等恶劣环境、深空深海等无人环境实时原位物质分析检测方面具有显著优势。
3.随着科学技术的不断进步以及现场检测应用需求的增多，libs仪器逐渐向小型化、便携式方向发展。由于工业现场检测环境恶劣，例如仪器震动大、温度高、灰尘大，样品不均匀、样品表面不平整，小型化仪器的光谱分辨率低，激光器稳定性差等因素，使得libs检测到的光谱数据有大量的异常数据，这些异常光谱数据不利于后续样品成分及含量的分析，大幅度增加了libs检测样品的难度，降低了样品检测的准确度和精确度。
4.因此，亟需提出一种基于光谱特征融合的激光诱导击穿光谱异常数据剔除方法，有效抑制libs光谱中的异常光谱，保证libs光谱数据的稳定性，提高libs分析的准确度和精确度。


技术实现要素：

5.本发明针对libs光谱中的异常光谱数据严重干扰libs分析准确度和精确度的问题，提出了一种基于光谱特征融合的激光诱导击穿光谱异常数据剔除方法，实现了对异常光谱数据的有效剔除，既保证了光谱数据的稳定性，又有效提高了libs分析的准确度和精确度。
6.本发明采用以下的技术方案：
7.一种基于光谱特征融合的激光诱导击穿光谱异常数据剔除方法，具体包括以下步骤：
8.步骤1，采集并保存被测样品的libs光谱数据矩阵s(wm，in)；
9.所述libs光谱数据矩阵s(wm，in)内包括被测样品同一位置处的n条光谱以及各光谱内的m个波长变量wm，in为各光谱在波长变量wm处所对应的光谱强度；
10.步骤2，在libs光谱数据矩阵s(wm，in)中选取α条元素分析线；
11.步骤3，选取特征指标，计算各元素分析线在各波长变量处的特征指标值；
12.步骤4，根据各元素分析线在各波长变量处的特征指标值，分别针对各元素分析线确定各特征指标的最大值和最小值，计算各特征指标在各元素分析线各波长变量处的分值；
13.步骤5，基于各元素分析线各波长变量处所有特征指标的分值，计算各元素分析线各波长变量处所有特征指标的总分值；
14.步骤6，根据各元素分析线各波长变量处所有特征指标的总分值，剔除被测样品libs光谱数据矩阵s中的异常光谱数据，保留被测样品libs光谱数据矩阵s中的有效光谱数据，得到被测样品的有效光谱数据矩阵；
15.步骤7，根据被测样品的有效光谱数据矩阵，计算被测样品的平均光谱数据。
16.优选地，所述步骤2中，选取被测样品中基体元素的分析线或被测样品中除基体元素外其他元素的分析线作为元素分析线，元素分析线l(w
α
，i
α
)中包括元素分析线的波长w
α
和强度i
α
。
17.优选地，所述步骤3中，特征指标包括但不限于峰值强度、峰值面积、标准差、信背比和信噪比；所述特征指标还包括分析线波形拟合参数。
18.优选地，所述步骤4中，若特征指标越大表示光谱数据越好，则特征指标分值计算公式为：
[0019][0020]
若特征指标越小表示光谱数据越好，则特征指标分值计算公式为：
[0021][0022]
式中，gi为第i个特征指标的分值，fi为元素分析线中第i个特征指标的数值，f
i,min
为元素分析线中第i个特征指标的最小值，f
i,max
为元素分析线中第i个特征指标的最大值。
[0023]
优选地，所述步骤5中，各元素分析线各波长变量处所有特征指标的总分值计算公式为：
[0024]gtotal
＝∑a
igi
ꢀꢀꢀ
(3)
[0025]
式中，g
total
为元素分析线中任一波长变量处所有特征指标的总分值，gi为第i个特征指标的分值，ai为第i个特征指标的系数。
[0026]
优选地，所述步骤6中，具体包括以下步骤：
[0027]
步骤6.1，分别针对每条元素分析线，根据元素分析线上各波长变量处所有特征指标的总分值，确定元素分析线总分值的最大值；
[0028]
步骤6.2，分别针对每条元素分析线，将元素分析线总分值最大值的ω％设置为元素分析线光谱数据筛选的阈值；
[0029]
步骤6.3，对libs光谱数据矩阵s(wm，in)中所有元素分析线上的光谱数据进行筛选，针对各元素分析线，根据元素分析线光谱数据筛选的阈值，将元素分析线中不小于阈值的光谱数据，记录次数为1，将元素分析线中小于阈值的光谱数据，记录次数为0，直至遍历完libs光谱数据矩阵s(wm，in)中所有元素分析线中的光谱数据，完成对libs光谱数据矩阵s(wm，in)中所有光谱数据的筛选；
[0030]
步骤6.4，分别针对每条元素分析线，对元素分析线上所有光谱数据的记录次数求
和，得到元素分析线的光谱数据记录总次数t；
[0031]
步骤6.5，设置元素分析线光谱数据的次数阈值t
th
；
[0032]
步骤6.6，利用元素分析线光谱数据的次数阈值t
th
对libs光谱数据矩阵s(wm，in)各元素分析线中的有效数据进行筛选，当元素分析线的光谱数据记录总次数t不小于次数阈值t
th
时，则标记元素分析线上的光谱数据为有效光谱数据，当元素分析线的光谱数据记录总次数t小于次数阈值t
th
时，则标记元素分析线上的光谱数据为异常光谱数据；
[0033]
步骤6.7，剔除libs光谱数据矩阵s(wm，in)各元素分析线中的异常光谱数据，保留libs光谱数据矩阵s(wm，in)各元素分析线中的有效光谱数据，得到被测样品的有效光谱数据矩阵。
[0034]
优选地，所述步骤7中，计算被测样品平均光谱过程中，多次在被测样品有效光谱数据矩阵中随机选取η％条有效光谱数据并计算有效光谱数据的平均值，得到对应次数的平均光谱数据。
[0035]
本发明具有如下有益效果：
[0036]
本发明基于被测样品的libs光谱数据矩阵s(wm，in)，通过将元素分析线上各光谱数据的多个特征指标相融合，得到元素分析线上各波长变量处所有特征指标的总分值，根据各元素分析线各波长变量处所有特征指标的总分值，剔除被测样品libs光谱数据矩阵s中的异常光谱数据，得到被测样品的有效光谱数据，并对有效光谱数据矩阵求平均，得到平均光谱数据。本发明解决了libs光谱分析准确度和精确度受异常光谱数据影响严重的问题，实现了对异常光谱数据的剔除，有效避免了异常光谱数据所引起的误差，既提高了光谱数据的稳定性，又大幅度提高了libs光谱分析的准确度和精确度。
附图说明
[0037]
图1为一种基于光谱特征融合的激光诱导击穿光谱异常数据剔除方法的流程图。
[0038]
图2为原始光谱数据图。
[0039]
图3为原始光谱数据图中fe 440.475nm附近的光谱图。
[0040]
图4为一条原始光谱数据中fe 440.475nm附近的光谱图。
[0041]
图5为剔除异常光谱数据后的光谱数据图。
[0042]
图6为剔除异常光谱数据后fe 440.475nm附近的光谱图
[0043]
图7为原始光谱数据和剔除异常光谱数据后光谱数据的标准偏差。
[0044]
图8为原始光谱数据和剔除异常光谱数据求平均后的标准偏差。
[0045]
图9为基于原始光谱数据建立的定标曲线。
[0046]
图10为基于剔除异常光谱后的光谱数据建立的定标曲线。
具体实施方式
[0047]
下面结合附图对本发明的具体实施方式做进一步的说明。
[0048]
实施例1
[0049]
基于libs检测被测样品时，被测样品同一位置处获得的光谱数据中存在异常光谱数据，严重影响libs光谱分析的分析结果，需要对libs光谱数据中的异常光谱数据进行剔除，保留libs光谱数据中的有效光谱数据，所以本发明提出了一种基于光谱特征融合的激
光诱导击穿光谱异常数据剔除方法，如图1所示，具体包括以下步骤：
[0050]
步骤1，采集并保存被测样品的libs光谱数据矩阵s(wm，in)。
[0051]
所述libs光谱数据矩阵s(wm，in)内包括被测样品同一位置处的n条光谱以及各光谱内的m个波长变量wm，in为各光谱在波长变量wm处所对应的光谱强度。
[0052]
步骤2，在libs光谱数据矩阵s(wm，in)中选取α条元素分析线。
[0053]
选取被测样品中基体元素的分析线或被测样品中除基体元素外其他元素的分析线作为元素分析线，采用手动选取或自动选取的方式选取元素分析线，元素分析线l(w
α
，i
α
)中包括元素分析线的波长w
α
和强度i
α
。
[0054]
步骤3，选取特征指标，计算各元素分析线在各波长变量处的特征指标值。
[0055]
所述特征指标包括但不限于峰值强度、峰值面积、标准差、信背比和信噪比，特征指标中还可以包括分析线波形拟合参数，如分析线波形拟合的决定系数、谱线的半高宽等。
[0056]
步骤4，根据各元素分析线在各波长变量处的特征指标值，分别针对各元素分析线确定各特征指标的最大值和最小值，计算各特征指标在各元素分析线各波长变量处的分值。
[0057]
根据特征指标变化与光谱数据之间的优劣关系，选择特征指标的分值计算公式。
[0058]
若特征指标越大表示光谱数据越好，则特征指标分值计算公式为：
[0059][0060]
若特征指标越小表示光谱数据越好，则特征指标分值计算公式为：
[0061][0062]
式中，gi为第i个特征指标的分值，fi为元素分析线中第i个特征指标的数值，f
i,min
为元素分析线中第i个特征指标的最小值，f
i,max
为元素分析线中第i个特征指标的最大值。
[0063]
步骤5，基于各元素分析线各波长变量处所有特征指标的分值，计算各元素分析线各波长变量处所有特征指标的总分值，如公式(3)所示：
[0064]gtotal
＝∑a
igi
ꢀꢀꢀ
(3)
[0065]
式中，g
total
为元素分析线中任一波长变量处所有特征指标的总分值，gi为第i个特征指标的分值，ai为第i个特征指标的系数。
[0066]
步骤6，根据各元素分析线各波长变量处所有特征指标的总分值，剔除被测样品libs光谱数据矩阵s中的异常光谱数据，保留被测样品libs光谱数据矩阵s中的有效光谱数据，得到被测样品的有效光谱数据矩阵，具体包括以下步骤：
[0067]
步骤6.1，分别针对每条元素分析线，根据元素分析线上各波长变量处所有特征指标的总分值，确定元素分析线总分值的最大值。
[0068]
步骤6.2，分别针对每条元素分析线，将元素分析线总分值最大值的ω％设置为元素分析线光谱数据筛选的阈值。
[0069]
步骤6.3，对libs光谱数据矩阵s(wm，in)中所有元素分析线上的光谱数据进行筛选，针对各元素分析线，根据元素分析线光谱数据筛选的阈值，将元素分析线中不小于阈值的光谱数据，记录次数为1，将元素分析线中小于阈值的光谱数据，记录次数为0，直至遍历完libs光谱数据矩阵s(wm，in)中所有元素分析线中的光谱数据，完成对libs光谱数据矩阵s
(wm，in)中所有光谱数据的筛选。
[0070]
步骤6.4，分别针对每条元素分析线，对元素分析线上所有光谱数据的记录次数求和，得到元素分析线的光谱数据记录总次数t。
[0071]
步骤6.5，设置元素分析线光谱数据的次数阈值t
th
。
[0072]
步骤6.6，利用元素分析线光谱数据的次数阈值t
th
对libs光谱数据矩阵s(wm，in)各元素分析线中的有效数据进行筛选，当元素分析线的光谱数据记录总次数t不小于次数阈值t
th
时，则标记元素分析线上的光谱数据为有效光谱数据，当元素分析线的光谱数据记录总次数t小于次数阈值t
th
时，则标记元素分析线上的光谱数据为异常光谱数据。
[0073]
步骤6.7，剔除libs光谱数据矩阵s(wm，in)各元素分析线中的异常光谱数据，保留libs光谱数据矩阵s(wm，in)各元素分析线中的有效光谱数据，得到被测样品的有效光谱数据矩阵。
[0074]
步骤7，根据被测样品的有效光谱数据矩阵，计算被测样品的平均光谱数据。
[0075]
本实施例在计算被测样品平均光谱过程中，通过多次在被测样品有效光谱数据矩阵中随机选取η％条有效光谱数据并计算有效光谱数据的平均值，得到对应次数的平均光谱数据。
[0076]
本实施例中，还可包括：
[0077]
步骤8，分析本发明方法的处理效果，通过对比处理前的原始光谱数据和采用本发明剔除异常光谱数据后光谱数据的光谱图，对比原始光谱数据和剔除异常光谱数据后光谱数据的标准差，并建立定标曲线，利用定标曲线的决定系数比较原始光谱数据和剔除异常光谱数据后光谱数据的定量分析能力。
[0078]
实施例2
[0079]
将本发明提出的一种基于光谱特征融合的激光诱导击穿光谱异常数据剔除方法应用于实际libs光谱分析处理中，具体包括以下步骤：
[0080]
步骤1，采集并保存被测样品的libs光谱数据矩阵s(w
4094
，i
500
)。
[0081]
本实施例中，被测样品为9种钢铁样品，钢铁样品的编号为1#～9#。分别对各钢铁样品检测了5个不同的位置，每个位置采集了500个光谱，各光谱均采用双通道光谱仪进行采集，每个通道的光谱数据由2047个波长值组成，各光谱的波长值覆盖了278.587nm～484.529nm。采集的钢铁样品1#的libs光谱图，如图2所示，fe 440.475nm附近439.059nm～441.297nm范围内的光谱图，如图3所示。
[0082]
其中，图2所示的光谱数据矩阵s(w
4094
，i
500
)由钢铁样品1#某一位置处的500条光谱组成，其中s表示光谱数据矩阵，w
4094
对应于4094个从278.587nm～484.529nm的波长变量，i
500
表示500条光谱在4094个波长变量处的光谱强度。
[0083]
步骤2，在libs光谱数据矩阵s(w
4094
，i
500
)中选取多条元素分析线。
[0084]
本实施例中选取了fe、si、mn、cr、mo、ni和cu共7种元素的36条分析线，如表1所示。
[0085]
表1 从光谱数据中选取的36条分析线
[0086][0087]
步骤3，选取特征指标，计算各元素分析线在各波长变量处的特征指标值。
[0088]
本实施例中选取峰值强度、峰值面积、标准差、信背比和信噪比作为特征指标，结合图4内容，以分析线fe 440.475nm为例，其中峰值强度si为分析线中心波长fe 440.475nm处的强度值即为图4中d点的强度值id；峰值面积spa为中心波长fe 440.475nm所在光谱带λc～λe所覆盖的面积；标准差sd为中心波长fe 440.475nm所在光谱带λc～λe中所有波长对应强度值的标准差，本实施例中信背比sbr和信噪比snr的计算如公式(4)和公式(5)所示。
[0089][0090][0091]
公式(4)和公式(5)中，ia、ib、ic、ie、if、ig分别对应所选取中心波长d点附近左边和右边各3个背景点处的强度值，mean(ia,ib,ic,ie,if,ig)为6个背景点处强度值的平均值，std(ia,ib,ic,ie,if,ig)为6个背景点处强度值的标准差。
[0092]
步骤4，根据各元素分析线在各波长变量处的特征指标值，分别针对各元素分析线确定各特征指标的最大值和最小值，计算各特征指标在各元素分析线各波长变量处的分值。
[0093]
对于本实施例中特征指标中峰值强度、峰值面积、标准差、信背比和信噪比都是特征指标越大光谱数据越好，因此利用公式(1)计算特征指标的分数值，钢铁样品1#某一位置处500条光谱所选的36条元素分析线的峰值强度分值如表2所示。
[0094]
表2 分析线峰值强度的分值
[0095][0096]
步骤5，基于各元素分析线各波长变量处所有特征指标的分值，计算各元素分析线各波长变量处所有特征指标的总分值，各元素分析线各波长变量处所有特征指标的总分值计算公式为：
[0097]gtotal
＝∑a
igi
ꢀꢀꢀ
(3)
[0098]
式中，g
total
为元素分析线中任一波长变量处所有特征指标的总分值，gi为第i个特征指标的分值，ai为第i个特征指标的系数。本实施例中gi可表示峰值强度、峰值面积、标准差、信背比和信噪比的分数值，ai表示各分数值的系数，本实施例中ai＝1，计算得到钢铁样品1#某一位置处500条光谱所选36条元素分析线的所有特征指标的总分值，如表3所示。
[0099]
表3 所有特征指标的总分值
[0100][0101]
步骤6，根据各元素分析线各波长变量处所有特征指标的总分值，剔除被测样品
libs光谱数据矩阵s中的异常光谱数据，保留被测样品libs光谱数据矩阵s中的有效光谱数据，得到被测样品的有效光谱数据矩阵，具体包括以下步骤：
[0102]
步骤6.1，分别针对每条元素分析线，根据元素分析线上各波长变量处所有特征指标的总分值，确定元素分析线总分值的最大值。
[0103]
步骤6.2，分别针对每条元素分析线，将元素分析线总分值最大值的60％设置为元素分析线光谱数据筛选的阈值。
[0104]
步骤6.3，对libs光谱数据矩阵s(w
4094
，i
500
)中所有元素分析线上的光谱数据进行筛选，针对各元素分析线，根据元素分析线光谱数据筛选的阈值，将元素分析线中不小于阈值的光谱数据，记录次数为1，将元素分析线中小于阈值的光谱数据，记录次数为0，直至遍历完libs光谱数据矩阵s(w
4094
，i
500
)中所有元素分析线中的光谱数据，完成对libs光谱数据矩阵s(w
4094
，i
500
)中所有光谱数据的筛选。
[0105]
步骤6.4，分别针对每条元素分析线，对元素分析线上所有光谱数据的记录次数求和，得到元素分析线的光谱数据记录总次数t。
[0106]
步骤6.5，设置元素分析线光谱数据的次数阈值t
th
，本实施例中t
th
＝22。
[0107]
步骤6.6，利用元素分析线光谱数据的次数阈值t
th
对libs光谱数据矩阵s(w
4094
，i
500
)各元素分析线中的有效数据进行筛选，当元素分析线的光谱数据记录总次数t不小于次数阈值t
th
时，则标记元素分析线上的光谱数据为有效光谱数据，当元素分析线的光谱数据记录总次数t小于次数阈值t
th
时，则标记元素分析线上的光谱数据为异常光谱数据。
[0108]
步骤6.7，剔除libs光谱数据矩阵s(w
4094
，i
500
)各元素分析线中的异常光谱数据，保留libs光谱数据矩阵s(w
4094
，i
500
)各元素分析线中的有效光谱数据，得到被测样品的有效光谱数据矩阵。
[0109]
步骤7，根据被测样品的有效光谱数据矩阵，计算被测样品的平均光谱数据。本实施例中计算50次平均光谱数据，每次随机选取有效光谱数据矩阵中的20％光谱求平均，得到50个平均光谱数据。
[0110]
步骤8，分析本发明基于光谱特征融合的激光诱导击穿光谱异常数据剔除方法的处理效果。
[0111]
本实施例中，原始光谱数据的光谱图如图2所示，剔除异常光谱数据后光谱数据的光谱图如图5所示，fe 440.475nm附近原始光谱数据的光谱图如图3所示，fe 440.475nm附近剔除异常光谱数据后的光谱图如图6所示，由图可见，对比后发现剔除异常光谱数据后的光谱分布更集中。原始光谱数据和剔除异常光谱数据后的光谱数据标准偏差如图7所示，可见剔除异常光谱数据后光谱数据的标准偏差显著减小。
[0112]
针对钢铁样品1#～9#，每个样品有5组光谱数据，每组原始光谱数据有500个光谱，每组数据每次随机选取20％的光谱求平均，循环50次，每组数据得到50个平均光谱数据。对删除异常光谱数据后的有效光谱数据，每次随机选取20％的光谱求平均，循环50次，计算得到50个平均光谱数据。钢铁样品1#样品某检测位置处剔除异常光谱数据前后的平均光谱标准偏差如图8所示，由图8可以得到剔除异常光谱数据后平均光谱的标准偏差明显减小，同时对比图7和图8得到对光谱求平均可进一步减小标准偏差。对原始光谱数据和剔除异常光谱数据后的有效光谱数据分别求平均并建立用于定量分析的定标曲线，如图9和图10所示。分析图9和图10可得，基于原始光谱数据建立定标曲线的决定系数为0.9481，而基于剔除异
常光谱数据后的有效光谱数据建立定标曲线的决定系数为0.9654，验证了本发明提出的基于光谱特征融合的激光诱导击穿光谱异常数据剔除方法能够有效提高模型定量分析的准确度。
[0113]
本发明针对异常光谱数据严重干扰libs分析的准确度和精确度问题，采用基于光谱特征融合的激光诱导击穿光谱异常数据剔除方法，实现了对异常光谱数据的有效剔除，既有效提高了光谱数据的稳定性，又大幅度提高了libs分析的准确度和精确度。
[0114]
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。