一种微型紫外光谱仪的光谱数据预处理方法及系统与流程

1.本发明涉及光谱数据处理技术领域，具体涉及一种微型紫外光谱仪的光谱数据预处理方法及系统。


背景技术：

2.微型紫外光谱仪用于检测vocs、nox、so2等多种有毒有害气体的原始光谱数据。需要对检测到的vocs、nox、so2等多种有毒有害气体的原始光谱数据进行预处理，以实现多种组分气体同时测量条件下低浓度气体的精准检测。
3.现有的光谱数据预处理方法有中心化和平滑法，其中，中心化方法是计算每个样品的平均值，将光谱数据减去这些数值，使所有样品的有关数据都分布在零点两侧，充分反映变化信息，可以有效去除信息变化对光谱数据造成的影响。平滑法是采用移动平均平滑法或savitzky-golay卷积平滑法消除光谱数据中噪声。
4.上述的光谱数据预处理方法无法去除光谱数据中暗电流数据，也未对光谱数据进行波长校准，无法实现对多种组分气体同时测量条件下低浓度气体的精准检测。


技术实现要素：

5.有鉴于此，本发明提出一种微型紫外光谱仪的光谱数据预处理方法及系统，用于vocs、nox、so2等多种现场有毒有害气体检测的数据预处理，能够实现多种组分气体同时测量条件下低浓度气体的精准检测。
6.本发明第一方面提供一种微型紫外光谱仪的光谱数据预处理方法，该方法包括：采集目标的原始光谱数据，并确定校准光谱数据；依次对所述原始光谱数据进行暗电流平滑和暗电流去除；获取校准光谱数据，依据波长校准标志位的大小，对暗电流平滑和暗电流去除后的原始光谱数据进行波长校准；对波长校准后的原始光谱数据进行平滑处理。
7.进一步的，所述确定校准光谱数据的步骤包括：判断采集到的所述原始光谱数据是否为标定光谱数据；若所述原始光谱数据是标定用的数据，则需要重新存储校准光谱数据；若所述原始光谱数据不是标定用的数据，则将已存储的校准用的光谱数据作为校准光谱数据。
8.进一步的，所述对所述原始光谱数据进行暗电流平滑的步骤包括：提取所述原始光谱数据中暗电流数据；获取暗电流平滑标志位，依据所述暗电流平滑标志位的大小，判断是否对所述原始光谱数据中暗电流数据进行平滑处理。
9.进一步的，若所述暗电流平滑标志位为1，则对提取的暗电流数据进行平滑处理，并计算平滑后的暗电流平滑值；若所述暗电流平滑标志位为0，则不对提取的暗电流数据进行平滑处理。
10.进一步的，所述对所述原始光谱数据进行暗电流去除的步骤，包括：判断所述暗电流平滑标志位的大小；若暗电流平滑标志位为1，则将计算得到的暗电流平滑值从原始光谱数据中去除；若暗电流平滑标志位为0，则直接将原始光谱数据中未经平滑的暗电流数据去
除。
11.进一步的，所述对原始光谱数据进行波长校准的步骤，包括：获取波长校准标志位；判断所述波长校准标志位大小；若所述波长校准标志位为1，则根据所述校准光谱数据计算波长校准量，并利用计算得到的波长校准量对所述原始光谱数据进行波长校准；若所述波长校准标志位为0，则使用默认波长校准量对所述原始光谱数据进行波长校准；依次对波长校准后的所述原始光谱数据进行像素校准和亚像素校准。
12.进一步的，采用sg滤波法或自适应滤波器对波长校准后的原始光谱数据进行平滑处理。
13.本发明第二方面提供一种微型紫外光谱仪的光谱数据预处理系统，该系统包括：数据采集模块，用于采集目标的原始光谱数据；暗电流平滑模块，用于确定校准光谱数据，并对所述原始光谱数据进行暗电流平滑；暗电流去除模块，用于对暗电流平滑后的所述原始光谱数据进行暗电流去除；波长校准模块，用于获取校准光谱数据，依据波长校准标志位的大小，对暗电流平滑和暗电流去除后的原始光谱数据进行波长校准；数据平滑模块，用于对波长校准后的原始光谱数据进行平滑处理。
14.本发明第三方面提供一种微型紫外光谱仪的光谱数据预处理设备，该设备包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上所述微型紫外光谱仪的光谱数据预处理方法的步骤。
15.本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述微型紫外光谱仪的光谱数据预处理方法的步骤。
16.上述的微型紫外光谱仪的光谱数据预处理方法及系统，首先采集原始光谱数据，可对采集到的含有vocs、nox、so2信息的原始光谱数据进行暗电流平滑，暗电流平滑完成后，根据暗电流平滑需求再对原始光谱数据中包含的暗电流数据进行去除；暗电流去除完成后，根据波长校准需求获取校准光谱数据，利用校准光谱数据对原始光谱数据进行波长校准；最后对经过暗电流去除、波长校准等处理后的原始光谱进行平滑处理，能够有效去除光谱数据中噪音，得到准确的光谱数据，从而实现多种组分气体同时测量条件下低浓度气体的精准检测。
附图说明
17.为了说明而非限制的目的，现在将根据本发明的优选实施例、特别是参考附图来描述本发明，其中：
18.图1是本发明一实施例提供的一种微型紫外光谱仪的光谱数据预处理方法流程图；
19.图2是本发明一实施例提供的暗电流平滑流程图；
20.图3是本发明一实施例提供的暗电流去除流程图；
21.图4是本发明一实施例提供的波长校准流程图；
22.图5是本发明另一实施例提供的一种微型紫外光谱仪的光谱数据预处理系统的结构示意图；
23.图6是本发明一实施例提供的一种微型紫外光谱仪的光谱数据预处理设备的结构
示意图。
具体实施方式
24.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
25.在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
27.图1是本发明一实施例提供的一种微型紫外光谱仪的光谱数据预处理方法的流程图。该光谱数据预处理方法可对采集到的含有vocs、nox、so2信息的原始光谱数据进行暗电流平滑，暗电流平滑完成后，根据暗电流平滑需求再对原始光谱数据中包含的暗电流数据进行去除；暗电流去除完成后，根据波长校准需求获取校准光谱数据，利用校准光谱数据对原始光谱数据进行波长校准；最后对经过暗电流去除、波长校准等处理后的原始光谱进行平滑处理，能够有效去除光谱数据中噪音，得到准确的光谱数据。
28.请参阅图1，该微型紫外光谱仪的光谱数据预处理方法包括以下步骤：
29.s100，采集目标的原始光谱数据，并确定校准光谱数据。
30.以目标为vocs、nox、so2等现场有毒有害气体，通过微型紫外光谱仪采集含有vocs、nox、so2等信息的原始光谱数据。
31.判断采集到的原始光谱数据是否为标定用数据，如果采集到的原始光谱数据是标定用的数据，则需要重新存储校准用的光谱数据；否则不需要重新存储校准光谱数据，则使用上一次预处理时已经存储的校准光谱数据作为校准用的光谱数据继续使用。
32.s200，对采集到的原始光谱数据进行暗电流平滑。
33.图2是本发明一实施例提供的暗电流平滑流程图。请参阅图2，步骤s200的具体实现方式为：
34.s201，提取原始光谱数据中的暗电流数据。
35.s202，根据暗电流平滑标志位，判断是否对原始光谱数据中暗电流数据进行平滑处理。
36.s203，若暗电流平滑标志位为1，则对提取的暗电流数据进行平滑处理，并计算平滑后的暗电流平滑值，若暗电流平滑标志位为0，则不对提取的暗电流数据进行平滑处理。
37.本实施例根据暗电流平滑标志位开始对原始光谱数据进行暗电流平滑，以将暗电流数据转化为便于计算的数据。
38.暗电流平滑处理方法包括滑动平均滤波、高斯滤波等方法。其中，均值滤波是一种线性滤波器，处理思路也很简单，就是将一个窗口区域中的像素计算平均值，然后将窗口中计算得到的均值设置为锚点上的像素值。该算法有优点在于效率高，思路简单。同样，缺点也很明显，计算均值会将信号中的边缘信息以及特征信息“模糊”掉，会丢失很多特征。
39.高斯滤波也是一种线性滤波，是常用的一种滤波算法，利用二维高斯函数的分布方式来对图像进行平滑。高斯滤波的优点可以集中在高斯函数的特点上来看。首先，二维高斯函数是旋转对称的，在各个方向上平滑程度相同，不会改变原信号的边缘走向。第二，高斯函数是单值函数，高斯卷积核的锚点为极值，在所有方向上单调递减，锚点像素不会受到距离锚点较远的像素影响过大，保证了特征点和边缘的特性。第三，在频域上，滤波过程中不会被高频信号污染。高斯模糊实质上就是一种均值模糊，只是高斯模糊是按照加权平均的，距离越近的点权重越大，距离越远的点权重越小。通俗的讲，高斯滤波就是对整个信号进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。
40.s300，对暗电流平滑后的原始光谱数据进行暗电流去除。
41.待暗电流平滑完成后，根据暗电流平滑需求对原始光谱数据中包含的暗电流数据进行去除。
42.暗电流去除过滤是信号处理中基本的任务。暗电流去除的目的是根据应用环境的不同，选择性的提取信号中某些认为是重要的信息。过滤可以移除信号中的噪音、提取感兴趣的可视特征、允许信号重采样等等。频域分析将信号分成从低频到高频的不同部分。低频对应信号强度变化小的区域，而高频是信号强度变化非常大的区域。
43.为了降低噪声对原始光谱数据的影响，突出各检测气体在原始光谱数据中的有效特征，降低误差，在暗电流平滑完成后需要对原始光谱数据进行暗电流去除。本实施例是根据暗电流平滑标志位，对原始光谱数据进行暗电流去除。
44.图3是本发明一实施例提供的暗电流去除流程图。如图3所示，步骤s300的具体实现方式为：
45.s301，获取暗电流平滑标志位。
46.s302，根据暗电流平滑标志位，判断是否对原始光谱数据中暗电流数据进行去除。
47.s303，若暗电流平滑标志位为1，则将计算得到的暗电流平滑值从原始光谱数据中去除，若暗电流平滑标志位为0，则直接在原始光谱数据中将未经平滑的暗电流数据直接去除。
48.s400，对暗电流去除后的原始光谱数据进行波长校准。
49.待暗电流去除完成后，根据波长校准需求获取校准光谱数据，开始对暗电流去除后的原始光谱数据进行波长校准。
50.图4是本发明一实施例提供的波长校准流程图。如图4所示，步骤s400的具体实现方式为：
51.s401，获取波长校准标志位。
52.s402，判断波长校准标志位大小。
53.s403，若波长校准标志位为1，则需要对暗电流去除后的原始光谱数据进行波长校准，则根据上述存储的校准光谱数据计算波长校准量，并利用计算得到的波长校准量分别对暗电流去除后的原始光谱数据进行波长校准，然后在对原始数据进行像素校准和亚像素校准；若波长校准标志位为0，则使用默认波长校准量对暗电流去除后的原始光谱数据进行波长校准，然后再对原始光谱数据进行像素校准和亚像素校准。
54.通过校准光谱数据对光谱仪的原始光谱数据进行波长校准，有效地改善数据的准
确度。
55.s500，对波长校准后的原始光谱数据进行平滑处理。
56.最后对经过暗电流去除、波长校准等处理后的原始光谱数据进行平滑处理，至此光谱数据预处理完成。
57.本实施例所采用的平滑处理方法包括sg滤波(savitzky golay filter)、自适应滤波等方法。
58.其中，sg滤波法(savitzky golay filter)的核心思想是对窗口内的数据进行加权滤波，但是它的加权权重是对给定的高阶多项式进行最小二乘拟合得到。它的优点在于，在滤波平滑的同时，能够更有效地保留信号的变化信息，sg滤波法对于数据的观测信息保持的更好，在一些注重数据变化的场合会比较适用。
59.自适应滤波器处理光谱信号时，不需要事先知道输入信号和噪声的统计特性，滤波器自身能够在工作过程中学习或估计信号的统计特性，并以此为依据调整自身参数，已达到满足要求的最优滤波效果。一旦光谱信号统计特性发生变化，还可以跟踪这种变化，重新调节参数，使滤波性能重新达到最优。自适应滤波是光谱数据平滑的一种有效手段。
60.通过对经过暗电流去除、波长校准等处理后的原始光谱数据进行平滑处理，能够有效消除光谱数据中噪音。
61.上述光谱数据预处理方法，首先根据暗电流平滑标志位对采集到的含有vocs、nox、so2信息的原始光谱数据进行暗电流平滑，暗电流平滑完成后，根据暗电流平滑需求再对原始光谱数据中包含的暗电流数据进行去除；暗电流去除完成后，根据波长校准需求获取校准光谱数据，利用校准光谱数据对原始光谱数据进行波长校准；最后对经过暗电流去除、波长校准等处理后的原始光谱进行平滑处理，能够有效去除光谱数据中噪音，得到准备的光谱数据。
62.图5是本发明另一实施例提供的一种微型紫外光谱仪的光谱数据预处理系统的结构示意图。
63.在本实施例中，所述微型紫外光谱仪的光谱数据预处理系统20可以应用于计算机装置中，所述微型紫外光谱仪的光谱数据预处理系统20可以包括多个由程序代码段所组成的功能模块。所述微型紫外光谱仪的光谱数据预处理系统20中的各个程序段的程序代码可以存储于计算机装置的存储器中，并由所述计算机装置的至少一个处理器所执行，以实现(详见图1描述)微型紫外光谱仪的光谱数据预处理功能。
64.本实施例中，所述微型紫外光谱仪的光谱数据预处理系统20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：数据采集模块201、暗电流平滑模块202、暗电流去除模块203、波长校准模块204以及数据平滑模块205。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
65.其中，数据采集模块201，用于采集目标的原始光谱数据。
66.其中，暗电流平滑模块202，用于确定校准光谱数据，并对所述原始光谱数据进行暗电流平滑。
67.其中，暗电流去除模块203，用于对暗电流平滑后的所述原始光谱数据进行暗电流去除。
68.其中，波长校准模块204，用于获取校准光谱数据，依据波长校准标志位的大小，对暗电流平滑和暗电流去除后的原始光谱数据进行波长校准。
69.其中，数据平滑模块205，用于对波长校准后的原始光谱数据进行平滑处理。
70.上述光谱数据预处理系统，首先根据暗电流平滑标志位对采集到的含有vocs、nox、so2信息的原始光谱数据进行暗电流平滑，暗电流平滑完成后，根据暗电流平滑需求再对原始光谱数据中包含的暗电流数据进行去除；暗电流去除完成后，根据波长校准需求获取校准光谱数据，利用校准光谱数据对原始光谱数据进行波长校准；最后对经过暗电流去除、波长校准等处理后的原始光谱进行平滑处理，能够有效去除光谱数据中噪音，得到准备的光谱数据。
71.相应于上面的方法实施例，参见图6，图6为本发明所提供的微型紫外光谱仪的光谱数据预处理设备的结构示意图，该设备30可以包括：
72.存储器301，用于存储计算机程序；
73.处理器302，用于执行所述计算机程序时实现如下步骤：
74.采集目标的原始光谱数据，并确定校准光谱数据；依次对所述原始光谱数据进行暗电流平滑和暗电流去除；获取校准光谱数据，依据波长校准标志位的大小，对暗电流平滑和暗电流去除后的原始光谱数据进行波长校准；对波长校准后的原始光谱数据进行平滑处理。
75.对于本发明提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。
76.相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
77.采集目标的原始光谱数据，并确定校准光谱数据；依次对所述原始光谱数据进行暗电流平滑和暗电流去除；获取校准光谱数据，依据波长校准标志位的大小，对暗电流平滑和暗电流去除后的原始光谱数据进行波长校准；对波长校准后的原始光谱数据进行平滑处理。
78.该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
79.对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
80.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
81.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。