一种光谱数据自适应预处理方法及系统

摘要: 本发明涉及光谱分析,具体涉及一种光谱数据自适应预处理方法及系统。背景技术:1、光谱数据预处理是光谱分析中不可或缺的基础步骤,其目的在于通过去除噪声、校正基线漂移...
一种光谱数据自适应预处理方法及系统

本发明涉及光谱分析,具体涉及一种光谱数据自适应预处理方法及系统。

背景技术:

1、光谱数据预处理是光谱分析中不可或缺的基础步骤,其目的在于通过去除噪声、校正基线漂移、增强信号特征等手段,提升后续定性或定量分析的精度与可靠性。目前,针对光谱数据的自适应平滑预处理方法已被提出。例如,现有技术中存在根据光谱信号局部特征自适应调整平滑窗口尺寸的方法,其通过判断不同光谱区域的信号特性来选择相应窗口宽度,以期在噪声抑制与特征保留之间取得平衡。

2、然而,现有的自适应平滑方法多基于各像元或各采样点的局部光谱特征独立确定平滑参数,未考虑相邻像元之间平滑参数的空间关联性。由于光谱数据、尤其是高光谱数据具有图谱合一的特性,相邻像元的光谱信号往往具有相似性,其噪声水平和信号特征亦存在空间相关性。独立确定各像元平滑参数的做法,易导致相邻像元的平滑程度在空间上出现剧烈跳变,即窗口大小发生显著、突然的变化,使得处理后数据在空间维度上缺乏连续性,影响后续分析的可靠性。此外,现有方法在确定平滑参数时,未能有效区分因成像区域类别变化引起的光谱突变与因噪声引起的随机波动,导致在成像区域边界易出现过度平滑,模糊了边界信息,削弱了数据的空间分辨能力。

技术实现思路

1、本发明的目的在于提供一种光谱数据自适应预处理方法及系统,解决以上技术问题:

2、本发明的目的可以通过以下技术方案实现:

3、一种光谱数据自适应预处理方法,包括以下步骤:

4、获取待处理的光谱数据立方体,所述光谱数据立方体包含多个像元,每个像元具有沿光谱维分布的光谱信号;

5、对所述光谱数据进行基线剥离处理,得到扣除背景基线后的光谱信号;

6、对于每个像元,提取用于表征该像元光谱信号局部特性的至少一个特征量,所述特征量包括信号强度特征、噪声水平特征和光谱变化特征中的至少一类;

7、根据所述特征量,将每个像元的平滑窗口尺寸确定为其特征量的映射值,所述平滑窗口尺寸为在光谱维上进行平滑处理时所采用的窗口大小;

8、识别所述光谱数据立方体中的样本区域,对样本区域内的各像元的平滑窗口尺寸进行空间一致性优化处理,所述优化处理根据相邻像元之间的光谱相似性施加约束, 且所述优化处理使相邻像元的平滑窗口尺寸在空间维度上呈平滑变化,并在样本区域边界处保留平滑窗口尺寸的跳变;

9、根据优化后的平滑窗口尺寸,对样本区域内各像元的光谱信号进行自适应平滑处理,并对平滑处理后的光谱信号进行峰位保真校验,输出经校验通过的预处理后的光谱数据。

10、作为进一步的技术方案,提取用于表征像元光谱信号局部特性的特征量具体包括:

11、计算该像元光谱信号的局部噪声标准差;

12、计算该像元光谱信号的局部峰值信噪比,用于表征该像元处微弱特征峰的显著性;

13、计算该像元光谱信号的局部光谱梯度幅度;

14、所述局部噪声标准差采用高阶差分法估计,表示为:

15、;其中,,中位数在全部波段上求取,为像元在第波段的光谱信号值;

16、所述局部峰值信噪比表示为:

17、

18、其中,为该像元光谱信号的局部均值,最大值在全部波段上求取;

19、所述局部光谱梯度幅度表示为各波段一阶差分绝对值的加权和。

20、作为进一步的技术方案,将每个像元的平滑窗口尺寸确定为其特征量的映射值的具体方式为:

21、对各像元的所述特征量进行归一化处理,得到归一化峰值信噪比特征和归一化光谱梯度特征;

22、根据以下映射函数确定初始平滑窗口半径:

23、

24、其中,为预设的最大窗口半径,为衰减速度控制参数,为峰值信噪比特征与光谱梯度特征之间的权重平衡参数,表示将取值投影至区间内,表示四舍五入取整;所述平滑窗口尺寸为。

25、作为进一步的技术方案,识别所述光谱数据立方体中的样本区域,并对样本区域内的各像元的平滑窗口尺寸进行空间一致性优化处理的具体方式为:

26、计算相邻像元之间的光谱相似性度量,所述光谱相似性度量采用光谱角距离或欧氏距离;

27、构建如下空间一致性优化问题:

28、

29、其中,为样本区域元素集合,第一项为保真项,用于约束优化后的窗口半径不偏离初始窗口半径;第二项为空间平滑约束项,为空间正则化权重参数,表示像元与其邻域像元相邻;为相邻像元之间的光谱相似性度量,当低于预设阈值时对应的空间约束权重趋近于零;

30、为边缘保留罚函数,采用huber函数形式:

31、

32、其中,为阈值参数,用于控制对窗口半径差异的容忍程度;

33、求解所述优化问题,将优化得到的取整并限制在有效范围内,作为每个像元最终的平滑窗口半径。

34、作为进一步的技术方案,所述总变分正则化优化问题采用交替方向乘子法或快速梯度投影法求解。

35、作为进一步的技术方案,所述自适应平滑处理为对每个像元的光谱信号进行等权滑动窗口平均,表示为:

36、

37、其中,为像元在第波段的原始光谱信号值,为平滑后的光谱信号值,为优化后该像元的平滑窗口半径;

38、对于光谱边缘处的波段,采用对称截断方式进行边界处理。

39、作为进一步的技术方案,所述光谱数据立方体为高光谱图像数据,其维度为,其中和分别为图像的空间高度和宽度,为波段数;所述基线剥离处理采用自适应迭代重加权惩罚最小二乘方法或多项式拟合法。

40、一种光谱数据自适应预处理系统,包括:

41、数据获取模块,用于获取待处理的光谱数据立方体;

42、基线剥离模块,用于对所述光谱数据进行基线剥离处理,得到扣除背景基线后的光谱信号;

43、特征提取模块,用于对每个像元提取用于表征该像元光谱信号局部特性的特征量;

44、自适应窗口计算模块,用于根据所述特征量将每个像元的平滑窗口尺寸确定为其特征量的映射值,并对确定出的各像元的平滑窗口尺寸进行空间一致性优化处理;

45、自适应平滑执行模块,用于根据优化后的平滑窗口尺寸对样本区域内各像元的光谱信号进行自适应平滑处理,并对平滑处理后的光谱信号进行峰位保真校验,输出经校验通过的预处理后的光谱数据。

46、本发明的有益效果:

47、本发明通过为每个像元提取信号强度、噪声水平及光谱变化等多维度局部特征,自适应地确定各像元的光谱平滑窗口尺寸,并对各像元的窗口尺寸进行空间一致性优化处理,使相邻像元的窗口尺寸在空间维度上呈平滑变化同时在成像区域边界处保留合理跳变,从而在有效抑制噪声的同时充分保留了光谱细节特征和成像区域边界信息,既避免了因各像元独立决定平滑参数而产生的空间不连续伪影,又克服了传统固定窗口或单一自适应策略难以兼顾特征保留与噪声抑制的缺陷。

1.一种光谱数据自适应预处理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种光谱数据自适应预处理方法,其特征在于,提取用于表征像元光谱信号局部特性的特征量具体包括:

3.根据权利要求2所述的一种光谱数据自适应预处理方法,其特征在于,将每个像元的平滑窗口尺寸确定为其特征量的映射值的具体方式为:

4.根据权利要求3所述的一种光谱数据自适应预处理方法,其特征在于,识别所述光谱数据立方体中的样本区域,并对样本区域内的各像元的平滑窗口尺寸进行空间一致性优化处理的具体方式为:

5.根据权利要求4所述的一种光谱数据自适应预处理方法,其特征在于,所述总变分正则化优化问题采用交替方向乘子法或快速梯度投影法求解。

6.根据权利要求5所述的一种光谱数据自适应预处理方法,其特征在于,所述自适应平滑处理为对每个像元的光谱信号进行等权滑动窗口平均,表示为:

7.根据权利要求6中所述的一种光谱数据自适应预处理方法,其特征在于,所述光谱数据立方体为高光谱图像数据,其维度为,其中和分别为图像的空间高度和宽度,为波段数;所述基线剥离处理采用自适应迭代重加权惩罚最小二乘方法或多项式拟合法。

8.一种光谱数据自适应预处理系统,用于执行如权利要求1至7中任一项所述的光谱数据自适应预处理方法,其特征在于,包括: