一种基于PSO-ECARS-DR的土壤重金属XRF光谱特征提取方法

摘要: 本发明涉及光谱分析、环境保护、重金属分析及污染防治,尤其涉及用于土壤重金属的高维光谱特征提取、检测技术,尤其涉及一种基于pso-ecars-dr的土壤重金属xr...
一种基于PSO-ECARS-DR的土壤重金属XRF光谱特征提取方法

本发明涉及光谱分析、环境保护、重金属分析及污染防治,尤其涉及用于土壤重金属的高维光谱特征提取、检测技术,尤其涉及一种基于pso-ecars-dr的土壤重金属xrf光谱特征提取方法。

背景技术:

1、x射线荧光(xrf)光谱技术因具备快速、无损、多元素同步测定的技术优势,已成为土壤重金属污染检测与耕地质量监测的核心手段。但土壤重金属xrf光谱数据存在高维冗余、小样本、噪声干扰显著的固有特征,单条光谱通常包含数千个波长变量,直接利用原始光谱数据进行建模,易引发模型过拟合、泛化能力差、计算复杂度高等问题,因此高效的特征提取是提升土壤重金属xrf光谱建模精度与稳定性的关键前置环节。

2、竞争性自适应重加权采样(cars)算法是目前光谱特征选择领域的经典方法,通过蒙特卡洛随机采样与自适应加权机制可快速剔除无关变量,实现特征空间压缩,但该算法在土壤重金属xrf光谱特征提取应用中仍存在三个方面问题:

3、首先是变量筛选稳定性不足,依赖蒙特卡洛随机采样策略,易误剔除对模型贡献显著但信号变化幅度较小的关键波长变量,导致特征提取结果波动较大,在土壤小样本光谱数据场景中该问题更为突出;

4、其次是光谱连续性刻画缺失,未考虑光谱变量在波长维度上的连续分布物理规律,离散的特征筛选方式会破坏土壤xrf光谱中重金属特征峰的连续波段结构,降低特征的物理可解释性,与光谱信号的内在特征相悖;

5、最后是核心参数依赖经验设定,蒙特卡洛采样次数、偏最小二乘(pls)潜变量数等核心参数需人工试凑确定,参数敏感性强,易导致模型在不同滤光片、不同重金属元素检测工况下的泛化性能差异显著,严重限制了算法的工程实际应用。

6、现有针对cars算法的改进研究,如ecars算法仅通过波长邻近约束解决了光谱离散筛选问题,pso-cars算法仅实现了参数单一维度的优化,均未能同时兼顾参数自适应、光谱连续性、多工况鲁棒性三大核心需求,在土壤重金属多滤光片实际检测场景下的特征提取效果仍有待提升。因此,还需构建一种一体化的高维光谱特征提取方法,从根本上解决传统cars算法的稳定性、连续性与参数依赖问题,实现土壤重金属xrf光谱数据的高精度、高稳定性特征提取,为后续定量建模奠定基础。

技术实现思路

1、本发明针对传统cars算法在土壤重金属xrf光谱特征提取中存在的变量筛选不稳定、光谱连续性缺失、核心参数依赖经验设定等技术问题,提出一种基于pso-ecars-dr的土壤重金属xrf光谱特征提取方法;本发明通过粒子群优化(pso)实现cars参数自适应寻优、波长扩充构建光谱连续性约束、二次pso-cars筛选实现冗余变量剔除的多级融合机制,实现土壤xrf光谱数据的高精度、高稳定性、高鲁棒性特征提取,提升后续土壤重金属定量建模的精度与泛化能力,为土壤重金属xrf光谱检测的工程应用提供可靠的技术支撑。

2、为了解决上述技术问题,本发明采用的技术方案为:

3、一种基于pso-ecars-dr的土壤重金属xrf光谱特征提取方法,包括以下步骤:

4、步骤1:确定研究区域并采集土壤样品,测定土壤样品的重金属xrf光谱数据,对光谱数据进行预处理;

5、步骤2:设置多滤光片检测工况,将预处理后的光谱数据集按工况分组,每组数据按比例划分为训练集与测试集;

6、步骤3:构建面向 cars 波段筛选的自适应粒子群优化适应度函数,执行粒子群优化算法 pso 全局参数寻优;所述适应度函数以交叉验证均方根误差 rmsecv 为基础,叠加波段离散度惩罚项,对竞争性自适应重加权采样cars算法的迭代次数、变量保留比例、衰减系数三类核心参数进行全局自适应寻优,得到适配多滤光片光谱的最优参数组合;

7、步骤4:将最优参数组合代入cars算法,对训练集光谱数据进行特征初筛得到离散波长特征集;引入 dr 波长扩充连续性约束策略,以相邻波段光谱响应相关性阈值为扩充判定条件对离散波长进行邻域扩充,构建光谱连续性约束矩阵,得到增强波段连续关联性的特征子集;

8、步骤5:以增强连续性的特征子集为二次优化输入,搭建双层迭代 pso-ecars 联合筛选架构,再次执行步骤 3 带离散惩罚项的pso参数寻优与cars算法特征筛选,剔除波段间多重共线性冗余变量,得到土壤重金属 xrf 光谱最优特征子集,即 pso-ecars-dr 特征提取结果。

9、在步骤1中,具体包括以下步骤:

10、步骤1-1)对研究区域进行网格划分并随机布点,确定采样点后采集一定深度范围内的表层土壤作为样品,去除杂质后风干、磨碎并过进行网筛;

11、步骤1-2)利用xrf光谱仪测定土壤样品的重金属光谱数据,重金属包括as、cd、cr、cu、pb、zn中的一种或多种;

12、步骤1-3)对光谱数据依次进行基线校正、噪声去除、归一化预处理,消除基线漂移、噪声干扰与量纲差异,得到标准化土壤xrf光谱数据集。

13、在步骤2中,多滤光片检测工况包括 aspb 通用滤光片、cd专用滤光片、cr专用滤光片工况,数据集按一定的比例划分为训练集与测试集。

14、在步骤3中,粒子群优化算法pso的参数寻优具体包括:

15、步骤3-1)将核心参数组合

n,

a构造为pso的粒子位置向量

xi=(

ni,

ai),其中

n为蒙特卡洛采样次数,

a为偏最小二乘pls潜变量数,设定粒子数量、最大迭代次数,随机初始化粒子位置与速度;

16、步骤3-2)按照以下公式更新粒子速度与位置,迭代寻优:

17、;

18、其中,为惯性权重;为学习因子;为区间随机数;为第

t次迭代时第

i个粒子的个体最优位置;为第

t次迭代种群全局最优位置;为第

t次迭代时第

i个粒子的飞行速度,为第次迭代时第

i个粒子更新后的飞行速度,为第

t次迭代时第

i个粒子的位置,为第次迭代更新后的粒子位置;

19、步骤3-3)当迭代达到最大次数或适应度值趋于收敛时,输出最优参数组合(

nopt,

aopt),完成cars算法参数的自适应优化。

20、在步骤4中,具体包括以下步骤:

21、步骤4-1)将最优参数组合(

nopt,

aopt)代入cars算法,通过蒙特卡洛随机采样、自适应重加权与pls回归建模,剔除无关与弱相关波长变量,得到cars初筛离散波长特征集{

λ

c1

,λc2

,…,λcm},

m为初筛特征波长数量,为第

i个被选中的核心特征波长;

22、步骤4-2)以初筛后的每个波长

λci为中心,向左右各扩充

n个相邻波长,构建连续波段子集λ

ci(

n)={

λci

n,…,λci

,…,λci

+n};其中,为以为中心向左偏移

n个单位的相邻光谱波长,为 cars 初筛得到的第

i条核心特征波长,为以为中心向右偏移

n个单位的相邻光谱波长,

n为单侧扩充波长预设超参数;

23、步骤4-3)合并所有连续波段子集并去除重复波长,得到增强光谱连续性的特征子集δexp。

24、在步骤5中,具体包括以下步骤:

25、步骤5-1)将增强连续性的特征子集δexp作为输入,调用步骤3的粒子群优化算法pso,针对扩充特征集优化cars算法参数;

26、步骤5-2)利用优化后的参数执行cars二次筛选,剔除波长扩充过程中引入的冗余、弱相关变量,得到紧凑且最优的土壤重金属xrf光谱特征子集δopt;

27、步骤5-3)将最优特征子集δopt应用于测试集光谱数据,完成全数据集的特征提取。

28、步骤6中,预设评价指标包括决定系数r2、均方根误差rmse、性能波动度,其中:

29、6-1)r2用于评价特征提取的拟合精度与预测精度,取值越接近1表示效果越好;

30、6-2)rmse用于评价特征提取的误差水平,取值越小表示精度越高;

31、6-3)性能波动度为不同滤光片工况下同一重金属元素r2的标准差,标准差越小表示特征提取方法的鲁棒性越强。

32、步骤6中,最优特征子集以txt格式标准化输出,可直接作为土壤重金属定量建模的输入特征数据。

33、与现有技术相比,本发明具有如下技术效果:

34、1)本发明解决了传统cars算法的参数依赖问题,通过pso算法实现cars核心参数的全局自适应寻优,无需人工试凑,可根据不同土壤重金属、不同滤光片检测工况自动适配最优参数,有效提升了特征提取的稳定性与适应性;

35、2)本发明实现了光谱连续性的物理约束,通过引入波长扩充策略,将cars初筛的离散波长转化为连续波段子集,保留了土壤xrf光谱中重金属特征峰的连续分布结构,使特征选择更符合光谱信号的物理规律,提升了特征的物理可解释性;

36、3)本发明实现了冗余变量的精准剔除,通过设计初步筛选、然后扩充、再进行二次筛选的两阶段特征选择机制,在增强光谱连续性的同时,精准剔除扩充过程中引入的冗余、弱相关变量,在压缩特征空间的同时保证特征的有效性,为后续建模降低计算复杂度的同时提升建模精度。