一种煤样近红外光谱非线性局部加权校正方法与流程

本发明涉及煤样检测，尤其涉及一种煤样近红外光谱非线性局部加权校正方法。

背景技术：

1、近红外光谱分析技术因其快速、无损、无污染等优点，被广泛应用于煤炭品质的在线检测。然而，煤炭光谱信号通常具有高度的非线性特征，且受煤样粒度、基体效应及环境温湿度变化的影响较大。受煤样状态和周围环境等诸多客观因素的影响，实测煤样光谱数据通常包含大量的随机噪声和散射干扰。这些信息的存在势必严重影响煤质近红外光谱分析系统的学习精度。因此，研究高噪声煤样光谱数据的准确恢复方法十分必要。然而，由于煤样实测光谱与理想光谱之间存在复杂的耦合关系，如何在保持煤样光谱信息完整的基础上，最大限度地滤除噪声干扰，准确恢复真实的光谱数据，是一个复杂且具有挑战性的问题。同时，由于煤样光谱中特征谱峰不显著，带来的低信噪比等问题，进一步加大了上述问题的处理难度。

2、现有技术中，局部加权校正方法通常直接利用局部校正子集构建目标函数进行光谱拟合，然而，煤样近红外光谱中存在大量的重叠峰和弱特征峰，这些特征峰通常表现为光谱曲线上的局部极大或极小值点。现有方法仅从全局数值误差最小化的角度进行拟合，缺乏对光谱拓扑结构的针对性约束。这导致在强噪声或严重散射干扰下，校正后的光谱数据容易出现特征峰偏移、峰形平滑过度甚至特征峰丢失的现象，降低了光谱的化学可解释性，基于此，本实施例在局部加权目标函数中引入基于波段敏感度的特征峰结构保持约束项，该约束项通过识别局部校正子集中的共性特征峰位置，强制待测光谱的校正结果在敏感波段处保持一致的极值特性。

3、同时，在煤样近红外光谱的局部加权校正领域，现有技术中的传统局部加权回归lwr、局部贝叶斯回归等在构建样本间距离度量时，通常采用全局均匀权重，传统距离计算默认光谱的所有波段对目标理化性质的贡献是均等的。然而，煤样近红外光谱具有高度复杂性，不同波段的信息熵差异巨大。例如，1450nm附近主要反映o-h键的伸缩振动，而2170nm附近主要反映c-h键的合频。若赋予水分波段与灰分波段相同的权重，会导致敏感特征被非敏感波段的噪声淹没；同时煤样光谱中存在大量因装样密度变化引起的散射噪声，这些噪声通常分布较广。全局权重无法抑制这些非敏感波段的干扰，导致计算出的样本相似度失真，进而使得筛选出的局部校正子集代表性不足，模型预测精度下降。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种煤样近红外光谱非线性局部加权校正方法，用于解决现有技术中存在的问题。

2、本发明提供了一种煤样近红外光谱非线性局部加权校正方法，所述方法包括以下步骤：

3、s1：采集标准煤样集的近红外光谱数据，获得所述标准煤样集的近红外光谱矩阵及对应的理化性质参考值向量；

4、s2：对所述近红外光谱矩阵进行数据预处理操作；

5、s3：采集待测煤样的近红外光谱数据，并进行预处理操作；

6、s4：计算波段敏感因子向量s，并据此计算波段自适应距离；

7、所述s4具体为：s4.1：计算波段敏感因子向量s；s4.2：根据所述波段敏感因子向量s计算波段自适应距离；

8、s5：根据所述波段自适应距离确定局部校正子集，并进行基于波段自适应权重与谱峰结构约束的局部加权光谱校正；

9、所述s5具体为：s5.1：根据所述波段自适应距离确定局部校正子集；s5.2：根据所述局部校正子集的近红外光谱矩阵进行特征峰位置的识别，得到特征峰位置索引集；s5.3：根据所述特征峰位置索引集和波段敏感因子构建特征峰结构保持约束项；s5.4：基于所述特征峰结构保持约束项构建局部加权目标函数；s5.5：对所述局部加权目标函数求解得到最优系数向量，并代入非线性拟合函数得到非线性局部加权校正后的光谱向量。

10、优选地，所述s5.2具体为：定义第j个波段的局部极值强度指标ej，其表达式为：

11、；

12、式中，ej为第j个波段的局部极值强度指标，为所述局部校正子集中第i个标准煤样样本预处理后的光谱向量，λ为波长变量，为所述局部校正子集中第i个标准煤样样本的光谱向量在第j个波长点处的一阶导数，为所述局部校正子集中第i个标准煤样样本的光谱向量在第j个波长点处的二阶导数，sgn()为符号函数；

13、设定局部极值强度指标阈值θ，当ej>θ时，判定第j个波段为特征峰位置，构建特征峰位置索引集，m为全谱段的总波长点数。

14、优选地，所述s5.3中，所述特征峰结构保持约束项的表达式为：

15、；

16、式中，为特征峰结构保持约束项，sj为第j个波段的波段敏感因子，γ为平衡因子，为非线性拟合函数，用于将待测煤样的光谱数据映射为局部加权校正后的光谱数据，β为非线性拟合函数的待求系数向量，λ为波长变量，为局部加权校正后的光谱数据在第j个波长点处对波长λ的一阶偏导数，为局部加权校正后的光谱数据在第j个波长点处对波长λ的二阶偏导数，为局部校正子集在第j个波长点处的平均二阶导数基准值。

17、优选地，所述s5.4中，所述局部加权目标函数的表达式为：

18、；

19、式中，q为局部加权目标函数，k为局部校正子集中的k个邻近样本，i为求和索引，为高斯核函数，di为第i个标准煤样样本与待测煤样之间的波段自适应距离，为局部校正子集中第i个标准煤样样本经过预处理后的近红外光谱向量，为非线性拟合函数，β为非线性拟合函数的待求系数向量，为待测煤样的光谱数据，τ为正则化权重系数，为待求系数向量β的l2范数正则化项，η为结构约束权重系数，为特征峰结构保持约束项。

20、优选地，所述s5.5中，采用levenberg-marquardt算法最小化所述局部加权目标函数的值，求解得到最优的待求系数向量，然后将所述最优的待求系数向量代入非线性拟合函数中，由于为待测煤样的光谱数据为已知向量，从而可得到非线性局部加权校正后的光谱向量。

21、优选地，所述s4.1中，定义第j个波段的波段敏感因子sj为：

22、；

23、式中，sj为第j个波段的波段敏感因子，为第j个波段的近红外光谱数据与理化性质参考值的皮尔逊相关系数的绝对值，为预处理后的近红外光谱矩阵中第j列的光谱数据的方差，m为光谱的总波段数，k为求和索引，为第k个波段的近红外光谱数据与理化性质参考值的皮尔逊相关系数的绝对值，为预处理后的近红外光谱矩阵中第k列的光谱数据的方差；

24、所述波段敏感因子向量s的表达式为：

25、；

26、式中，s1为第1个波段的波段敏感因子，s2为第2个波段的波段敏感因子，sm为第m个波段的波段敏感因子。

27、优选地，所述s4.2中，定义标准煤样集中第i个标准煤样样本与待测煤样之间的波段自适应距离di的表达式为：

28、；

29、式中，di为第i个标准煤样样本与待测煤样之间的波段自适应距离，xi为标准煤样集中第i个样本预处理后的光谱向量，xq为待测煤样预处理后的光谱向量，diag(s)为由所述波段敏感因子向量s构成的m×m对角矩阵，其主对角线上的第j个元素即为第j个波段的波段敏感因子sj，非对角线元素均为0。

30、优选地，所述s1中，所述标准煤样集覆盖不同变质程度、不同产地及不同粒径分布的煤样，设所述标准煤样集包含n个样本，记为；式中，s为标准煤样集，sn为第n个标准煤样样本。

31、优选地，将所述标准煤样样本破碎并筛分至粒度小于0.2mm，并在40℃环境下烘干至恒重，采用旋转压样器对每个破碎后的标准煤样样本施加恒定的压力，保压30s；使用傅里叶变换近红外光谱仪采集制备好的标准煤样样本的光谱数据，采集时设定采集波长为λ；采集分辨率δ为8cm1；每个标准煤样样本扫描nscan次，取采集数据的平均值作为该标准煤样样本的原始光谱数据。

32、优选地，将每个标准煤样样本的光谱数据整理为光谱向量形式，定义第i个标准煤样样本si在m个波长点下的光谱向量为：，式中，为第i个标准煤样样本si在第j个波长点λj处的吸光度值，m为全谱段的总波长点数，t为转置符号；

33、将n个标准煤样样本的光谱向量按行排列，构建成n×m维的标准光谱矩阵x，表达式为：

34、；

35、式中，x为标准煤样集的近红外光谱矩阵，n为标准煤样集中的标准煤样样本的总数，m为全谱段的总波长点数；

36、选取煤质分析中的关键指标作为目标变量，包括灰分产率、挥发分产率、全硫含量及高位发热量；针对单一目标变量，定义第i个标准煤样样本si对应的单一理化性质实测值为yi，将所有标准煤样样本的实测值按行排列，构建n×1维的理化性质参考值向量y，表达式为：；式中，yi为第i个样本si对应的单一理化性质实测值，n为标准煤样集中的标准煤样样本总数。

37、本发明实施例具有以下技术效果：

38、本发明在构建局部加权核函数过程中，首先基于已筛选的局部校正子集计算高斯核权重函数，通过核带宽参数自适应匹配局部距离分布，赋予邻近样本与待测煤样相似度成正比的权重，有效抑制了远距离异类样本的干扰；随后在构建目标函数时，引入特征峰结构保持约束项，通过识别局部校正子集的共性特征峰位置，强制校正后光谱在敏感波段处的一阶导数趋近于零以维持峰位准确，同时约束二阶导数逼近局部子集的平均尖锐度以保留峰形结构，配合动态正则化参数根据光谱畸变指数自适应调节约束强度，既避免了强噪声下过拟合导致的峰形振荡，又防止了高质量样本被过度平滑而丢失弱峰细节；最终通过最小化融合数值拟合误差、正则化项及结构约束项的复合目标函数求解最优拟合系数，将待测光谱映射为校正后光谱，该过程在数值上实现了对非线性散射干扰的高精度滤除，在拓扑结构上锁定了特征峰的位置与形态，使得输出的校正光谱不仅信噪比显著提升，为后续光谱定性比对及定量分析提供了兼具高保真度与化学可解释性的数据基础。

39、本发明通过引入波段敏感因子向量s构建的自适应权重函数，有效克服了传统局部加权校正方法中全局均匀权重导致的特征混淆与噪声敏感问题，通过量化各波段光谱数据与理化性质的相关性并赋予敏感波段更高权重，显著放大了关键特征差异，同时抑制了非敏感波段及装样散射噪声的干扰，使得样本间距离度量不再单纯依赖数学几何相似性，而是深度契合煤质分析的物理化学机理，不仅大幅提升了局部校正子集筛选的精准度与模型的抗干扰能力，还显著提高了煤样近红外光谱定量分析的准确性与鲁棒性，特别适用于复杂基体煤样的快速检测场景。