基于多源光谱与机器学习的流域水体重金属浓度预测方法与流程

本发明属于环境监测与水质分析，具体涉及基于多源光谱与机器学习的流域水体重金属浓度预测方法。

背景技术：

1、随着工业化和城市化进程的加速，流域重金属污染已成为全球性的重大环境问题。重金属元素，如镍（ni）、铜（cu）、铅（pb）、镉（cd）等，具有显著的持久性、生物蓄积性和高毒性。即便在极低的浓度下，这些重金属也可能对水生态系统的结构与功能造成不可逆的损害，并经由食物链传递最终威胁人类健康。因此，实现对流域水体中重金属浓度的快速、准确监测，对于环境风险预警、污染溯源及生态修复具有至关重要的意义。

2、目前，传统的重金属检测方法，如电感耦合等离子体质谱法（icp-ms）、原子吸收光谱法（aas）等，虽然能够提供高精度的定量分析结果，但其应用受到多方面限制。首先，相关仪器设备昂贵，且需要专业人员在实验室环境下操作，难以实现原位监测。其次，样品采集后的消解、纯化等前处理程序复杂、耗时，导致检测成本高昂、时效性差。在面对流域性突发污染事件或需要进行大尺度空间分布的网格化监测时，传统方法无法满足快速、原位、准实时及高动态覆盖的监测需求。

3、近年来，光谱分析技术因其快速、无损、无需复杂前处理等优势而受到广泛关注。紫外-可见吸收光谱（uv-vis）与三维荧光光谱（eems）能够有效反映水体中溶解性有机物（dom）的光学特性。dom是水体中重金属的重要络合载体，其浓度、来源、芳香性及腐殖化程度等特征直接影响重金属的形态、迁移转化与生物有效性。因此，通过光谱特征来间接表征重金属浓度具有坚实的化学理论基础。

4、然而，现有基于光谱技术的水体重金属预测方法仍存在明显不足。一方面，紫外-可见吸收光谱和三维荧光光谱所衍生的特征指数众多，加之平行因子分析（parafac）解析出的荧光组分维度较高，构成了高维、非线性的复杂数据集。传统的线性回归或简单的经验公式模型难以有效解析这些多源特征间的复杂交互与非线性的络合机制，导致预测精度普遍较低。另一方面，流域水体重金属浓度数据往往呈现偏态分布且包含离群值，不同流域的污染特征差异巨大。现有研究多依赖于单一的机器学习模型（如偏最小二乘或随机森林），缺乏对多种算法模型的系统性筛选与自适应匹配，导致模型在处理复杂非线性关系、离群值干扰时的泛化能力与鲁棒性严重不足，难以在不同流域环境中保持稳定的预测性能。

5、综上所述，开发一种能够融合多源光谱信息、具备高鲁棒性且能解析重金属主控因子的流域水体重金属浓度智能预测方法，是当前环境监测技术领域亟待解决的技术问题。

技术实现思路

1、本发明的目的在于提供基于多源光谱与机器学习的流域水体重金属浓度预测方法，解决上述技术问题。

2、本发明的目的可以通过以下技术方案实现：

3、基于多源光谱与机器学习的流域水体重金属浓度预测方法，包括以下步骤：

4、步骤s1、采集目标流域水体的常规环境因子数据、重金属浓度数据、紫外-可见吸收光谱及三维荧光光谱；基于所述紫外-可见吸收光谱提取光谱特征指数，基于所述三维荧光光谱，通过平行因子分析解析出溶解性有机物的荧光组分特征；以所述常规环境因子数据、所述光谱特征指数及所述荧光组分特征构建多源特征数据集；

5、步骤s2、对所述多源特征数据集进行数据预处理，所述预处理包括异常值剔除与数据标准化；对预处理后的数据集进行特征相关性分析，筛选出与目标重金属浓度相关的特征子集，所述目标重金属为镍、铜、锌、铅或镉中的其中一种；

6、步骤s3、将所述特征子集作为多维输入特征，将目标重金属浓度作为输出，构建多种类型的机器学习回归模型；通过交叉验证与预设评估指标，从所述多种机器学习回归模型中筛选出最优预测模型，并采用贝叶斯优化算法对所述最优预测模型的超参数进行优化，得到训练好的重金属浓度预测模型；

7、步骤s4、基于所述训练好的重金属浓度预测模型，利用shap可加性解释方法，计算各输入特征对预测结果的贡献值，识别影响重金属浓度的主控因子。

8、作为本发明技术方案的进一步描述，所述步骤s1中：

9、所述常规环境因子包括电导率、溶解氧、ph值、温度、氧化还原电位及溶解性有机碳；

10、所述紫外-可见吸收光谱的测定条件为：以milli-q水为空白，使用1cm石英比色皿，扫描波段为200-800nm，扫描间隔为1nm；

11、所述三维荧光光谱的测定条件为：激发波长范围为200-450nm，扫描间隔为5nm，发射波长范围为200-600nm，扫描间隔为2nm，激发与发射单色器狭缝宽度均为10nm，扫描速度为12000nm/min；

12、所述光谱特征指数包括：波长350nm处的吸收系数a(350)、光谱斜率比值sr、254nm处的比紫外吸收系数suva254、260nm处的比紫外吸收系数suva260、腐殖化指数hix、新鲜度指数：及荧光指数fi。

13、作为本发明技术方案的进一步描述，所述光谱特征指数的计算公式如下：

14、；

15、；

16、；

17、；

18、；

19、：=，；

20、；

21、式中，为波长λ处的吸光度，为比色皿的光程，单位为m，为波长λ处的吸收系数，单位为，为溶解性有机碳的质量浓度，单位为mg/l，为波长275-295nm范围内的光谱斜率，为波长350-400nm范围内的光谱斜率；

22、表示激发波长，单位为纳米（nm），表示发射波长，单位为纳米（nm）；

23、表示发射波长从435nm至480nm的连续区间；

24、表示在激发波长为254nm条件下，发射波长在435nm至480nm范围内的荧光强度积分值；

25、表示在激发波长为254nm条件下，发射波长在300nm至345nm范围内的荧光强度积分值；

26、表示在指定激发波长nm下，发射波长为380nm处的荧光强度值；

27、表示在激发波长为310nm条件下，发射波长在420nm至435nm范围内的最大荧光强度值；

28、表示在激发波长为370nm、发射波长为470nm处的荧光强度值；

29、表示在激发波长为370nm、发射波长为520nm处的荧光强度值。

30、作为本发明技术方案的进一步描述，所述步骤s1中，通过平行因子分析解析溶解性有机物荧光组分特征的具体步骤包括：

31、对所述三维荧光光谱数据进行空白扣除、内滤效应校正及拉曼校正；

32、将校正后的数据导入平行因子分析工具箱，进行核心一致性检查、光谱负载形状评估、残差分析及拆半分析检验；

33、对样本进行2至7组分的模型模拟，基于模型验证结果确定最优组分数，并将各组分的最大荧光强度作为所述荧光组分特征。

34、作为本发明技术方案的进一步描述，所述步骤s2

35、所述异常值剔除采用箱线图结合四分位距方法实现；

36、所述数据标准化采用z-score标准化方法，其计算公式为，其中，为原始特征值，为训练集上该特征的均值，为训练集上该特征的标准差；所述特征相关性分析采用皮尔逊相关系数，并剔除相关系数绝对值大于0.9的冗余特征。

37、作为本发明技术方案的进一步描述，所述步骤s3中，所述多种类型的机器学习回归模型包括线性回归模型、岭回归模型、套索回归模型、弹性网络回归模型、决策树模型、随机森林模型、极端随机树模型、梯度提升树模型、adaboost模型、xgboost模型、lightgbm模型、k近邻回归模型及支持向量回归模型。

38、作为本发明技术方案的进一步描述，所述步骤s3中，所述交叉验证为5折交叉验证；

39、所述预设评估指标包括决定系数和均方根误差rmse；

40、筛选所述最优预测模型的标准为：在测试集上，决定系数最大且均方根误差rmse最小。

41、作为本发明技术方案的进一步描述，所述步骤s3中，在模型训练之前，还包括将所述多源特征数据集划分为训练集和测试集的步骤，所述训练集用于模型训练与交叉验证，所述测试集用于评估最终模型的泛化性能。

42、作为本发明技术方案的进一步描述，所述步骤s4中，通过shap可加性解释方法识别主控因子的具体方式为：

43、生成shap重要性条形图，展示所有输入特征的平均绝对shap值，量化评估各特征的全局贡献度；

44、生成shap散点图，展示单个特征的原始数值与其shap值之间的相关性，其中，shap值的正负分别指示该特征对预测结果的正向或负向贡献，shap绝对值的大小指示该特征的影响程度。

45、本发明的有益效果：

46、本发明以易采集的常规环境因子与光谱特征指数为输入源，利用机器学习构建回归模型，预测目标重金属浓度，摆脱了对复杂理化分析的依赖，大幅压缩了检测成本与周期，满足流域大尺度、高频次的实时监控需求。

47、本发明引入平行因子分析对三维荧光矩阵进行降维，精准解析出溶解性有机物的特异性荧光组分，成功量化了天然水体中重金属与dom的络合机制，为模型输入了具有明确化学意义的强相关特征，大幅提升了复杂水体中重金属的预测精度。

48、面对不同水系背景及污染物复杂特性，本发明构建涵盖多种机器学习基模型库进行交叉验证筛选，有效克服了人工调参的盲目性，确保在各种流域应用场景下均能输出性能最佳的预测模型。

49、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。