基于弹性网络-拉曼光谱的水中无机盐监测方法及系统与流程

摘要: 本发明属于水质在线监测及分析,涉及基于弹性网络-拉曼光谱的水中无机盐监测方法,本发明还涉及基于弹性网络-拉曼光谱的水中无机盐监测系统。背景技术:1、拉曼光谱用于...
基于弹性网络-拉曼光谱的水中无机盐监测方法及系统与流程

本发明属于水质在线监测及分析,涉及基于弹性网络-拉曼光谱的水中无机盐监测方法,本发明还涉及基于弹性网络-拉曼光谱的水中无机盐监测系统。

背景技术:

1、拉曼光谱用于水中无机盐离子浓度定量时,全光谱包含数百至数千个按波数连续排列的波长变量,同一谱峰覆盖范围内的相邻波长变量由同一分子振动响应贡献,波长变量之间存在较强的线性重叠,以全部波长变量建立回归模型时,模型自由度高且系数求解随共线性增强而波动,标定样本数量有限时波动更为明显。

2、连续投影方式以正交投影度量未选波长变量相对于已选波长集合的剩余信息,能够选出线性重叠较低的波长子集,但其搜索过程为从单一起始波长出发的前向贪心迭代,搜索轨迹由起始波长支配,起始波长位于不同谱峰时投影参照系随之改变,最终波长子集存在差异,重复结果不稳定。一种直接做法是设置多个起始波长分别完整运行后再统一比较,然而不同起始波长对应路径演进数步后往往趋同,全部路径完整运行至终止产生大量重复投影计算,计算量随起始波长数量成倍增加。仅按单变量与浓度的相关性选取波长又不度量变量之间的线性重叠,入选波长可能集中于同一谱峰而携带重复信息,弹性网络回归模型在不稳定波长子集上训练时,浓度输出随波长子集摆动。

3、目前缺少一种在控制计算规模前提下,使波长选择兼顾变量间低共线性、重复运行稳定与多谱峰覆盖的水中无机盐监测处理方式。

技术实现思路

1、本发明的第一个目的是提供基于弹性网络-拉曼光谱的水中无机盐监测方法,解决了现有技术中存在的如何在拉曼光谱波长变量数量多、建模样本数量有限的水中无机盐监测条件下,既要降低入选波长变量之间的共线性程度、使波长子集在小样本回归建模下保持稳定,又要规避单起点前向搜索受起始波长支配而陷入局部选择结果、重复运行时波长子集摆动的问题,同时不使投影搜索的计算量随起始波长数量增加而等比例增长的问题。

2、本发明的第二个目的是提供基于弹性网络-拉曼光谱的水中无机盐监测系统。

3、本发明所采用的第一个技术方案是,基于弹性网络-拉曼光谱的水中无机盐监测方法,包括:获取拉曼光谱矩阵及对应目标浓度向量;由波长变量与目标浓度互信息确定候选初始波长,启动连续投影搜索得多条波长选择路径,每条波长选择路径将未选波长变量向已选波长集合子空间正交投影并选入投影模长最大者,按设定迭代间隔计算两两波长选择路径集合重合度,对达重合阈值者保留累计投影模长大者为存活波长选择路径;存活波长选择路径达设定入选数量后按回归验证误差与平均共线性系数选择目标波长子集,连续投影搜索为逐波长正交投影选入的迭代,投影模长为列向量正交补投影二范数,集合重合度为两路径已选波长集合重叠率,累计投影模长为各步投影模长之和,平均共线性系数为入选波长变量相关系数绝对值均值;采集待测水样拉曼光谱并预处理,提取目标波长子集强度值输入弹性网络回归模型,得到无机盐浓度监测结果,弹性网络回归模型为含一阶与二阶正则项的线性回归模型。

4、本发明的第一个技术方案的特点还在于:

5、由波长变量与目标浓度互信息确定候选初始波长,启动连续投影搜索得多条波长选择路径,包括:根据拉曼光谱矩阵计算每个波长变量与目标浓度向量之间的互信息,将波长变量按互信息降序排列,取排序在前设定比例内的波长变量构成初始候选集合;识别拉曼光谱矩阵对应平均光谱曲线的特征峰位,将未落入初始候选集合的特征峰位对应波长变量补入初始候选集合,得到候选初始波长集合,特征峰位为平均光谱曲线上局部极值点对应的波数位置;以候选初始波长集合中的每个波长变量作为起始波长,分别建立一条波长选择路径,起始波长为一条波长选择路径中第一个入选的波长变量;对每条波长选择路径重复执行正交投影与选入操作,直至每条波长选择路径的已选波长集合达到设定入选数量,得到多条波长选择路径。

6、对每条波长选择路径重复执行正交投影与选入操作,直至每条波长选择路径的已选波长集合达到设定入选数量,包括:由该条波长选择路径的起始波长建立已选波长集合对应的已选波长子矩阵,已选波长子矩阵为已选波长集合中各波长变量的列向量按列拼接构成的矩阵;对每个未选波长变量,将该未选波长变量的列向量向已选波长子矩阵张成子空间的正交补空间投影,得到该未选波长变量的正交投影向量和投影模长;比较全部未选波长变量的投影模长,将投影模长最大的未选波长变量加入已选波长集合,并按加入后的已选波长集合更新已选波长子矩阵;返回执行投影与比较操作,直至已选波长集合中的波长变量数量达到设定入选数量。

7、按设定迭代间隔计算两两波长选择路径集合重合度,对达重合阈值者保留累计投影模长大者为存活波长选择路径,包括:每完成设定迭代间隔步的前向迭代,统计当前全部波长选择路径;两两计算波长选择路径之间的集合重合度;当两条波长选择路径的集合重合度达到重合阈值时,比较两条波长选择路径的累计投影模长,删除累计投影模长小的波长选择路径,保留累计投影模长大的波长选择路径;由保留的波长选择路径继续执行后续前向迭代。

8、计算集合重合度时,取两条波长选择路径的已选波长集合的交集元素数量与并集元素数量的比值作为集合重合度;当两条波长选择路径的累计投影模长相等时,分别以两条波长选择路径的已选波长集合建立回归模型,保留回归验证误差小的波长选择路径;一次检测中存在多条波长选择路径两两达到重合阈值时,按累计投影模长由大到小排序后依次比较并吸收达到重合阈值的波长选择路径。

9、存活波长选择路径达设定入选数量后按回归验证误差与平均共线性系数选择目标波长子集,包括:对每个存活波长选择路径的波长子集,以该波长子集包含的波长变量为输入、以目标浓度向量为输出建立多元线性回归模型;采用留一交叉验证得到该波长子集的回归验证误差,留一交叉验证为每次留出一个样本作为验证样本、以其余样本训练回归模型并轮换至全部样本均被留出一次的验证方式;计算该波长子集的平均共线性系数;由回归验证误差的倒数与一减平均共线性系数的乘积得到该波长子集的综合评价指标,将综合评价指标最大的波长子集确定为目标波长子集,综合评价指标为同时表征回归误差大小与波长变量之间共线性强弱的标量值。

10、在返回执行投影与比较操作之前,扫描全部未选波长变量的投影模长;当全部未选波长变量的投影模长均低于投影阈值时,终止该条波长选择路径的前向迭代并输出当前已选波长集合;当未选波长变量中存在投影模长不低于投影阈值的波长变量时,返回执行投影与比较操作,投影阈值为判定未选波长变量是否携带独立信息的模长下限,投影阈值依据拉曼光谱平坦波段的噪声模长统计结果设定。

11、在获取拉曼光谱矩阵和目标浓度向量之后,对拉曼光谱矩阵按列进行零均值单位方差标准化,对目标浓度向量进行中心化处理,得到标准化拉曼光谱矩阵和中心化目标浓度向量,以标准化拉曼光谱矩阵和中心化目标浓度向量执行连续投影搜索,零均值单位方差标准化为对每一列减去该列均值后除以该列标准差的列处理方式,中心化处理为对向量减去该向量均值的处理方式,列均值、列标准差与浓度均值保存并用于待测水样拉曼光谱的相同变换。

12、弹性网络回归模型的训练过程包括:以目标波长子集对应波长变量的光谱强度为训练输入、以目标浓度向量为训练输出构建损失函数,损失函数由拟合误差项、一阶正则项与二阶正则项构成,求解使损失函数取极小值的回归系数,得到弹性网络回归模型;所述采集待测水样拉曼光谱并预处理包括依次进行基线扣除与标准正态变量变换,预处理采用的参数与建模样本集预处理参数保持一致。

13、本发明所采用的第二个技术方案是,基于弹性网络-拉曼光谱的水中无机盐监测系统,实现上述基于弹性网络-拉曼光谱的水中无机盐监测方法,系统包括数据获取模块、多起点搜索模块、路径合并模块、子集确定模块和浓度预测模块,五个模块按照数据流向依次连接,包括:数据获取模块,用于获取拉曼光谱矩阵及对应目标浓度向量,并采集待测水样拉曼光谱;多起点搜索模块,用于由波长变量与目标浓度互信息确定候选初始波长,启动连续投影搜索得多条波长选择路径,每条波长选择路径将未选波长变量向已选波长集合子空间正交投影并选入投影模长最大者;路径合并模块,用于按设定迭代间隔计算两两波长选择路径集合重合度,对达重合阈值者保留累计投影模长大者为存活波长选择路径;子集确定模块,用于存活波长选择路径达设定入选数量后按回归验证误差与平均共线性系数选择目标波长子集;浓度预测模块,用于提取目标波长子集强度值输入弹性网络回归模型,得到无机盐浓度监测结果。

14、本发明的有益效果是:

15、本发明在水中无机盐监测建模运行时,先以互信息度量各波长变量与目标浓度的统计依赖并按降序排列截取候选初始波长,再以特征峰位补全保证每一个谱峰均具有起始波长,使多条波长选择路径从携带浓度信息且分布于不同谱峰的波数位置同时出发,改变了单一起始波长支配整条搜索轨迹的状态,不同谱峰对应的选择轨迹均得到遍历;路径迭代过程中,每一步以正交投影模长为依据选入剩余独立信息最多的波长变量,入选波长变量之间的线性重叠随迭代持续压缩;与此同时,按设定迭代间隔对路径两两计算集合重合度,趋同路径在演进中途即被识别,保留累计投影模长大者继续迭代,使重复投影计算在搜索过程中动态削减,起始波长数量的增加不等比例传导为计算量增长;全部存活路径终止后,再以回归验证误差和平均共线性系数合成的综合评价指标完成择优,目标波长子集同时满足回归偏差小与内部共线性低,重复运行时波长子集的波数位置保持稳定,弹性网络回归模型在低维低重叠输入上训练,待测水样仅提取目标波长子集强度值即可输出无机盐浓度监测结果,浓度预测的数值稳定性得到改善,整个过程在不改变光谱采集流程的条件下完成,适用于标定样本数量有限的水中无机盐拉曼在线监测。