一种面向活体青蟹激光诱导击穿光谱原位检测的分层非线性误差补偿反演方法及装置

本发明涉及水产品安全检测，具体涉及一种面向活体青蟹激光诱导击穿光谱原位检测的分层非线性误差补偿反演方法及装置。

背景技术：

1、青蟹作为重要的水产品，其肌肉组织、肝胰腺组织等可食组织中的重金属含量直接关系到水产品质量安全。现有青蟹重金属检测通常采用原子吸收光谱法、电感耦合等离子体质谱法等实验室检测方法。上述方法虽然具有较高的检测精度，但一般需要对青蟹进行剥壳、取肉、干燥、消解和定容等样品前处理，存在检测周期较长、样品破坏性较强、操作流程复杂以及难以满足现场快速筛查需求的问题。

2、激光诱导击穿光谱技术（laser-induced breakdown spectroscopy，libs）是一种元素快速检测技术，其通过脉冲激光聚焦于样品表面，使样品局部材料烧蚀并产生等离子体，通过采集等离子体冷却过程中产生的发射光谱，根据不同元素的特征谱线实现元素的定性或定量分析。该技术具有检测速度快、样品前处理少以及能够实现多元素同步检测等特点，适合用于水产品重金属快速检测。

3、然而，对于青蟹这类具有坚硬外壳和内部可食组织的生物样品，若直接对肌肉组织、肝胰腺组织等目标可食组织实施检测，通常仍需剥壳或取肉，难以保持青蟹的活体状态及商品完整性；若直接利用青蟹外壳进行原位光谱检测，由于外壳组织与肌肉组织、肝胰腺组织之间在矿化程度、组织成分、含水状态以及重金属富集特征等方面存在基质差异，外壳所获得的光谱响应以及由外壳光谱推算得到的重金属含量不能直接等同于目标可食组织中的重金属含量。

4、此外，活体青蟹外壳原位libs检测还容易受到外壳曲率、表面状态、矿化程度、检测点位置、激光脉冲能量波动以及等离子体形成状态等因素影响，同一青蟹样本或者不同青蟹样本之间的原位光谱质量可能存在差异，由此影响基于原位光谱建立的重金属含量预测结果。

5、在利用光谱信息逐级反演外壳组织和目标可食组织重金属含量时，不同处理阶段产生的误差还可能沿模型传递。其中，原位光谱采集状态以及光谱与外壳重金属含量之间的标定偏差会影响外壳重金属含量预测结果；外壳组织与目标可食组织之间的个体差异及基质差异又会影响由外壳重金属含量向目标可食组织重金属含量的映射结果。不同来源的误差混合后，容易造成最终预测偏差。

6、同时，若在模型训练过程中直接利用已经参与前级模型训练的样本生成预测残差，可能使所得残差不能充分反映模型面对未参与训练样本时的实际预测偏差；而当原位光谱质量较差或者明显偏离建模数据分布时，若仍按照正常光谱采用相同幅度进行预测修正，也可能造成补偿结果的不稳定。

7、因此，现有活体青蟹原位光谱检测在由外壳检测结果评价目标可食组织重金属含量时，仍存在不同检测及反演阶段误差相互混杂、样本个体及组织基质差异影响预测、训练阶段残差代表性不足以及不同光谱质量条件下预测稳定性不足等问题。

技术实现思路

1、为了解决背景技术中提出的技术问题，本发明提供一种面向活体青蟹激光诱导击穿光谱原位检测的分层非线性误差补偿反演方法，包括：

2、s1、获取训练青蟹样本的外壳原位激光诱导击穿光谱数据、外壳重金属含量参考值、目标可食组织重金属含量参考值和样本辅助特征，对所述外壳原位激光诱导击穿光谱数据进行预处理和特征提取，得到原位光谱特征，并根据同一检测点的多脉冲光谱确定表征光谱采集状态的光谱质量特征；

3、s2、基于所述原位光谱特征和外壳重金属含量参考值建立谱-壳标定模型，基于所述外壳重金属含量参考值、目标可食组织重金属含量参考值和样本辅助特征建立壳-肉关联模型，将所述谱-壳标定模型和所述壳-肉关联模型级联形成基础反演路径；

4、s3、按照青蟹个体或养殖批次对所述训练青蟹样本进行分组交叉验证，利用未使用当前留出子集训练的谱-壳标定模型和壳-肉关联模型获得所述当前留出子集中训练青蟹样本的交叉验证外外壳重金属含量预测值和交叉验证外初步预测值，根据所述目标可食组织重金属含量参考值与所述交叉验证外初步预测值之间的差值构建总残差标签；

5、s4、以所述外壳重金属含量参考值作为所述谱-壳标定模型与所述壳-肉关联模型之间的中间基准，将所述总残差标签分解为谱-壳误差传播分量和壳-肉基质映射误差分量；以所述原位光谱特征和所述光谱质量特征为输入、以所述谱-壳误差传播分量为监督标签建立谱-壳误差补偿子模型，以交叉验证外外壳重金属含量预测值、所述样本辅助特征和所述光谱质量特征为输入、以所述壳-肉基质映射误差分量为监督标签建立壳-肉基质补偿子模型；

6、s5、获取待检测活体青蟹的外壳原位激光诱导击穿光谱数据和样本辅助特征，对所述待检测活体青蟹的外壳原位激光诱导击穿光谱数据进行预处理和特征提取，得到待检测活体青蟹的原位光谱特征和光谱质量特征，并根据所述光谱质量特征计算待检测活体青蟹的综合光谱质量得分；通过所述基础反演路径获得目标可食组织重金属含量初步预测值，通过所述谱-壳误差补偿子模型和所述壳-肉基质补偿子模型分别获得谱-壳误差补偿值和壳-肉基质补偿值，将所述谱-壳误差补偿值与所述壳-肉基质补偿值相加形成总误差补偿值，根据待检测活体青蟹的光谱质量对所述总误差补偿值进行置信度调节，并将调节后的总误差补偿值与所述目标可食组织重金属含量初步预测值融合，得到目标可食组织重金属含量最终预测值。

7、通过以上技术方案，首先利用谱-壳标定模型和壳-肉关联模型形成由原位光谱特征至外壳重金属含量、再由外壳重金属含量至目标可食组织重金属含量的基础反演路径，使活体青蟹外壳原位libs检测信息能够用于目标可食组织重金属含量的间接反演；进一步按照青蟹个体或养殖批次进行分组交叉验证，使训练样本的残差由未使用相应留出样本建立的基础反演模型生成，降低前级模型过拟合和训练信息泄漏对残差标签的影响；以外壳重金属含量参考值作为基础反演路径中的中间基准，将总残差区分为谱-壳误差传播分量和壳-肉基质映射误差分量，并根据不同误差来源分别建立补偿子模型，使补偿过程能够针对原位光谱及谱-壳标定误差和壳-肉基质映射误差分别进行非线性修正；同时结合光谱质量对总误差补偿值进行置信度调节，降低低质量或者异常光谱条件下过度补偿的影响，从而提高活体青蟹目标可食组织重金属含量反演结果的准确性、稳定性和对不同样本状态及光谱采集状态的适应能力。

8、进一步地，步骤s1中，对外壳原位激光诱导击穿光谱数据进行预处理和特征提取以及确定光谱质量特征，包括：

9、在蟹钳关节邻近外壳区域的同一检测点实施多次激光脉冲激发，分别采集各次激光脉冲激发产生的等离子体发射光谱；

10、对所述等离子体发射光谱进行去噪、基线校正和标准化处理，提取目标重金属元素特征峰强度、峰面积、峰高比、峰面积比、谱线半高宽、相邻连续背景强度、目标重金属元素谱线与基体元素谱线的强度比以及经主成分分析或偏最小二乘分析获得的潜变量中的一种或多种，得到候选原位光谱特征；

11、对所述候选原位光谱特征进行筛选，得到所述原位光谱特征；

12、确定信噪比、重复采集相对标准偏差、基线漂移量、饱和像素比例、目标特征峰完整度、光谱相似度和激光脉冲能量波动量中的一种或多种，得到所述光谱质量特征；

13、将所述光谱质量特征中的各项光谱质量指标转换为与光谱质量水平正相关的归一化质量指标，并根据所述归一化质量指标计算第i个训练青蟹样本的综合光谱质量得分，表示为：

14、；

15、其中，表示第个训练青蟹样本的综合光谱质量得分，表示第个训练青蟹样本的第项归一化质量指标，表示利用训练集或验证集确定的第项质量权重，表示参与计算的光谱质量指标数量。

16、通过以上技术方案，利用多脉冲光谱形成原位光谱特征的同时形成表征当前光谱采集状态的质量信息，使后续误差补偿不仅能够利用光谱中的元素含量信息，还能够识别由于信噪比、重复性、基线漂移和饱和状态等因素造成的采集状态变化。

17、进一步地，对候选原位光谱特征进行筛选包括：

18、获取各候选原位光谱特征对应的原始光谱变量的饱和状态和缺失状态，并获取各候选原位光谱特征的重复采集变异系数；

19、将对应原始光谱变量发生饱和、存在缺失或者重复采集变异系数超过预设阈值的候选原位光谱特征剔除，得到待评价原位光谱特征；

20、根据目标重金属元素的特征谱线响应、谱线强度稳定性、所述待评价原位光谱特征与对应外壳重金属含量参考值之间的相关性以及所述待评价原位光谱特征之间的共线性，对所述待评价原位光谱特征进行评价；

21、采用相关系数、互信息、最小冗余最大相关、偏最小二乘变量投影重要性或递归特征消除中的至少一种，根据评价结果从所述待评价原位光谱特征中选取用于建立所述谱-壳标定模型的光谱特征，得到所述原位光谱特征。

22、通过以上技术方案，在模型建立前剔除饱和、缺失或者重复性较差的光谱变量，并结合目标元素响应、稳定性、相关性和共线性进行进一步筛选，有利于降低无效或不稳定变量对谱-壳标定和误差补偿建模的干扰。

23、进一步地，步骤s2中，将谱-壳标定模型和壳-肉关联模型级联形成基础反演路径包括：

24、以所述训练青蟹样本的原位光谱特征为输入，以同一训练青蟹样本的外壳重金属含量参考值为监督输出，采用偏最小二乘回归建立所述谱-壳标定模型；

25、获取同一训练青蟹样本的外壳重金属含量参考值、目标可食组织重金属含量参考值和样本辅助特征，基于所述外壳重金属含量参考值、目标可食组织重金属含量参考值和样本辅助特征建立外壳重金属含量与目标可食组织重金属含量之间的条件映射关系，得到所述壳-肉关联模型；

26、将所述原位光谱特征输入所述谱-壳标定模型，得到外壳重金属含量预测值，将所述外壳重金属含量预测值和样本辅助特征输入所述壳-肉关联模型，得到目标可食组织重金属含量初步预测值。

27、所述目标重金属元素包括pb、cd、hg、as和cr中的一种或多种；所述目标可食组织包括青蟹肌肉组织、肝胰腺组织或者由青蟹肌肉组织与肝胰腺组织按照质量加权得到的整体可食组织；所述样本辅助特征包括青蟹体质量、甲壳宽度、性别、生长阶段、养殖批次、含水率、蟹钳质量、可食组织产出率和光谱采集环境参数中的一种或多种。

28、通过以上技术方案，以样本辅助特征作为壳-肉关联条件，使外壳重金属含量向目标可食组织重金属含量的映射不局限于单一固定换算关系，而能够考虑青蟹个体规格、生长阶段、组织状态及养殖批次等条件差异。

29、进一步地，步骤s3中，按照青蟹个体或养殖批次对训练青蟹样本进行分组交叉验证，包括：

30、将所述训练青蟹样本按照青蟹个体或养殖批次划分为k个互不重叠的子集，依次将一个子集作为当前留出子集，并将其余k-1个子集作为当前训练子集；

31、在每轮交叉验证中，仅利用所述当前训练子集确定光谱预处理参数、特征筛选参数和特征变换参数，并训练所述谱-壳标定模型和壳-肉关联模型，将根据所述当前训练子集确定的光谱预处理参数、特征筛选参数和特征变换参数应用于所述当前留出子集；

32、利用未使用当前留出子集训练的谱-壳标定模型和壳-肉关联模型，对当前留出子集中的训练青蟹样本进行预测，得到第i个训练青蟹样本的交叉验证外外壳重金属含量预测值和交叉验证外初步预测值：

33、；

34、其中，表示第个训练青蟹样本的交叉验证外初步预测值，和分别表示未使用第个子集训练的谱-壳标定模型和壳-肉关联模型，表示第个训练青蟹样本的原位光谱特征，表示第个训练青蟹样本的样本辅助特征；

35、以所述目标可食组织重金属含量参考值与所述交叉验证外初步预测值之间的差值构建第个训练青蟹样本的总残差标签，表示为：

36、；

37、其中，表示第个训练青蟹样本的总残差标签，表示第个训练青蟹样本的目标可食组织重金属含量参考值，k为大于1的整数。

38、通过以上技术方案，使每个训练青蟹样本的初步预测结果由未使用该留出子集训练的基础反演模型生成，并且光谱预处理、特征筛选和特征变换参数亦仅由当前训练子集确定，有利于降低训练信息泄漏造成的残差偏小，使总残差标签更接近模型面对未知样本时的实际预测偏差。

39、进一步地，步骤s4中，所述以外壳重金属含量参考值作为谱-壳标定模型与壳-肉关联模型之间的中间基准，将所述总残差标签分解为谱-壳误差传播分量和壳-肉基质映射误差分量，具体包括：

40、获取第个训练青蟹样本的外壳重金属含量参考值、交叉验证外外壳重金属含量预测值、目标可食组织重金属含量参考值和样本辅助特征；

41、根据所述外壳重金属含量参考值、交叉验证外外壳重金属含量预测值及样本辅助特征确定所述谱-壳误差传播分量，表示为：

42、；

43、根据所述目标可食组织重金属含量参考值、外壳重金属含量参考值及样本辅助特征确定所述壳-肉基质映射误差分量，表示为：

44、；

45、所述总残差标签、谱-壳误差传播分量和壳-肉基质映射误差分量之间的关系表示为：

46、；

47、其中，表示第个训练青蟹样本的谱-壳误差传播分量，表示第个训练青蟹样本的壳-肉基质映射误差分量，表示第个训练青蟹样本的外壳重金属含量参考值，表示第个训练青蟹样本的交叉验证外外壳重金属含量预测值，表示未使用第个训练青蟹样本所属留出子集训练的壳-肉关联模型。

48、通过以上技术方案，在保持同一青蟹样本的样本辅助特征不变的情况下，以外壳重金属含量参考值替换交叉验证外外壳预测值所产生的目标可食组织预测差异作为谱-壳误差传播分量，并将已经使用外壳参考值和样本辅助特征后仍存在的可食组织预测偏差作为壳-肉基质映射误差分量，从而将不同阶段形成的误差进行区分。

49、进一步地，步骤s4中，所述以原位光谱特征和光谱质量特征为输入、以谱-壳误差传播分量为监督标签建立谱-壳误差补偿子模型，以及以交叉验证外外壳重金属含量预测值、样本辅助特征和光谱质量特征为输入、以壳-肉基质映射误差分量为监督标签建立壳-肉基质补偿子模型，具体包括：

50、将第个训练青蟹样本的原位光谱特征和光谱质量特征组成谱-壳输入特征，将所述谱-壳误差传播分量作为与所述谱-壳输入特征对应的监督标签；

51、将第个训练青蟹样本的交叉验证外外壳重金属含量预测值、样本辅助特征和光谱质量特征组成壳-肉输入特征，将所述壳-肉基质映射误差分量作为与所述壳-肉输入特征对应的监督标签；

52、根据各训练青蟹样本的参考检测可靠性、综合光谱质量得分和样本代表性确定样本权重，并将所述样本权重限定在预设权重下限和预设权重上限之间；将参考检测不稳定、原位光谱严重饱和或者光谱质量超出根据有效训练样本的光谱质量分布确定的模型有效范围的训练青蟹样本判定为无效样本，并将所述无效样本剔除或重新采集；

53、采用梯度提升决策树、xgboost、支持向量回归、随机森林回归或多层感知机中的一种，建立所述谱-壳输入特征与谱-壳误差传播分量之间的非线性映射关系，得到谱-壳误差补偿子模型，所述谱-壳误差补偿子模型输出的谱-壳误差补偿值表示为：

54、；

55、其中，表示第个训练青蟹样本的谱-壳误差补偿值，表示谱-壳误差补偿子模型，表示由第个训练青蟹样本的原位光谱特征和光谱质量特征组成的谱-壳输入特征；

56、采用梯度提升决策树、xgboost、支持向量回归、随机森林回归或多层感知机中的一种，建立所述壳-肉输入特征与壳-肉基质映射误差分量之间的非线性映射关系，得到壳-肉基质补偿子模型，所述壳-肉基质补偿子模型输出的壳-肉基质补偿值表示为：

57、；

58、其中，表示第个训练青蟹样本的壳-肉基质补偿值，表示壳-肉基质补偿子模型，表示由第个训练青蟹样本的交叉验证外外壳重金属含量预测值、样本辅助特征和光谱质量特征组成的壳-肉输入特征；

59、当所述谱-壳误差补偿子模型采用xgboost时，以所述谱-壳误差传播分量与所述谱-壳误差补偿值之间的加权huber损失和正则化项之和最小为训练目标，所述谱-壳误差补偿子模型的训练目标函数表示为：

60、；

61、其中，表示谱-壳误差补偿子模型的训练目标函数，表示训练青蟹样本数量，表示第个训练青蟹样本的样本权重，表示huber损失函数，表示第个训练青蟹样本的所述谱-壳误差传播分量，表示用于限制谱-壳误差补偿子模型复杂度的正则化项；

62、当所述壳-肉基质补偿子模型采用xgboost时，以壳-肉基质映射误差分量与壳-肉基质补偿值之间的加权huber损失和正则化项之和最小为训练目标，所述壳-肉基质补偿子模型的训练目标函数表示为：

63、；

64、其中，表示壳-肉基质补偿子模型的训练目标函数，表示第个训练青蟹样本的所述壳-肉基质映射误差分量，表示用于限制壳-肉基质补偿子模型复杂度的正则化项；

65、对于采用xgboost的谱-壳误差补偿子模型或壳-肉基质补偿子模型，依次拟合当前残差损失的负梯度，第轮模型的更新方式表示为：

66、；

67、其中，表示第轮更新后的模型输出，表示第轮更新后的模型输出，表示当前误差补偿子模型的输入特征，表示第棵回归树针对所述输入特征输出的预测值，表示学习率；通过验证集确定回归树数量、最大树深度、学习率和正则化参数，并采用提前停止规则终止训练，得到所述谱-壳误差补偿子模型和壳-肉基质补偿子模型。

68、进一步地，步骤s5中，所述根据待检测活体青蟹的光谱质量对总误差补偿值进行置信度调节，并将调节后的总误差补偿值与目标可食组织重金属含量初步预测值融合，得到目标可食组织重金属含量最终预测值，具体包括：

69、将待检测活体青蟹的原位光谱特征和光谱质量特征输入所述谱-壳误差补偿子模型，得到谱-壳误差补偿值；

70、将待检测活体青蟹的外壳重金属含量预测值、样本辅助特征和光谱质量特征输入所述壳-肉基质补偿子模型，得到壳-肉基质补偿值；

71、将所述谱-壳误差补偿值与壳-肉基质补偿值相加，得到总误差补偿值；

72、根据待检测活体青蟹的综合光谱质量得分确定置信度调节系数，对所述总误差补偿值进行截断处理和置信度调节，并将处理后的总误差补偿值与所述目标可食组织重金属含量初步预测值融合，得到目标可食组织重金属含量最终预测值，表示为：

73、；

74、其中，表示目标可食组织重金属含量最终预测值，表示目标可食组织重金属含量初步预测值，表示根据综合光谱质量得分确定的置信度调节系数，表示总误差补偿值，和分别表示根据训练集残差分布或验证集确定的补偿下限和补偿上限，表示截断函数；

75、当待检测活体青蟹的光谱质量超出所述模型有效范围时，触发外壳原位激光诱导击穿光谱数据的重新采集或复核。

76、根据本发明的另一方面，提供一种面向活体青蟹激光诱导击穿光谱原位检测的分层非线性误差补偿反演装置，包括：

77、样品自适应夹持模块，用于固定待检测活体青蟹并调整所述待检测活体青蟹的姿态，以暴露所述待检测活体青蟹的蟹钳关节邻近外壳区域；

78、机器视觉定位模块，用于采集所述待检测活体青蟹的图像，识别所述蟹钳关节邻近外壳区域并输出位于所述蟹钳关节邻近外壳区域内的检测点坐标；

79、传动控制模块，用于根据所述检测点坐标调整所述待检测活体青蟹与激光聚焦位置之间的相对位置，使所述检测点与所述激光聚焦位置对准；

80、libs光谱激发采集模块，用于在所述检测点实施多次激光脉冲激发，并采集各次激光脉冲激发产生的原位激光诱导击穿光谱数据；

81、样本参数采集模块，用于获取所述待检测活体青蟹的样本辅助特征；

82、数据处理终端，分别与所述机器视觉定位模块、传动控制模块、libs光谱激发采集模块和样本参数采集模块通信连接，所述数据处理终端存储有谱-壳标定模型、壳-肉关联模型、谱-壳误差补偿子模型和壳-肉基质补偿子模型，并用于对所述原位激光诱导击穿光谱数据进行预处理和特征提取，得到原位光谱特征和光谱质量特征；将所述原位光谱特征输入所述谱-壳标定模型，得到外壳重金属含量预测值，并将所述外壳重金属含量预测值和样本辅助特征输入所述壳-肉关联模型，得到目标可食组织重金属含量初步预测值；将所述原位光谱特征和光谱质量特征输入所述谱-壳误差补偿子模型，得到谱-壳误差补偿值，并将所述外壳重金属含量预测值、样本辅助特征和光谱质量特征输入所述壳-肉基质补偿子模型，得到壳-肉基质补偿值；将所述谱-壳误差补偿值与壳-肉基质补偿值相加形成总误差补偿值，根据待检测活体青蟹的光谱质量对所述总误差补偿值进行置信度调节，并将调节后的总误差补偿值与所述目标可食组织重金属含量初步预测值融合，得到目标可食组织重金属含量最终预测值。

83、进一步地，所述样品自适应夹持模块、机器视觉定位模块、传动控制模块和libs光谱激发采集模块具体包括：

84、所述libs光谱激发采集模块包括脉冲激光器、光学聚焦系统、探测器、光谱仪和数字延迟发生器，所述数字延迟发生器用于控制所述脉冲激光器与光谱仪之间的时序同步；

85、所述机器视觉定位模块包括相机、环形补光源和图像处理器，所述图像处理器用于对所述相机采集的待检测活体青蟹图像进行处理，识别所述蟹钳关节邻近外壳区域并输出所述检测点坐标；

86、所述传动控制模块包括可编程逻辑控制器和xyz定位平台，所述可编程逻辑控制器用于接收所述检测点坐标，并根据所述检测点坐标控制所述xyz定位平台运动，使所述检测点与所述激光聚焦位置对准；

87、所述样品自适应夹持模块包括支承座、支撑结构、承载平台、夹持组件和驱动机构，所述支承座用于安装并支撑所述承载平台和夹持组件，所述支撑结构用于支撑所述支承座，并与所述驱动机构配合调整所述承载平台或夹持组件的位置或姿态，使不同规格活体青蟹的蟹钳关节邻近外壳区域暴露于激光入射路径中。

88、本发明的有益效果在于：通过建立谱-壳标定模型和考虑样本辅助特征的壳-肉关联模型形成基础反演路径，使活体青蟹外壳原位激光诱导击穿光谱能够用于目标可食组织重金属含量预测；通过按青蟹个体或养殖批次进行分组交叉验证生成交叉验证外初步预测值，降低训练信息泄漏和前级模型过拟合对残差标签的影响；通过以外壳重金属含量参考值作为中间基准将总残差分解为谱-壳误差传播分量和壳-肉基质映射误差分量，并采用不同输入特征分别进行非线性误差补偿，使不同检测及反演阶段形成的预测偏差能够得到针对性修正；通过引入光谱质量特征和综合光谱质量得分对误差补偿值进行置信度调节，并对异常光谱触发重新采集或复核，降低低质量光谱条件下无约束补偿造成的预测偏差，从而提高活体青蟹目标可食组织重金属含量原位反演的准确性、稳定性和泛化能力。