LIBS光谱与图像信息融合的废旧金属回收分类方法

本发明涉及金属分类，具体是一种libs光谱与图像信息融合的废旧金属回收分类方法。

背景技术：

1、随着金属材料被广泛应用，废旧金属回收分类技术已成为其可持续发展的重要支持。金属材料中的合金分类技术，作为对废旧金属价值提升的关键支撑，为保障废旧金属的材料性能和再生利用提供了坚定基石。

2、现有的合金分类任务往往借助基于深度网络的图像识别方法，此方法具有充足的理论支撑，且得到广泛应用。然而，面对实际生产中同类合金不同牌号间表面纹理视觉特征的高相似性，以及相同牌号合金废料内部受污染、折痕等噪声干扰导致的差异性，图像识别的方法易出现过拟合现象；此外，深层网络参数规模庞大且结构复杂，存在计算过程严重耗时的缺陷，难以满足工业生产快速高效的落地需求。

3、激光诱导击穿光谱(libs)技术，因其所得光谱数据具有卓越的元素分析能力，遂在复杂合金分类中展现出巨大潜力。然而，实际应用中此技术仍面临诸多挑战，如基体效应、材料非均质性以及工业数据特有的高噪声等问题。这些问题同样易导致光谱模型过拟合，从而影响泛化性能。

4、为解决上述问题，在借助两者间的优势互补下，研究者们构建了多模态信息融合处理的方法，并由此提出了多种智能算法，如主成分分析（pca）、多层感知机（mlp）与机器视觉相结合的方法等。尽管这些方法在一定程度上实现了多模态的信息融合，但因其相结合的算法结构过于复杂，故存在大量参数需要调整，同时导致了在特征提取中捕捉过多冗余的噪声信息，这不仅带来高维的数据计算程度，也影响到了模型效率。此外，现有的融合方法难以准确匹配光谱与图像融合的关键特征，限制了模型的分类精度；且缺乏真实复杂样本的支撑，制约了实际应用的泛化性能。

5、支持向量机（svm）算法是一个经典的监督学习算法，通过寻找最优分类超平面（决策边界），使得超平面到不同类数据点间的支持向量间隔最大化；对非线性可分数据，核函数将其“隐式映射”到高维空间使其线性可分。svm算法在保证分类准确率的同时，提升模型的泛化能力，有效减少了过拟合现象。

6、残差网络（resnet）作为一种神经网络模型，通过引入“残差连接”机制，有效缓解了深度神经网络训练中的梯度消失与退化问题，并借此优势广泛地应用于图像信息处理的任务中。通过高效提取深层特征，残差网络能够建立与输出高度相关的模型。

7、resnet18模型可以看作是残差模型中的一种经典网络模型，其与一般的深度神经网络相比具有以下特点：

8、1) 一般的深度神经网络随层数增加易出现梯度消失或模型退化等问题，而resnet18通过“残差连接”将输入跨越部分卷积层后直接传递至后续层，使网络专注于学习当前层输入与输出之间的“残差”（y = f(x) + x），梯度沿捷径直接反向传播，有效缓解梯度消失，极大地降低了深层网络的训练难度。

9、2) 传统的深度网络（如vgg16）通过堆叠多个全连接层与3x3卷积来增加深度，导致参数量巨大，计算与存储成本高昂。相比之下，resnet18在设计中广泛采用1x1卷积进行降维与升维，并最终使用全局平均池化替代全连接层，显著压缩了参数规模，具有更高的计算密度和参数效率。

10、但是，传统的resnet18网络模型用于废旧金属回收分类时仍旧存在一定的缺陷。一方面，在面对高相似性外观特征下的小样本数据集时，即使残差网络层数已经够少，但仍会出现学习到噪声特征而导致过拟合的现象；另一方面，在经历四层残差特征提取后，所得特征若不进行维度变换，而直接与后续的一维光谱数据进行融合，则会在数据融合中出现维度匹配性差的问题。

技术实现思路

1、本发明提出了一种libs光谱与图像信息融合的废旧金属回收分类方法。通过构建的resnet18-svm模型处理光谱-图像双模态信息的分类能力，本发明旨在提供一种具有完整理论框架的通用网络模型建立方法，以满足工业应用中对精确性、鲁棒性和易用性的要求。本发明的提出为金属分类领域提供了一种新的解决方案，有望推动合金分类工业的智能化发展。

2、本发明为实现上述目的提出了如下技术方案：

3、libs光谱与图像信息融合的废旧金属回收分类方法，执行如下步骤建立并训练libs光谱与图像信息融合的废旧金属回收分类网络模型，用于实现废旧金属牌号的自动识别与分类，所述方法包括以下步骤：

4、采集待处理的废旧金属的libs光谱数据和图像数据，制作配对数据集并划分训练集、验证集和测试集；所述配对数据集包含光谱数据和图像数据，以及各数据对应的牌号标签；对数据集中的libs光谱数据和图像数据进行数据预处理，以筛选光谱数据中凸显判别性特征的关键光谱，并调整图像数据的尺寸以适配模型输入；

5、构建基于libs光谱与图像的resnet18-svm-rf融合分类网络，所述网络前端为并行处理的双模态特征互补的分支架构，图像分支采用改进的resnet18模型获取图像特征，光谱分支采用线性核svm算法提取光谱特征并通过决策函数输出的超平面距离作为光谱特征向量；后端采用随机森林分类器对训练集融合后的特征向量进行分类训练，作最终的牌号分类任务，并根据验证集性能优化模型参数，获得理想分类模型；

6、在实际回收场景中，采集废旧金属的libs光谱和图像数据，并在数据预处理后输入已训练好的理想分类模型，实时输出废旧金属牌号分类结果。

7、所述牌号标签为金属牌号，预先得知或通过化学测定法得到。

8、所述对libs光谱数据预处理包括：标准化、去噪和特征选择操作，以筛选出凸显判别性特征；对图像数据施加包括但不限于随机扰动噪声、弹性形变操作、随机角度的旋转与缩放变换、随机方向的平移操作、部分像素进行随机置零等预处理操作，并调整尺寸适配模型输入；上述步骤用于保持图像原有空间分布信息的基础上模拟多样本间的形态变化，执行顺序不限于上述顺序，且随机进行其中的部分或全部步骤。

9、所述libs光谱数据特征选择包括使用selectkbest方法选择排序前列的特征向量，以降低数据维度并保留关键光谱信息。

10、所述轻量化改进的resnet18模型提取图像数据特征的具体步骤包括：

11、输入层接受经预处理后的图像数据；

12、在删减原始resnet18模型的全连接层fc、平均池化层ap及最后一层残差层resblock后，通过三层残差块进行特征提取；

13、最终在三层残差卷积层后接入自适应平均池化层aap进行特征变换；

14、所述改进后的resnet18模型未进行微调预训练，通过设置eval模式冻结预训练参数、禁用梯度计算，使所述改进的模型仅作为特征提取器使用。

15、所述线性核svm提取光谱特征的具体步骤包括：

16、将预处理后的libs光谱数据输入到线性核svm；

17、通过svc分类任务中的decision_function方法计算输入样本与各分类超平面的有符号距离；

18、以所述距离构成光谱特征向量，其输出的维度对应金属牌号类别的数量。

19、所述特征融合为向量拼接操作，用于生成融合特征向量。

20、所述随机森林分类器以融合特征向量作为输入，并优化随机森林的树数量及节点分裂特征数参数，训练得到最优分类模型，用于对输入的融合特征向量进行废旧金属牌号的最终分类判定。

21、所述数据集划分，采用分层抽样方法处理多类少量数据集，以平衡数据分布通过验证集的分类性能指标。

22、libs光谱与图像信息融合的废旧金属回收分类系统，包括前端传感器和后端上位机；

23、所述前端传感器，包括工业视觉相机和激光诱导击穿光谱libs设备，所述工业视觉相机对其视场内的目标样品进行图像采集，所述激光诱导击穿光谱libs设备用于对目标样品进行激光击打使其表面产生等离子体，并采集等离子体的光谱数据；

24、所述后端上位机，包括控制后台和前端界面；

25、所述前端界面用于人机交互，采集用户输入的算法参数、前端传感器的工作参数和工作指令发送给控制后台，以及可视化展示牌号识别计算过程和结果；所述算法参数包括但不限于机器视觉图像和libs光谱的处理方法和参数、计算公式和具体公式参数值；

26、控制后台设有存储器和处理器，存储器存储有程序，处理器将前端传感器的工作参数和工作指令转换为命令信号输出给前端传感器，并加载程序执行如上所述的方法步骤，根据算法公式计算金属牌号识别结果，用于分类。

27、本发明的有益效果及优点：

28、1.本发明提出的通用型网络模型构建方法是一种创新性的resnet18-svm-rf融合网络的方法，具体而言，该模型利用resnet18提取图像信息特征、svm提取光谱特征后，输出融合后的特征向量在随机森林分类器中作最终分类。通过融合模型对双模态数据的特征处理，不仅保留了两类模型固有的特征提取能力，还赋予了模型相当的稳定性和可控性。

29、2.本发明提出的libs图像与光谱信息融合的废旧金属回收分类方法，使得建立的resnet18-svm-rf模型在复杂工业流程下，能够更准确地获取材料成分、判别牌号标签等关键性能指标。

30、3.本发明通过从图像-光谱信息互补融合的机理出发，为双模态信息特征的提取和特征融合的处理提供了全面的理论框架，从而满足了工业应用中对精度、鲁棒性和易用性的严格要求。这一创新性的研究有望推动合金分类的智能化发展，为技术分类领域带来进步。

31、4.本发明提出的resnet18-svm-rf模型，在图像特征提取模块实现对resnet18网络的轻量化改进，通过删减最后一个残差块，减少因过度特征提取产生的噪声与冗余信息，从而降低分类任务的学习负担；自适应平均池化使得特征维度简洁统一，为后续特征融合的拼接操作提供了良好的维度适配性。此外，特征级融合的拼接操作简便易行且机理清晰；整体结构精简、参数量少、调参便捷，进而显著提升了整体执行效率。

32、5.本发明所使用的数据集均基于实际合金废料采集所得，合金表面包括但不限于污点、灰尘、刮痕、飞边、折痕等实际使用痕迹，对实际工业场景下的废旧金属牌号分类任务具有泛化性与实际意义，为该领域的工程化落地提供了可靠的数据支撑与技术参考。