一种基于多模态光谱融合的混合循环包装袋免分拣识别方法与流程

本发明涉及塑料循环回收智能检测，具体涉及一种基于多模态光谱融合的混合循环包装袋免分拣识别方法。

背景技术：

1、废旧食品、日化混合包装袋多为pp、pe、pet、铝塑复合多层膜混杂堆叠，表面存在印刷油墨、标签、油污、黑色遮光层，传统单一近红外光谱识别存在三大缺陷：

2、必须人工预先分拣拆分包装袋，堆叠遮挡、多层复合膜导致光谱基线漂移，识别失效；

3、黑色碳黑填料包装袋吸收近红外波段，单一nir光谱信噪比趋近0，形成识别盲区；

4、固定权重光谱融合方案无法适配不同污渍、厚度包装袋，光谱失真严重，误检率高。

5、现有双模态融合仅采用固定常数加权，未结合光谱信噪比动态分配权重，且无针对堆叠混杂包装袋的空间配准校正机制，无法实现免分拣批量识别。

技术实现思路

1、本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于多模态光谱融合的混合循环包装袋免分拣识别方法。

2、为实现上述目的，本发明采用了如下技术方案：一种基于多模态光谱融合的混合循环包装袋免分拣识别方法，所述方法具体如下：

3、s1、同步采集堆叠混合包装袋的近红外nir光谱、libs激光诱导击穿光谱、可见光高光谱三类多模态原始光谱，获取包装袋堆叠高度偏移量，通过空间坐标校正公式完成三类光谱像素级时空配准；

4、采用ptp精准时钟同步触发三路传感器，同步采集同一堆叠混合包装袋区域三类原始光谱：

5、模态1：近红外nir光谱向量：

6、，为nir波段数；

7、模态2：libs激光诱导击穿光谱向量：

8、，为特征元素波段；

9、模态3：可见光高光谱图像光谱张量：

10、；、为图像像素尺寸，为可见光波段；

11、通过激光位移传感器实时采集包装袋堆叠高度偏移量，采用空间坐标校正公式完成三类光谱像素级配准：

12、所述空间坐标校正公式为：

13、；

14、式中，为原始光谱像素坐标，为校正后配准坐标；、为预设水平、垂直偏移校正系数；

15、s2、分别对三类光谱执行最大最小归一化预处理，得到归一化单模态光谱：

16、对三路光谱分别做最大最小归一化，消除包装袋厚度、光照强度差异：归一化公式为

17、；

18、式中，，、分别为对应模态光谱波段最大、最小响应强度；归一化后单模态光谱数据；

19、s3、基于各波段信噪比计算材质自适应动态融合权重，通过多模态融合公式构建统一融合光谱特征向量：

20、计算每一模态各波段信噪比snr，动态求解融合权重，构建全局融合光谱特征向量，具体包括：

21、s31、计算第模态第波段信噪比：，为波段背景噪声标准差；

22、s32、归一化动态权重；为第模态第波段融合权重，权重由信噪比指数映射分配，信噪比越高模态权重越大；黑色包装袋nir信噪比极低时，自动降低nir权重、提升libs元素光谱权重，解决黑色识别盲区；

23、s33、波段融合计算，拼接全部波段得到融合特征向量；

24、为融合光谱第波段特征值，拼接全部波段得到融合特征向量，为融合总波段数。

25、s4、构建光谱角距离损失函数约束跨模态特征对齐，提纯融合特征：

26、构建光谱角距离损失函数约束多模态特征分布对齐，缩小同材质包装袋特征差异、扩大异材质间隔：

27、单样本光谱角距离：

28、；

29、全局跨模态损失函数：

30、；

31、式中，为批次样本数量，、为包装袋材质标签，为指示函数，同类样本最小化光谱角、异类样本最大化光谱角，完成融合特征提纯。

32、s5、将融合特征向量输入轻量化1d-transformer分类网络，采用联合损失完成网络训练，输出pp、pe、pet、铝塑复合膜四类材质置信度向量；

33、将融合特征向量输入轻量化1d-transformer分类网络，网络输出各类塑料材质置信度向量，别对应pp袋、pe袋、pet透明袋、铝塑复合膜；

34、训练时联合交叉熵分类损失+上述光谱角对齐损失，为损失平衡系数。

35、s6、设置置信度判定阈值，对未拆分、堆叠混杂混合包装袋直接输出材质识别结果，实现免分拣识别。

36、流水线采集混杂堆叠混合包装袋多模态光谱，经s1~s5得到材质置信度，设置判定阈值=0.85，最大置信度超过阈值即输出对应材质类别；无需人工拆分、预分拣堆叠包装袋，直接完成批量材质识别。

37、较佳的，本装置包含多模态光谱采集模块、激光位移测高模块、边缘计算处理模块、流水线输出模块，各模块依托ptp交换机搭建统一同步时钟总线，nir光谱仪、libs设备、可见光高光谱相机与激光位移传感器通过网线接入交换机实现微秒级同步触发；激光位移传感器经rs485总线实时传输堆叠高度偏移数据，三类光谱设备通过千兆网线将原始光谱数据同步上传至边缘计算模块，边缘计算单元完成光谱配准、融合、特征提纯与轻量化网络推理后，借助以太网或rs485将材质识别判定信号下发至流水线输出模块的plc，由plc联动分拣电磁阀、声光报警器与人机触控屏，同步完成物料自动分选、异常报警及检测参数可视化展示，形成采集-测高-运算-分拣的闭环信号交互链路。

38、较佳的，

39、与现有技术相比，本发明的有益效果为：本发明彻底摒弃了传统识别工艺必需的人工预分拣、包装袋展平拆分等预处理工序，可直接适配工业现场混杂堆叠、褶皱变形、附着油墨油污及黑色遮光层的复杂包装袋工况，极大降低了生产线人工成本与运维强度，自动化适配性极强；通过近红外、libs元素光谱、可见光高光谱的模态互补与信噪比动态权重调节机制，有效规避了单一近红外光谱对黑色碳黑材质的识别盲区，大幅抵抗污渍、粉尘、光照波动、物料厚度不均带来的光谱干扰，从算法层面解决了复杂工况下光谱特征失真问题；同时依托光谱角特征对齐约束优化融合特征分布，有效拉近同类材质特征距离、拉大异类材质特征差异，显著提升pp、pe等高相似度塑料材质的识别区分度，整体识别准确率得到大幅度提升，检测稳定性与识别精度大幅跃升；配合轻量化1d-transformer网络的极简结构设计，模型参数量小、边缘推理速度快，可实现单样本高速识别，适配工业流水线高速作业需求，无需依赖云端算力，可直接部署于嵌入式边缘设备，设备改造成本低、落地性强，兼具高精度、高速度、强抗干扰、全工况适配的综合优势，有效突破了现有塑料包装袋智能识别技术的工业化应用瓶颈。

1.一种基于多模态光谱融合的混合循环包装袋免分拣识别方法，其特征在于：所述方法具体如下：

2.如权利要求1所述的一种基于多模态光谱融合的混合循环包装袋免分拣识别方法，其特征在于：步骤s1中采用ptp时钟同步协议同步触发nir光谱仪、libs激光器、高光谱相机，保证三类光谱采集时间戳误差≤1μs。

3.如权利要求1所述的一种基于多模态光谱融合的混合循环包装袋免分拣识别方法，其特征在于：步骤s3中当包装袋为黑色碳黑遮光材质时，nir模态各波段趋近于0，对应权重自动降低，libs模态权重自适应提升，消除黑色包装袋光谱识别盲区。

4.如权利要求1所述的一种基于多模态光谱融合的混合循环包装袋免分拣识别方法，其特征在于：步骤s5中损失平衡系数取值范围0.2~0.5，轻量化1d-transformer网络仅包含3层编码器，参数量≤120k，支持边缘嵌入式实时推理。

5.如权利要求1所述的一种基于多模态光谱融合的混合循环包装袋免分拣识别方法，其特征在于：步骤s6中置信度判定阈值=0.85，单件混合包装袋完整识别耗时≤8ms，适配流水线12件/秒高速在线检测。

6.一种基于多模态光谱融合的混合循环包装袋免分拣识别装置，其特征在于：所述装置包括多模态光谱采集模块、激光位移测高模块、边缘计算处理模块、流水线输出模块；所述边缘计算处理模块实现混杂堆叠包装袋免分拣材质识别。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现权利要求1~5任一所述基于多模态光谱融合的混合循环包装袋免分拣识别方法。