一种基于双谱视觉的海洋垃圾分拣方法

摘要: 本发明涉及海洋环境治理与智能垃圾分拣,尤其涉及一种基于双谱视觉的海洋垃圾分拣方法。背景技术:1、海洋垃圾自动识别与分拣是海洋环境治理中的迫切需求。现有技术主要分...
一种基于双谱视觉的海洋垃圾分拣方法

本发明涉及海洋环境治理与智能垃圾分拣,尤其涉及一种基于双谱视觉的海洋垃圾分拣方法。

背景技术:

1、海洋垃圾自动识别与分拣是海洋环境治理中的迫切需求。现有技术主要分为两类:一类基于rgb图像进行目标检测,能够识别垃圾的位置和轮廓,但难以区分pet、pe、pp、pvc、pa等外观相似但材质不同的塑料,也易受海水浸湿、藻类附着、泥沙污染和光照变化的影响;另一类基于高光谱遥感进行材质识别,能够通过光谱特征区分不同材料,但该类方法通常输出区域级的垃圾分布信息,缺少与分拣执行机构直接绑定的目标级坐标、抓取点和动作时序,且对整幅高光谱图像进行全像元分类的计算量难以满足实时分拣要求。此外,海洋垃圾常处于湿态或半浸没状态,表面水膜会严重干扰反射光谱,现有方法对湿态目标的材质识别准确率显著下降。海洋垃圾来源复杂,存在大量未知材料和复合材料,现有分类模型强制将目标归入已知类别,容易造成误分拣,且现有方法缺少复检反馈和模型更新机制,难以适应长期运行中设备状态漂移和垃圾组成变化。

技术实现思路

1、本发明提出了一种基于双谱视觉的海洋垃圾分拣方法,旨在解决现有技术中存在的海洋垃圾在湿态、水膜覆盖、盐雾、眩光、藻类附着、材质相似、复合污染和未知类别情况下难以被准确识别并自动分拣的技术问题。

2、第一方面,本发明提供了一种基于双谱视觉的海洋垃圾分拣方法,包括:

3、获取目标区域的rgb图像和高光谱图像,所述高光谱图像包含多个波段的反射率信息;

4、基于所述rgb图像进行候选目标实例分割,输出每个目标的实例掩膜;

5、根据rgb相机与高光谱相机之间的像素坐标映射关系,将所述实例掩膜在rgb图像中的像素坐标映射至高光谱图像中的对应像素位置,在所述高光谱图像中确定与所述实例掩膜相对应的区域作为该目标的高光谱感兴趣区域;

6、对所述高光谱感兴趣区域进行水膜不变谱校正,得到校正后的目标反射率谱;

7、提取所述目标的rgb形态特征和经校正的所述目标反射率谱对应的高光谱材质特征;

8、将所述rgb形态特征和所述高光谱材质特征输入双门控谱形协同网络进行融合,输出材质类别、未知类别状态、目标料仓和分拣动作;

9、根据所述目标在传送带坐标系中的位置和传送带速度计算分拣动作触发时间并触发分拣执行。

10、进一步地,所述水膜不变谱校正的过程包括:

11、获取目标邻域水体或湿背景区域的水体参考谱、局部眩光区域的眩光参考谱以及盐雾或泡沫参考谱;

12、根据目标观测谱与所述水体参考谱、所述眩光参考谱和所述盐雾或泡沫参考谱的差值,在对数反射率域中扣除水膜、眩光和盐雾干扰,得到校正谱;

13、其中,所述水体参考谱、所述眩光参考谱和所述盐雾或泡沫参考谱均通过对当前环境进行实时采样统计得到。

14、进一步地,在所述高光谱图像中确定与所述实例掩膜相对应的区域之后,还包括根据目标状态选择不同的高光谱采样策略:

15、当目标面积小于预设阈值且rgb置信度高于预设阈值时,仅采样目标内部的代表性超像素;

16、当目标存在眩光、湿斑、透明膜、重叠、外观类别不确定或材质冲突时,采集完整高光谱感兴趣区域;

17、当目标由多个材料粘连形成时,使用高光谱谱聚类和rgb边界共同分离混合像元;

18、当目标为线状或网状目标时,沿目标骨架提取线状高光谱采样点;

19、当目标为半透明塑料膜时,结合背景扣除和薄膜谱形增强进行材质估计。

20、进一步地,所述高光谱材质特征包括原始反射率谱、水膜校正谱、一阶导数谱、二阶导数谱、连续统去除后的吸收峰位置、吸收峰深度、吸收峰面积、吸收峰半高宽、谱角距离、马氏距离、余弦相似度、材质原型距离、混合丰度特征、漂浮物增强指数和藻类抑制指数中的至少一种。

21、进一步地,所述双门控谱形协同网络包括rgb形态分支、高光谱谱空分支、跨模态注意力分支、动态置信门控分支、开放集判别分支和分拣动作输出分支;

22、所述动态置信门控分支根据rgb分支置信度、高光谱分支置信度、目标到最近已知材质原型的开放集距离、水膜干扰强度和眩光强度动态调整rgb特征与高光谱特征的融合权重。

23、进一步地,所述融合权重按照下式确定:

24、;

25、;

26、其中,为sigmoid函数,为可学习权重矩阵,表示向量拼接操作,为rgb形态向量,为高光谱材质向量,为rgb分支置信度,为高光谱分支置信度,为开放集距离,为水膜干扰强度,为眩光强度,为高光谱特征映射函数,为rgb特征映射函数,为跨模态交互函数,为动态门控系数,为融合特征向量。

27、进一步地,所述未知类别状态的判定方式为:

28、计算目标融合特征到已知各材质原型的距离;

29、当满足以下条件中的至少一项时,将目标判定为未知类别、混合类别或需人工复核类别:

30、所述距离的最小值大于第一预设阈值;

31、谱角距离大于第二预设阈值;

32、分类熵大于第三预设阈值;

33、前两类材质丰度差值小于第四预设阈值;

34、水膜干扰强度或眩光强度超过第五预设阈值;

35、rgb类别与高光谱材质类别发生冲突。

36、进一步地,还包括混合材质识别步骤:

37、获取目标高光谱感兴趣区域中的观测谱矩阵;

38、获取材料端元矩阵;

39、根据所述观测谱矩阵和所述材料端元矩阵求解丰度矩阵;

40、根据所述丰度矩阵中最大丰度确定主材质,根据次大丰度确定次材质;

41、当主材质的污染程度超过预设阈值时,将目标分配至预处理料仓;当主材质与次材质的丰度差值小于预设阈值时,将目标分配至混合材料复核料仓。

42、进一步地,所述分拣动作触发时间按照下式计算:

43、;

44、其中,为分拣动作触发时间,为图像采集时刻,为目标中心位置,为执行器位置,为目标中心到执行器位置的欧氏距离,为传送带速度,为执行器响应延迟;

45、当执行机构为机械臂时,还输出抓取点、抓取姿态和避障路径;当执行机构为气动剔除器时,还输出喷嘴编号和喷气时长;当执行机构为翻板分流机构时,还输出翻板编号、翻板角度和动作窗口。

46、本发明公开的技术方案的技术效果是:

47、第一,通过同步获取rgb图像和高光谱图像并建立双相机坐标映射,同时利用rgb目标掩膜驱动高光谱感兴趣区域采样,实现了形态信息与材质指纹信息的融合,克服了单rgb视觉难以区分外观相似材料的问题,同时避免了对整幅高光谱图像进行全量像素分类,减少了计算量并提高了实时性。

48、第二,通过水膜不变谱校正方法,利用目标邻域水体参考谱、眩光参考谱和盐雾参考谱对湿态海洋垃圾进行局部校正,提高了刚打捞垃圾、带水膜垃圾、泡沫环境和强反光环境下的材质识别稳定性。

49、第三,通过构建包含干态、湿态、盐水浸泡、紫外老化、藻类附着、泥沙附着和油污附着等多种条件的海洋垃圾材质光谱特征库并提取多维度光谱特征,为材质分类提供了可靠的数据基础。

50、第四,通过双门控谱形协同网络中的动态置信门控分支,根据rgb置信度、高光谱置信度、水膜强度、眩光强度和开放集距离动态调整模态融合权重,使系统在不同工况下保持较高鲁棒性。

51、第五,通过开放集识别模块,根据目标融合特征到已知材质原型的距离、谱角距离、分类熵和混合丰度阈值共同判定未知类别,能够将未知材料、复合材料、严重污染材料和高风险目标送入隔离料仓,降低误分拣对后端回收质量的影响。

52、第六,通过混合材质识别与污染程度判断,利用光谱解混方法确定主材质和次材质及污染程度,实现了复合材料、污染材料和粘连材料的精细分拣。

53、第七,通过分拣动作规划与执行闭环,根据传送带速度、目标位置和执行器响应延迟计算触发时间,实现了从检测识别到物理分拣的闭环控制。

54、第八,通过复检与主动学习机制,将误分样本、未知样本和低置信度样本持续回流至训练样本池,适应长期运行中的设备漂移和垃圾组成变化。