一种基于三维空间索引的多模态成像烟叶分选方法及系统与流程

摘要: 本发明涉及烟叶分选,具体是涉及一种基于三维空间索引的多模态成像烟叶分选方法及系统。背景技术:1、烟叶分选是烟草加工的关键环节,需根据烟叶的部位(上部、中部、下部...
一种基于三维空间索引的多模态成像烟叶分选方法及系统与流程

本发明涉及烟叶分选,具体是涉及一种基于三维空间索引的多模态成像烟叶分选方法及系统。

背景技术:

1、烟叶分选是烟草加工的关键环节,需根据烟叶的部位(上部、中部、下部)、油分、成熟度、叶片结构、身份、色度、长度、残伤等外观品级因素进行等级划分,共涉及42个等级。分选的准确性直接影响最终卷烟产品的质量一致性和经济价值。

2、现有技术方案中,通常将烟叶通过振动传送带或气吸装置进行机械分离,使烟叶呈单片、平铺状态,依次通过一个封闭成像箱体。箱体内通常配备以下装置:高分辨率可见光相机,在均匀光源照射下拍摄烟叶正面的反射彩色图像;部分方案会加装近红外光谱仪,逐点或逐片采集烟叶的近红外光谱数据。采集到的可见光图像与近红外光谱数据被送入深度学习模型(如卷积神经网络),自动学习烟叶的颜色、纹理、形态特征以及近红外光谱的吸收特征,最终输出烟叶的部位、色度、等级等分类结果。

3、然而现有技术强制要求烟叶以单片、平铺状态进入成像区。为此,前端必须依赖复杂的机械分离和整平装置。这不仅导致整机结构庞大、故障率高、处理速度受限于分离效率,更严重的是,机械拉扯极易造成大片幅烟叶的破损、撕裂,直接降低烟叶的经济价值。现有反射成像方案仅能采集烟叶正面的颜色和纹理信息,无法穿透烟叶获知其内部的致密性、厚度分布和油分浸润程度。油分作为烟叶等级判定的核心指标之一,其在反射图像上的表征极易与表面光泽混淆。缺乏透射成像手段,使得机器视觉分级对油分判定的准确率远不及经验丰富的分拣工人,这是当前自动化方案最致命的性能短板。现有方案即使同时配备了可见光相机和近红外光谱仪,由于只能在单片分离前提下工作,其数据融合方式极为简单粗糙——仅为一个二维图像像素与一根平均光谱曲线的“片级”对应。其根本无法应对多片烟叶自然堆叠、交叉遮挡的复杂场景。一旦烟叶堆叠,现有系统将完全瘫痪,无法进行任何有效分选。这从根本上限制了该技术在烟叶收购站等必须处理堆叠烟叶场景中的应用。现有方案最多实现可见光+背光+近红外二维三模态,缺少三维深度空间维度,不能获取烟叶厚度、卷曲、堆叠层级;仅能依靠外观或单一光谱做笼统分级,无法分维度精准判定烟叶部位、油分两大核心工艺指标。

技术实现思路

1、为解决上述技术问题,提供一种基于三维空间索引的多模态成像烟叶分选方法及系统,本技术方案解决了上述背景技术中提到的至少一项技术问题。

2、为达到以上目的,本发明采用的技术方案为:

3、一种基于三维空间索引的多模态成像烟叶分选方法,包括:

4、通过三维成像模块采集堆叠烟叶的高分辨率深度图,并对高分辨率深度图进行处理,得到若干个独立的烟叶实例;

5、通过反射成像组件采集堆叠烟叶的可见光图像,通过透射成像组件采集堆叠烟叶的透射图像,通过高光谱组件采集堆叠烟叶的高光谱数据立方体;

6、基于堆叠烟叶的可见光图像、透射图像及高光谱数据立方体,分别提取出每一个烟叶实例的可见光反射纹理图像、透射厚度图像及高光谱像素级光谱曲线集合,并融合组成烟叶实例的多模态融合数据包;

7、基于每一个烟叶实例的多模态融合数据包,同时启动可见光反射特征提取管线、透射厚度特征提取管线和近红外高光谱特征提取管线,得到烟叶实例的多模态特征包;

8、基于烟叶实例的多模态特征包进行三模态协同信息互补的综合判定,得到烟叶的部位和等级。

9、优选的,所述对高分辨率深度图进行处理,得到若干个独立的烟叶实例具体包括:

10、将高分辨率深度图转换为三维点云,得到烟叶的点云集合。

11、对烟叶的点云集合进行基于法线突变和欧氏距离的三维实例分割,将粘连的点云拆分为一片片独立的烟叶实例点云,并为每个烟叶实例分配唯一的身份标识号;

12、根据每个烟叶实例点云的空间坐标,计算其三维包围盒和精确的二维空间掩膜。

13、优选的,所述基于堆叠烟叶的可见光图像、透射图像及高光谱数据立方体,分别提取出每一个烟叶实例的可见光反射纹理图像、透射厚度图像及高光谱像素级光谱曲线集合具体包括:

14、以三维成像模块的坐标系为基准,将反射成像组件、透射成像组件、高光谱组件的图像坐标系,全部变换映射到统一的三维空间坐标系中;

15、对于反射成像组件采集的可见光图像上的每一个像素、透射成像组件采集的透射图像上的每一个像素以及高光谱组件采集的高光谱数据立方体上的每一个像素,反查其在统一的三维空间中的对应位置;

16、依据各烟叶实例的空间掩膜,判断每一个像素在三维空间中归属于哪一片烟叶实例;

17、将属于同一片烟叶实例的可见光图像像素、透射图像像素以及高光谱数据立方体像素进行整合,得到烟叶实例的可见光反射纹理图像、透射厚度图像及高光谱像素级光谱曲线集合。

18、优选的,所述可见光反射特征提取管线具体步骤为:

19、从烟叶实例的可见光反射纹理图像中采集烟叶的颜色特征向量、表面形态特征向量以及包括叶片的长度和宽度的几何参数向量。

20、优选的,所述透射厚度特征提取管线具体步骤为:

21、从烟叶实例的透射厚度图像中提取厚度分布特征和纹理均匀度特征。

22、优选的,所述近红外高光谱特征提取管线具体步骤为:

23、基于烟叶实例的高光谱像素级光谱曲线计算该烟叶区域的平均光谱反射率曲线并进行标准正态变量变换预处理;

24、利用连续投影算法或竞争性自适应重加权采样算法,从全波段光谱中筛选出与烟叶品质化学成分相关的特征波长,所述烟叶品质化学成分包括烟叶总糖、烟碱、钾、氯及油分;

25、基于烟叶品质化学成分相关的特征波长,构建烟叶实例的近红外光谱化学指纹特征向量。

26、优选的,所述基于烟叶实例的多模态特征包进行三模态协同信息互补的综合判定,得到烟叶的部位和等级具体包括:

27、以表面形态特征向量作为主导判别依据,以厚度分布特征和近红外光谱化学指纹特征向量作为辅助判别依据,基于预设的烟叶部位分类逻辑构建的部位识别分类器,将烟叶实例划分为上部烟叶、中部烟叶或下部烟叶;

28、以近红外光谱化学指纹特征向量作为主导判别依据,以颜色特征向量、表面形态特征向量和纹理均匀度特征作为辅助判别依据,基于预设的烟叶品质分类逻辑构建的品质分类器,将烟叶实例划分为品质高或品质低。

29、优选的,所述方法还包括模型持续优化机制,所述模型持续优化机制具体为:

30、对于模型判定置信度低于预设阈值的烟叶,系统将其标记并输出至复核工位;

31、经人工专家复核确认的等级结果,将作为新的标签数据,周期性反馈到部位识别分类器和品质分类器的模型训练集中,进行增量训练。

32、进一步的,提出一种基于三维空间索引的多模态成像烟叶分选系统,用于实现如上述的基于三维空间索引的多模态成像烟叶分选方法,包括:

33、烟叶图像采集模块,所述烟叶图像采集模块用于采集堆叠烟叶的高分辨率深度图、可见光图像、透射图像及高光谱数据立方体;

34、三维深度成像模块,所述三维深度成像模块与所述烟叶图像采集模块通讯连接,所述三维深度成像模块用于对高分辨率深度图进行处理,得到若干个独立的烟叶实例;

35、三模态融合模块,所述三模态融合模块与所述烟叶图像采集模块和所述三维深度成像模块通讯连接,所述三模态融合模块用于基于堆叠烟叶的可见光图像、透射图像及高光谱数据立方体,分别提取出每一个烟叶实例的可见光反射纹理图像、透射厚度图像及高光谱像素级光谱曲线集合,并融合组成烟叶实例的多模态融合数据包;

36、特征提取模块,所述特征提取模块与所述三模态融合模块通讯连接,所述特征提取模块用于基于每一个烟叶实例的多模态融合数据包,同时启动可见光反射特征提取管线、透射厚度特征提取管线和近红外高光谱特征提取管线,得到烟叶实例的多模态特征包;

37、三模态协同判定模块,所述三模态协同判定模块与所述特征提取模块通讯连接,所述特征提取模块用于基于烟叶实例的多模态特征包进行三模态协同信息互补的综合判定,得到烟叶的部位和等级。

38、可选的,所述烟叶图像采集模块包括一个封闭采集箱体及一个贯穿封闭采集箱体的透明传送带;

39、所述封闭采集箱体内部沿透明传送带的行进方向依次设置有三维成像工位、透射与反射同步成像工位及近红外高光谱成像工位;

40、所述三维成像工位在透明传送带正上方安装有三维成像模块,用于获取传送带上堆叠烟叶的高分辨率深度图;

41、所述透射与反射同步成像工位安装有透射成像组件及反射成像组件,所述透射成像组件包括安装于透明传送带正下方的一排背向透射面光源和一台安装于透明传送带正上方的第一rgb相机,所述反射成像组件包括安装于透明传送带正上方的均匀高亮光源和一台安装于透明传送带正上方的第二rgb相机;

42、所述近红外高光谱成像工位在透明传送带正上方安装一套近红外线阵光源和一台近红外高光谱线扫相机。

43、与现有技术相比,本发明的有益效果在于:

44、本发明通过引入三维空间索引与多模态成像融合技术,突破了现有烟叶分选技术对单片平铺烟叶的强制依赖,可直接对堆叠、交叉遮挡的烟叶进行精准实例分割与身份标识,从根本上省去了复杂易损的机械分离整平装置,降低了设备体积、故障率及烟叶破损风险;通过同步采集可见光反射、透射厚度及近红外高光谱三维空间对齐的多模态数据,构建了包含颜色纹理、厚度分布、油分化学指纹等维度的全信息特征集,解决了传统反射成像无法感知烟叶内部油分、厚度及堆叠层级的难题,大幅提升了油分、部位等核心指标的判定准确率;基于三模态特征的协同互补判定逻辑及模型持续优化机制,实现了对堆叠场景下烟叶部位与等级的高精度、自适应分选,不仅填补了收购站等复杂场景下自动化分选的技术空白,还提升了分选效率与等级一致性,为烟草加工的质量控制与经济价值提升提供了技术支撑。