一种基于堆叠感知分类模型的咖啡豆识别的方法与系统与流程

本技术涉及咖啡豆分拣领域，尤其是涉及一种基于堆叠感知分类模型的咖啡豆识别的方法与系统。

背景技术：

1、在咖啡豆自动化分选领域，现有技术常采用人工肉眼挑选、振动盘或传送带对咖啡豆进行布料后采集图像进行识别。然而，存在分拣效率低、人工成本高、分选标准因人而异、漏拣误拣率高的缺陷。

2、现有常规色选设备仅依靠单一色差筛选，仅能区分颜色差异，无法精准识别发霉豆、虫蛀豆、内裂豆、局部霉点豆、破碎豆等多类型瑕疵咖啡豆，部分内部霉变、表皮无明显色差的瑕疵豆难以剔除，且咖啡豆外形不规则且表面曲率多变，布料环节难以完全杜绝咖啡豆之间的堆叠与接触。堆叠区域的边缘阴影和轮廓交叠在二维图像中极易形成堆叠伪特征，这些伪特征与真实瑕疵特征在形态上高度相似，导致分类模型频繁将正常堆叠豆误判为瑕疵豆，或将堆叠遮挡下的真实瑕疵漏判。同时，单一视角的图像采集受限于咖啡豆自身遮挡，难以获取完整表面信息，进一步加剧了误判。此外，现有识别系统即使完成分类，也往往因缺乏从图像坐标到物理世界坐标的准确映射，以及单豆级别的精确定位能力，使得后续剔除动作难以准确作用到目标个体，常将相邻正常豆一并吹飞，造成较高的误剔率与原料浪费。

技术实现思路

1、为了改善现有咖啡豆识别技术中堆叠伪特征易混淆于真实瑕疵，单视角信息不全，豆级定位缺失导致误剔浪费严重的问题，本技术提供一种基于堆叠感知分类模型的咖啡豆识别的方法与系统。

2、第一方面，本技术提供的一种基于堆叠感知分类模型的咖啡豆识别的方法采用如下的技术方案：s1、对咖啡豆进行筛分和单层化布料，使咖啡豆进入设有网格定位图案的检测载体，并建立网格单元的世界坐标；

3、s2、驱动咖啡豆翻转，采集咖啡豆的多视角图像数据和点云数据，并基于所述世界坐标将所述多视角图像数据、所述点云数据与所述网格单元关联；

4、s3、对所述多视角图像数据和所述点云数据进行时空对齐和特征融合，生成咖啡豆的融合特征数据；

5、s4、将所述融合特征数据输入预训练的堆叠感知分类模型，以分离堆叠伪特征和真实瑕疵特征，并在分类置信度不足时触发分离重拍并更新所述融合特征数据，直至所述分类置信度达到预设标准后输出咖啡豆的分类结果和目标网格单元；

6、s5、根据所述分类结果和所述目标网格单元对应的世界坐标生成剔除指令，基于所述剔除指令控制对应气阀喷嘴将咖啡豆分流至与所述分类结果对应的料仓。

7、通过采用上述技术方案，对咖啡豆进行筛分和单层化布料并引入设有网格定位图案的检测载体，从源头上抑制了无序堆叠，同时驱动咖啡豆翻转采集多视角图像数据和点云数据并基于世界坐标进行关联，生成融合特征数据，利用堆叠感知分类模型分离堆叠伪特征与真实瑕疵特征，生成剔除指令控制对应气阀喷嘴将咖啡豆分流至对应料仓。该方案将咖啡豆精确定位、多模态融合感知、堆叠伪影主动分离和自适应闭环确认相结合，有效解决了堆叠造成的误判和漏判，实现了高准确率、低误剔的咖啡豆自动分选。

8、可选的，所述s1具体包括s11、对咖啡豆进行振动筛分，去除粉尘、碎屑和结块物料，得到分散咖啡豆；

9、s12、通过变频布料机构对所述分散咖啡豆进行单层化布料，使所述分散咖啡豆进入设有网格定位图案的检测载体，得到待检测咖啡豆；

10、s13、识别所述网格定位图案并对所述网格单元进行坐标标定，建立所述网格单元的世界坐标，以供所述待检测咖啡豆的图像关联和剔除定位使用。

11、通过采用上述技术方案，先对咖啡豆进行振动筛分得到分散咖啡豆，再由变频布料机构实施单层化布料使分散咖啡豆进入带网格定位图案的检测载体得到待检测咖啡豆，然后识别网格图案并对网格单元进行坐标标定以建立世界坐标。振动筛分工序净化了原始咖啡豆物料，减少污染物对后续拍咖啡豆成像的干扰，变频布料保证了咖啡豆有序单层排列，网格单元的坐标标定为每一颗待检测咖啡豆提供了确定的空间基准，使图像数据和物理位置精确绑定，为精准跟踪和剔除创造了条件。

12、可选的，所述s2具体包括s21、根据所述世界坐标和所述待检测咖啡豆的输送状态生成目标跟踪数据，所述目标跟踪数据用于标识所述待检测咖啡豆在不同检测位置的运动关系；

13、s22、驱动具有所述目标跟踪数据的所述待检测咖啡豆翻转，并采集所述待检测咖啡豆的多视角图像数据和点云数据；

14、s23、基于所述目标跟踪数据和所述世界坐标，将所述多视角图像数据、所述点云数据与对应的所述网格单元关联，得到网格关联检测数据，所述网格关联检测数据用于后续时空对齐和特征融合。

15、通过采用上述技术方案，生成用于标识运动关系的目标跟踪数据，驱动待检测咖啡豆翻转并采集多视角图像数据和点云数据，再基于目标跟踪数据与世界坐标将二者与对应的网格单元关联得到网格关联检测数据。目标跟踪数据确保了翻转运动过程中每颗咖啡豆身份连续不丢失，多视角数据与网格单元准确对应，使后续时空对齐和特征融合具备可靠的一一映射关系，消除了因运动混淆导致的数据归属错误。

16、可选的，所述s22具体包括s221、通过多视角工业相机采集所述待检测咖啡豆的表面图像数据，并通过近红外相机、高光谱相机和偏振相机采集咖啡豆的光谱纹理图像数据；

17、s222、通过结构光三维扫描装置采集咖啡豆的点云数据，并将所述点云数据与所述表面图像数据、所述光谱纹理图像数据按照采集位置进行初始配准；

18、s223、根据所述目标跟踪数据，将初始配准后的所述表面图像数据、所述光谱纹理图像数据和所述点云数据合并得到所述多视角图像数据和所述点云数据。

19、通过采用上述技术方案，采集表面图像数据并光谱纹理图像数据，同时由结构光三维扫描装置采集点云数据，将点云数据与表面图像、光谱纹理图像按采集位置初始配准后根据目标跟踪数据合并。这种多模态成像方案同时捕获了颜色、纹理、偏振特性和近红外、高光谱等内部品质信息以及三维形貌，初始配准与跟踪合并保证了采集的多源图像数据在时间和空间上的精确同步，极大丰富了单豆特征表达，为区分外观类似但内部存在缺陷的咖啡豆提供了充足依据。

20、可选的，所述s3具体包括s31、对所述多视角图像数据和所述点云数据进行同一咖啡豆匹配和坐标统一，生成对齐检测数据和视角可靠度数据；

21、s32、以所述对齐检测数据中的点云数据构建咖啡豆表面模型，并将所述对齐检测数据中的图像瑕疵响应映射至所述咖啡豆表面模型，生成三维瑕疵分布数据；

22、s33、根据所述视角可靠度数据对所述三维瑕疵分布数据进行遮挡补偿和权重融合，生成所述融合特征数据。

23、通过采用上述技术方案，对多视角图像数据和点云数据进行同一咖啡豆匹配和坐标统一生成对齐检测数据和视角可靠度数据，以点云数据构建咖啡豆表面模型并将图像瑕疵响应映射至该咖啡豆表面模型生成三维瑕疵分布，再根据视角可靠度进行遮挡补偿和权重融合生成融合特征数据。该过程将多视角的二维纹理信息与三维几何模型深度融合，视角可靠度指导的遮挡补偿能有效恢复被豆体自身或邻近豆遮挡的缺陷区域，消除了观察盲区，使得融合特征更完整地反映咖啡豆真实表面状况，增强了瑕疵辨识的全面性。

24、可选的，所述s4具体包括s41、将所述融合特征数据输入所述堆叠感知分类模型，通过所述堆叠感知分类模型中的堆叠敏感性注意力模块生成堆叠密度数据和瑕疵响应数据；

25、s42、根据所述堆叠密度数据对所述瑕疵响应数据进行特征解耦，抑制由重叠阴影、接触边界和轮廓畸变形成的堆叠伪特征，得到真实瑕疵特征；

26、s43、根据所述真实瑕疵特征生成分类置信度，并在所述分类置信度达到预设标准后输出咖啡豆的分类结果和目标网格单元。

27、通过采用上述技术方案，将融合特征数据输入堆叠感知分类模型，由其中的堆叠敏感性注意力模块生成堆叠密度数据和瑕疵响应数据，根据堆叠密度对瑕疵响应进行特征解耦，抑制堆叠伪特征得到真实瑕疵特征，再基于该真实瑕疵特征生成分类置信度并在达标后输出分类结果与目标网格单元。堆叠敏感性注意力模块使模型主动感知咖啡豆间接触程度，针对性剥离堆叠导致的虚假响应，仅保留咖啡豆本身的缺陷表达，从而大幅减少了将正常堆叠误判为瑕疵的概率，置信度门控的输出策略则避免了不可靠分类决策向下游传递。

28、可选的，所述s42具体包括s421、根据所述堆叠密度数据生成堆叠贡献度数据，所述堆叠贡献度数据用于表征所述瑕疵响应数据中由咖啡豆堆叠引起的响应成分；

29、s422、基于所述堆叠贡献度数据，对所述瑕疵响应数据中的纹理响应、边缘响应和灰度响应进行解耦，得到伪特征响应数据和候选瑕疵响应数据；

30、s423、将所述候选瑕疵响应数据与所述融合特征数据进行一致性校验，得到所述真实瑕疵特征。

31、通过采用上述技术方案，生成表征瑕疵响应中由咖啡豆堆叠引起的响应成分的堆叠贡献度数据，依此对纹理响应、边缘响应和灰度响应进行解耦，分离出伪特征响应数据和候选瑕疵响应数据，再将候选瑕疵响应与融合特征数据进行一致性校验得到真实瑕疵特征。通过量化堆叠贡献度实现了在多种特征通道上的精准解耦，能够区分咖啡豆堆叠造成的虚假纹理、伪边缘和异常灰度变化，校验机制进一步滤除残余伪影，确保最终输出的真实瑕疵特征高度源于咖啡豆的实际品质，提升了咖啡豆分类的特异性和鲁棒性。

32、可选的，所述s43具体包括s431、在所述分类置信度未达到所述预设标准时，根据所述堆叠密度数据和所述目标网格单元生成分离重拍指令；

33、s432、根据所述分离重拍指令对所述目标网格单元内的咖啡豆施加微振动分离，使堆叠咖啡豆产生相对位移，得到分离后咖啡豆；

34、s433、对所述分离后咖啡豆进行同视角重拍，并将重拍得到的图像数据和点云数据返回用于更新所述融合特征数据，直至所述分类置信度达到所述预设标准。

35、通过采用上述技术方案，在分类置信度未达到预设标准时，生成分离重拍指令，对目标网格单元内的咖啡豆施加微振动分离使其产生相对位移得到分离后咖啡豆，随后进行同视角重拍直至置信度达标。这种自适应闭环重拍机制能主动改变咖啡豆的物理堆叠状态，微振动分离打破了紧密接触，同视角重拍确保了采集的咖啡豆的图像数据可对照，迭代更新过程持续强化特征确定性，从而有效解决因严重堆叠导致的识别模糊，保障了每一颗咖啡豆的分类结果都基于充分可靠的信息。

36、可选的，所述s5具体包括s51、根据所述目标网格单元对应的世界坐标确定目标喷吹位置，并根据所述分类结果确定目标料仓，所述目标喷吹位置为所述目标网格单元的物理中心；

37、s52、根据所述目标喷吹位置和咖啡豆的输送状态，从阵列气阀喷嘴中确定对应气阀喷嘴并生成包含喷吹时序的剔除指令，所述对应气阀喷嘴的气流作用范围覆盖所述目标网格单元；

38、s53、按照所述剔除指令控制所述对应气阀喷嘴朝向所述目标喷吹位置喷吹，使咖啡豆进入与所述分类结果对应的所述目标料仓。

39、通过采用上述技术方案，根据目标网格单元的世界坐标确定目标喷吹位置，并结合分类结果指定目标料仓，依据喷吹位置和输送状态从阵列气阀喷嘴中确定对应喷嘴并剔除指令，控制喷嘴喷吹使咖啡豆进入对应料仓。该方案将世界坐标定位与气阀阵列控制精确耦合，喷吹位置准确指向单颗咖啡豆所在的目标网格单元的中心，时序指令与输送运动同步，确保气流准确击发目标咖啡豆而不误扰相邻豆，实现了稳定、低损耗的单豆级精准剔除。

40、第二方面，本发明提供一种基于堆叠感知分类模型的咖啡豆识别系统，包括布料筛分装置、检测载体、网格标定模块、翻转驱动机构、多视角采集模块、数据处理模块、堆叠感知分类模块、剔除控制模块、气阀喷嘴阵列和多个料仓；

41、所述布料筛分装置用于对咖啡豆进行筛分和单层化布料，使咖啡豆进入所述检测载体；

42、所述检测载体表面设有网格定位图案，用于承载经单层化布料后的咖啡豆；

43、所述网格标定模块用于根据所述网格定位图案建立网格单元的世界坐标；

44、所述翻转驱动机构用于驱动位于所述检测载体上的咖啡豆翻转；

45、所述多视角采集模块用于在翻转驱动机构驱动咖啡豆翻转时，采集咖啡豆的多视角图像数据和点云数据，并基于所述世界坐标将所述多视角图像数据和所述点云数据与所述网格单元关联；

46、所述数据处理模块用于对所述多视角图像数据和所述点云数据进行时空对齐和特征融合，生成咖啡豆的融合特征数据；

47、所述堆叠感知分类模块内载有预训练的堆叠感知分类模型，用于接收所述融合特征数据，分离堆叠伪特征和真实瑕疵特征，并在分类置信度不足时触发分离重拍指令，使所述翻转驱动机构和所述多视角采集模块对相应咖啡豆重新采集并更新所述融合特征数据，直至分类置信度达到预设标准后输出分类结果和目标网格单元；

48、所述剔除控制模块用于根据所述分类结果和所述目标网格单元对应的世界坐标生成剔除指令，并将所述剔除指令发送至对应气阀喷嘴；

49、所述气阀喷嘴阵列基于所述剔除指令将咖啡豆分流至与所述分类结果对应的料仓

50、本发明第二方面所提供的基于堆叠感知分类模型的咖啡豆识别系统的技术效果参考第一方面的技术效果，此处不再赘述。

51、综上所述，本技术包括以下至少一种有益技术效果：

52、1.由于采用了筛分单层化布料与网格定位图案检测载体建立世界坐标的方案，以及驱动咖啡豆翻转采集多视角图像数据与点云数据并生成融合特征数据的方法，再通过预训练的堆叠感知分类模型分离堆叠伪特征和真实瑕疵特征，所以系统能够有效克服咖啡豆堆叠造成的伪影干扰和单视角信息不全的缺陷，实现单豆级别的精确定位与按需剔除，进而大幅降低了误检率和误剔率，提升了咖啡豆自动分选的准确性和原料利用率；

53、2.由于采用了堆叠敏感性注意力模块生成堆叠密度数据，并对瑕疵响应数据进行特征解耦，再通过堆叠贡献度数据对纹理响应、边缘响应和灰度响应进行解耦并与融合特征数据进行一致性校验得到真实瑕疵特征的方法，所以系统能够精准剥离因咖啡豆相互接触导致的虚假瑕疵信号，有效解决了现有技术中将堆叠伪特征与真实瑕疵相混淆的问题，进而实现了对咖啡豆表面缺陷的高特异性识别，显著减少了对正常堆叠豆的误判；

54、3.由于采用了在分类置信度不足时根据堆叠密度数据和目标网格单元生成分离重拍指令，对目标网格单元内咖啡豆施加微振动分离后进行同视角重拍并迭代更新融合特征数据直至置信度达标的闭环确认方法，所以系统能够在识别不确定时主动改变咖啡豆堆叠状态以获取更具区分度的信息，并将世界坐标定位与阵列气阀控制精确耦合，有效解决了严重堆叠导致识别模糊和剔除动作难以精确作用于单颗咖啡豆的问题，进而实现了高可靠性的分类决策和单豆级低损耗的精准剔除。