一种果蔬品质的分拣方法、装置、系统及存储介质
本技术涉及果蔬分拣,特别涉及一种果蔬品质的分拣方法、装置、系统及存储介质。
背景技术:
1、分拣装置主要用于小型浆果的工业化分级处理,其主要依靠传输带将大批量散装果蔬分离为单行队列,并配合光学检测组件和执行机构对单颗果蔬的好坏品级进行流水线判别与分流筛选。
2、在现有技术中,分拣装置通常采用机器视觉与横向传输带的结合,通常是在传输带上方设置工业相机与补光光源,在末端通道侧边设置气动推杆或刚性翻板;散装果蔬自进料端落入传输带后,随皮带保持持续前行状态,工业相机采集果蔬表面图像,并交由预先经过有监督训练的目标检测网络识别表皮瑕疵,随后判定为次品的果蔬在行进至末端时,由气动推杆施加侧向推力将其推离主传送通道以完成分类。
3、然而,上述现有技术存在以下缺陷:由于标注出缺陷样本后,再送入模型进行训练,导致数据准备成本较高,在产线中,果蔬的表皮瑕疵形态各异且存在大量不可预见的罕见病变,如非标准形态的破损、特殊霉斑等,难以穷举所有非标准形状的瑕疵,导致模型泛化能力差,容易出现坏果的遗漏问题;此外,由于依赖单一表面图像矩阵进行运算,无法综合考量果蔬的外观与内部品质,导致整体分级准确度受限,降低整体果蔬的品质。
4、因此,本技术旨在解决现有果蔬视觉识别过度依赖缺陷样本,导致坏果存在漏检的问题,同时还解决了单一表面图像矩阵的运算无法综合考虑果蔬品质的问题。
技术实现思路
1、本技术的主要目的是提供一种果蔬品质的分拣方法、装置、系统及存储介质,旨在解决现有果蔬视觉识别过度依赖缺陷样本,导致坏果存在漏检的问题,同时还解决单一表面图像矩阵的运算无法综合考虑果蔬品质的问题。
2、为了实现上述目的,本技术提出一种果蔬品质的分拣方法,包括以下步骤:
3、获取目标果蔬的可见光图像与近红外光谱数据;
4、对所述可见光图像执行串行图像预处理,以提取目标果蔬的标准化单果感兴趣区域图像;
5、将所述标准化单果感兴趣区域图像输入至预先基于完好果蔬样本训练的无监督异常检测模型中,由所述无监督异常检测模型输出目标果蔬的外观特征参数;
6、对所述近红外光谱数据执行光谱预处理及特征波长筛选,提取目标果蔬的内部品质特征参数;
7、将所述外观特征参数构成的外观特征向量与所述内部品质特征参数构成的光谱内部特征向量代入双源融合判定矩阵,按照预设的外观权重系数与内部光谱权重系数进行加权计算,得到目标果蔬的缺陷综合分值;
8、对比所述缺陷综合分值与预设品级阈值,判定目标果蔬的品质等级并输出对应的分选控制指令。
9、优选地,所述串行图像预处理包括:
10、对所述可见光图像进行自适应阈值分割,生成区分果蔬区域与背景区域的二值掩码;
11、基于所述二值掩码,筛选超出预设高光阈值的反光像素,并利用周边未反光的果蔬纹理像素对满足预设面积条件的连续反光区域进行加权平滑修正;
12、结合所述二值掩码识别果蔬表面因遮挡造成的纹理缺失区域,并在所述纹理缺失区域的面积占比未超出预设遮挡阈值时,利用缺失区域周边的有效像素执行插值填充修复;
13、基于所述二值掩码生成最小外接包围盒,并依据所述最小外接包围盒的边界对完成平滑与修复后的图像进行裁剪,得到标准化单果感兴趣区域图像。
14、优选地,所述无监督异常检测模型包括补丁描述网络、自编码器以及师生网络分支;
15、由所述无监督异常检测模型输出的所述外观特征参数至少包括:果面瑕疵区域坐标、瑕疵面积比、果形指数以及着色均匀度;
16、所述提取目标果蔬的内部品质特征参数,至少包括:果肉可溶性固形物含量参数以及内部褐变区域占比参数。
17、优选地,所述将所述外观特征参数构成的外观特征向量与所述内部品质特征参数构成的光谱内部特征向量代入双源融合判定矩阵,按照预设的外观权重系数与内部光谱权重系数进行加权计算,包括:
18、将所述外观特征向量进行归一化处理得到第一分值,将所述光谱内部特征向量进行归一化处理得到第二分值;
19、基于单果有效像素面积提取动态调节因子,将所述第一分值与所述外观权重系数的乘积,加上所述第二分值、所述内部光谱权重系数及所述动态调节因子的乘积,以输出所述缺陷综合分值。
20、优选地,所述按照预设的外观权重系数与内部光谱权重系数进行加权计算的步骤中,还包含:
21、预设内部病变极值阈值;
22、当所述光谱内部特征向量中的内部褐变区域占比参数大于所述内部病变极值阈值时,输出表征最低品质等级的所述缺陷综合分值。
23、本技术还公开了一种果蔬品质的分拣装置,包括:
24、物料输送组件,其用于承载并输送目标果蔬;
25、信息采集组件,设置在所述物料输送组件的输送路径上,其用于获取目标果蔬的可见光图像与近红外光谱数据;
26、控制组件,与所述信息采集组件通信连接,其配置为执行如权利要求1至5中任一项所述的果蔬品质的分拣方法,并输出分选控制指令;
27、分拣组件,设置于所述物料输送组件的输送路径上,并位于所述信息采集组件的下游,其与所述控制组件通信连接;所述分拣组件基于接收的所述分选控制指令对所述目标果蔬执行剔除动作或放行动作。
28、优选地,所述物料输送组件包括:
29、至少一个传输带,用于输送目标果蔬;
30、限位辊道,分别设置在所述传输带上;
31、信息采集组件,设置在所述传输带的上方;
32、分拣组件,设置在所述传输带的上方,其基于所述控制组件生成的所述分选控制指令,对所述目标果蔬执行剔除动作或放行动作。
33、优选地,所述信息采集组件包括:
34、检测罩,设置在所述传输带的上方;
35、检测舱,设置在所述检测罩和所述传输带之间;
36、补光光源、图像采集摄像头及近红外光谱传感器,分别固定安装在所述检测舱的内部;
37、其中,所述图像采集摄像头为三个,三个所述图像采集摄像头沿所述物料输送组件的横截面呈预设角度环绕分布,且三个所述图像采集摄像头的采集光路均聚焦于所述物料输送组件的输送区域,以同步获取同一所述目标果蔬的多维度可见光图像;所述近红外光谱传感器以正对所述目标果蔬的方向获取近红外光谱数据。
38、本技术还公开了一种果蔬品质的分拣系统,包括:
39、数据获取模块,用于获取目标果蔬的可见光图像与近红外光谱数据;
40、图像预处理模块,用于对所述可见光图像执行串行图像预处理,以提取目标果蔬的标准化单果感兴趣区域图像;
41、视觉特征提取模块,用于将所述标准化单果感兴趣区域图像输入至预先基于完好果蔬样本训练的无监督异常检测模型中,由所述无监督异常检测模型输出目标果蔬的外观特征参数;
42、光谱特征提取模块,用于对所述近红外光谱数据执行光谱预处理及特征波长筛选,提取目标果蔬的内部品质特征参数;
43、双源融合判定模块,用于将所述外观特征参数构成的外观特征向量与所述内部品质特征参数构成的光谱内部特征向量代入双源融合判定矩阵,按照预设的外观权重系数与内部光谱权重系数进行加权计算,得到目标果蔬的缺陷综合分值;
44、分级输出模块,用于对比所述缺陷综合分值与预设品级阈值,判定目标果蔬的品质等级并输出对应的分选控制指令。
45、本技术还包括一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述的果蔬品质的分拣方法。
46、采用上述技术方案具有以下优点:
47、本技术通过引入预先基于完好果蔬样本训练的无监督异常检测模型,摆脱了对海量瑕疵标注数据的依赖,提升了对未知及罕见表皮瑕疵的泛化识别能力,有效克服了外观坏果的漏检缺陷;其次,通过同步获取近红外光谱数据并提取内部品质特征参数,避免单一表面图像矩阵无法穿透果皮的局限,实现了对果肉内部隐性病变(如黑心、褐变等)的捕获;再将提取的外观特征向量与光谱内部特征向量代入双源融合判定矩阵进行加权计算,构建了双源融合判定矩阵,将多源异构的光学信号统一映射为缺陷综合分值,从而全面提升了果蔬品质流水线分级与分流筛选的综合准确度与可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com