一种基于深度学习的榴莲成熟度等级识别方法及系统与流程

本发明涉及等级识别，尤其涉及一种基于深度学习的榴莲成熟度等级识别方法及系统。

背景技术：

1、根据果肉成熟转化程度、内部完好情况、果肉饱满度划分a级、b级、c级多级分级标准，国内外商超、进出口贸易市场对分级判定阈值、品质记录维度要求各不相同，行业急需能够同步输出单果果重、成熟度档位的一体化图像智能分级系统。

2、现阶段榴莲成熟度及内部品质无损图像识别技术存在诸多图像处理层面缺陷，难以实现多等级精准判定与自动化数字化报表输出。现有方案分为可见光图像检测、单波段光谱图像分析、浅层机器学习图像判别三类。可见光成像仅捕捉果皮二维表层图像，仅可提取果刺、果皮色泽等外观特征，可见光无穿透能力，受厚重凹凸果皮阻隔无法采集果肉内部成像信息，仅能实现成熟与否二分类，不能完成适配各市场的a、b、c三级精细分级。单一高光谱成像仅获取单维度窄波段图谱，未融合多波段射频成像多模态图像，果皮厚薄不均、果刺阴影、果腔空气会造成图谱像素畸变噪声、有效像素占比偏低，成熟度细微梯度对应的特征像素辨识度不足；传统预处理仅做灰度拉伸、阈值分割，无法自主筛选关联成熟度与内部缺陷的关键波段像素，无效数据形成特征冗余，降低分级精度。传统模型依托浅层机器学习，缺少深度学习多尺度特征挖掘能力，仅能提取浅层灰度、纹理特征，无法挖掘射频成像与高光谱图像的跨模态深度关联特征；配套图像数据集构建不完善，产区、品种、储运周期、成熟梯度、缺陷样本覆盖不全，a、c级样本数量失衡引发训练类别偏置，稀缺等级样本学习不足。现有图像处理架构无适配a/b/c分级的分层分类逻辑，仅输出成熟二元标签，缺少可调多等级判定阈值，难以匹配不同市场分级标准；图像推理、重量采集、数据解析模块相互独立，无法自动融合果重、成熟等级、内部缺陷量化数据，无自动化报表后处理链路，无法生成对接产销系统的标准化报表。

技术实现思路

1、鉴于此，本发明实施例提供了一种基于深度学习的榴莲成熟度等级识别方法及系统，能够实现通过同步采集待测榴莲的多波段射频介电图像、高光谱图像及单果重量数据，并执行降噪预处理。将图像输入跨模态深度学习特征提取网络，进行动态阈值截断校正，自适应优化图像特征并输出统一维度的榴莲品质深度特征向量。再将特征向量输入分层深度学习分类模型，可通过步长自适应方式动态调节分级判定阈值，精准输出榴莲成熟度等级标签，同步量化得到霉变面积、空腔体积、果肉充盈度等内部健康指标。最终整合多类检测数据，生成标准化结构化品质数据报表。

2、一方面，提供了一种基于深度学习的榴莲成熟度等级识别方法，该方法包括：步骤s1，采集待测榴莲的多波段射频介电成像图与高光谱图像并进行降噪预处理，同步采集待测榴莲的单果重量传感数据；步骤s2，构建跨模态深度学习特征提取网络，将经过降噪预处理的多波段射频介电成像图与高光谱图像共同输入至跨模态深度学习特征提取网络，并判断是否执行动态阈值截断校正，若是，在校正后输出融合后统一维度的榴莲品质深度特征向量，若否，则直接输出融合后统一维度的榴莲品质深度特征向量；步骤s3，预先构建分层深度学习分类模型，将榴莲品质深度特征向量输入至分层深度学习分类模型，并判断是否执行步长自适应分级阈值动态调节，若是，则在调节后调取适配当前可调分级判定阈值，若否，则调取适配当前可调分级判定阈值，输出待测榴莲对应的成熟度等级标签，同步量化输出霉变区域面积、果腔空腔体积、果肉充盈程度的内部健康量化指标；步骤s4，将单果重量传感数据、成熟度等级标签和输出霉变区域面积、果腔空腔体积、果肉充盈程度的内部健康量化指标进行关联整合，生成结构化标准化数据报表。

3、另一方面，提供了一种基于深度学习的榴莲成熟度等级识别系统，该系统包括：多源传感数据同步采集模块、动态阈值校正模块、分层分类判决量化输出模块和标准化报表生成模块；其中，多源传感数据同步采集模块，用于采集待测榴莲的多波段射频介电成像图与高光谱图像并进行降噪预处理，同步采集待测榴莲的单果重量传感数据；动态阈值校正模块，用于构建跨模态深度学习特征提取网络，将经过降噪预处理的多波段射频介电成像图与高光谱图像共同输入至跨模态深度学习特征提取网络，并判断是否执行动态阈值截断校正，若是，在校正后输出融合后统一维度的榴莲品质深度特征向量，若否，则直接输出融合后统一维度的榴莲品质深度特征向量；分层分类判决量化输出模块，用于预先构建分层深度学习分类模型，将榴莲品质深度特征向量输入至分层深度学习分类模型，并判断是否执行步长自适应分级阈值动态调节，若是，则在调节后调取适配当前可调分级判定阈值，若否，则调取适配当前可调分级判定阈值，输出待测榴莲对应的成熟度等级标签，同步量化输出霉变区域面积、果腔空腔体积、果肉充盈程度的内部健康量化指标；标准化报表生成模块，用于将单果重量传感数据、成熟度等级标签和输出霉变区域面积、果腔空腔体积、果肉充盈程度的内部健康量化指标进行关联整合，生成结构化标准化数据报表。

4、有益效果

5、本发明实施例提供的技术方案带来的有益效果至少包括：

6、在数据采集与预处理层面，通过同步采集多波段射频介电成像图与高光谱图像，并针对果刺阴影、果皮厚度不均等典型干扰进行像素灰度校正与无效波段剔除，有效消除了榴莲厚壳造成的图像畸变和噪声污染，为后续特征提取提供了高质量、低噪声的输入数据，从源头上保障了识别精度。在跨模态特征融合与动态校正层面，构建的跨模态深度学习特征提取网络能够将射频介电成像与高光谱图像进行像素级深度融合，充分挖掘两类异构图像在空间-频域上的互补信息；同时，通过基于单波段光谱反射率像素值分布偏度系数自适应调整截断阈值的动态校正机制，能够智能剔除镜面反射高亮像素和阴影遮挡低值无效像素，使有效光谱反射率数据被约束在最优动态区间内，消除了产地差异和环境光照波动带来的基线漂移，提升了特征表达的鲁棒性和一致性。在分层分类判决与量化输出层面，预先构建并训练了覆盖多产区、多品种、全储运周期、完整成熟梯度及各类内部缺陷的高质量数据集的分层深度学习分类模型，通过样本均衡化处理有效消除了类别偏置，增强了模型对稀缺等级样本的识别能力；采用步长自适应分级阈值动态调节机制，基于滑动窗口混淆矩阵实时统计a级误判率和c级漏判率，并结合变化趋势斜率和动量式步长自适应算法动态优化a/b级和b/c级可调判定阈值，使分级标准能够随原料品质波动自适应收紧或放宽，在保证分级精度的同时兼顾了不同销售市场的差异化需求，且模型输出成熟度等级标签的同时，同步量化输出霉变区域面积、果腔空腔体积、果肉充盈程度等内部健康指标，突破了传统方案仅输出单一等级结论的局限，实现了品质信息的多维度精细化描述。在数据整合与输出层面，通过将单果重量传感数据、成熟度等级标签和内部健康量化指标进行自动关联整合，生成结构化标准化数据报表，无需人工二次整理录入，可直接对接仓储管理系统和追溯平台，提升了分选线的自动化、信息化水平。

1.一种基于深度学习的榴莲成熟度等级识别方法，其特征在于，包括以下步骤：

2.如权利要求1所述一种基于深度学习的榴莲成熟度等级识别方法，其特征在于：所述判断是否执行动态阈值截断校正的具体流程为：

3.如权利要求2所述一种基于深度学习的榴莲成熟度等级识别方法，其特征在于：所述判断是否执行动态阈值截断校正，还包括：

4.如权利要求3所述一种基于深度学习的榴莲成熟度等级识别方法，其特征在于：所述确定最终反射率上限截断阈值以及最终反射率下限截断阈值的具体流程为：

5.如权利要求1所述一种基于深度学习的榴莲成熟度等级识别方法，其特征在于：所述判断是否执行步长自适应分级阈值动态调节的具体流程为：

6.如权利要求5所述一种基于深度学习的榴莲成熟度等级识别方法，其特征在于：所述判断是否执行步长自适应分级阈值动态调节，还包括：

7.如权利要求6所述一种基于深度学习的榴莲成熟度等级识别方法，其特征在于：所述确定第一可调分级判定阈值的调节方向和调节量，还包括：

8.如权利要求7所述一种基于深度学习的榴莲成熟度等级识别方法，其特征在于：所述对第一阈值更新步长和第二阈值更新步长进行动态更新的具体流程为：

9.如权利要求1所述一种基于深度学习的榴莲成熟度等级识别方法，其特征在于：所述输出待测榴莲对应的成熟度等级标签的具体流程为：

10.应用如权利要求1-9中任意一项所述一种基于深度学习的榴莲成熟度等级识别方法的系统，其特征在于，包括：多源传感数据同步采集模块、动态阈值校正模块、分层分类判决量化输出模块和标准化报表生成模块；