基于图像识别的玉米籽粒霉变识别方法

本发明涉及农产品检测及图像处理，具体为基于图像识别的玉米籽粒霉变识别方法。

背景技术：

1、玉米在储藏和流通环节中极易发生霉变，不仅造成重大的经济损失，霉变产生的毒素还会严重威胁人畜健康。快速、准确地识别玉米籽粒霉变区域对保障粮食质量安全具有重要价值。现有的玉米籽粒霉变识别手段长期依赖人工目测和化学检测，人工目测主观性强、效率低下，化学检测法耗时长、具有破坏性。基于机器视觉的无损检测方法逐渐得到应用，其中可见光彩色图像分析通过提取颜色、纹理等特征来区分霉变与正常籽粒。然而，玉米籽粒品种繁多，胚乳、种皮等部位的自然色素沉着与早期霉变引起的色泽变化难以在红绿蓝颜色空间下可靠分离，单纯依靠可见光信息容易造成误判。同时，近红外成像技术能够反映籽粒内部水分状态，而霉变活动通常伴随局部水分升高。但仅利用水分分布图进行阈值判别，难以区分因霉变导致的生理水分升高与环境湿度变化或籽粒自身含水量差异，漏检和虚警率较高。将可见光图像和近红外水分信息进行融合是一种改进思路，现有融合方式大多在特征层或决策层进行简单拼接或加权，未能充分挖掘像素级互补信息，对霉变所致颜色饱和度下降与水分富集的联合特征利用不足，无法构建对霉变具有高度敏感性的协同特征空间。

2、在利用深度学习对融合图像进行分割时，常规语义分割网络直接对输入图像进行编码解码，不同尺度特征层之间缺少对霉变区域结构一致性的显式建模，生成的分割结果往往边缘模糊，难以精确贴合霉变边界。利用条件随机场进行后处理优化时，需要可靠的初始显著图作为引导，而现有方法难以通过多级特征图之间的结构关系生成具有良好区域一致性的显著热力图，导致最终分割精度受限。亟需解决在像素层级有效整合颜色饱和度与水分异常信息，以及从多尺度深度特征中定位出结构清晰的霉变显著区域并精细优化其边界的技术难题。

技术实现思路

1、提供一种基于图像识别的玉米籽粒霉变识别方法，能够深度融合彩色图像色度饱和度特征与近红外水分分布特征，并生成边界精细的霉变区域识别结果，以克服现有方法中霉变敏感特征表达不足和霉变区域分割边界粗糙的问题。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种基于图像识别的玉米籽粒霉变识别方法，通过融合玉米籽粒的彩色图像色度饱和度信息与近红外图像水分分布信息，并结合深度学习与概率图模型，实现对玉米籽粒霉变区域的高精度识别与边界优化。

3、该方法首先获取待识别玉米籽粒样本的原始彩色图像和近红外图像。对所述原始彩色图像进行颜色空间转换，提取色度饱和度分量图。作为一个优选的技术方案，将该原始彩色图像从红绿蓝颜色空间转换到色调饱和度明度颜色空间，从转换后的空间中分离出色调分量和饱和度分量，分别对这两个分量进行中值滤波降噪，再将降噪后的色调分量与饱和度分量按像素点相乘，得到能够突出霉变所致颜色变异特征的色度饱和度分量图，其中中值滤波的窗口大小优选设置为5×5像素，以在去除噪声的同时保持霉变边界的清晰度。对所述近红外图像进行辐射校正，生成水分分布图。优选的，采集近红外图像中每个像素点的辐射亮度值，依据预先标定的水分含量与辐射亮度值之间的线性回归模型，将辐射亮度值转换为初始水分估计值，并以该初始水分估计值的全局均值为基准进行归一化处理，得到归一化水分值，再按照像素空间位置排列生成水分分布图，该分布图能够精准反映籽粒内部因霉变活动导致的水分含量空间变化。

4、将色度饱和度分量图与水分分布图进行像素级融合，构建霉变敏感特征张量。具体而言，将色度饱和度分量图和水分分布图调整至相同的空间分辨率，优选的采用双三次插值算法以保证图像平滑度；在每一个像素位置处，将两幅图的像素值串联成一个二维特征向量，再将所有像素位置的特征向量按原始图像的行列顺序堆叠，形成一个具有两个通道的霉变敏感特征张量。该特征张量集成了颜色畸变与水分异常两种互补的霉变表征信息，增强了对早期或隐性霉变的敏感性。

5、利用预训练的深度卷积网络对霉变敏感特征张量进行特征编码，得到多个层次的特征图。作为一个优选的实施方式，将该特征张量输入到在imagenet数据集上预训练的resnet-50模型中，依次经过模型的多个卷积块，每个卷积块输出一个中间特征图，其空间尺寸随卷积块加深而递减，通道数随卷积块加深而递增；提取模型中最后三个卷积块输出的中间特征图，分别作为表达不同尺度语义信息的浅层特征图、中间层特征图和最高层特征图。浅层特征保留了丰富的空间细节，深层特征则蕴含了高级的霉变语义。

6、基于所提取的多层次特征图，计算相邻层次特征图之间的结构相似性指数，并据此生成显著霉变区域的热力图。优选的，将最深层次的最高层特征图进行双线性上采样至与中间层特征图一致的空间尺寸，计算两者每个局部窗口的结构相似性指数，得到第一相似性映射图；再将中间层特征图进行双线性上采样至与浅层特征图一致的空间尺寸，计算相似性得到第二相似性映射图；最后将第一和第二相似性映射图按像素取平均值，生成热力图。该热力图通过捕捉跨尺度的特征一致性变化，能够精准定位霉变引起的组织结构异常区域，并有效抑制背景噪声。

7、对热力图进行自适应阈值分割，获得初始霉变区域掩膜。优选的，统计热力图所有像素的强度值生成强度直方图，采用大津法计算该直方图的最佳分割阈值；将热力图中强度值大于阈值的像素标记为疑似霉变像素，小于或等于阈值的像素标记为背景像素；进一步对标记结果进行连通域分析，具体采用八邻域连通规则提取所有连通域，计算每个连通域的像素总个数作为面积，将面积小于预设最小霉变面积的孤立连通域内的所有像素强制标记为背景像素，保留面积大于或等于该预设面积的连通域，形成初始霉变区域掩膜。该过程自动确定了最优分割标准，并剔除了由噪声引入的微小误检区域，提高了分割结果的鲁棒性。

8、将初始霉变区域掩膜与原始彩色图像叠加，利用条件随机场优化霉变区域的边界，输出最终霉变识别结果。作为一个优选方案，将该初始掩膜作为条件随机场模型的初始标签赋值，以原始彩色图像中的每个像素作为观测节点，在相邻像素之间构建边连接。定义一元势函数时，从初始掩膜中读取每个像素的标签值，统计以该像素为中心的局部窗口内标签为霉变的像素占比作为霉变置信度，对置信度取负对数得到标记为霉变时的一元势函数值，对一减去置信度的值取负对数得到标记为非霉变时的一元势函数值。定义二元势函数时，依据相邻像素在原始彩色图像中的颜色差异和空间距离进行计算，使得颜色相近且空间邻近的像素更倾向于被赋予相同标签。通过对该条件随机场模型进行平均场推断，迭代更新每个像素的标签直至收敛，得到优化后的霉变区域掩膜作为最终识别结果。此步利用图像的低层颜色和空间信息对初始分割边界进行精细化调整，使最终输出的霉变区域边界与玉米籽粒的实际霉变轮廓高度吻合，显著提升了识别结果的精准度与完整性。

9、在上述技术方案中，本发明提供的技术效果和优点：

10、获取待识别玉米籽粒样本的原始彩色图像和近红外图像，对原始彩色图像执行从红绿蓝颜色空间到色调饱和度明度颜色空间的转换，分离出色调分量和饱和度分量，分别经过中值滤波降噪后按像素点相乘，得到色度饱和度分量图。该分量图突出了籽粒表面颜色的纯度信息，霉变区域因菌丝体侵蚀和色素降解通常表现出饱和度显著下降的特性。同时对近红外图像进行辐射校正，依据预先标定的水分含量与辐射亮度值的线性回归模型，将每个像素点的辐射亮度值转换为初始水分估计值，并以全局均值为基准归一化生成水分分布图，该分布图精确刻画了霉变引发的局部高水分状态。在每一个像素位置将色度饱和度分量图的像素值与水分分布图的像素值串联，构建成具有两个通道的霉变敏感特征张量。该张量在像素维度上同时编码了颜色饱和度与含水量这两种对霉变反应敏感且相互补充的物理量，霉变区域表现为低饱和度与高水分的耦合，而正常组织的高饱和度或低水分特性与之形成鲜明的对比。将这种联合特征输入深度网络，代替单一模态的图像信息，网络能够直接在特征空间中学习到霉变与正常组织之间的显著判别边界，消除了因玉米品种、颗粒形态以及环境光照变化引入的伪影和干扰，大幅提高了霉变检测的准确性和鲁棒性。

11、利用预训练的残差网络模型对霉变敏感特征张量进行多级特征编码，依次输出多个深度卷积块产生的层次化特征图，提取空间尺寸逐层递减而通道数递增的最后三个卷积块的中间特征图。对最深层次的高层特征图进行双线性上采样至与中间层特征图相同尺寸，计算两者在每个局部窗口的结构相似性指数，得到第一相似性映射图；再将中间层特征图上采样至与浅层特征图一致，计算第二相似性映射图；最后将两个相似性映射图按像素取平均，生成显著霉变区域的热力图。结构相似性指数综合了局部亮度、对比度及结构相关性的度量，使得不同抽象层次特征图中共同具备稳定霉变结构特征的区域获得高响应，而仅在某单一尺度出现或由噪声引起的杂乱结构被抑制。这样得到的热力图能够完整突显霉变区域的整体形态，并有效平滑内部响应，消除背景中非目标纹理造成的虚警。进而通过大津法自适应确定分割阈值并剔除小面积孤立连通域，获得初始霉变区域掩膜。将初始掩膜作为条件随机场模型的初始标签赋值，引入原始彩色图像各像素作为观测节点，定义基于局部霉变置信度的一元势函数和基于相邻像素颜色差异与空间距离的二元势函数，通过平均场推断迭代更新每个像素的标签。颜色差异驱动力使得边界曲线向图像梯度显著的位置收敛，空间距离约束则保证了区域连通性，最终输出的霉变区域掩膜边界平滑细腻，消除了初始掩膜中常见的锯齿状边缘和内部孔洞，获得高精度的霉变识别结果。