一种基于改进YOLOv5m的柑橘果实快速识别与定位方法、系统及应用

本发明涉及计算机视觉与农副产品智能检测，具体是指一种基于改进yolov5m的柑橘果实快速识别与定位方法、系统及应用。

背景技术：

1、柑橘是我国第一大水果品种，同时也是世界第三大贸易农产品。截至2022年，我国柑橘年产量已达5595.6万吨，种植面积接近4500万亩，柑橘产业在我国乡村振兴与区域经济发展中发挥着不可替代的支柱作用。随着人工智能技术的快速发展，现代柑橘产业正加速向智能化、自动化方向转型，其中果实目标的精准识别与定位是实现自动采摘、生长状态监测、变量喷药等智能化作业的核心支撑技术。

2、然而在柑橘果园的自然环境中，机器视觉检测技术仍面临诸多技术瓶颈：

3、1、果实遮挡与重叠严重：柑橘果实常密集簇生于枝干，果实间相互遮挡，或被枝叶、枝干遮挡。传统目标检测算法难以准确识别被遮挡的果实，易导致采摘机器人末端执行器因定位错误发生碰撞损坏。

4、2、果实与背景颜色相似度高：柑橘果实颜色与叶片、枝干背景在视觉上高度相似，且在顺光、逆光、侧光、阴天等不同光照条件下，果实表面阴影与色彩变化复杂。传统基于颜色、纹理的手工特征提取方法（如otsu、svm、hog等）泛化能力与鲁棒性不足，易出现误检与漏检。

5、3、现有深度学习模型难以兼顾精度与速度：yolov3、yolov4、fasterr-cnn等深度学习模型已应用于水果检测领域，但在复杂果园场景下，这类模型对密集小目标、重叠目标的检测精度不足；同时模型参数量大、计算量高，难以直接部署于采摘机器人的嵌入式硬件设备，无法满足实时检测的作业需求。

6、4、全局特征与局部特征融合能力不足：现有基于卷积神经网络的检测模型擅长提取局部细节特征，但缺乏对全局上下文信息的建模能力，在果实与叶片颜色相近、遮挡严重的场景下，易因缺乏全局语义支撑产生误检与漏检。

7、因此，亟需开发一种轻量化、高精度、强鲁棒性的柑橘果实检测方法，能够在复杂自然果园环境下实现柑橘果实的实时、准确识别与定位，为采摘机器人提供可靠的视觉技术支撑。

技术实现思路

1、本发明的目的在于克服现有技术的上述不足，提供一种基于改进yolov5m的柑橘果实快速识别与定位方法。本发明通过对yolov5m网络的骨干结构与特征融合结构进行优化，引入visiontransformer增强全局特征建模能力，引入卷积块注意力模块强化关键特征表达，同时采用ghostconv轻量化卷积降低模型参数量与计算量，最终在复杂果园环境下实现柑橘果实的高精度、实时性检测，为采摘机器人的自动化作业提供稳定可靠的技术支撑。

2、为解决上述技术问题，本发明提供的技术方案为：一种基于改进yolov5m的柑橘果实快速识别与定位方法，包括如下步骤：

3、（1）采集柑橘果园自然环境下不同光照、不同遮挡条件的柑橘果实图像，对图像进行数据增强处理与人工标注，构建包含训练集、验证集与测试集的柑橘果实检测数据集；

4、（2）构建改进的yolov5m检测模型：将原始yolov5m骨干网络与颈部网络中cbs模块内的常规卷积替换为ghostconv轻量化卷积，在保持特征提取能力的同时减少模型参数量与计算量；

5、（3）在所述骨干网络的末端与颈部网络的末端分别嵌入visiontransformer编码器模块，通过多头自注意力机制建立特征图全局像素间的长距离依赖关系，增强模型对柑橘果实全局语义特征的建模能力；

6、（4）在所述颈部网络的panet结构中嵌入cbam卷积块注意力模块，依次通过通道注意力与空间注意力进行自适应特征加权，强化柑橘果实关键通道与空间区域的特征表达，同时抑制背景干扰信息；

7、（5）将步骤（1）构建的柑橘果实检测数据集输入改进的yolov5m检测模型进行训练，采用k-means聚类算法生成适配柑橘果实尺寸分布的先验锚框，以ciouloss作为边界框回归损失函数，结合置信度损失与分类损失进行端到端优化，训练完成后选取验证集上平均精度均值最优的权重作为最终检测模型；

8、（6）将待检测的柑橘果园图像输入最终检测模型，经骨干网络多尺度特征提取、颈部网络特征融合后，由检测头输出预测边界框、置信度与类别概率，再通过非极大值抑制去除冗余检测框，最终输出柑橘果实的位置坐标与类别信息，完成果实的识别与定位。

9、进一步的，步骤（1）中所述数据增强处理包括亮度调整、饱和度调整、对比度增强、镜像翻转、高斯模糊、图像旋转及添加高斯噪声。

10、进一步的，步骤（2）中所述ghostconv轻量化卷积的具体实现方式为：首先通过少量常规卷积生成基础特征图，再通过廉价的深度卷积操作基于基础特征图生成冗余特征图，最终将基础特征图与冗余特征图拼接融合后输出。

11、进一步的，步骤（3）中所述visiontransformer编码器模块依次包括patchembedding层、位置编码层、多头自注意力层、层归一化层及前馈网络层；其中patchembedding层将输入特征图映射为向量序列，位置编码层叠加空间位置信息，多头自注意力层实现全局长距离特征依赖建模。

12、进一步的，步骤（4）中所述cbam卷积块注意力模块沿通道维度与空间维度依次执行注意力加权；通道注意力子模块通过全局平均池化与全局最大池化生成通道权重，空间注意力子模块通过平均池化与最大池化处理后经卷积运算生成空间权重。

13、进一步的，步骤（5）中模型训练过程采用warm-up预热策略与余弦退火学习率调度策略对学习率进行动态调整。

14、进一步的，步骤（5）中训练过程的边界框回归损失采用ciouloss，同时综合置信度损失与分类损失构成总损失函数，实现模型端到端的联合优化。

15、一种基于改进yolov5m的柑橘果实检测系统，包括：图像采集模块，用于采集柑橘果园自然环境下不同光照、不同遮挡条件的柑橘果实原始图像；图像预处理模块，用于对采集的原始图像进行数据增强处理与标注，构建柑橘果实检测数据集；改进yolov5m检测模型，包括采用ghostconv替换常规卷积的cbs模块、嵌入visiontransformer编码器的骨干网络与颈部网络、以及嵌入cbam卷积块注意力模块的颈部网络；模型训练模块，用于利用柑橘果实检测数据集对改进yolov5m检测模型进行训练与优化，输出最优检测权重；目标检测与定位模块，用于将待检测图像输入训练完成的模型，输出柑橘果实的位置边界框与类别信息。

16、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述基于改进yolov5m的柑橘果实快速识别与定位方法。

17、一种采摘机器人，搭载有上述基于改进yolov5m的柑橘果实检测系统，用于根据检测输出的柑橘果实位置信息执行自动化采摘作业。。

18、采用以上结构后，本发明具有如下优点：1、模型轻量化程度高，便于嵌入式部署：通过ghostconv替换常规卷积，模型参数量由原始yolov5m的2.39×107降至1.83×107，权重文件大小由45.2mb压缩至44.1mb，显著降低了存储开销与计算开销，具备在采摘机器人嵌入式gpu设备上实时运行的潜力。

19、2、检测精度显著提升：引入visiontransformer与cbam注意力机制后，模型对柑橘果实全局语义特征与关键局部特征的表达能力大幅增强，在自建柑橘数据集上的平均精度均值（map）达到95.1%，在果实遮挡、重叠、果实与叶片颜色相近等复杂场景下仍能保持较高的识别准确率。

20、3、复杂环境鲁棒性强：本方法对晴天强光、阴天弱光、顺光、逆光、侧光及枝叶遮挡等多种复杂果园环境具有良好的适应性，误检率与漏检率均低于yolov3、yolov4及原始yolov5m模型。

21、4、检测速度满足实时作业需求：单幅图像平均检测速度达0.016s（约62.5fps），完全满足采摘机器人对目标检测的实时性要求，可为末端执行器提供快速、准确的目标定位信息。

22、5、降低采摘设备损坏风险：通过提升遮挡果实与重叠果实的识别准确率，减少因定位错误导致的末端执行器碰撞损坏，提高采摘作业的可靠性与安全性。