基于改进yolov5网络的广佛手病虫害识别方法及系统与流程

本发明涉及病虫害识别技术领域，更具体的说是涉及一种基于改进yolov5网络的广佛手病虫害识别方法及系统。

背景技术

广佛手是常用的南药，其根、茎、叶、花、果均可入药。广佛手病虫害是影响广佛手生长与生产的主要因素之一，广佛手病虫害的种类繁多，其中有很多体积微小的病虫害，快速发现并对微小病虫害进行精确识别，并及时对广佛手病虫害进行有效管理与控制，能减少生产损失，提升广佛手的产量与质量。因此，对微小病虫害进行精确识别，对保证广佛手的生长与生产起着重要作用。

基于深度学习的目标检测方法是当前最热门植物病虫害识别方法。目标检测的任务是找出图像或视频中感兴趣的目标物体，同时检测出它们的位置及大小。主流的植物病虫害检测方法，通常采用在简单背景下拍摄的单张病虫害叶片图像构成的数据集对模型进行训练，仅仅只能对晴天拍摄的病虫害图像进行检测识别，并未考虑田间的复杂背景环境及常见的雨天天气等因素的影响。同时，当前主流的目标检测算法的网络模型对于微小病虫害等小目标的识别效果较差，且结构复杂、网络模型大小偏大，难以部署在终端设备及其他硬件设备中。

因此，如何提供一种能够在田间复杂环境下对广佛手病虫害进行精确识别的方法及系统是本领域技术人员亟需解决的问题。

技术实现要素：

有鉴于此，本发明提供了一种基于改进yolov5网络的广佛手病虫害识别方法及系统，将改进的yolov5网络与Attentive GAN算法相结合，不仅能实现在雨天天气条件下对广佛手病虫害的识别，还能降低网络参数量和网络模型的大小，提高识别准确率。

为了实现上述目的，本发明采用如下技术方案：

一种基于改进yolov5网络的广佛手病虫害识别方法，包括以下步骤：

获取广佛手病虫害图像，并进行标注，构建初始数据集；

引入yolov5网络模型，并对yolov5网络模型的骨干网络和Neck模块进行改进；

利用所述初始数据集对改进后的yolov5网络模型进行训练、验证和测试，得到最终的病虫害识别模型；

对待检测图像进行预处理；判断待检测图像为晴天拍摄或雨天拍摄，若为雨天拍摄，则利用Attentive GAN算法对待检测图像进行处理；若为晴天拍摄，则不进行处理；

基于所述病虫害识别模型对预处理后的待检测图像进行病虫害识别。

进一步的，对yolov5网络模型的骨干网络进行改进的过程包括：

在原yolov5网络模型的骨干网络的基础上，添加4个Involution自卷积模块，并将骨干网络中的3个C3模块分别替换为两个ESPMIXConv2d模块和一个ESPConv2d模块；改进后的骨干网络包括：Focus模块、Conv模块、Involution自卷积模块、C3模块、ESPMIXConv2d模块、SPP模块和ESPConv2d模块；其中，所述ESPMIXConv2d模块依次对输入的特征图进行分割处理，分组卷积和空洞卷积处理；所述ESPConv2d模块对输入的特征图进行普通卷积和空洞卷积处理。

进一步的，所述ESPMIXConv2d模块对输入的特征图进行处理的过程为：

将输入的特征图的输入通道进行分割操作，当输入特征图输入通道数为c时，将输入特征图分割成特征图1和特征图2；其中，所述特征图1和所述特征图2的通道数为c/2；

对所述特征图1进行卷积核为1*1，步长为1，分组数groups＝c/2的分组卷积，并将分组卷积后的所述特征图1分别输入扩张率为1和扩张率为2的空洞卷积；

对所述特征图2进行卷积核为3*3，步长为1，分组数groups＝c/2的分组卷积，并将分组卷积后的特征图2分别输入扩张率为1和扩张率为2的空洞卷积；

将使用扩张率为1的空洞卷积的特征图1和特征图2进行Concat连接；将使用扩张率为2的空洞卷积的特征图1和特征图2进行Concat连接；

将两个Concat的连接的输出进行Add相加操作，得到输出特征图。

进一步的，对yolov5网络模型的Neck模块进行改进的过程为：

引入CBAM注意力模块，并将所述CBAM注意力模块与将原yolov5网络模型中Neck模块的Upsample上采样模块封装在一起，组成upCBAM模块；其中，所述CBAM注意力模块包括通道注意力模块和空间注意力模块；

将原yolov5网络模型的Upsample上采样模块替换为所述upCBAM模块。

进一步的，所述upCBAM模块对输入的特征图进行处理的过程为：

将输入的特征图与经所述通道注意力模块的输出的特征图进行乘法操作，输出特征M；

将输出的特征M与经所述空间注意力模块输出的特征M进行乘法操作，得到特征M'；

利用所述Upsample上采样模块对特征M'进行上采样操作，得到最终输出的特征图。

进一步的，所述获取广佛手病虫害图像，并进行标注，构建初始数据集，包括：

对广佛手发病叶片进行东、南、西、北四个方向拍摄，得到广佛手病虫害图像；

对广佛手病虫害类别进行分类，并利用labelImg工具对所述广佛手病虫害图像一一进行标记，得到初始数据集。

进一步的，所述初始数据集包括训练集、验证集和测试集；利用所述训练集用于对改进后的yolov5网络模型进行训练；利用所述验证集对训练好的yolov5网络模型进行验证；利用所述Attentive GAN算法对所述测试集进行处理，再利用处理后的所述测试集对验证后yolov5网络模型的性能进行测试，得到最终的病虫害识别模型。

本发明还提供一种基于改进yolov5网络的广佛手病虫害识别系统，包括：

图像预处理模块，用于判断待检测图像为晴天拍摄或雨天拍摄，若为雨天拍摄，则利用Attentive GAN算法对待检测图像进行处理；若为晴天拍摄，则不进行处理；

病虫害识别模块，用于对yolov5网络模型的骨干网络和Neck模块进行改进，并利用改进的yolov5网络模型对待检测图像进行病虫害识别。

进一步的，改进的所述骨干网络包括：Focus模块、Conv模块、4个Involution自卷积模块、C3模块、2个ESPMIXConv2d模块、SPP模块和ESPConv2d模块；

改进的Neck模块中的采样模块由通道注意力模块、空间注意力模块和Upsample上采样模块封装组成。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于改进yolov5网络的广佛手病虫害识别方法及系统，在原有yolov5模型的骨干网络中提出了两个创新性结构ESPMIXConv2d模型和ESPConv2d模型，这两个模型能有效减少模型参数量并提高感受野，进而提高网络模型性能，并加入了Involution自卷积模块，进一步减少网络模型大小、提高网络精确度。同时，使用Attentive GAN算法对雨天拍摄的病虫害图像进行处理，使得改进的yolov5网络模型能有效识别晴天、雨天天气条件下拍摄的广佛手病虫害。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的一种基于改进yolov5网络的广佛手病虫害识别方法流程图；

图2附图为本发明提供的改进的yolov5网络模型的结构示意图；

图3附图为本发明提供的ESPMIXConv2d模块的结构示意图；

图4附图为本发明提供的ESPConv2d模块的结构示意图；

图5附图为本发明提供的upCBAM模块的结构示意图；

图6附图为本发明提供的使用Attentive GAN算法处理雨天拍摄的病虫害图像示意图；

图7(a)-(c)附图为本发明提供的改进后的yolov5网络模型的目标检测结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例公开了一种基于改进yolov5网络的广佛手病虫害识别方法，包括以下步骤：

S1、获取广佛手病虫害图像，并进行标注，构建初始数据集；

S2、引入yolov5网络模型，并对yolov5网络模型的骨干网络和Neck模块进行改进；

S3、利用所述初始数据集对改进后的yolov5网络模型进行训练、验证和测试，得到最终的病虫害识别模型；

S4、对待检测图像进行预处理；判断待检测图像为晴天拍摄或雨天拍摄，若为雨天拍摄，则利用Attentive GAN算法对待检测图像进行处理；若为晴天拍摄，则不进行处理；

S5、基于所述病虫害识别模型对预处理后的待检测图像进行病虫害识别。

下面对上述各步骤进行详细说明。

S1包括：

S11、确定广佛手园区现存病虫害的类别，使用相机或高清手机对广佛手病虫害进行拍摄，广佛手病虫害发病集中在叶片区域，故对广佛手发病叶片进行拍摄，拍摄角度包括东、南、西、北四个方向。

S12：拍摄的广佛手病虫害类别共3类，分别为：广佛手潜叶蛾、广佛手炭疽病、广佛手白粉病，利用labelImg工具对拍摄的广佛手病虫害进行标记，得到初始数据集。将数据集分为训练集、验证集和测试集，其中训练集占初始数据集的60％，验证集占初始数据集的20％，测试集占初始数据集的20％。

S2中构建如图2所示改进的yolov5网络模型，其中，骨干网络部分，在原yolov5网络模型的骨干网络的基础上，添加了4个Involution自卷积模块，Involution自卷积模块能有效提高网络的精度与效率；同时将骨干网络中的3个C3模块分别替换为本发明提供的两个ESPMIXConv2d模块和一个ESPConv2d模块，其中，ESPMIXConv2d模块的结构如图3所示，ESPConv2d模块的结构如图4所示。

改进的yolov5的Neck部分为FPN结构，其中将原yolov5的Upsample上采样模块替换为upCBAM模块，该upCBAM模块将CBAM注意力模块与Upsample上采样模块封装在一起，结构如图5所示；将所有模块按如图2所示顺序进行堆叠，完成改进yolov5网络模型的搭建。具体包括：

S21：在改进的yolov5的骨干网络中，输入大小为640*640、通道数为3的图像，输入图像经Focus模块、Conv模块、Involution自卷积模块、C3模块、ESPMIXConv2d模块、SPP模块和ESPConv2d模块，对输入图像进行特征提取。

如图3所示，ESPMIXConv2d模块对输入的特征图进行处理的过程为：

将输入特征图的输入通道进行分割操作，当输入特征图输入通道数为c时，将输入特征图分割成特征图1和特征图2，其中特征图1和特征图2的通道数为c/2；

对输入特征图1进行卷积核为1*1，步长为1，分组数groups＝c/2的分组卷积；将分组卷积后的输出特征图分别输入扩张率为1和扩张率为2的空洞卷积；

同样，对输入特征图2进行卷积核为3*3，步长为1，分组数groups＝c/2的分组卷积；

将分组卷积后的输出特征图分别输入扩张率为1和扩张率为2、卷积核为3*3、步长为1的空洞卷积；将使用扩张率为1的空洞卷积的两个输出特征图进行Conca连接，同样将使用扩张率为2的空洞卷积的两个输出特征图进行Conca连接，将两个Concat的连接的输出进行Add相加操作，得到输出特征图。

ESPConv2d模块对输入的特征图进行处理的过程如图4所示，与ESPMIXConv2d模块的处理过程相似，ESPConv2d结构没有使用分组卷积，而是直接使用卷积核为1*1、3*3，步长为1的普通卷积。

本发明实施例中，借鉴ESPNet和MIXNet设计的ESPMIXConv2d模块和ESPConv2d模块参数量小、内存占用小且能扩大感受野，能提高网络的整体性能。

S22：在改进的yolov5的FPN结构中，upCBAM模块对输入的特征图进行处理的过程如图5所示：

将输入的特征图经通道注意力模块的输出与输入特征图进行乘法操作，输出特征M；

将输出的特征M经空间注意力模块的输出再与特征M进行乘法操作，得到得到特征M'；

利用所述Upsample上采样模块对特征M'进行上采样操作，得到输出特征图。

改进的yolov5的输出网络为3个YOLO Head，预测尺度分别为：20*20*24、40*40*24、80*80*24。

S3、将训练数据集、验证数据集传入搭建好的改进的yolov5网络进行训练，使用yolov5自带的Mosaic数据增强方法进行数据增强，设置训练的输入图像大小为640*640，batch_size设置为16,训练次数epoch为300，使用yolov5s.pt作为预训练权重进行训练。完成训练，并保存训练后最佳的网络权重文件以及最后一次训练的网络权重文件；

对测试集中雨天拍摄广佛手病虫害图像利用如图6所示的Attentive GAN算法进行预处理，晴天拍摄的图像不处理。

将训练后最佳的网络权重文件加载至改进的yolov5网络模型中，并利用预处理后的训练集对模型性能进行测试，得到最终的病虫害识别模型。

S4、获取待检测图像，并判断待检测图像是晴天拍摄还是雨天拍摄，若为雨天拍摄，则利用Attentive GAN算法对待检测图像进行处理；若为晴天拍摄，则不进行处理，直接输入病虫害识别模型。

S5、将预处理后的待检测图像输入所述病虫害识别模型，并基于所述病虫害识别模型对预处理后的待检测图像进行病虫害识别，输出检测结果，检测结果中对叶片的发病部位进行标记，并显示病虫害类别和检测结果的准确率。检测结果如图7(a)-7(c)所示，可知，本发明的病虫害识别模型能够精确识别广佛手叶片中的发病部位。

本发明还对基于改进的yolov5网络模型和原yolov5网络模型进行了性能验证，实验环境为：CPU Intel(R)Core(TM)i7-6800K CPU@3.40GHz,GPU为GeForce GTX 1080Ti,显卡内存为11GB，系统版本为Windows 10专业版，Cuda版本为11.0，使用的深度学习框架为Pytorch 1.7.0,测试结果如下表1所示：

表1

改进后的yolov5模型比原yolov5s参数量、计算量更小，改进后的yolov5模型的mAP@.5为0.871，原yolov5s模型的mAP@.5为0.851，改进后的yolov5精度更高。在模型大小方面，改进后的yolov5模型仅有8.8MB,比原yolov5s模型小5.6MB。综合来看，改进后的yolov5s模型更小，参量量、计算量更小，准确度较高。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。