基于轻量级优化Yolov4的茶叶病害识别方法及系统

基于轻量级优化yolo v4的茶叶病害识别方法及系统
技术领域
1.本发明涉及农作物病害目标检测技术领域，更具体的说是涉及一种基于轻量级优化yolo v4的茶叶病害识别方法和系统。


背景技术：

2.中国四大产茶区的茶叶总产量占据了全球茶叶产量的40％以上，位居世界第一。然而，多发、易通过风雨传播的茶叶部病害(如茶白星病、茶炭疽病、茶藻斑病等)历来是严重影响茶叶产量的关键因素。因此，在茶叶生长周期内尽早实现对茶叶病害的快速识别、减少农药剂量的使用，对于提高茶农对病害的响应速度、辅助茶农治理病害、促进我国茶业生产的智能化发展具有重要意义。常见的茶叶病害主要有茶白星病、茶炭疽病、茶叶枯病和茶藻斑病等。茶农和植保专家对茶叶病害的判别和分析易受主观经验的影响，缺乏客观的可量化标准，且人工发现病害的时间点往往具有滞后性。近年来，以深度学习为代表的各种算法和模型极大得促进了人工智能在农作物病害识别领域中的应用与发展，主要有病害图像分类和目标病害识别两大应用方向。
3.目前，基于深度学习的茶叶病害分类研究中，研究者往往将所采集的茶叶病害图片裁剪成每张只有一片病害茶叶的图片，再通过分类网络如alexnet、vgg16、轻量级mobilenet等进行简单的病害分类，这并未充分考虑到真实茶园场景中叶片相互遮挡、成像质量不稳定的复杂性以及识别病害的实时性需求。近年来，以yolo v4为代表的端到端目标检测算法在多种特定场景下都有着不错的识别精度和速度，但缺点是相对应的网络模型参数量和计算量过大，难以在gpu算力资源有限的嵌入式设备或移动端部署运行；且茶叶病害在茶叶上的分布具有较高的随机性，不同的病害类型在各自的多发时期内形状、颜色、纹理等特征存在着一定的相似性，导致未经改进优化的原始yolo v4算法对茶叶病害的误检率较高。
4.因此，如何减少原始yolo v4网络模型庞大的参数量和模型体积，并提升茶叶病害目标的检测效率和识别精度是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种基于轻量级优化yolo v4的茶叶病害识别方法和系统，显著减小了原始yolo v4网络模型庞大的参数量和模型体积，并提升了真实茶园场景中对于茶叶病害目标的检测效率和识别精度表现，使得优化后的yolo v4易于移植、部署在嵌入式设备或移动端平台中，可辅助茶农病害防治，本发明可广泛应用于智慧茶园病害的实时检测。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明一方面公开了一种基于轻量级优化yolo v4的茶叶病害识别方法，包括：以下步骤：
8.s1、采集茶叶病害图片，经预处理后作为训练yolo v4模型的数据集；
9.s2、对yolo v4模型中的特征提取主干模块和特征提取融合模块进行轻量级优化，获取优化后的yolo v4模型；
10.s3、利用步骤s1中训练yolo v4模型的数据集对优化后的yolo v4模型进行训练和验证，获取识别茶叶病害的最优yolo v4模型；
11.s4、利用步骤s3中得到的最优yolo v4模型对茶叶病害图像进行识别。
12.优选的，步骤s1中采集茶叶病害图片，具体包括，利用手持数码相机采集茶园内不同时间点以及多种光照条件的茶叶病害图片。
13.优选的，步骤s1中，对采集的茶叶病害图片进行预处理，具体包括：
14.s11、设置茶叶病害特征成像阈值，根据茶叶病害特性成像阈值对采集的茶叶病害图片进行筛选，去除采集的茶叶病害图片中像素值低于茶叶病害特性成像阈值的茶叶病害图片；
15.s12、根据茶叶病害特征对筛选后的茶叶病害图片进行分类，获取茶叶病害图片的病害类别，所述茶叶病害特征包括病害形状及病害颜色；
16.s13、根据分类后的茶叶病害图片建立原始数据集，利用同类数据增强法对原始数据集中的茶叶病害图片进行扩充；
17.s14、将扩充后的原始数据集分为训练集、验证集和测试集；
18.s15、将训练集中不同病害类别的茶叶病害图片作为mixup混类增强的输入样本，获取mixup混类增强后的训练集；
19.s16、依据茶叶病害图片的病害类别和病害在叶片上所处的位置，对经过mixup混类增强后的训练集和未经过mixup混类增强的验证集中的茶叶病害图片进行yolo格式标注，根据经过yolo格式标注的训练集、验证集及未经过yolo格式标注的测试集生成用于训练yolo v4模型的数据集。
20.优选的，步骤s14中对扩充后的原始数据集按照7：2：1的比例分为训练集、验证集和测试集。
21.优选的，所述步骤s2对yolo v4模型中的特征提取主干模块和特征提取融合模块进行轻量级优化，具体包括：
22.(1)采用轻量级mobilenetv2网络作为yolo v4模型新的特征提取主干模块，并将mobilenetv2网络深层的激活函数由relu6替换为h-swish，对mobilenetv2进行优化，其中激活函数h-swish的公式为：
[0023][0024]
式中，x表示mobilenetv2网络层中提取的茶叶病害特征信息，作为相应层的输入节点；
[0025]
(2)采用空洞卷积dt-conv作为特征提取融合模块fpn结构中的卷积，采用深度可分离卷积dw-conv作为特征提取融合模块pan结构中的卷积，对yolo v4模型中特征提取融合模块进行优化；
[0026]
(3)提取方法(1)中优化后的mobilenetv2中不同网络层输出的特征图out1、out2和out3，所述特征图out1尺寸为52x 52x 32，所述特征图out2尺寸为26x 26x 96，所述特征图out3尺寸为13x 13x 320，其中32、96、320为三个特征图的通道数；
[0027]
(4)将特征图out3输入到优化后的特征提取融合模块的sppnet中，经sppnet处理后将输出的特征图与特征图out1、out2一同输入到特征提取融合模块的panet中。
[0028]
优选的，步骤(4)中将特征图out3输入到优化后的特征提取融合模块的sppnet中进行处理，具体包括：将特征图out3输入到特征提取融合模块的sppnet中，经(conv2d_bn_leaky)x 3三次cbl卷积、(1x1、5x5、9x9、13x13)四种尺度的分块池化处理以及concat拼接。
[0029]
优选的，所述步骤s3具体包括：
[0030]
s31、使用mobilenetv2在开源数据集上预训练好的权重作为优化后yolov4模型的初始权重；
[0031]
s32、利用yolo v4模型数据集中的训练集对优化后的yolo v4网络模型进行多轮次网络训练；
[0032]
s33、利用训练yolo v4模型的数据集中的验证集对已标注病害信息进行监督学习，在多轮次网络训练中为训练集提供验证效果反馈，并及时进行参数调整和过拟合判断以对yolo v4模型进行更新；其中，初始权重会基于所述训练yolo v4的数据集在网络训练过程中自动调整，以生成训练结束后的权重；
[0033]
s34,选取网络训练结束后的若干组权重载入yolo v4模型预测模块，利用yolo v4模型预测模块对测试集中的茶叶病害图片进行预测效果对比分析，获取茶叶病害最优yolo v4识别模型。
[0034]
优选的，所述所述步骤s34中对测试集中的茶叶病害图进行对比分析，具体包括对茶叶病害的识别精度、识别耗时及模型实时性能进行对比分析。
[0035]
本发明另一方面公开了一种基于轻量级优化yolo v4的茶叶病害识别系统，包括用户端和云服务器，所述用户端用于采集茶叶病害图片和显示茶叶病害识别结果；所述云服务器用于本发明公开的任一项基于轻量级优化yolo v4的茶叶病害识别方法对所述用户端采集的茶叶病害图片进行训练和识别，并将识别结果返回给所述用户端。
[0036]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于轻量级优化yolo v4的茶叶病害识别方法，具有以下有益效果：
[0037]
1.本发明实地采集了茶园中多种光照条件下不同时期的茶叶病害图像，丰富了目前基于深度学习的茶叶病害识别研究中较为缺失的茶叶病害数据集，可为智慧茶园病害智能化管理与分析提供数据支撑。
[0038]
2.本发明在同类数据增强的预处理基础上，引入mixup混类增强法对不同类样本之间邻域关系的线性处理，能为后续特征提取主干模块对不同病害特征分类时提供更为平滑的类别转变基础。
[0039]
3.本发明将mobilenetv2网络深层的激活函数relu6替换为h-swish，有助于减少在网络深层激活函数拟合时的精度损失；同时保留了特征提取融合模块中的sppnet和panet，抑制网络总体深度减少后特征提取能力的减弱。
[0040]
4.本发明对传统yolo v4网络中高计算负荷的特征提取主干模块和特征提取融合模块进行轻量级优化，将yolo v4网络模型参数量降低了71.2％，模型体积减小了81.4％，显著减轻了模型对gpu算力资源和性能的要求，且识别模型在30个epoch训练完成后得到的目标检测平均精度值map即近似于100个epoch训练完成后的84％，在测试集上对单张病害图片的检测耗时约为0.035s。
[0041]
5.本发明所引入的mixup混类增强法和h-swish激活函数替换所产生的计算开销非常小，所使用的yolo v4网络模型基于pytorch深度学习框架搭建，该框架同时支持windows和linux操作系统，使得其易于移植、部署在嵌入式设备或移动端平台中。
附图说明
[0042]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0043]
图1附图为本发明提供的茶叶病害识别方法的流程图；
[0044]
图2附图为本发明提供的基于轻量级优化后yolo v4网络结构图；
[0045]
图3附图为本发明提供的基于轻量级优化后yolo v4特征提取融合模块的sppnet结构图；
[0046]
图4附图为本发明提供的基于轻量级优化后yolo v4特征提取融合模块的panet结构图；
[0047]
图5附图为本发明中yolo v4在30个、100个训练轮次结束后的目标检测平均精度值map的曲线图；
[0048]
图6附图为本发明中yolo v4在30个、100个训练轮次结束后的病害分类损失值曲线图；
[0049]
图7附图为本发明提供的基于轻量级优化yolo v4的茶叶病害识别系统的结构示意图；
具体实施方式
[0050]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]
如附图1-6所述，本发明实施例公开了一种基于轻量级优化yolo v4的茶叶病害识别方法，包括：以下步骤：
[0052]
s1、采集茶叶病害图片，经预处理后作为训练yolo v4模型的数据集；
[0053]
本实施例中采集茶叶病害图片采集真实茶园中的茶叶病害图片，采集地位于广东省广州市钟落潭镇农业科学院茶园内，使用数码相机多角度拍摄叶片病害样本，拍摄距离约为40～50cm，相机的成像视野中除病害叶片还包含若干正常、相互遮挡的叶片以提高yolo v4在真实病害识别场景中的深度学习能力。依据茶叶四种常见病害的多发时间点，病害图像采集时间为2021年6月29日、7月10日、8月9日、9月18日、10月20日和11月17日；为模拟不同光照条件下的成像效果，每天的图像采集时间为上午9:00-10:00、中午12:00-12:30、下午15:30-17:00。
[0054]
预处理过程具体包括：
[0055]
s11、设置茶叶病害特征成像阈值，根据茶叶病害特性成像阈值对采集的茶叶病害
图片进行筛选，去除采集的茶叶病害图片中像素值低于茶叶病害特性成像阈值的茶叶病害图片；本发明中对采集的茶叶病害图片进行筛选主要是指利用现有的机器学习手段，去除像素模糊，病害特征无法辨认的茶叶病害图片，以提高本发明原始数据集的准确率，不作为本发明的主要发明内容，因此本发明中对具体实现过程不作详细说明。
[0056]
s12、根据病害形状及病害颜色等茶叶病害特征对筛选后的茶叶病害图片进行分类，本实施例中主要根据病害形状及病害颜色，并一定程度上参考中国农业出版社《中国农作物病虫害第三版》和茶园专家意见，将茶叶病害图片分为茶白星病、茶炭疽病、茶叶枯病和茶藻斑病四类；与步骤s11相同，本步骤中同样采用现有的机器学习手段根据病害形状及病害颜色等茶叶病害特征对筛选后的原始茶叶病害图片进行自动分类。
[0057]
s13、根据分类后的茶叶病害图片建立原始数据集，利用同类数据增强法对原始数据集中的每一类茶叶病害图片进行扩充；扩充后每类病害图在304张左右，共计1216张，经均匀混合后得到初始数据集，具体的同类数据增强法可采用水平垂直翻转、亮度变化、仿射变换、添加一定高斯噪声等对原始的各类茶叶病害图片进行扩充。
[0058]
s14、对扩充后的原始数据集按照一定比例随机划分为训练集、验证集和测试集，本实施例中训练集、验证集和测试集的比例为7：2：1；
[0059]
s15、将训练集中不同病害类别的茶叶病害图片作为mixup混类增强的输入样本，获取mixup混类增强后的训练集；
[0060]
同类数据增强法只能对数据集在总量上进行简单扩充，而mixup混类增强法通过对不同类样本之间邻域关系的线性处理，能为后续特征提取主干模块对不同病害特征分类时提供更为平滑的类别转变基础。mix混类数据增强法的原理为：
[0061]
mixedx＝λ*samplex1 (1-λ)*samplex2
[0062]
mixedy＝λ*sampley1 (1-λ)*sampley2
[0063]
其中，samplex1、samplex2指代训练集中的两个输入样本，sampley1、sampley2是输入样本对应的标签，λ是符合贝塔分布的系数，用以对两个输入样本按比例进行混类增强，本实施例中λ取值为0.2，(mixedx,mixedy)则是混类增强后的样本和标签。
[0064]
为了进一步降低原始yolo v4模型对茶叶病害的误检率，可以将茶叶病害特征某时期存在一定相似性的茶叶病害图片作为mixup混类增强的输入样本，如茶白星病和茶藻斑病染病初期所呈现出的圆形病斑形状较为相似，茶炭疽病后期所呈现的灰青色病斑和茶叶枯病后期的灰色云纹状病斑颜色较为相似，因此将茶白星病和茶藻斑病作为一对输入样本，将茶炭疽病和茶叶枯病作为一对输入样本，通过mixup分别对两类输入样本进行混类增强。
[0065]
s16、依据茶叶病害图片的病害类别和病害在叶片上所处的位置，对增强后的训练集和未经过mixup混类增强的验证集中的茶叶病害图片进行yolo格式标注，根据进行yolo格式标注后的增强训练集、验证集及未进行标注的测试集生成用于训练yolo v4模型的数据集。
[0066]
本实施例中使用labelimg可视化图像标注工具，对增强后的训练集和验证集中的病害图采用yolo格式进行标注，标注完毕后每张病害图与包含标注信息的txt文件一一对应，组成最终用以训练yolo v4的数据集。
[0067]
s2、对yolo v4模型中的特征提取主干模块和特征提取融合模块进行轻量级优化，
获取优化后的yolo v4模型；
[0068]
具体的，s2可包括以下方法：
[0069]
(1)原始yolov4的特征提取主干模块cspdarknet53，主要负责对图片进行初步特征提取，获取输入到特征提取融合模块的三个有效特征图。cspdarknet53借鉴残差网络增加网络深度的思想构建了大量残差块和残差边，卷积层多达72个，参数量庞大。
[0070]
本发明采用轻量级mobilenetv2网络作为yolo v4模型新的特征提取主干模块，并将mobilenetv2网络深层的激活函数由relu6替换为h-swish，其中激活函数h-swish的公式为：
[0071][0072]
式中，激活函数h-swish能对网络中上一层输入的节点值x限定在0～1之间，是基于relu6对输入限定在0～6之间的进一步逼近，有助于减少在网络深层激活函数拟合时的精度损失。
[0073]
本实施例以轻量级mobilenetv2作为yolo v4模型新的特征提取主干模块，mobilenetv2先升维再降维的残差结构能在相对稳定的高维空间上提取病害的有效特征，并在总体网络层数降低的情况下加强特征信息的传递；同时，mobilenetv2取消常规全连接层来降参的思想与原有特征提取主干模块cspdarknet53在卷积层后删除全连接层的思想类似，从理论上验证了mobilenetv2作为新特征提取模块替换cspdarknet53的可行性。
[0074]
(2)原始yolov4的特征提取融合模块，由图2所示的sppnet和panet组成，主要作用在于对所输入的三个特征图进行特征加强提取并融合。
[0075]
为进一步优化yolov4的特征提取融合模块，本发明采用空洞卷积dt-conv替换panet内fpn结构中的普通卷积，采用深度可分离卷积dw-conv替换panet内pan结构中的普通卷积，获取优化后的特征提取融合模块；
[0076]
具体的，本实施例中，采用空洞卷积dt-conv替换特征提取融合模块fpn结构中的五次普通卷积，fpn结构中上采样传递特征的过程会将图像的长宽尺寸扩大，对于存在噪声和成像质量欠佳的病害图而言容易损失重要特征，而空洞卷积dt-conv通过在传统卷积核中注入空洞，在并未实际增加卷积核大小的情况下扩大感受野，强化对病害多尺度特征的提取；
[0077]
采用深度可分离卷积dw-conv替换特征提取融合模块pan结构中的普通卷积，对其中庞大的卷积运算量和参数量进一步降参优化。
[0078]
(3)分别提取方法(1)中优化后的mobilenetv2不同网络层输出的特征图out1、out2和out3，取mobilenetv2第4层、第6层和第8层分别输出的out1特征图(尺寸52x 52x 32)、out2特征图(尺寸26x 26x 96)、out3特征图(尺寸13x 13x 320)作为特征提取融合模块的输入，其中32、96、320为三个特征图的通道数，本发明中的尺寸指的是特征图的像素值大小；
[0079]
(4)将特征图out3输入到优化后的特征提取融合模块的sppnet中，经sppnet处理后将输出的特征图与out1特征图、out2特征图一同输入到特征提取融合模块的panet中。
[0080]
具体的，如图3所示，将out3特征图输入到特征提取融合模块的sppnet中，经(conv2d_bn_leaky)x 3三次cbl卷积、(1x1、5x5、9x9、13x13)四种尺度的分块池化处理以及
concat拼接后，将输出的特征图与out1、out2特征图一起输入到特征提取融合模块的panet中；sppnet通过多尺度的分块池化组成空间金字塔池化层，能进一步在不同维度上综合特征提取主干模块mobilenetv2所提取的病害特征。
[0081]
(5)优化后特征提取融合模块的panet,(如附图4所示)首先在其内的fpn结构中对传入的out3特征图依次进行两次上采样，结果分别与out2、out1特征图拼接后进行空洞卷积；再于pan结构中自下而上进行下采样、拼接和深度可分离卷积，充分融合三种特征图后将结果输入到yolov4的预测模块。
[0082]
s3、利用步骤s1中训练yolo v4模型的数据集对优化后的yolo v4模型进行训练和验证，获取茶叶病害最优yolo v4识别模型；
[0083]
具体的，s3包括以下步骤：
[0084]
s31、使用mobilenetv2在开源pascal voc2007数据集上训练好的权重作为优化模型的初始权重；
[0085]
本实施例中用于训练yolo v4模型的训练集为混类增强后最终的茶叶病害数据集，将其中的训练集用以训练轻量级优化后的yolo v4网络模型，并基于迁移学习的思想，使用mobilenetv2在开源pascal voc2007数据集上训练好的权重作为优化后的yolo v4网络模型的初始权重，避免网络从零开始训练时可能发生的损失值大幅度波动，提高网络的收敛性能。
[0086]
s32、利用数据集中的训练集对优化后的yolo v4模型进行多轮次训练；
[0087]
s33、利用训练yolo v4模型的数据集中的验证集对已标注病害信息进行监督学习，在多轮次网络训练中为训练集提供验证效果反馈，并及时进行参数调整和过拟合判断以对yolo v4模型进行更新；其中，初始权重会基于所述训练yolo v4的数据集在网络训练过程中自动调整，以生成训练结束后的权重；
[0088]
s34,选取网络训练结束后的若干组权重载入yolo v4模型预测模块，使用预测模块对训练yolo v4模型的数据集中的测试集进行预测效果对比分析，确定适宜权重后获取本实施例中茶叶病害最优yolo v4识别模型；本实施例中对比分析的具体内容包括对茶叶病害的识别精度表现、识别耗时及模型实时性能等进行对比分析。
[0089]
其中，如图2所示，yolo v4模型预测模块由三个yolo head组成，三个yolo head最终所输出的矩阵尺度分别是52x 52x 27、26x 26x 27和13x 13x 27，第三个数27表示3x(4 5)，3代表着3个候选框，4代表着本发明实例用到的数据集中的4种病害类型，5代表着候选框的5个可调整参数：x、y轴坐标偏移量、高度h、宽度w以及置信度。通过候选框对其中物体的置信度判别，yolo v4预测模块将对候选框的坐标和宽高等参数进行优化调整，在测试集的图片上绘制出最终的病害特征预测框。
[0090]
本实施例中网络模型训练、验证时所使用的实验环境和硬件平台具体包括：操作系统为win10，基于pytorch深度学习框架，cpu为6核12线程的intel(r)core(tm)i7-6800k，gpu为两张gtx1080ti，使用cuda加速网络训练；训练轮次epoch分别为30、100以对网络性能对比分析。
[0091]
s4、利用步骤s3中得到的茶叶病害最优yolo v4识别模型对茶叶病害图像进行识别，以矩形预测框的形式标注出病害在叶片上的位置和病害类型
[0092]
如图5、图6所示，经过实际网络训练和测试结果表明，本发明引入的mixup混类增
强法改善了原始yolo v4对于真实茶园场景中茶叶病害误检率较高的不足，且本发明所采用的轻量级优化法显著减轻了模型对gpu算力资源和性能的要求，也进一步提高了模型对于茶叶病害目标的检测效率和识别精度表现，在30个epoch训练完成后得到的目标检测平均精度值map即近似于100个epoch训练完成后的84％。
[0093]
本发明领域内的相关技术人员应明白，本发明方法所描述的实施例可进一步提供为包含本发明方法的系统、或计算机程序产品。
[0094]
如图7所述，本发明实施例另一方面公开了一种基于轻量级优化yolo v4的茶叶病害识别系统，通过用户端采集自然状态下的茶叶病害图片，并上传到云端服务器，云端服务器利用优化后的yolo v4模型对采集的茶叶病害图片进行训练，并利用训练后的最优yolo v4识别模型对茶叶病害图像进行识别，识别出病害类型和病害的具体位置，并将识别后的结果返回给用户端，用户端用于显示识别结果，并给出相应的病害防治策略。
[0095]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0096]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。