一种温室生产环境下草莓白粉病快速检测方法

1.本发明的技术方案涉及草莓白粉病检测技术领域，具体地说是一种基于dw-yolov4温室生产环境下草莓白粉病快速检测方法。


背景技术：

2.草莓是近年来深受用户喜爱的高价值水果之一，在北方于每年8-9月份定植，到次年3-4月结束。由于是越冬茬，草莓通常在温室中进行培育，受温室温室结构影响，草莓种植期间易出现湿度大、光照不足、通风不良等问题，为草莓真菌性病害发生提供了温床。白粉病是近年来草莓生产上普遍发生的一种危害严重的病害，该病害发生流行频率高，经济损失较高。发生白粉病后，草莓一般减产20％-30％，严重时可达50％以上，甚至绝收，严重影响草莓的产量和品质。草莓白粉病在发病初期，受害部位会覆盖一层白色粉状物，表现为叶面出现白色菌丝。随着病情加重，叶片产生暗斑和白色粉状物，叶缘上卷，后期病斑变红褐色，叶质变脆，叶缘萎缩、焦枯。目前白粉病的发现主要靠人工检验，周期长、发现滞后，并且发现后病情诊断、如何施药等措施由于缺少专家参与极易出现农户施用药品种类、药量不准确情况，进一步造成产量、品质的损失以及环境的污染。即便专家现场协助指导，但由于观察数量有限，同样存在估算病情指数依据经验，数据不准确的情况。随着人工智能的发展，使用计算机视觉技术进行病害的识别、病情的诊断成为了可能性，使用视觉技术可以实现更多点位的病情监控，并进行病情诊断，给出合理的施治方案。因此在真实生产环境对草莓叶片白粉病害进行快速检测和识别成为了智能农业的主要研究方向之一。
3.jaemyung shin等人在“adeep learning approach for rgb image-based powdery mildew disease detection on strawberry leaves”中对比了使用alexnet、squeezenet、googlenet、resnet-50、squeezenet-mod1和squeezenet-mod2六种网络进行草莓叶片白粉病识别的效果，确定使用resnet-50识别率更高，使用squeezenet-mod2识别率略低于resnet-50，但其所使用的数据集是实验室环境简单背景下的图像，仅能判别叶片是否为发病叶，没有对病害的位置进行检测、也没有对发病程度进行估算。patrick wspanialy等人在“a detection and severity estimation system for generic diseases of tomato greenhouse plants”中提出了一种温室种植番茄病害严重程度评估方法，但使用的同样是针对实验室简单环境下采集的叶片病害样本，对病害的识别使用的是实例分割方法，识别的叶片和病害边缘是不规则的区域，算法运行速度慢，难以在实际应用中推广。公布号为cn 112150481 a的中国专利公开一种白粉病图像分割方法，使用的是白粉病灰度图进行病害点实例分割，再用白粉病病害区域的像素点占采集图像的像素点的比例计算发病程度，其分母为采集图像的像素点，并非完整叶片的像素点，容易在发病程度计算上存在偏差，且实例分割的算法效率往往低于目标检测算法的识别效率，不能满足实际应用中实时性的要求。


技术实现要素：

4.针对现有技术的不足，本发明所要解决的技术问题是：提出一种温室生产环境下基于dw-yolov4(depthwise separable-you only look once v4，深度可分离yolov4网络)的草莓白粉病快速检测方法，该方法将深度可分离卷积结构嵌入到yolov4框架中，通过多尺度目标检测实现了对草莓叶片白粉病病害区域和发病叶片的检测，并基于病害检测区域面积预估病情指数，解决了草莓白粉病发病初期检测难的问题，实现了草莓白粉病的快速检测及病情定级。
5.本发明解决所述技术问题所采用的技术方案是：一种温室生产环境下草莓白粉病快速检测方法，该方法包括以下内容：
6.采集温室草莓生产环境下不同光照条件下白粉病发病叶片背面图像，图像背景为草莓生长环境，在背面图像上按照病害、发病叶片、其他叶片进行标注，制作数据集；
7.构建dw-yolov4网络，网络包括骨干网络模块和融合特征提取模块两部分：
8.骨干网络模块：使用五组基于深度可分离卷积的跨阶段局部网络模块dw-cspnet进行串联获得，其中，dw-cspnet包括通过卷积核大小为3
×
3的卷积层下采样、卷积核大小为1
×
1的卷积层压缩或扩充通道、卷积核为3
×
3的深度可分离卷积、通道拼接、特征图求和操作；
9.融合特征提取模块：使用骨干网络模块中的第3、4、5个基于深度可分离卷积结构的跨阶段局部网络dw-cspnet的三个输出特征图作为输入，融合特征提取模块包括最大池化、通道拼接、卷积核大小为1
×
1的卷积层、上采样、下采样，最终形成三个尺度不同的输出特征图；
10.将采集到的图像输入到dw-yolov4网络中实现草莓叶片白粉病病害区域及发病叶片的检测。
11.根据白粉病发病病害区域面积占发病叶片面积的占比得到病情指数。
12.所述病情指数的具体计算过程是：
13.利用公式(24)计算融合调整系数的发病率，
[0014][0015]
其中，ai表示第i片发病叶片的发病率，a表示病害的面积，j为第i片发病叶片上的第j个发病点病害，n表示第i片发病叶片上的发病点病害个数，bi表示第i片发病叶片面积，σ表示叶片面积调整系数；
[0016]
叶片面积调整系数计算方法为，使用二值化和otsu对标记的发病叶片部分提取绿色像素数除以发病叶片标记框像素数；
[0017]
计算单个叶片的病情指数将病情分为1-9级，当发病率小于5％时，病情级别为1；当发病率在5％-25％之间时，病情级别为3；当发病率在25％-50％之间时，病情级别为5；当发病率在50％-75％之间时，病情级别为7；当发病率大于75％时，病情级别为9，具体公式如下：
[0018][0019]
其中，i表示第i片发病叶片；
[0020]
根据公式(26)计算整体病情指数
[0021][0022]
其中，n为发病叶片个数，i为第i片发病叶片；
[0023]
根据不同的发病程度通过经验数据会给出相应的专家治疗意见，不同病情指数对应相应的专家治疗意见。
[0024]
该检测方法的具体步骤是：
[0025]
第一步，采集温室生产环境下草莓叶片病害图像数据，并制作数据集
[0026]
第1.1步，在日光温室草莓生产环境下，设置多个采样点，采集不同光照条件真实生产环境下的草莓病害叶片背面图像，采样点应尽量覆盖到了整个温室，病害叶片背面需要人工翻叶片，但是叶片不脱离植物，采样的时候背景是包含非所观察的病害叶片的其它叶片的；
[0027]
第1.2步，基于采样点抽选，找到发病叶片就采集，一旦发现病害发生，开始对观测的每株全部叶片进行分辨、拍照，全部图像获取均由专业人员人工观测获得；
[0028]
第1.3步，使用labelimg工具标注图像，按照病害(powdery mildew)、发病叶片(leaf with disease)，其他叶片(leaf without disease)进行标注，即将病害所在位置框选出来，将病害所在整个叶片即发病叶片框选，除发病叶片以外的肉眼可见的叶片轮廓为其他叶片将其框选出来，对于图片中虚化严重的叶片，如果边缘区域无法肉眼辨识，则不予标记；
[0029]
第1.4步，生成数据集，将不同光照背景环境下采集标注后含病害的所有图像制作数据集，每张图片会包含三种标注中的一个或多个，其中病害和发病叶片都至少会有一个，其他叶片可能没有，也可能有多个；
[0030]
第二步，图像预处理
[0031]
第2.1步，将上述第1.4步得到数据集中的图像作为输入，通过数据增强手段进行处理，并使用mosaic方法进行拼接，形成增强后图像；
[0032]
第2.2步，将第2.1步增强后图像随机缩放到32的10-19倍进行训练；
[0033]
第三步，使用基于深度可分离卷积的跨阶段局部网络(dw-cspnet)构建dw-yolov4的骨干网络模块
[0034]
第3.1步，构建基于深度可分离卷积的跨阶段局部网络模块(dw-cspnet)
[0035]
第3.1.1步，以上一步的输出图像d作为输入，送入卷积核大小为3
×
3、步长为2、输出通道数为c
out
的下采样层进行图像处理，形成特征图d1，如公式(1)所示，
[0036][0037]
其中，表示卷积核大小为3
×
3，步长为2，含归一化和leakyrelu激活函数的卷积
操作；
[0038]
第3.1.2步，处理后的结果分成2个分支，一个分支使用卷积核大小为1
×
1的卷积层压缩通道，形成特征图d2，如公式(2)所示，
[0039]
d2＝γ1(d1)
ꢀꢀꢀꢀꢀꢀ
(2)，
[0040]
其中，γ1表示卷积核大小为1
×
1，含归一化和leakyrelu激活函数的卷积操作；
[0041]
第3.1.3步，另一个分支经过卷积核大小为1
×
1的卷积层压缩通道，形成特征图d3，使用卷积核大小为3
×
3的深度可分离卷积和卷积核大小为1
×
1的卷积层对d3进行特征提取，并与d3进行求和得到特征图d4，如公式(3)所示；
[0042]
d3＝γ1(d1)，d4＝γ1(δ3(d3)) d3ꢀꢀꢀꢀꢀꢀ
(3)，
[0043]
其中，δ3表示3
×
3，含归一化和leakyrelu激活函数的深度可分离卷积操作； 表示特征图求和操作；
[0044]
第3.1.4步，将d2和d4进行通道拼接后再使用卷积核大小为1
×
1的卷积层进行通道压缩，形成基于深度可分离卷积的跨阶段局部网络模块的输出特征图dw_csp，具体如公式(4)所示，将基于深度可分离卷积的跨阶段局部网络模块记为f
dw_csp
，如公式(5)所示；
[0045][0046]
dw_csp＝f
dw_csp
(d)
ꢀꢀꢀꢀꢀ
(5)，
[0047]
其中，表示特征图拼接操作；
[0048]
设输入图像d宽、高、通道数分别为w0、h0、c0，通过dw-cspnet处理的特征图维度发生改变，输出特征图dw_csp的宽、高、通道数分别为w0/2、h0/2、2c0，即达到下采样同时增加深度的目的；
[0049]
第3.2步，构建dw-yolov4的骨干网络
[0050]
五个基于深度可分离卷积的跨阶段局部网络依次串联，第三个基于深度可分离卷积的跨阶段局部网络的输出记为特征图dw_csp1，如公式(6)所示；第四个基于深度可分离卷积的跨阶段局部网络的输出记为特征图dw_csp2，如公式(7)所示；第五个基于深度可分离卷积的跨阶段局部网络的输出记为特征图dw_csp3，如公式(8)所示；特征图dw_csp1、特征图dw_csp2和特征图dw_csp3将作为输入特征图，参与到第四步融合特征提取模块的计算；
[0051]
dw_csp1＝f
dw_csp
(f
dw_csp
(f
dw_csp
(d)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)，
[0052]
dw-csp2＝f
dw_csp
(dw_csp1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)，
[0053]
dw_csp3＝f
dw_csp
(dw_csp2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)，
[0054]
其中，第一个基于深度可分离卷积的跨阶段局部网络的输出通道数为32，其他按照步骤3.1中的输出通道数规则处理；
[0055]
第四步，构建dw-yolov4的融合特征提取模块
[0056]
第4.1步，以dw_csp3为输入，使用3
×
3的卷积，进行通道压缩，得到特征图d
4.1
，如公式(9)所示；
[0057]d4.1
＝γ3(dw_csp3)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(9)，
[0058]
其中，γ3表示卷积核大小为3
×
3，含归一化和leakyrelu激活函数的卷积操作；
[0059]
第4.2步，对d
4.1
进行步长为5、9、13的最大池化，将得到的结果与d
4.1
进行通道拼接，得到特征图d
4.2
，如公式(10)所示；
[0060]
[0061]
其中，τ5、τ9、τ
13
分别表示步长为5、9、13的最大池化操作；
[0062]
第4.3步，使用1
×
1的卷积核对d
4.2
进行通道压缩，得到特征图d
4.3
，如公式(11)所示，
[0063]d4.3
＝γ1(d
4.2
)
ꢀꢀꢀꢀꢀꢀ
(11)，
[0064]
第4.4步，使用1
×
1的卷积对d
4.3
进行通道压缩后进行上采样，与dw_csp2进行通道拼接，再使用1
×
1的卷积核进行通道压缩，得到特征图d
4.4
，如公式(12)所示，
[0065][0066]
其中，σ为上采样操作；
[0067]
第4.5步，使用1
×
1的卷积对d
4.4
进行通道压缩后进行上采样，与dw_csp1进行通道拼接，再使用3
×
3的卷积核进行通道压缩，得到特征图d
4.5
，如公式(13)所示，
[0068][0069]
第4.6步，使用大小为3
×
3，步长为2的卷积核对d
4.5
进行下采样及通道扩充，与d
4.4
拼接后再使用3
×
3的卷积核进行通道压缩，得到特征图d
4.6
，如公式(14)所示，
[0070][0071]
第4.7步，使用大小为3
×
3，步长为2的卷积核对d
4.6
进行下采样及通道扩充，与d
4.3
拼接后再使用3
×
3的卷积核进行通道压缩，得到特征图d
4.7
，如公式(15)所示，
[0072][0073]
第4.8步，使用三个l
×
1的卷积分别对d
4.5
，d
4.6
，d
4.7
调整输出维度，形成最终特征图d
4.8.1
，d
4.8.2
，d
4.8.3
，如公式(16)所示，
[0074]d4.8.1
＝ω1(d
4.5
)，d
4.8.2
＝ω1(d
4.6
)，d
4.8.2
＝ω1(d
4.7
)
ꢀꢀꢀꢀꢀ
(16)，
[0075]
其中，卷积ω1为卷积核大小为1
×
1的不含归一化和leakyrelu激活函数的卷积操作，至此完成dw-yolov4的融合特征提取模块的构建；
[0076]
第五步，使用结合ciou和指数增强二值交叉熵的损失函数计算第4.8步输出的预测值与实际值之间的损失，第4.8步输出的预测值包括目标框中心点坐标、宽度、高度、类别以及置信度：
[0077]
总损失公式为式(23)：
[0078][0079]
其中，为目标检测任务的损失函数，为使用指数增强二值交叉熵表示类别预测值与实际值的损失，为使用二值交叉熵计算的置信度损失；
[0080]
第六步，对经损失计算后的模型预测结果进行非极大值抑制nms，并进行结果调整
[0081]
第6.1步，使用nms对经损失计算后的模型预测结果进行处理，得出病害(powdery mildew)、发病叶片(leaf with disease)，其他叶片(leaf without disease)三类目标中未超出nms阈值的预测结果，包括目标框中心点坐标、宽度、高度、类别以及置信度；
[0082]
第6.2步，对非极大值抑制后的预测结果进行调整
[0083]
由于病害一定发生在叶片上，但第6.1步所获得的预测结果并不一定会识别出发病叶片，当图片识别出了病害，但没有识别出发病叶片时，将与病害的iou最大的其他叶片类别调整为发病叶片，如果没有任何叶片与识别出的病害的iou＞0则剔除该发病点，确保
全部检测出的病害都有发病叶片与之对应；
[0084]
骨干网络模块和融合特征提取模块、损失计算和非极大值抑制并调整共同构成dw-yolov4网络；
[0085]
第七步，计算病情指数
[0086]
病情指数的具体计算过程是：
[0087]
利用公式(24)计算融合调整系数的发病率，
[0088][0089]
其中，ai表示第i片发病叶片的发病率，a表示病害的面积，j为第i片发病叶片上的第j个发病点病害，n表示第i片发病叶片上的发病点病害个数，bi表示第i片发病叶片面积，σ表示叶片面积调整系数；
[0090]
叶片面积调整系数计算方法为，使用二值化和otsu对标记的发病叶片部分提取绿色像素数除以发病叶片标记框像素数；
[0091]
计算单个叶片的病情指数将病情分为1-9级，当发病率小于5％时，病情级别为1；当发病率在5％-25％之间时，病情级别为3；当发病率在25％-50％之间时，病情级别为5；当发病率在50％-75％之间时，病情级别为7；当发病率大于75％时，病情级别为9，具体公式如下：
[0092][0093]
其中，i表示第i片发病叶片；
[0094]
根据公式(26)计算整体病情指数
[0095][0096]
其中，n为发病叶片个数，i为第i片发病叶片；
[0097]
根据不同的发病程度通过经验数据会给出相应的专家治疗意见，不同病情指数对应相应的专家治疗意见；
[0098]
至此，完成了温室生产环境下基于dw-yolov4的草莓白粉病快速检测和病情定量评估。
[0099]
本发明还保护一种草莓白粉病快速检测系统，包括存储器和处理器，存储器存储所述的dw-yolov4网络和病情指数计算，存储器上的程序用于被处理器加载时执行上述的检测方法。
[0100]
本发明的有益效果是：
[0101]
(1)本发明方法使用深度可分离卷积提取特征，大大减少了模型所需参数量，在减少模型大小的基础上不降低准确程度，识别速度更快，dw-yolov4模型大小为20.7mb，yolov4模型大小为256.1mb，相比yolov4模型dw-yolov4模型更适于在移动设备上部署。同时检测速度也有明显提升，dw-yolov4检测速度为264fps远高于yolov4的68fps检测速度。
[0102]
(2)本发明构建的dw-yolov4网络，包括基于深度可分离卷积结构的骨干模块和融合特征提取模块，将不同层的特征图在融合特征提取模块进行融合，能够同时保留浅层和深层网络提取的特征，提升网络对不同大小目标的识别能力，克服了由于白粉病发病早期病害面积小，受光照干扰大，难以检测的问题。
[0103]
(3)本发明检测方法使用指数增强二值交叉熵优化了损失函数，来解决病害与叶片数量不平衡的问题，能够帮助dw-yolov4网络更加关注类别信息。
[0104]
(4)本发明在检测出草莓白粉病病害、发病叶片基础上进一步提出了叶片融合调整系数的病情指数计算方法，克服了检测框与实际发病叶片区域的面积差带来的病情指数偏低的问题，能够更准确的获得发病情况，为草莓白粉病的识别、防治提供了依据。
[0105]
(5)本发明检测方法数据集是在温室草莓实际生产环境下采集的图像，可以满足各种光照情形，在不同光照下，均能实现较好的病害区域检测，为实际生产中草莓叶片白粉病的检测提供了依据。
附图说明
[0106]
图1是本发明基于dw-yolov4的草莓白粉病快速检测方法的整体流程图；
[0107]
图2是本发明基于dw-yolov4的草莓白粉病快速检测方法的基于深度可分离卷积的跨阶段局部网络(dw-cspnet)的示意图；
[0108]
图3是本发明基于dw-yolov4的草莓白粉病快速检测方法的骨干网络模块图；
[0109]
图4是本发明基于dw-yolov4的草莓白粉病快速检测方法的融合特征提取模块图；
[0110]
图5是生产环境下草莓叶片病害图像使用本发明基于dw-yolov4的草莓白粉病快速检测方法检测后的效果图一；
[0111]
图6是生产环境下草莓叶片病害图像使用本发明基于dw-yolov4的草莓白粉病快速检测方法检测后的效果图二。
具体实施方式
[0112]
下面结合附图和实施例对本发明做进一步说明。
[0113]
图1所示实施例表明，本发明一种温室生产环境下基于dw-yolov4的草莓白粉病快速检测方法的整体流程如下：
[0114]
采集温室生产环境下草莓图像数据，制作数据集
→
对图像进行预处理，包括数据增强、随机缩放等
→
使用基于深度可分离卷积结构的跨阶段局部网络构建的骨干网络模块提取特征
→
使用融合特征提取模块进一步提取特征
→
计算损失
→
nms非极大值抑制
→
对检测结果进行调整
→
得到检测结果
→
计算病情指数。
[0115]
图2所示实施例表明，本发明基于dw-yolov4的草莓白粉病快速检测方法的基于深度可分离卷积的跨阶段局部网络(dw-cspnet)的流程如下：
[0116]
使用卷积核大小为3
×
3、步长为2、输出通道数为2倍输入通道数的卷积层对输入特征图进行处理
→
分成两个分支
→
第一个分支使用卷积核大小为1
×
1的卷积层压缩通道
→
第二个分支使用卷积核大小为1
×
1的卷积层压缩通道、使用卷积核大小为3
×
3的深度可分离卷积提取特征、使用卷积核大小为1
×
1的卷积层扩充通道数，扩充通道数后的输出与第二个分支压缩通道的结果进行加和
→
第二个分支的结果与第一个分支的结果进行通道
拼接
→
使用卷积核大小为1
×
1的卷积层压缩通道。
[0117]
图3所示实施例表明，本发明基于dw-yolov4的草莓白粉病快速检测方法的骨干网络模块流程如下：
[0118]
输入特征图
→
使用3个基于深度可分离卷积的跨阶段局部网络，下采样并扩充通道数，得到输出特征图dw_csp1→
输出特征图dw_csp1一方面直接输出，另一方面输出至第四个基于深度可分离卷积的跨阶段局部网络，下采样并扩充通道数，得到输出特征图dw_csp2→
输出特征图dw_csp2一方面直接输出，另一方面输出至第五个基于深度可分离卷积的跨阶段局部网络，下采样并扩充通道数，得到输出特征图dw_csp3，因此骨干网络模块共有三个输出分别为dw_csp1、dw_csp2和dw_csp3。
[0119]
图4所示实施例表明，本发明基于dw-yolov4的草莓白粉病快速检测方法的融合特征提取模块用于对骨干网络模块的三个输出进行融合，具体流程如下：
[0120]
对骨干网络模块的最后一个输出特征图dw_csp3使用卷积核大小为3
×
3的卷积层压缩通道，之后分别进行步长为5、9、13的三个最大池化处理，这三个最大池化层为并联关系即三者的输入均相同，再将三个最大池化处理后的结果与上一步3
×
3的卷积层压缩通道后的结果进行通道拼接，再次使用卷积核大小为1
×
1的卷积层压缩通道获得特征图d
4.3
，特征图d
4.3
一方面经上采样后与骨干网络模块的第二个输出特征图dw_csp2进行通道拼接，之后再经卷积核大小为1
×
1的卷积层获得特征图d
4.4
，特征图d
4.4
一方面经卷积核大小为1
×
1的卷积层压缩通道后进行上采样，再与骨干网络模块的第一个输出特征图dw_csp1进行通道拼接，之后使用卷积核大小为3
×
3的卷积层压缩通道获得特征图d
4.5
；特征图d
4.5
一方面使用卷积核大小为3
×
3、步长为2的卷积层下采样并扩充通道后再与特征图d
4.4
进行通道拼接，二者通道拼接后的结果使用卷积核大小为3
×
3的卷积层压缩通道获得特征图d
4.6
，特征图d
4.6
一方面使用卷积核大小为3
×
3、步长为2的卷积层下采样并扩充通道后再与特征图d
4.3
进行通道拼接，通道拼接后的结果使用卷积核大小为3
×
3的卷积层压缩通道获得特征图d
4.7
，特征图d
4.7
经卷积核大小为1
×
1的卷积层调整通道获得输出特征图d
4.8.3
；
[0121]
特征图d
4.6
另一方面也使用卷积核大小为1
×
1的卷积层调整通道获得输出特征图d
4.8.2
，特征图d
4.5
另一方面也使用卷积核大小为1
×
1的卷积层调整通道获得输出特征图d
4.8.1
，特征图d
4.8.3
、特征图d
4.8.2
、特征图d
4.8.1
为融合特征提取模块的三个输出。
[0122]
图5、图6是温室生产环境下草莓叶片病害图像使用本发明基于dw-yolov4的草莓白粉病快速检测方法检测后的检测效果图。
[0123]
本发明温室生产环境下草莓白粉病快速检测方法的具体步骤如下：
[0124]
第一步，采集温室生产环境下草莓叶片病害图像数据，并制作数据集：
[0125]
第1.1步，在日光温室草莓生产环境下，设置多个采样点，采集不同光照条件下真实生产环境下的草莓病害叶片背面图像，采样点应尽量覆盖到了整个温室，病害叶片背面需要人工翻叶片，但是叶片不脱离植物，采样的时候背景是包含其它叶片(即非所观察的病害叶片)的，这种采样方式实际上是对植物生长没有影响的，这种方式采集的图像制作的数据集与将叶片摘下来然后拿到实验室在单一背景下拍照采集的数据集具有显著区别。
[0126]
本实施例可以设置30个采样点，采样点在温室里面会用标签标记，一个温室差不多667平方米大，每个温室大约60畦左右，1个畦大约7-8米长，种植80株左右的草莓，所以一个棚大约4800株草莓，每株草莓大约20-40片叶子，所以一个棚叶子大约有15万片，会在温
室里面第5、15、25、35、45、55畦，每一畦按照等距选择5个采样点，一共是6畦*5个采样点/畦＝30个采样点，这样选取的采样点尽量覆盖到了整个温室。每周每个采样点抽取3株，每株抽取三片叶片观测草莓叶片白粉病发病情况。
[0127]
第1.2步，基于采样点抽选，找到发病叶片就采集，一旦发现病害发生，开始对观测的每株全部叶片进行分辨、拍照，全部图像获取均由专业人员人工观测获得；
[0128]
第1.3步，使用labelimg工具标注图像，按照病害(powdery mildew)、发病叶片(leaf with disease)，其他叶片(leaf without disease)进行标注，即将病害所在位置框选出来，将病害所在整个叶片即发病叶片框选，除发病叶片以外的肉眼可见的叶片轮廓为其他叶片将其框选出来。对于图片中虚化严重的叶片，如果边缘区域无法肉眼辨识，则不予标记；
[0129]
第1.4步，生成数据集；将不同光照背景环境下采集标注后的含病害所有图像制作数据集，本实施例中数据集内图片数量1023张，每张图片会包含三种标注中的一个或多个，其中病害和发病叶片都至少会有一个，其他叶片可能没有，也可能有多个。
[0130]
第二步，图像预处理：
[0131]
第2.1步，将上述第1.4步得到数据集中的图像作为输入，首先通过亮度、对比度、色调、饱和度、噪音、随机缩放、裁剪、翻转、旋转等数据增强手段进行处理，并使用mosaic方法进行拼接，形成416
×
416
×
3的增强后图像。
[0132]
第2.2步，将第2.1步增强后图像随机缩放到32的10-19倍进行多尺度训练，随机缩放后的尺寸在320
×
320到608
×
608之间，不同的输入尺度到最后输出的尺度不一样，比如320
×
320的输入到融合特征提取模块的输出时就是40
×
40、20
×
20、10
×
10，而608
×
608的输入到融合特征提取模块的输出时就是76
×
76，38
×
38，19
×
19。后文以608
×
608
×
3的图像尺度作为输入示例进行说明。
[0133]
第三步，使用基于深度可分离卷积的跨阶段局部网络(dw-cspnet)构建dw-yolov4的骨干网络模块。
[0134]
第3.1步，构建基于深度可分离卷积的跨阶段局部网络模块(dw-cspnet)
[0135]
第3.1.1步，以上一步的输出图像d作为输入，送入卷积核大小为3
×
3、步长为2、输出通道数为c
out
的下采样层进行图像处理，形成特征图d1，如公式(1)所示。
[0136][0137]
其中，表示卷积核大小为3
×
3，步长为2，含归一化和leakyrelu激活函数的卷积操作。
[0138]
第3.1.2步，处理后的结果分成2个分支，一个分支使用卷积核大小为1
×
1的卷积层压缩通道，形成特征图d2，如公式(2)所示。
[0139]
d2＝γ1(d1)
ꢀꢀꢀꢀꢀꢀ
(2)，
[0140]
其中，γ1表示卷积核大小为1
×
1，含归一化和leakyrelu激活函数的卷积操作。
[0141]
第3.1.3步，另一个分支经过卷积核大小为1
×
1的卷积层压缩通道，形成特征图d3。使用卷积核大小为3
×
3的深度可分离卷积和卷积核大小为1
×
1的卷积层对d3进行特征提取，并与d3进行求和得到特征图d4，如公式(3)所示。
[0142]
d3＝γ1(d1)，d4＝γ1(δ3(d3)) d3ꢀꢀꢀꢀꢀꢀ
(3)，
[0143]
其中，δ3表示3
×
3，含归一化和leakyrelu激活函数的深度可分离卷积操作； 表示
特征图求和操作。
[0144]
第3.1.4步，将d2和d4进行通道拼接后再使用卷积核大小为1
×
1的卷积层进行通道压缩，形成基于深度可分离卷积的跨阶段局部网络模块的输出特征图dw_csp，具体如公式(4)所示。
[0145]
将基于深度可分离卷积的跨阶段局部网络模块记为f
dw_csp
，如公式(5)所示。
[0146][0147]
dw_csp＝f
dw_csp
(d)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(5)，
[0148]
其中，表示特征图拼接操作。
[0149]
设输入图像d宽、高、通道数分别为w0、h0、c0，通过dw-cspnet处理的特征图维度发生改变，输出特征图dw_csp的宽、高、通道数分别为w0/2、h0/2、2c0，即达到下采样同时增加深度的目的。
[0150]
第3.2步，构建dw-yolov4的骨干网络
[0151]
五个基于深度可分离卷积的跨阶段局部网络依次串联，第一个基于深度可分离卷积的跨阶段局部网络的通道数c
out
＝32；第二个基于深度可分离卷积的跨阶段局部网络的通道数c
out
＝64；第三个基于深度可分离卷积的跨阶段局部网络的通道数c
out
＝128，输出记为特征图dw_csp1，如公式(6)所示；第四个基于深度可分离卷积的跨阶段局部网络的通道数c
out
＝258，输出记为特征图dw_csp2，如公式(7)所示；第五个基于深度可分离卷积的跨阶段局部网络的通道数c
out
＝512，输出记为特征图dw_csp3，如公式(8)所示。特征图dw_csp1、特征图dw_csp2和特征图dw_csp3将作为输入特征图，参与到第四步融合特征提取模块的计算。
[0152]
dw_csp1＝f
dw_csp
(f
dw_csp
(f
dw_csp
(d)))
ꢀꢀꢀꢀꢀꢀꢀ
(6)，
[0153]
dw-csp2＝f
dw_csp
(dw_csp1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)，
[0154]
dw_csp3＝f
dw_csp
(dw_csp2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)，
[0155]
以输入图像d的维度为608
×
608
×
3为例，经过dw-yolov4框架的骨干网络输出的特征图dw_csp1、特征图dw_csp2和特征图dw_csp3，维度分别为76
×
76
×
128、38
×
38
×
256、19
×
19
×
512。
[0156]
第四步，构建dw-yolov4的融合特征提取模块
[0157]
第4.1步，以dw_csp3为输入，使用3
×
3的卷积，进行通道压缩，得到特征图d
4.1
，维度为19
×
19
×
256，如公式(9)所示。
[0158]d4.1
＝γ3(dw_csp3)
ꢀꢀꢀꢀꢀꢀꢀ
(9)，
[0159]
其中，γ3表示卷积核大小为3
×
3，含归一化和leakyrelu激活函数的卷积操作。
[0160]
第4.2步，对d
4.1
进行步长为5、9、13的最大池化，将得到的结果与d
4.1
进行通道拼接，得到特征图d
4.2
，维度为19
×
19
×
1024，如公式(10)所示。
[0161][0162]
其中，τ5、τ9、τ
13
分别表示步长为5、9、13的最大池化操作。
[0163]
第4.3步，使用1
×
1的卷积核对d
4.2
进行通道压缩，得到特征图d
4.3
，维度为19
×
19
×
512，如公式(11)所示。
[0164]d4.3
＝γ1(d
4.2
)
ꢀꢀꢀꢀꢀꢀꢀ
(11)，
[0165]
第4.4步，使用1
×
1的卷积对d
4.3
进行通道压缩后进行上采样，与dw_csp2进行通道
拼接，再使用1
×
1的卷积核进行通道压缩，得到特征图d
4.4
，维度为38
×
38
×
256，如公式(12)所示。
[0166][0167]
其中，σ为上采样操作。
[0168]
第4.5步，使用1
×
1的卷积对d
4.4
进行通道压缩后进行上采样，与dw_csp1进行通道拼接，再使用3
×
3的卷积核进行通道压缩，得到特征图d
4.5
，维度为76
×
76
×
128，如公式(13)所示。
[0169][0170]
第4.6步，使用大小为3
×
3，步长为2的卷积核对d
4.5
进行下采样及通道扩充，与d
4.4
拼接后再使用3
×
3的卷积核进行通道压缩，得到特征图d
4.6
，维度为38
×
38
×
256，如公式(14)所示。
[0171][0172]
第4.7步，使用大小为3
×
3，步长为2的卷积核对d
4.6
进行下采样及通道扩充，与d
4.3
拼接后再使用3
×
3的卷积核进行通道压缩，得到特征图d
4.7
，维度为19
×
19
×
512，如公式(15)所示。
[0173][0174]
第4.8步，使用三个1
×
1的卷积分别对d
4.5
，d
4.6
，d
4.7
调整输出维度，形成最终特征图d
4.8.1
，d
4.8.2
，d
4.8.3
，维度分别为76
×
76
×
out，38
×
38
×
out，19
×
19
×
out，如公式(16)所示。
[0175]d4.8.1
＝ω1(d
4.5
)，d
4.8.2
＝ω1(d
4.6
)，d
4.8.2
＝ω1(d
4.7
)
ꢀꢀꢀꢀ
(16)，
[0176]
其中，卷积ω1为卷积核大小为1
×
1的不含归一化和leakyrelu激活函数的卷积操作。
[0177]
此处out＝24；
[0178]
至此完成dw-yolov4的融合特征提取模块的构建。
[0179]
第五步，使用结合ciou和指数增强二值交叉熵的损失函数计算第4.8步输出的预测值与实际值之间的损失，预测的是当前图像中病害(powdery mildew)、发病叶片(leaf with disease)、其他叶片(leaf without disease)三类目标的预测结果，包括位置信息(目标框中心点坐标、宽度、高度)、类别以及置信度：
[0180]
第5.1步，计算ciou，目标框中心点坐标、宽度、高度分别用(x，y)、w和h表示，真实框和预测框分别用下标gt和pr表示，即真实框可以用b
gt
＝(x
gt
，y
gt
，w
gt
，h
gt
)表示，预测框可以用b
pr
＝(x
pr
，y
pr
，w
pr
，h
pr
)表示。计算公式如下：
[0181][0182][0183][0184]
[0185]
其中，b
gt
表示真实框，b
pr
表示预测框，b
gt
∩b
pr
表示真实框与预测框的交集，b
gt
∪b
pr
表示真实框与预测框的并集，ρ表示计算(x
gt
,y
gt
)和(x
pr
,y
pr
)之间的欧式距离，c代表b
gt
和b
pr
闭包的对角线距离，iou为交并比(intersection-over-union)，是两个框之间的交集面积与并集面积的比例，αv为影响因子，v为用来衡量长宽比一致性的参数，α为用于做trade-off的参数，为目标检测任务的损失函数。
[0186]
第5.2步，计算分类损失，使用指数增强二值交叉熵表示类别预测值与实际值的损失公式如下：
[0187][0188]
其中，cls
kj
为类别实际值，为类别预测值，s为步骤4.8所输出特征图所划分的单元格个数，k为单元格编号，b为各类别预测框，j为预测框编号，η为增强指数。
[0189]
第5.3步，使用二值交叉熵计算置信度损失公式如下：
[0190][0191]
其中，conf
kj
为类别实际值，为类别预测值，s为划分单元格个数，k为单元格编号，b为各类别预测框，j为预测框编号。
[0192]
第5.4步，计算总损失公式如下：
[0193][0194]
第六步，对经损失计算后的模型预测结果进行非极大值抑制(non-maximum suppression，nms)，并进行结果调整。
[0195]
第6.1步，使用nms对经损失计算后的模型预测结果进行处理，得出病害(powdery mildew)、发病叶片(leaf with disease)，其他叶片(leaf without disease)三类目标中未超出nms阈值的预测结果，包括位置信息(目标框中心点坐标、宽度、高度)、类别以及置信度。
[0196]
第6.2步，对非极大值抑制后的预测结果进行调整。
[0197]
由于病害一定发生在叶片上，但第6.1步所获得的预测结果并不一定会识别出发病叶片，因此当图片识别出了病害，但没有识别出发病叶片时，将与病害的iou最大的其他叶片类别调整为发病叶片，如果没有任何叶片与识别出的病害的iou》0则剔除该发病点，确保全部检测出的病害都有发病叶片与之对应。
[0198]
骨干网络模块和融合特征提取模块、损失计算和非极大值抑制并调整共同构成dw-yolov4网络。
[0199]
第七步，计算病情指数
[0200]
第7.1步，计算融合调整系数的发病率，即第i片发病叶片的病害面积占叶片面积占比ai，作为叶片的发病率。由于同一片叶片上可能检测出多个病害，病害之间可能相交，因此需要计算发病叶片上全部病害的病害检测面积的并集，作为发病面积。而由于本发明dw-yolov4网络识别出的发病叶片为矩形框，但实际叶片与矩形框之间存在空隙，因此需要叠加系数进行叶片面积调整。具体发病率计算公式如下。
[0201][0202]
其中，ai表示第i片发病叶片的发病率，a表示病害的面积，j为第i片发病叶片上的第j个发病点，n表示第i片发病叶片上的发病点个数，bi表示第i片发病叶片面积，σ表示叶片面积调整系数(优选0.6-0.7)。
[0203]
叶片面积调整系数计算方法为，使用二值化和otsu对标记的发病叶片部分提取绿色像素数除以发病叶片标记框像素数，本例中为0.6439。
[0204]
第7.2步，计算单个叶片的病情指数，将病情分为1-9级，当发病率小于5％时，病情级别为1；当发病率在5％-25％之间时，病情级别为3；当发病率在25％-50％之间时，病情级别为5；当发病率在50％-75％之间时，病情级别为7；当发病率大于75％时，病情级别为9。具体公式如下。
[0205][0206]
其中，i表示第i片发病叶片。
[0207]
第7.3步，计算整体病情指数
[0208][0209]
其中，n为发病叶片个数，i为第i片发病叶片。
[0210]
针对每次检查给出的指数，比如发现发病了，会在采样点附近抽取一定株数进行病情指数计算，计算的结果代表温室当前的发病程度。每片叶片根据发病面积只能算出来个1病情指数，最大为9，最小为1，分子是所有叶片病情指数求和，分母是有病叶片个数乘9，温室内本次检查的病情指数越接近100％，病情越严重。根据不同的发病程度通过经验数据会给出相应的专家治疗意见，不同病情指数对应相应的专家治疗意见，比如在草莓生长的不同时期出现不同病情指数，喷洒某种药物，浓度是什么等。
[0211]
至此，完成了温室生产环境下基于dw-yolov4的草莓白粉病快速检测和病情定量评估。
[0212]
上述基于dw-yolov4的草莓白粉病快速检测方法中的nms全称为non-maximum suppression，中文名为非极大值抑制，为本技术领域公知的算法。yolo v4，全称为you look only once v4，为本技术领域公知的算法。
[0213]
一种草莓白粉病快速检测系统，包括存储器和处理器，存储器存储上述dw-yolov4网络和病情指数计算，存储器上的程序用于被处理器加载时执行上述的检测方法和病情指数计算。所述草莓白粉病快速检测系统可以集成到智能终端，如手机、ipad、笔记本等上，然后农民拍照叶片，系统识别病情程度，给出治疗意见。
[0214]
实施例1
[0215]
本实施例基于dw-yolov4的草莓白粉病快速检测方法，具体步骤如下：
[0216]
第一步，采集温室生产环境下草莓叶片病害图像数据，并制作数据集：
[0217]
第1.1步，在日光温室草莓生产环境(包括不同天气情况、光照强度等)下，设置30
个采样点，每周每个采样点抽取3株，每株抽取三片叶片观测草莓叶片白粉病发病情况；
[0218]
第1.2步，一旦发现病害发生，开始对观测的每株全部叶片进行分辨、拍照，全部图像获取均由专业人员人工观测获得；
[0219]
第1.3步，使用labelimg工具标注图像，按照病害(powdery mildew)、发病叶片(leaf with disease)，其他叶片(leaf without disease)进行标注。对于图片中虚化严重的叶片，如果边缘区域无法肉眼辨识，则不予标记；
[0220]
第1.4步，生成数据集；
[0221]
第二步，图像预处理：
[0222]
第2.1步，将上述第1.4步得到的数据集中的图像作为输入，首先通过亮度、对比度、色调、饱和度、噪音、随机缩放、裁剪、翻转、旋转等数据增强手段进行处理，并使用mosaic方法进行拼接，形成416
×
416
×
3的增强后图像。
[0223]
第2.2步，将第2.1步增强后图像随机缩放到32的10-19倍进行多尺度训练。后文以608
×
608
×
3的图像尺度作为输入示例进行说明。
[0224]
第三步，使用基于深度可分离卷积的跨阶段局部网络(dw-cspnet)构建dw-yolov4的骨干网络模块。
[0225]
第3.1步，构建基于深度可分离卷积的跨阶段局部网络模块(dw-cspnet)
[0226]
第3.1.1步，以上一步的输出图像d作为输入，送入卷积核大小为3
×
3、步长为2、输出通道数为c
out
的下采样层进行图像处理，形成特征图d1，如公式(1)所示。
[0227][0228]
其中，表示卷积核大小为3
×
3，步长为2，含归一化和leakyrelu激活函数的卷积操作。
[0229]
第3.1.2步，处理后的结果分成2个分支，一个分支使用卷积核大小为1
×
1的卷积层压缩通道，形成特征图d2，如公式(2)所示。
[0230]
d2＝γ1(d1)
ꢀꢀꢀꢀꢀꢀꢀ
(2)，
[0231]
其中，γ1表示卷积核大小为1
×
1，含归一化和leakyrelu激活函数的卷积操作。
[0232]
第3.1.3步，另一个分支经过卷积核大小为1
×
1的卷积层压缩通道，形成特征图d3。使用卷积核大小为3
×
3的深度可分离卷积和卷积核大小为1
×
1的卷积层对d3进行特征提取，并与d3进行求和得到特征图d4，如公式(3)所示。
[0233]
d3＝γ1(d1)，d4＝γ1(δ3(d3)) d3ꢀꢀꢀꢀꢀꢀ
(3)，
[0234]
其中，δ3表示3
×
3，含归一化和leakyrelu激活函数的深度可分离卷积操作； 表示特征图求和操作。
[0235]
第3.1.4步，将d2和d4进行通道拼接后再使用卷积核大小为1
×
1的卷积层进行通道压缩，形成基于深度可分离卷积的跨阶段局部网络模块的输出特征图dw_csp，具体如公式(4)所示。
[0236]
将基于深度可分离卷积的跨阶段局部网络模块记为f
dw_csp
，如公式(5)所示。
[0237][0238]
dw_csp＝f
dw_csp
(d)
ꢀꢀꢀꢀꢀꢀ
(5)，
[0239]
其中，表示特征图拼接操作。
[0240]
设输入图像d宽、高、通道数分别为w0、h0、c0，通过dw-cspnet处理的特征图维度发
生改变，输出特征图dw_csp的宽、高、通道数分别为w0/2、h0/2、2c0，即达到下采样同时增加深度的目的。
[0241]
第3.2步，构建dw-yolov4的骨干网络
[0242]
五个基于深度可分离卷积的跨阶段局部网络依次串联，第一个基于深度可分离卷积的跨阶段局部网络的c
out
＝32；第二个基于深度可分离卷积的跨阶段局部网络的c
out
＝64；第三个基于深度可分离卷积的跨阶段局部网络的c
out
＝128，输出记为特征图dw_csp1，如公式(6)所示；第四个基于深度可分离卷积的跨阶段局部网络的c
out
＝258，输出记为特征图dw_csp2，如公式(7)所示；第五个基于深度可分离卷积的跨阶段局部网络的c
out
＝512，输出记为特征图dw_csp3，如公式(8)所示。特征图dw_csp1、特征图dw_csp2和特征图dw_csp3将作为输入特征图，参与到第四步融合特征提取模块的计算。
[0243]
dw_csp1＝f
dw_csp
(f
dw_csp
(f
dw_csp
(d)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)，
[0244]
dw-csp2＝f
dw_csp
(dw_csp1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)，
[0245]
dw_csp3＝f
dw_csp
(dw_csp2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)，
[0246]
以输入图像d的维度为608
×
608
×
3为例，经过dw-yolov4框架的骨干网络输出的特征图dw_csp1、特征图dw_csp2和特征图dw_csp3，维度分别为76
×
76
×
128、38
×
38
×
256、19
×
19
×
512。
[0247]
第四步，构建dw-yolov4的融合特征提取模块
[0248]
第4.1步，以dw_csp3为输入，使用3
×
3的卷积，进行通道压缩，得到特征图d
4.1
，维度为19
×
19
×
256，如公式(9)所示。
[0249]d4.1
＝γ3(dw_csp3)
ꢀꢀꢀꢀ
(9)，
[0250]
其中，γ3表示卷积核大小为3
×
3的卷积操作。
[0251]
第4.2步，对d
4.1
进行步长为5、9、13的最大池化，将的到的结果与d
4.1
进行拼接，得到特征图d
4.2
，维度为19
×
19
×
1024，如公式(10)所示。
[0252][0253]
其中，τ5、τ9、τ
13
分别表示步长为5、9、13的最大池化操作。
[0254]
第4.3步，使用1
×
1的卷积核对d
4.2
进行通道压缩，得到特征图d
4.3
，维度为19
×
19
×
512，如公式(11)所示。
[0255]d4.3
＝γ1(d
4.2
)
ꢀꢀꢀꢀꢀꢀꢀ
(11)，
[0256]
第4.4步，使用1
×
1的卷积对d
4.3
进行通道压缩后进行上采样，与dw_csp2进行通道拼接，再使用1
×
1的卷积核进行通道压缩，得到特征图d
4.4
，维度为38
×
38
×
256，如公式(12)所示。
[0257][0258]
其中，σ为上采样操作。
[0259]
第4.5步，使用1
×
1的卷积对d
4.4
进行通道压缩后进行上采样，与dw_csp1进行通道拼接，再使用3
×
3的卷积核进行通道压缩，得到特征图d
4.5
，维度为76
×
76
×
128，如公式(13)所示。
[0260][0261]
第4.6步，使用大小为3
×
3，步长为2的卷积核对d
4.5
进行下采样及通道扩充，与d
4.4
拼接后再使用3
×
3的卷积核进行通道压缩，得到特征图d
4.6
，维度为38
×
38
×
256，如公式(14)所示。
[0262][0263]
第4.7步，使用大小为3
×
3，步长为2的卷积核对d
4.6
进行下采样及通道扩充，与d
4.3
拼接后再使用3
×
3的卷积核进行通道压缩，得到特征图d
4.7
，维度为19
×
19
×
512，如公式(15)所示。
[0264][0265]
第4.8步，使用1
×
1的卷积对d
4.5
，d
4.6
，d
4.7
调整输出维度，形成最终特征图d
4.8.1
，d
4.8.2
，d
4.8.3
，维度分别为76
×
76
×
out，38
×
38
×
out，19
×
19
×
out，如公式(16)所示。
[0266]d4.8.1
＝ω1(d
4.5
)，d
4.8.2
＝ω1(d
4.6
)，d
4.8.2
＝ω1(d
4.7
)
ꢀꢀꢀꢀ
(16)，
[0267]
其中，本处卷积ω1为卷积核大小为1
×
1的不含归一化和leakyrelu激活函数的卷积操作。本处out＝24。
[0268]
第五步，使用结合ciou和指数增强二值交叉熵的损失函数计算第4.8步输出的预测值与实际值之间的损失：
[0269]
第5.1步，计算ciou，目标框中心点坐标、宽度、高度分别用(x，y)、w和h表示，真实框和预测框分别用下标gt和pr表示，即真实框可以用b
gt
＝(x
gt
，y
gt
，w
gt
，h
gt
)表示，预测框可以用b
pr
＝(x
pr
，y
pr
，w
pr
，h
pr
)表示。计算公式如下：
[0270][0271][0272][0273][0274]
其中，b
gt
表示真实框，b
pr
表示预测框，b
gt
∩b
pr
表示真实框与预测框的交集，b
gt
∪b
pr
表示真实框与预测框的并集，ρ表示计算(x
gt
，y
gt
)和(x
pr
，y
pr
)之间的欧式距离，c代表b
gt
和b
pr
闭包的对角线距离，iou为交并比(intersection-over-union)，是两个框之间的交集面积与并集面积的比例。
[0275]
第5.2步，计算分类损失，使用指数增强二值交叉熵表示类别预测值与实际值的损失，公式如下：
[0276][0277]
其中，cls
kj
为类别实际值，为类别预测值，s为划分单元格个数，k为单元格编号，b为各类别预测框，j为预测框编号，η为增强指数。
[0278]
第5.3步，使用二值交叉熵计算置信度损失，公式如下：
[0279][0280]
其中，conf
kj
为类别实际值，为类别预测值，s为划分单元格个数，k为单元格
编号，b为各类别预测框，j为预测框编号。
[0281]
第5.4步，计算总损失，公式如下：
[0282][0283]
第六步，对经损失计算后的模型预测结果进行非极大值抑制(non-maximum suppression，nms)，并进行结果调整。
[0284]
第6.1步，使用nms对经损失计算后的模型预测结果进行处理，得出病害(powdery mildew)、发病叶片(leaf with disease)，其他叶片(leaf without disease)三类目标中未超出nms阈值的预测结果，包括位置信息(目标框中心点坐标、宽度、高度)、类别以及置信度。
[0285]
第6.2步，对非极大值抑制后的预测结果进行调整
[0286]
由于病害一定发生在叶片上，但检测结果并不一定会识别出发病叶片，因此当图片识别出了病害，但没有识别出发病叶片时，调整与病害的iou(交并比)最大的其他叶片类别为发病叶片，如果没有任何叶片与发病点(病害区域)iou》0则剔除该发病点，确保全部检测出的发病点都有发病叶片与之对应。
[0287]
第七步，计算病情指数
[0288]
第7.1步，计算融合调整系数的发病率，即第i片发病叶片的病害面积占叶片面积占比ai，作为叶片的发病率。由于同一片叶片上可能检测出多个病害，发病点之间可能相交，因此需要计算发病叶片上全部发病点的病害检测面积的并集，作为发病面积。而由于本模型识别出的发病叶片为矩形框，但实际叶片与矩形框之间存在空隙，因此需要叠加系数进行叶片面积调整。具体发病率计算公式如下。
[0289][0290]
其中，ai表示第i片发病叶片的发病率，a表示病害的面积，j为第i片发病叶片上的第j个发病点，n表示第i片发病叶片上的发病点个数，bi表示第i片发病叶片面积，σ表示叶片面积调整系数。
[0291]
第7.2步，计算单个叶片的病情指数，将病情分为1-9级，当发病率小于5％时，病情级别为1；当发病率在5％-25％之间时，病情级别为3；当发病率在25％-50％之间时，病情级别为5；当发病率在50％-75％之间时，病情级别为5；当发病率大于75％时，病情级别为9。具体公式如下。
[0292][0293]
其中，i表示第i片发病叶片。
[0294]
第7.3步，计算整体病情指数
[0295][0296]
其中，n为发病叶片个数，i为第i片发病叶片。
[0297]
至此，完成了温室生产环境下基于dw-yolov4的草莓白粉病快速检测。
[0298]
图5、图6是生产环境下草莓叶片病害图像使用本发明基于dw-yolov4的草莓白粉病快速检测方法检测后的检测效果图。
[0299]
本发明针对温室生产环境草莓白粉病进行检测，设计基于深度可分离结构的跨阶段局部网络来构建yolov4的骨干网络，并设计融合特征提取模块，获得dw-yolov4，能够实现草莓白粉病检测；再引入指数增强二值交叉熵来改进算法的损失函数，并对白粉病病情指数进行评估，有助于草莓白粉病的发现、管理。
[0300]
本发明未述之处适用于现有技术。