基于图像识别的荔枝霜疫病自动识别方法、系统和存储介质与流程

1.本发明属于图像识别和果实病害防治的技术领域，具体涉及一种基于图像识别的荔枝霜疫病自动识别方法、系统和存储介质。


背景技术：

2.荔枝(litchi chinensis sonn)为我国南亚热带地区第一大水果，其味道鲜美，营养价值高，富含叶酸、精氨酸、色氨酸等各种营养素，同时具有较高的经济价值，是岭南地区重要经济作物。
3.荔枝的主要种植产区气候潮湿，使得荔枝极易受到病害的侵染。其中霜疫病是一种主要的常见病害，对荔枝生产有巨大影响。荔枝霜疫病病原物为鞭毛菌，主要为害即将成熟或已成熟的果实，导致烂果落果，大量减产，经济效益大幅下降。受潮时病部出现白色霉物，似白霜。霜疫病在潮湿及温度较高环境下更易生长，长时间的雨天让霜疫病发生几率大大提升，不利于荔枝生长。目前，对荔枝霜疫病的识别主要是依靠相关农学专家的经验知识进行判断，或者采样后进行实验室检测，前者具有较强的主观性，而后者是破坏性取样，且时间成本较高，降低了病害识别的实际意义。因此，实现荔枝霜疫病无损快速准确识别，对于荔枝病害精准防控具有重要意义，可以有效减少荔枝产量损失。
4.在传统基于图像的作物病害研究中，主要针对大田作物的研究，其种植面大，研究所需的作物健康及病害图片数量大，许多作物还有标准图像数据集，因此可以取得较好的识别效果。目前荔枝没有标准的图像数据库，且其主要种植区位于南方丘陵山地，受采样条件的限制，存在成像质量不高，噪声干扰严重，样本光照不均，叶片遮挡等现象，因此采用传统的识别方法难以取得理想的效果，而基于卷积神经网络的目标检测模型和语义分割模型可以达到理想的识别效果。


技术实现要素：

5.为克服荔枝果园实际生产中遇到的难以及时发现霜疫病疫情的难题，本发明提出一种基于图像识别的荔枝霜疫病自动识别方法、系统和存储介质，训练数据集采用自然条件下采集和实验室条件下采集相结合，利用计算机视觉技术采集与处理相关图像信息，基于卷积神经网络的目标检测模型和语义分割模型识别荔枝果实是否出现霜疫病感染，并自动判断感染严重程度，帮助没有充足农艺经验知识的果园工作者及时发现识别荔枝霜疫病，并根据严重程度进行精准施药等管理干预。
6.为了达到上述目的，本发明采用以下技术方案:
7.本发明一方面提供了一种基于图像识别的荔枝霜疫病自动识别方法，包括下述步骤：
8.收集自然条件下感染霜疫病的荔枝果实图像，组成果实源数据集，并对所述果实源数据集进行数据扩增和预处理，得到果实训练数据集；
9.将所述果实训练数据集导入yolo v3目标检测网络模型中进行训练，得到荔枝霜
疫病检测识别模型；
10.收集实验室条件下不同严重程度的荔枝霜疫病图像，组成霜疫病源数据集，并对所述霜疫病源数据集进行数据扩增和预处理，得到霜疫病训练数据集；
11.将所述霜疫病训练数据集导入pspnet语义分割网络模型中进行训练，得到荔枝霜疫病病斑分割模型；
12.将待检测图像导入所述荔枝霜疫病检测识别模型，得到检测结果；
13.将所述检测结果导入所述荔枝霜疫病病斑分割模型，得到荔枝果实区域及病斑区域的分割结果；
14.依据所述分割结果，计算所述病斑区域和果实区域的比例关系，得到病斑区域和果实区域的比例关系的病情指数di，判断荔枝霜疫病严重程度。
15.作为优选的技术方案，所述自然条件下感染霜疫病的荔枝果实，是指由自然环境中存在的霜疫病病原物鞭毛菌在适当气候条件下为害的荔枝果实，所述为害的荔枝果实呈现白色或褐色病斑；
16.对所述果实源数据集进行数据扩增和预处理，具体为：
17.对所述果实源数据集中所有患有霜疫病的荔枝果实图像样本进行标注；
18.对所述果实源数据集进行数据扩增，扩增方式包括随机的平移、翻转、旋转、裁剪和亮度变换；
19.对所述果实源数据集进行预处理，处理方式包括图像归一化和色彩空间变换。
20.作为优选的技术方案，将所述果实训练数据集导入yolo v3目标检测网络模型中进行训练，得到荔枝霜疫病检测识别模型，具体为：
21.以yolo v3目标检测网络模型为初始模型进行训练，采用随机梯度下降法，随机地选择所述果实训练数据集中90％的图像作为果实训练集用于训练，10％的图像作为果实验证集用于验证；
22.设定最大迭代次数，当达到预设的最大迭代次数或者在所述果实验证集上错误率不再下降时终止训练，获得荔枝霜疫病检测识别模型；所述荔枝霜疫病检测识别模型用于对荔枝果实图像进行实时检测，并用矩形框对感染霜疫病的荔枝果实进行标记，矩形框外切果实边缘，以实现荔枝霜疫病的自动检测。
23.作为优选的技术方案，所述收集实验室条件下不同严重程度的荔枝霜疫病图像，其方式为：在实验室中对健康荔枝进行人工接种霜疫病病原，使其感染霜疫病，并放置于培养箱中进行培养，收集每日的荔枝霜疫病图像；
24.对所述霜疫病源数据集进行数据扩增和预处理，具体为：
25.对所述霜疫病源数据集中的每一张图像样本进行像素级标注，判断并对荔枝果实边缘以及霜疫病病斑边缘进行标注；
26.对所述霜疫病源数据集进行数据扩增，扩增方式包括随机的平移、翻转、旋转、裁剪和亮度变换；
27.对所述霜疫病源数据集进行预处理，处理方式包括图像归一化和色彩空间变换。
28.作为优选的技术方案，将所述霜疫病训练数据集导入pspnet语义分割网络模型中进行训练，得到荔枝霜疫病病斑分割模型，具体为：
29.随机地选择所述霜疫病训练数据集中90％的图像作为霜疫病训练集用于训练，
10％的图像作为霜疫病验证集用于验证；
30.将所述霜疫病训练数据集导入所述pspnet语义分割网络模型进行训练，其学习率衰减策略采用多项式衰减策略poly，其表达式为：
[0031][0032]
其中lr
cur
为最终学习率，lr
base
为初始学习率，iter
cur
为当前迭代次数，iter
total
为总的迭代次数，多项式衰减策略会使学习率随着迭代次数上升而逐渐下降，使得模型在训练过程的后期更接近最优解；
[0033]
设定最大迭代次数，当达到预设的最大迭代次数或者在所述霜疫病验证集上错误率不再下降时终止训练，获得荔枝霜疫病病斑分割模型；所述荔枝霜疫病病斑分割模型用于对荔枝果实图像进行实时检测，并使用不同颜色的阴影对荔枝果实表面的不同区域进行覆盖标记，以区分霜疫霉病斑区域以及果实表面其余区域。
[0034]
作为优选的技术方案，所述将待检测图像导入所述荔枝霜疫病检测识别模型，得到检测结果，具体为：
[0035]
所述待检测的图像在导入荔枝霜疫病检测识别模型前，使用图像调整算法将待检测的图像调整至统一像素，调整时不对图像比例进行拉伸而是采取边缘填充的方式；
[0036]
所述荔枝霜疫病检测识别模型在识别到霜疫病为害荔枝果实的位置时，用矩形框进行标注并给出相应的置信度，将所有置信度大于0.8的矩形框标记的区域保存，得到检测结果。
[0037]
作为优选的技术方案，将所述检测结果导入所述荔枝霜疫病病斑分割模型，得到荔枝果实区域及病斑区域的分割结果，具体为：
[0038]
所述检测结果中的图像在导入荔枝霜疫病病斑分割模型前，使用图像调整算法将检测结果中的图像调整至统一像素，调整时不对图像比例进行拉伸而是采取边缘填充的方式；
[0039]
所述分割结果包括荔枝果实区域及病斑区域，所述荔枝果实区域是指不包括病斑区域的其他果实区域，故荔枝果实面积等于荔枝果实区域面积与病斑区域面积之和。
[0040]
作为优选的技术方案，所述病情指数的表达式为：
[0041][0042]
其中s
s
表示霜疫病病斑区域面积，s
h
表示荔枝果实面积；
[0043]
所述判断荔枝霜疫病严重程度是指根据所述病情指数di的值进行划分，包括3级感染程度，其中0<di≤0.2为轻度感染，0.2<di≤0.6为中度感染，0.6<di为严重感染。
[0044]
本发明另一方面提供了一种基于图像识别的荔枝霜疫病自动识别系统，应用于所述基于图像识别的荔枝霜疫病自动识别方法，包括果实训练集获得模块、检测识别模型训练模块、霜疫病训练集获得模块、病斑分割模型训练模块、检测识别模块、病斑分割模块、计算模块和信息显示模块；
[0045]
所述果实训练集获得模块，用于收集自然条件下感染霜疫病的荔枝果实图像，组
成果实源数据集，并对所述果实源数据集进行数据扩增和预处理，得到果实训练数据集；
[0046]
所述检测识别模型训练模块，用于将所述果实训练集获得模块得到的果实训练数据集导入yolo v3目标检测网络模型中进行训练，得到荔枝霜疫病检测识别模型；
[0047]
所述霜疫病训练集获得模块，用于收集实验室条件下不同严重程度的荔枝霜疫病图像，组成霜疫病源数据集，并对所述霜疫病源数据集进行数据扩增和预处理，得到霜疫病训练数据集；
[0048]
所述病斑分割模型训练模块，用于将所述霜疫病训练集获得模块得到的霜疫病训练数据集导入pspnet语义分割网络模型中进行训练，得到荔枝霜疫病病斑分割模型；
[0049]
所述检测识别模块，用于将待检测图像导入所述检测识别模型训练模块得到的荔枝霜疫病检测识别模型，得到检测结果；
[0050]
所述病斑分割模块，用于将所述检测识别模块得到的检测结果导入所述病斑分割模型训练模块得到的荔枝霜疫病病斑分割模型，得到荔枝果实区域及病斑区域的分割结果；
[0051]
所述计算模块，依据所述病斑分割模型得到的分割结果，计算病斑区域和果实区域的比例关系，得到病斑区域和果实区域的比例关系的病情指数di，判断荔枝霜疫病严重程度；
[0052]
所述信息显示模块，用于将所述计算模块得到的病情指数di及严重程度输出于显示设备。
[0053]
本发明又一方面提供了一种计算机可读存储介质，存储有程序，其特征在于：所述程序被处理器执行时，实现所述的基于图像识别的荔枝霜疫病自动识别方法。
[0054]
本发明与现有技术相比，具有如下优点和有益效果：
[0055]
与现有技术相比，本发明提供的一种基于图像识别的荔枝霜疫病自动识别方法和系统，通过计算机视觉技术采集与处理相关图像信息方便快捷且实用性强；采用基于卷积神经网络的目标检测模型和语义分割模型识别荔枝果实是否出现霜疫病感染，并自动判断感染严重程度，及时掌握荔枝果实的病害状态，方便人员精准防控，降低了荔枝果实患霜疫病的概率，提高了荔枝果实的质量和产量；本发明提供的基于图像识别的荔枝霜疫病自动识别方法和系统，提高了荔枝霜疫病的快速准确的自动识别能力和识别精度，对荔枝病害精准防控具有重要意义。
附图说明
[0056]
图1为本发明实施例基于图像识别的荔枝霜疫病自动识别方法的流程图；
[0057]
图2是本发明实施例darknet
‑
53网络结构示意图；
[0058]
图3是本发明实施例空间金字塔池化模块的示意图；
[0059]
图4是本发明实施例带孔空间金字塔池化模块的示意图；
[0060]
图5为本发明实施例基于图像识别的荔枝霜疫病自动识别系统的方框图；
[0061]
图6为本发明实施例的存储介质的结构示意图。
具体实施方式
[0062]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术中的实施例
及附图，对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0063]
实施例
[0064]
如图1所示，本实施例为基于图像识别的荔枝霜疫病自动识别方法，包括下述步骤：
[0065]
s1、收集自然条件下感染霜疫病的荔枝果实图像，组成果实源数据集，并对其进行数据扩增和预处理得到果实训练数据集，包括：
[0066]
s101、本实施例中，在果园中寻找自然条件下感染霜疫病的荔枝果实，依据农学专家的经验判断是否感染，具备图像采集经验的技术人员使用单反数码相机或技术性能类似的图像拍摄设备进行图像拍摄，图像为rgb模式，原始图像像素大小为4096
×
2160，截取包含荔枝霜疫病病害果实的相关区域，并统一缩放至800
×
800像素，得到果实源数据集；
[0067]
s102、对果实源数据集进行标注，使用labelimg程序，用矩形标注框将图像中感染霜疫病的荔枝果实框住，使得矩形标注框外切荔枝果实区域；标注时，对某个荔枝果实是否能标注，在图像拍摄角度、光照、清晰度等条件下，农学专家能否通过肉眼观察判别为霜疫病病果为标准，若能判别，则进行标注；若不能判别，则放弃标注；
[0068]
s103、为增加训练样本数量，以增强检测器的准确性、鲁棒性，对标注后的图像进行数据扩增，包括：随机的平移变换(变换范围为
±
5像素)、翻转变换(水平和垂直翻转)、旋转变换(变换角度包括60
°
、120
°
、180
°
、240
°
、300
°
)、裁剪变换(变换范围1～5像素)和亮度变换(变换范围
±
15％)；
[0069]
s104、对果实源数据集进行预处理，包括图像归一化和色彩空间变换。
[0070]
s2、将果实训练数据集导入yolo v3目标检测网络模型中进行训练，得到荔枝霜疫病检测识别模型，具体为：
[0071]
s201、以yolo v3目标检测网络模型为初始模型进行训练，采用随机梯度下降法，随机地选择果实训练数据集中90％的图像作为果实训练集用于训练，10％的图像作为果实验证集用于验证；
[0072]
s202、设定最大迭代次数，当达到预设的最大迭代次数或者在所述果实验证集上错误率不再下降时终止训练，获得荔枝霜疫病检测识别模型；所述荔枝霜疫病检测识别模型用于对荔枝果实图像进行实时检测，并用矩形框对感染霜疫病的荔枝果实进行标记，矩形框外切果实边缘，以实现荔枝霜疫病的自动检测。
[0073]
进一步的，本实施例中，yolo v3采用darknet
‑
53网络结构，默认采用416
×
416
×
3的输入，如图2所示。其中，dbl代表卷积、bn及leaky rell三层的结构，在yolo v3中，卷积层都是以这样的组件出现的，构成了darknet的基本单元；res代表残差模块，res后面的数字代表有几个串联的残差模块。上采样使用的方法为上池化，即元素复制扩充的方法使得特征尺寸扩大。上采样后将深层与浅层的特征进行concat操作，即通道的拼接。
[0074]
darknet
‑
53网络结构在基础网络中大量使用了残差连接，因此网络结构可以设计得很深，并且缓解了训练中梯度消失的问题，使得模型更容易收敛。通过上采样与concat操作，融合深、浅层的特征，最终输出3种尺寸的特征图，用于后续预测。这种多层特征图对于多种尺度物体及小物体检测是有利的，在相机视野中的荔枝果实属于小物体，因此是合适
的。darknet
‑
53网络没有采用池化的做法，而是通过步长为2的卷积核来达到缩小尺寸的效果，下采样次数同样是5次，总体下采样率为32。
[0075]
yolo v3输出了3个大小不同的特征图，分别对应深层、中层、浅层的特征。深层的特征图尺寸小，感受野大，有利于检测大尺寸物体，而浅层的特征图则相反，更有利于检测小尺度物体。yolo v3依然沿用了预选框anchor，使用聚类的算法得到了9种不同大小的先验框。
[0076]
注意力机制(attention mechanism)是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。注意力机制本质上与人类对外界事物的观察机制类似，模拟人类在观察事物时，倾向于事物的局部信息，并将不同区域的信息组合得到被观察物体的整体印象。
[0077]
注意力机制可以帮助模型对输入的图片每个部分赋予不同的权重，抽取出更加重要的信息做元集中区域，使得模型对输入的图片做出更加精准的判断。同时，增加了注意力机制后并不会对网络的运算速率和存储容量造成较大影响。
[0078]
在果园环境中由于光照的不同以及遮挡问题，树干区域常常会处于阴影区域，导致了颜色信息不够明显，减少了其区分度，从而导致了yolo v3的检测结果对一些光照较弱的时候出现失败的问题。因此需要结合注意力机制，让网络能够自适应地增强对荔枝果实区域的权重，减少网络因为光照以及杂物信息而使得网络忽视了阴影区的荔枝果实的问题。
[0079]
该注意力模块的输出用来作为权重直接乘上yolov3网络中的特征层输出，从而达到对空间中不同位置的特征进行区分的目的。具体来说就是网络能够对需要检测的区域特征进行增强，从而更关注这部分的有效特征，而忽略周围的噪声。
[0080]
直接将注意力模块嵌入网络，并只使用最终的真值检测框作为监督会使得注意力模块的训练缺少足够的信息指导，从而会影响整体的效果。为了能够更好的训练注意力模块，利用手工标注的真值图片，自动的生成注意力真值模版。
[0081]
具体的生成方式为：
[0082]
将检测框的中心c
x
作为注意力权重最高的像素(1.0)，然后向周围的其他像素p
x
以下式方式减少。
[0083][0084]
式中h和w分别表示图像的长宽，d表示p
x
到c
x
的距离。
[0085]
以此作为注意力图的监督信号。通过这样的方式生成的监督信号，可以使得检测框内的注意力真值相对是一个较高的值，即显式地指导网络训练应该更注意力检测框内的特征。而随着距离检测框的中心越来越远，注意力大幅衰减，从而减少网络对于噪声特征的学习。
[0086]
s3、收集实验室条件下不同严重程度的荔枝霜疫病图像，组成霜疫病源数据集，并对所述霜疫病源数据集进行数据扩增和预处理，得到霜疫病训练数据集，包括：
[0087]
s301、本实施例中，需要在实验室下自行培养感染霜疫病的荔枝果实：方法如下：
[0088]
(1)、制作胡萝卜培养基(ca)：将新鲜的200g胡萝卜去皮切成小片，加去离子水后
用榨汁机绞碎，四层纱布过滤后定容到1000ml，加入20g琼脂粉，最后分装灭菌；
[0089]
(2)、用新鲜的胡萝卜琼脂培养基对荔枝霜疫霉菌株15gdchr1进行活化：将在试管保存的供试菌株移植到胡萝卜琼脂培养基平板上，置于25℃温室中活化培养；待荔枝霜疫霉菌(p.litchii)生长出新的菌落后，用灭菌后的牙签在菌落边缘切取菌丝块转移到新的胡萝卜培养基平板上培养，获得生命力较强的新鲜菌落；
[0090]
(3)、取已在温室中培养4天的活化后的新鲜菌株，向菌落中加入5ml的无菌水，轻轻震荡，使成熟的孢子囊脱落到水中，获得成熟的孢子囊悬浮液；吸取500μl的孢子囊悬浮液于新的胡萝卜培养基平板中，用消毒后的涂布棒均匀涂开，置于25℃培养室中培养3天，获得了生长一致的孢子囊；向长满孢子囊的培养基平板中加入5ml灭菌蒸馏水，获得新鲜的成熟的生长一致的孢子囊悬浮液，用血球计数板计算并调整孢子囊悬浮液的浓度至1
×
104个/ml；
[0091]
(4)、挑取大小适中健康的待试的荔枝果实40枚，并用吸水纸擦干荔枝果实表面的污渍，保证果实表面无水分；取规格为17cm
×
11.5cm
×
6cm的保鲜盒若干，在每个保鲜盒底部垫5层吸水纸，然后用无菌水浸湿吸水纸并倒置，待其没有水分流出，将荔枝横放入处理过的保鲜盒内；用移液器取20μl制备好的孢子囊悬浮液，点滴接种到荔枝果实中心的表皮上，每个保鲜盒10个果实作为一组，三个重复，对照组点滴20μl的无菌水；接种后的果实置于25℃培养箱中保湿培养；
[0092]
在培养感染霜疫病的荔枝果实的过程中进行图像采集，图像拍摄由具备图像采集经验的技术人员完成，在接种后每间隔12小时进行一次拍摄，样本放在水平放置的白色底版上，镜头距离样本约30cm进行特写拍摄，其中镜头垂直向下拍摄1张，镜头与水平呈45
°
分别从样本上、下、左、右方向拍摄各一张，每个样本共计拍摄5张；图像拍摄使用单反数码相机或者技术性能类似的图像拍摄设备，图像为rgb模式，原始图像像素大小为4096
×
2160，截取包含荔枝霜疫病害果实的相关区域，并统一缩放至800
×
800像素，得到霜疫病源数据集；
[0093]
s302、对霜疫病源数据集进行标注，使用labelimg程序，用矩形标注框将图像中感染霜疫病的荔枝果实框住，使得矩形标注框外切荔枝果实区域；
[0094]
s303、为增加训练样本数量，以增强检测器的准确性、鲁棒性，对标注后的图像进行数据扩增，包括：随机的平移变换(变换范围为
±
5像素)、翻转变换(水平和垂直翻转)、旋转变换(变换角度包括60
°
、120
°
、180
°
、240
°
、300
°
)、裁剪变换(变换范围1～5像素)和亮度变换(变换范围
±
15％)；
[0095]
s304、对霜疫病源数据集进行预处理，包括图像归一化和色彩空间变换。
[0096]
s4、将霜疫病训练数据集导入pspnet语义分割网络模型中进行训练，得到荔枝霜疫病病斑分割模型，具体为：
[0097]
s401、随机地选择霜疫病训练数据集中90％的图像作为霜疫病训练集用于训练，10％的图像作为霜疫病验证集用于验证
[0098]
s402、将霜疫病训练数据集导入pspnet语义分割网络模型进行训练，其学习率衰减策略采用多项式衰减策略poly，其表达式为：
[0099][0100]
其中lr
cur
为最终学习率，lr
base
为初始学习率，iter
cur
为当前迭代次数，iter
total
为总的迭代次数，多项式衰减策略会使学习率随着迭代次数上升而逐渐下降，使得模型在训练过程的后期更接近最优解；
[0101]
s403、设定最大迭代次数，当达到预设的最大迭代次数或者在霜疫病验证集上错误率不再下降时终止训练，获得荔枝霜疫病病斑分割模型。
[0102]
进一步的，针对语义分割网络中上下文信息的获取问题，本实施例提出了一种跨层空间特征融合模块，该模块能有效地增强语义分割网络模型捕获上下文信息的能力，提升网络的分割性能。
[0103]
pspnet是一种基于特征融合语义分割方法，该模型在fcn基础上添加了空间金字塔池化模块(spatial pyramid pooling,spp)，如图3所示。空间金字塔池化模块融合了四种不同池化尺度下的特征，其中全局池化层对尺寸为c
×
h
×
w输入特征图进行全局池化运算，得到尺寸为c
×1×
1的特征图，该特征包含最具概括性的全局信息。模块中的其他的池化层是三个具有不同池化窗口尺寸的池化层，这三个池化层将特征图划分为2
×
2、3
×
3和6
×
6个子区域，然后进行池化运算得到尺寸分别为c
×2×
2、c
×3×
3和c
×6×
6的特征图。为了维持模块输入特征的权重，空间金字塔池化模块还利用1
×
1卷积层将这些池化后的特征图的通道维数降为原来的1/n，其中n为该模块中池化层的数量。随后，这些尺寸不同的特征图会经过上采样层还原成尺寸为c
×
h
×
w的特征图，得到四种尺寸一致但属于不同层次的上下文信息表示。最后，空间金字塔池化模块将这四个特征图与原始的输入特征图级联在一起，得到融合了多尺度上下文信息的特征图。
[0104]
带孔空间金字塔池化(atrous spatial pyramid pooling,aspp)模块是目前被广泛采用的空间特征融合模块，如图4所示。在aspp中，传统的卷积层被空洞卷积层所替代。与传统卷积不同，空洞卷积在卷积核中注入了空洞，它能够在不增加运算量的前提下有效扩大感受野，感受野的扩大程度由空洞卷积的扩张率决定。aspp的结构主要由两部分组成，第一部分是全局池化层和上采样层，另一个部分则是一个1
×
1的卷积层以及三个扩张率分别为12、24和32的空洞卷积层。上述所有五个分支产生的特征图将会被级联在一起，然后通过一个有256个1
×
1卷积核的卷积层进行通道降维，最后得到输出特征图。全局池化层和上采样层负责全局信息的提取工作与特征图尺寸还原工作，其余的四个感受野不同的卷积层则用于接收不同尺度的语义特征信息。aspp最终的输出特征图融合了这五个分支特征图的融合特征图，特征图内包含了包括全局信息在内的不同尺度的上下文信息。
[0105]
pspnet中的空间金字塔池化模块和aspp的设计思路都遵循了多尺度特征融合思想，通过融合不同尺度下的图像特征来获取更为丰富的上下文信息，提高分割准确率。
[0106]
s5、将待检测的图像导入荔枝霜疫病检测识别模型，得到检测结果，具体为：
[0107]
s501、待检测的图像在导入荔枝霜疫病检测识别模型之前，使用图像调整算法将待检测的图像调整至统一像素，调整时不对图像比例进行拉伸而是采取边缘填充的方式；
[0108]
s502、荔枝霜疫病检测识别模型在识别到霜疫病为害荔枝果实的位置时，用矩形框进行标注并给出相应的置信度，将所有置信度大于0.8的矩形框标记的区域保存，得到检
测结果。
[0109]
可以理解的是，所述置信度是指检测识别模型生成标记框后对标记框的一个概率判断，如置信度为0.8表示模型认为该标记框中包含荔枝霜疫病果实的概率是80％。
[0110]
s6、将检测结果导入荔枝霜疫病病斑分割模型，得到荔枝果实区域及病斑区域的分割结果，具体为：
[0111]
s601、检测结果中的图像在导入荔枝霜疫病病斑分割模型前，使用图像调整算法将检测结果中的图像调整至统一像素，调整时不对图像比例进行拉伸而是采取边缘填充的方式；
[0112]
s602、分割结果包括荔枝果实区域及病斑区域，荔枝果实区域是指不包括病斑区域的荔枝果实其他区域，故荔枝果实面积等于荔枝果实区域面积与病斑区域面积之和。
[0113]
s7、依据分割结果，计算病斑区域和果实区域的比例关系，得到病斑区域和果实区域的比例关系的病情指数di，其表达式为：其中s
s
表示霜疫病病斑区域面积，s
h
表示荔枝果实面积，根据病情指数di判断荔枝霜疫病严重程度，包括3级感染程度，其中0<di≤0.2为轻度感染，0.2<di≤0.6为中度感染，0.6<di为严重感染。
[0114]
如图5所示，在另一个实施例中，提供了一种基于图像识别的荔枝霜疫病自动识别系统，该系统包括果实训练集获得模块、检测识别模型训练模块、霜疫病训练集获得模块、病斑分割模型训练模块、检测识别模块、病斑分割模块、计算模块和信息显示模块；
[0115]
所述果实训练集获得模块，用于收集自然条件下感染霜疫病的荔枝果实图像，组成果实源数据集，并对果实源数据集进行数据扩增和预处理，得到果实训练数据集；
[0116]
所述检测识别模型训练模块，用于将果实训练数据集导入yolo v3目标检测网络模型中进行训练，得到荔枝霜疫病检测识别模型；
[0117]
所述霜疫病训练集获得模块，用于收集实验室条件下不同严重程度的荔枝霜疫病图像，组成霜疫病源数据集，并对霜疫病源数据集进行数据扩增和预处理，得到霜疫病训练数据集；
[0118]
所述病斑分割模型训练模块，用于将霜疫病训练数据集导入pspnet语义分割网络模型中进行训练，得到荔枝霜疫病病斑分割模型；
[0119]
所述检测识别模块，用于将待检测图像导入荔枝霜疫病检测识别模型，得到检测结果；
[0120]
所述病斑分割模块，用于将检测结果导入荔枝霜疫病病斑分割模型，得到荔枝果实区域及病斑区域的分割结果；
[0121]
所述计算模块，依据分割结果，计算病斑区域和果实区域的比例关系，得到病斑区域和果实区域的比例关系的病情指数di，判断荔枝霜疫病严重程度；
[0122]
所述信息显示模块，用于将病情指数di及严重程度输出于显示设备。
[0123]
在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，该系统是应用于上述实施例的基于图像识别的荔枝霜疫病自动识别方法。
[0124]
如图6所示，在本技术的另一个实施例中，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现基于图像识别的荔枝霜疫病自动识别方法，具体为：
[0125]
收集自然条件下感染霜疫病的荔枝果实图像，组成果实源数据集，并对果实源数据集进行数据扩增和预处理，得到果实训练数据集；
[0126]
将果实训练数据集导入yolo v3目标检测网络模型中进行训练，得到荔枝霜疫病检测识别模型；
[0127]
收集实验室条件下不同严重程度的荔枝霜疫病图像，组成霜疫病源数据集，并对霜疫病源数据集进行数据扩增和预处理，得到霜疫病训练数据集；
[0128]
将霜疫病训练数据集导入pspnet语义分割网络模型中进行训练，得到荔枝霜疫病病斑分割模型；
[0129]
将待检测图像导入荔枝霜疫病检测识别模型，得到检测结果；
[0130]
将检测结果导入荔枝霜疫病病斑分割模型，得到荔枝果实区域及病斑区域的分割结果；
[0131]
依据分割结果，计算病斑区域和果实区域的比例关系，得到病斑区域和果实区域的比例关系的病情指数di，判断荔枝霜疫病严重程度；
[0132]
将病情指数di及严重程度输出于显示设备。
[0133]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现
[0134]
上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。