基于改进的Unet网络结构用于农作物病害情况训练和评估方法与流程

基于改进的unet网络结构用于农作物病害情况训练和评估方法
技术领域
1.本发明涉及图像识别领域与农业生产领域，更具体地，涉及基于改进的unet网络结构用于农作物病害情况训练和评估方法。


背景技术：

2.农作物病害严重影响农作物的产量和质量，病发处多为叶部，其中叶部的大斑病和锈病最为常见。及时准确地识别并控制农作物病害可以将危害降到最低，目前常见的方法还是请农业专家实地勘察，基于专业知识和经验对农作物病害情况进行辨识，这种方法不仅主观性较强，而且费时费力、效率不高，严重依赖于人为的识别和判断，不能及时发现病害，造成病害进一步恶化。


技术实现要素：

3.本发明旨在克服上述现有技术的至少一种缺陷，提供一种基于改进的unet网络结构用于农作物病害情况训练和评估方法，用于农作物病害严重依赖于人为的识别和判断，不能及时发现病害，造成病害进一步恶化的问题。
4.本发明采取的技术方案是，一种农作物病害情况识别模型训练方法，所述训练方法基于unet网络进行，所述unet网络包括特征提取网络、特征融合网络和若干个第一卷积，所述方法包括：采集农作物叶片图像，形成农作物叶片图像数据集；将农作物叶片图像数据集划分出训练集和测试集；对unet网络进行改进，得到改进的unet网络；将训练集导入到改进的unet网络中进行训练，用测试集对训练后的改进的unet网络进行测试，测试通过后得到用于农作物病害情况识别方法的改进的unet网络；所述对unet网络进行改进，具体为：所述特征提取网络和特征融合网络分别包含若干个顺次连接的第一基本卷积算子；在特征提取网络中，每个所述第一基本卷积算子后均连接有一个第一残差模块，每一个所述第一残差模块经最大池化处理后连接到下一个第一基本卷积算子；在特征融合网络中，每个所述第一基本卷积算子后连接有一个第二残差模块，每一个所述第二残差模块经上采样处理后连接到下一个第一基本卷积算子；特征提取网络中每个所述第一基本卷积算子还通过其后连接的所述第一残差模块连接至对应的第一卷积。
5.本发明通过修改原始的unet架构，将残差模块合并到unet体系结构的特征提取网络和特征融合网络中，提出了一种改进的unet网络，改进的unet网络可以直接从原始测量数据中直接重建图像，而不需要任何初始重建，随着网络的深入，残差模块的加入缓解了梯
度消失的问题，进一步提高了改进unet网络图像分割的性能。将该改进后的unet网络应用到农作物病害情况识别模型中，可以提高农作物图像中病害情况的图像分割性能，从而提高农作物病害情况的识别率。
6.此外，作为对原始unet架构的细化，在输入和输出之间的跳过连接，意味着unet网络实际上学习了输入和输出之间的差异。
7.进一步的，所述第一残差模块和/或第二残差模块包括：若干组顺序连接的第二卷积、第一批归一化和第一线性修正单元；还包括一个跳过连接，所述跳过连接位于最后一组中的第二卷积和第一批归一化之间；所述跳过连接还连接至第一组的第二卷积的输入端。
8.一个残差模块包含多个卷积层，这些卷积层对这个残差学习模块的输入数据进行变化，同时原始输入信息跳过这些卷积层直接传导至最后的批归一化中。传统的卷积神经网络或者全连接网络，在信息传递时，或多或少会存在信息丢失、损耗等问题，同时还会导致梯度消失或梯度爆炸，这使得很深的传统卷积神经网络无法训练。而残差模块通过提出残差学习的思想，在一定程度上解决了传统卷积神经网络无法训练的问题。通过将输入信息“绕道”传导至输出，保护了信息的完整性，整个网络只需要学习输入、输出和残差部分，极大程度上简化了学习的目标和难度。
9.进一步的，所述第一基本卷积算子包括：顺次相连的第三卷积、第二批归一化和第二线性修正单元。
10.本发明通过第二批归一化不仅加快了模型的收敛速度，而且在一定程度缓解了深层网络中梯度弥散（特征分布较散）的问题，从而使得训练深层网络模型更加容易和稳定。而且第二线性修正单元的加入使得改进的unet网络结构计算变得更快。因此，本发明设计第一基本卷积算子的架构，从而使得整个识别模型的训练变得容易、稳定，而且技术效率更快。
11.进一步的，还包括：第一单元；所述第一单元包括顺次连接的第二基本卷积算子、第四卷积和第三残差模块；所述第二基本卷积算子与所述第一基本卷积算子结构相同，所述第三残差模块与所述第一残差模块结构相同；所述特征提取网络中的最后一个所述第一残差模块经最大池化处理后连接所述第二基本卷积算子；所述第三残差模块经上采样后连接所述特征融合网络中的第一个所述第一基本卷积算子。
12.本发明通过分别在特征提取网络的输出端和特征融合网络的输入端连接若干个第一单元，使得图像分割的效率更高。
13.进一步的，还包括：第二单元；所述第二单元包括顺次连接的第三基本卷积算子、第四残差模块、第五卷积和若干个第四基本卷积算子，所述第三基本卷积算子、第五基本卷积算子均与所述第一基本卷
积算子结构相同，所述第四残差模块与所述第一残差模块结构相同；所述第四残差模块经最大池化处理后连接所述特征提取网络中的第一个所述第一基本卷积算子；所述特征融合网络中的最后一个所述第二残差模块经上采样后连接第一个所述第四基本卷积算子。
14.本发明通过分别在特征提取网络的输入端和特征融合网络的输出端连接若干个第二单元，使得图像分割的效率更高。
15.进一步的，还包括：第三单元；所述第三单元包括顺序连接的第六卷积和第五基本卷积算子，所述第五基本卷积算子与所述第一基本卷积算子结构相同；所述第二单元中最后一个所述第四基本卷积算子经跳跃式传递后连接所述第五基本卷积算子；所述特征提取网络中第一个所述第一基本卷积算子的输入端还连接所述第六卷积。
16.本发明通过分别在特征提取网络的输入端和特征融合网络的输出端连接若干个第三单元，或是在第二单元之后连接若干个第三单元，使得图像分割的效率更高。
17.本发明通过残差模块与基本卷积卷子的组合，不断优化改进的unet网络的图像分割质量与分割效率。
18.因此，本发明设计第一～三单元的架构，从而使得整个识别模型的训练变得稳定，而且技术效率更快。
19.进一步的，还包括：若干个注意力控制门：所述第一卷积、第五卷积和第六卷积后均跳跃式连接一个所述注意力控制门至对应的第一卷积算子、第四基本卷积算子和第五基本卷积算子。
20.当输入的信息过多时，unet网络模型会变得更复杂，本发明通过引入注意力控制门，可以减少改进的unet网络的处理信息量，从而减少需要的计算资源。
21.进一步的，所述第三残差模块还通过门控信号连接第一个所述第一卷积后的注意力控制门；最后一个所述第二残差模块还通过门控信号连接所述第五卷积后的注意力控制门；最后一个所述第四基本卷积算子还通过门控信号连接所述第六卷积后的注意力控制门；除最后一个所述第二残差模块外，其余所述第二残差模块均分别通过门控信号顺次连接除第一个所述第一卷积外其余的第一卷积后的注意力控制门。
22.注意力控制门通过允许当前网络层访问所有网络层产生的输出来克服传统结构的缺点，在实现输入与输出的对齐的同时还能够利用更多的原始数据的上下文信息。
23.进一步的，所述注意力控制门包括：重采样函数、连接模块、张积量、激活函数、第三线性修正单元和若干个卷积核；
所述第一个所述卷积核的输入端连接门控信号；第二个卷积核的输入端对应连接第一卷积或第四卷积或第五卷积；第一个所述卷积核和第二个所述卷积核的输出端均连接所述连接模块的输入端；所述连接模块的输出端连接第三线性修正单元的输入端；第三线性修正单元的输出端连接第三个卷积核的输入端；第二个所述卷积核的输出端连接激活函数的输入端；激活函数的输出端连接重采样函数的输入端；所述重采样函数的输出端连接张积量的输入端；所述张积量的输入端还连接所述第一卷积或第四卷积或第五卷积的输出端。
24.通过门控信号将激活信息和上下文信息传送至所连接的注意力控制门，通过注意力控制门处理信息，加快计算效率。注意力控制门的加入，使得训练变得更加稳定并提高了模型学习的速度，在训练时，只需要更少的计算资源，提高了训练的计算效率。
25.将残差模块的作为注意力控制门的输入，用激活函数激活，得到这个残差模块的输出结果。用残差模块学习输出结果和输入结果之间的差值。
26.本发明还提供一种农作物病害情况评估方法，包括：获得待检测的农作物叶片图像；将待检测的农作物叶片图像输入到测试通过后得到用于农作物病害情况评估方法的改进的unet网络结构，得到农作物叶片分割图像和病害区分割图像；所述改进的unet网络结构通过一种农作物病害情况识别模型训练方法获得；通过计算病害区分割图像与农作物叶片分割图像的面积之比得出病害情况估计值。
27.本发明通过视频监控等系统获取到如树冠叶片等农作物叶片图像信息之后，输入至模型内，农作物叶片图片经过模型计算之后获取到叶片分割图像及病害区域分割图像，通过计算病害区与叶片图像像素点之比作为病害情况估计值。使得叶片中病害区域的占比通过数字直观地展现出来，不需请农业专家实地勘察，基于专业知识和经验对农作物病害情况进行辨识。通过视频监控便可及时发现病害，不用依赖于人为的识别和判断，避免造成病害进一步恶化。
28.与现有技术相比，本发明的有益效果为：本发明设计了一种农作物病害情况评估方法。通过在摄像头内置测试通过的用于农作物病害情况评估方法的改进的unet网络结构，可实现叶片区域的分割及病害区域的分割，通过计算两个分割区域的面积比来估计作物病害情况，可通过手持设备和终端进行实时巡检，比对病害情况的历史情况，及时预警病害并将病害综合分析结果及防治措施建议推送给种植户，防止病害进一步恶化，实现病害实时监测、及时干预。
附图说明
29.图1为本发明一种农作物病害情况识别模型训练方法的流程图。
30.图2为本发明一种改进的unet网络结构。
31.图3为本发明的残差模块的结构示意图。
32.图4为本发明第一基本卷积算子的结构示意图。
33.图5为本发明第一单元的结构示意图。
34.图6为本发明第二单元的结构示意图。
35.图7为本发明第三单元的结构示意图。
36.图8为本发明注意力控制门的结构示意图。
37.图9为本发明另一种改进的unet网络结构。
38.图10为本发明一种农作物病害情况评估方法流程图。
39.图11为本发明的农作物病害情况模型结构示意图。
40.图12为本发明的农作物病害情况识别系统示意图。
41.图13为本发明的农作物病害情况模型中间结果示意图。
42.图14为本发明的农作物病害情况模型输出结果示意图。
43.图中：max pooling 最大池化处理；upsampling上采样；skip concstenation跳过连接；gating signal门信号；attention gate注意力控制门；basicconv基本卷积算子；conv卷积；res-block残差模块；bn批归一化；relu线性修正单元；gelu激活函数；resampler重采样函数；aleaf农作物叶片分割图像的面积；adisease病害区分割图像的面积；darea病害情况估计值；c特征的通道数；h特征的高度；w特征的宽度；h图片的宽度；w图片的高度；d图片的深度；f对图像进行滤波操作；α注意系数；g分析门控信号。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
45.实施例1如图1所示，根据本发明的实施例，提供了一种农作物病害情况识别模型训练方法，所述训练方法基于unet网络进行，所述unet网络包括特征提取网络、特征融合网络和若干个第一卷积，所述方法包括：s101、采集农作物叶片图像，形成农作物叶片图像数据集；s102、将农作物叶片图像数据集划分出训练集和测试集；s103、对unet网络进行改进，得到改进的unet网络；s104、将训练集导入到改进的unet网络中进行训练，用测试集对训练后的改进的unet网络进行测试，测试通过后得到用于农作物病害情况评估方法的改进的unet网络；所述对unet网络进行改进，具体为：如图2所示，所述特征提取网络和特征融合网络分别包含若干个顺次连接的第一基本卷积算子；在特征提取网络中，每个所述第一基本卷积算子后均连接有一个第一残差模块，每一个所述第一残差模块经最大池化处理后连接到下一个第一基本卷积算子；在特征融合网络中，每个所述第一基本卷积算子后连接有一个第二残差模块，每一个所述第二残差模块经上采样处理后连接到下一个第一基本卷积算子；特征提取网络中每个所述第一基本卷积算子还通过其后连接的所述第一残差模
块连接至对应的第一卷积。
46.本实施例中，农作物叶片图像数据集中的农作物叶片图像在进行模型训练前，可以将农作物叶片图像数据集划分为训练集以及测试集，进行模型训练时，利用训练集训练模型，同时利用测试集测试训练过程中模型的效果，将测试结果反馈给模型并调整模型参数继续训练，最后得到训练好的模型。
47.在步骤s101中，采集得到农作物叶片图像后可以对农作物叶片图像进行一些预处理，形成可以直接输入模型中训练和测试的农作物叶片图像数据集。
48.进一步的，所述第一残差模块和/或第二残差模块包括：若干组顺序连接的第二卷积、第一批归一化和第一线性修正单元；还包括一个跳过连接，所述跳过连接位于最后一组中的第二卷积和第一批归一化之间；所述跳过连接还连接至第一组的第二卷积的输入端。
49.具体地，如图3所示，本发明将残差模块分为主干分支和掩模分支两个分支。主干分支可以由三个3
×
3的第二卷积、两个第一批归一化（bn）和两个第一线性修正单元（relu）组成。在掩码分支中，在输入和输出之间添加了一个跳过连接，以执行标识映射。在主干分支和掩模分支的总和后面跟着一个第一批归一化和一个线性修正单元，使得在残差模块中，张积量的大小仍然保持不变。改进的unet中的所有残差模块都具有相同数量的卷积层，以保持计算效率。
50.如图4所示，所述第一基本卷积算子包括：顺次相连的第三卷积、第二批归一化和第二线性修正单元。
51.具体地，卷积是一种积分运算，用于求两个曲线重叠区域面积，可以用来消除噪声、特征增强。
52.批归一化（batch normalization，简称bn），是深度神经网络训练的技巧，不仅可以加快模型的收敛速度，而且在一定程度缓解了深层网络中梯度弥散（特征分布较散）的问题，从而使得训练深层网络模型更加容易和稳定。
53.bn就是对每一批数据进行归一化，对于训练中某一个数据（此数据还可以是网络中间的某一层输出），bn使得网络中任意一层均可以进行归一化处理。
54.线性修正单元（relu），又称线性整流函数，是一种人工神经网络中常用的激活函数（activation function）。relu作为神经网络中最常用的激活函数，只有输入超出阈值时才被激活，不过当输入为正的时候，导数不为零，从而允许基于梯度的学习。使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。
55.进一步的，还包括：第一单元；如图5所示，所述第一单元包括顺次连接的第二基本卷积算子、第四卷积和第三残差模块；所述第二基本卷积算子与所述第一基本卷积算子结构相同，所述第三残差模块与所述第一残差模块结构相同；所述特征提取网络中的最后一个所述第一残差模块经最大池化处理后连接所述第二基本卷积算子；
所述第三残差模块经上采样后连接所述特征融合网络中的第一个所述第一基本卷积算子。
56.具体地，所述第二基本卷积算子的输入端为第一单元的输入端，所述第三残差模块的输出端为第一单元的输出端。
57.进一步的，还包括：第二单元；如图6所示，所述第二单元包括顺次连接的第三基本卷积算子、第四残差模块，第五卷积和若干个第四基本卷积算子，所述第三基本卷积算子、第五基本卷积算子均与所述第一基本卷积算子结构相同，所述第四残差模块与所述第一残差模块结构相同；所述第四残差模块经最大池化处理后连接所述特征提取网络中的第一个所述第一基本卷积算子；所述特征融合网络中的最后一个所述第二残差模块经上采样后连接第一个所述第四基本卷积算子。
58.具体地，第三基本卷积算子的输入端为第二单元的输入端，最后一个第四基本卷积算子的输出端为第二单元的输出端。第四残差模块的输出端为第二单元的另一输出端，第一个第四基本卷积算子的输出端为第二单元的另一输入端。
59.进一步的，还包括：第三单元；如图7所示，所述第三单元包括顺序连接的第六卷积和第五基本卷积算子，所述第五基本卷积算子与所述第一基本卷积算子结构相同；所述第二单元中最后一个所述第四基本卷积算子经跳跃式传递后连接所述第五基本卷积算子；所述特征提取网络中第一个所述第一基本卷积算子的输入端还连接所述第六卷积。
60.具体地，第六卷积的输入端为第三单元的输入端，第五基本卷积的输出端为第三单元的输出端。第三单元的输入端通过跳跃式连接输入的图像数据，第三单元的输出端输出后为经过图像分割的图像数据。
61.进一步的，还包括：若干个注意力控制门：所述第一卷积、第五卷积和第六卷积后均跳跃式连接一个所述注意力控制门至对应的第一卷积算子、第四基本卷积算子和第五基本卷积算子。
62.注意力控制门的加入，使得训练变得更加稳定并提高了模型学习的速度，在训练时，只需要更少的计算资源，因此提高了训练的计算效率。
63.进一步的，所述第三残差模块还通过门控信号连接第一个所述第一卷积后的注意力控制门；最后一个所述第二残差模块还通过门控信号连接所述第五卷积后的注意力控制门；最后一个所述第四基本卷积算子还通过门控信号连接所述第六卷积后的注意力控制门；
除最后一个所述第二残差模块外，其余所述第二残差模块均分别通过门控信号顺次连接除第一个所述第一卷积外其余的第一卷积后的注意力控制门。
64.具体地，跳过连接（skip concstenation）用于关注叶面整体特征提取，门信号（gating signal）用于关注叶面局部特征提取，两种信号经过注意力机制（attention gate）处理之后，叶面全局和局部特征信息融合，使得局部特征更加显现。
65.进一步的，所述注意力控制门包括：重采样函数、连接模块、张积量、若干个激活函数和若干个卷积核；所述第一个所述卷积核的输入端连接门控信号；第二个卷积核的输入端对应连接第一卷积或第四卷积或第五卷积；第一个所述卷积核和第二个所述卷积核的输出端均连接所述连接模块的输入端；所述连接模块的输出端连接第三线性修正单元的输入端；第三线性修正单元的输出端连接第三个卷积核的输入端；第二个所述卷积核的输出端连接激活函数的输入端；激活函数的输出端连接重采样函数的输入端；所述重采样函数的输出端连接张积量的输入端；所述张积量的输入端还连接所述第一卷积或第四卷积或第五卷积。
66.如图8所示，注意力控制门的输入特征用注意力控制门中计算的注意系数（α）进行缩放，空间区域是通过分析门控信号（g）提供的激活信息和上下文信息，从一个较粗的尺度上收集这些信号来选择的注意力系数，并采用三线性插值法对注意力系数进行网格重采样。
67.具体地，本发明通过2
×
2最大池化运算，重复减少特征图的空间维度，使改进的unet网络能够在不同的空间尺度上有效地学习局部和全局特征。
68.基于上述方案，本实施例将训练集输入到如图9所示的一种改进的unet网络结构中，所述第一～五基本卷积算子均为3
×
3的基本卷积算子，所述第一～六卷积均为6
×
3的卷积，所述第一～四残差模块均为相同的残差模块。
69.训练集中的数据输入到第二单元以及第三单元中，输入到第二单元中的数据在经过3
×
3的基本卷积算子后通过残差模块经过特征提取网络，通过第一基本卷积和第一残差模块处理后进入到第一单元处理，再经过特征融合网络中第一基本卷积算子和第二残差模块处理后回到第二单元中两个3
×
3的基本卷积算子处理后，再经过第三单元中一个3
×
3的基本卷积算子。训练集中的数据还可以直接进入到第三单元，通过第三单元中的一个6
×
3的卷积后再经过注意力控制门后进入到第三单元中3
×
3的基本卷积算子。
70.且特征提取网络端除最后一层外，其余每一层数据均可在处理过程中通过6
×
3的卷积后通过不同的注意力控制门进入到特征融合网络端的同一层中，特征融合网络端的数据除第一层外，其他层的数据也可通过门控信号进入到上一层中的注意力控制门中，最终特征融合网络端整合所有的数据，输出最终的分割图像。
71.实施例2如图10所示，本实施例一种农作物病害情况评估方法，包括：s201、获得待检测的农作物叶片图像；s202、将待检测的农作物叶片图像输入到测试通过后得到用于农作物病害情况评
估方法的改进的unet网络结构，得到农作物叶片分割图像和病害区分割图像；所述改进的unet网络结构通过一种农作物病害情况识别模型训练方法获得；s203、通过计算病害区分割图像与农作物叶片分割图像的面积之比得出病害情况估计值。
72.如图11所示，本发明将树冠图像输入到如图9所示的一种改进的unet网络结构，得到叶片分割图像以及病害区分割图像，通过病害区分割图像面积（a
disease
）与叶片分割图像面积（a
leaf
）作比得出病害情况估计值（d
area
）。
73.如图12所示，本发明首先通过视频监控系统获取到树冠叶片图片信息以及通过手持设备获得农作物叶片之后，将图片信息输入到如实施例1中测试通过的农作物病害情况评估方法的改进的unet网络结构，叶片分割处理的中间结果示意图如图13农作物病害情况模型中间结果示意图所示，最终该网络结构将待检测的农作物叶片图像分割为例如图14所示的农作物病害情况模型输出结果示意图中叶片分割图像及病害区域分割图像，最后通过计算病害区分割图像与农作物叶片分割图像的面积之比得出病害情况估计值。
74.系统根据病害情况估计值比对该农作物病害情况的历史情况，及时预警病害并将病害综合分析结果及防治措施建议推送给种植户。
75.显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。