基于改进神经网络的水稻生育期识别方法及系统

1.本发明涉及深度学习领域，更具体地，涉及一种基于改进神经网络的水稻生育期识别方法及系统。


背景技术：

2.水稻是我国三大主要粮食作物之一，其产量和质量在我国一直备受重视。为了保持和提高稻米的产量和品质，必须利用来自稻田的信息对水稻生育期进行准确的监测识别和分析。水稻的整个生育期包括移栽期、返青期、分蘖期、拔节期、孕穗期、抽穗期、乳熟期以及成熟期。水稻生育期是重要的农业信息，识别关键生育期对水稻田间生产和管理起着重要的作用，也是监测水稻长势和进行水稻产量分析的重要依据。目前传统的人工观测水稻生育期方式难以满足农业现代化发展的需求，迫切需要对自动识别水稻发育期的方法进行研究，以减少劳动成本，提高观测准确性和实时性。
3.现有一种作物生育期预测方法，其通过获取预测年份上一年的逐日气象因子信息并将其输入预设气象因子预测模型，得到预测年份逐日气象因子信息；将所述预测年份逐日气象因子信息输入预设生育期预测模型，得到预测年份生育期预测天数；通过将能够预测逐日气象因子信息的预设气象因子预测模型和能够预测年份生育期预测天数的预设生育期预测模型结合，得到一个完整的生育期预测方案。
4.然而，上述方法过于依赖预测年份上一年的气象因子信息和生育期信息，无法根据预测年份下的气象信息和种植情况，实时进行预测生育期，预测的效率低且结果不准确。


技术实现要素：

5.本发明为克服现有技术不能在水稻生育期的不同阶段进行实时识别，导致水稻生育期的识别效率低且识别结果不准确的缺陷，提供一种基于改进神经网络的水稻生育期识别方法及系统。
6.为解决上述技术问题，本发明的技术方案如下：
7.第一个方面，本发明提出一种基于改进神经网络的水稻生育期识别方法，包括以下步骤：
8.s1：获取水稻田间图像，对所述水稻田间图像进行预处理，利用经过预处理后的水稻田间图像构建训练集和验证集。
9.s2：建立包括条件卷积模块和cbam注意力模块的水稻生育期识别神经网络。
10.s3：将一组训练集输入所述水稻生育期识别神经网络进行训练后，利用验证集对水稻生育期识别神经网络进行一次验证并调参，直至将所有训练集输入水稻生育期识别神经网络，完成训练。
11.s4：将待识别的水稻田间图像输入训练后的水稻生育期识别神经网络，水稻生育期识别神经网络输出水稻生育期的识别结果。
12.将待识别的水稻田间图像输入优化后的水稻生育期识别神经网络。水稻生育期识
别神经网络的条件卷积模块中针对水稻生育期每一个阶段的水稻田间图像样例，定制有相应的卷积核。利用所述卷积核对水稻生育期每一个阶段的水稻田间图像样例做卷积得到对应的输出，并将输出结果输入cbam注意力模块中，cbam注意力模块从输出结果中提取出重要特征，并将提取的重要特征输入到全连接层中，全连接层输出分类结果，作为水稻生育期的识别结果。
13.作为优选方案，s2中，选取resnet网络结构作为基本网络结构，建立水稻生育期识别神经网络，所述水稻生育期识别神经网络还包括bottleneck模块和全连接层，所述cbam注意力模块包括第一cbam注意力模块和第二cbam注意力模块；所述条件卷积模块、第一cbam注意力模块、bottleneck模块、第二cbam注意力模块和全连接层依次连接。
14.作为优选方案，所述第一cbam注意力模块和第二cbam注意力模块均包括通道注意力模块和空间注意力模块。
15.作为优选方案，s1具体包括以下步骤：
16.s1.1：对水稻田间图像作分块处理，得到若干个图像块；根据不同的图像风格，将所述图像块划分为正样本图像块和负样本图像块。
17.s1.2：构建cyclegan网络，使用所述cyclegan网络将负样本图像块转换为正样本图像块。
18.s1.3：根据水稻的生育期的不同阶段，将所述正样本图像块进行标注分类，得到若干水稻生育期的不同阶段的正样本图像块。
19.s1.4：利用s1.3中进行标注后的正样本图像块构建训练集和验证集。
20.作为优选方案，s1.2中，构建cyclegan网络的具体过程如下：
21.结合感知损失函数l
p
(g,f)构建cyclegan网络的改进目标损失函数，所述感知损失函数l
p
(g,f)的表达式如下所示：
[0022][0023]
其中，w表示图像的宽度，h表示图像的高度，d表示图像的提取特征的深度分别，表示特征提取函数，g表示生成器模型g，f表示生成器模型f，g(x)表示生成器模型g生成的图像，x表示x图像域图像，f(y)生成器模型f生成的图像，y表示y图像域图像。
[0024]
则cyclegan网络的改进目标损失函数l
′
的表达式如下所示：
[0025]
l
′
＝l
gan
(g,dy,x,y) l
gan
(f,d
x
,x,y) αl
cyc
(g,f,x,y) βl
p
(g,f)
[0026]
其中，l
gan
(g,dy,x,y)为对应生成器模型g和判别器dy的生成对抗过程建立的对抗损失函数，l
gan
(f,d
x
,x,y)为对应生成器模型f和判别器dy的生成对抗过程建立的对抗损失函数，l
cyc
(g,f,x,y)为通过直接计算生成器模型g和生成器模型f转换后的图像与原始图像的l1范数，α循环一致损失函数在目标损失函数中的调节权重，β为感知损失函数在目标损失函数中的调节权重，x表示x图像域，y表示y图像域。
[0027]
作为优选方案，s1.2中，使用所述cyclegan网络将负样本图像块转换为正样本图像块，具体包括以下步骤：
[0028]
(a)将负样本图像块imge_x输入到cyclegan网络的生成器模型g中，生成器模型g输出生成图像fake_y；将生成图像fake_y输入到生成器模型f中，生成器模型f输出近似负样本图像块的图像cyc_x；将正样本图像块imge_y和生成图像fake_y输入到判别器模型dy中，判别器模型dy输出分类标签为1的图像和标签为0的图像；判定分类标签为1的图像为正样本图像块imge_y，判定分类标签为0的图像为生成图像fake_y。
[0029]
(b)将正样本图像块imge_y输入到生成器模型f中，生成器模型f输出生成图像fake_x；将生成图像fake_x输入到生成器模型g中，生成器模型g输出近似正样本图像块的图像cyc_y；将负样本图像块imge_x和生成图像fake_x输入到判别器模型d
x
中，判别器模型d
x
输出分类标签为1的图像和分类标签为0的图像，判定分类标签为1的图像为负样本图像块imge_x，判定分类标签为0的图像为生成图像fake_x。
[0030]
(c)重复步骤(a)-(b)，迭代训练生成器模型g、生成器模型f、判别器模型dy和判别器模型d
x
，当判别器模型dy无法正确判别生成图像fake_y与正样本图像块imge_y，且生成图像fake_y与正样本图像块imge_y之间的差异最小时，停止迭代训练，判定负样本图像块转换为正样本图像块。
[0031]
作为优选方案，s1.3中，根据水稻的生育期的不同阶段，将所述正样本图像块进行标注分类，将正样本图像块分为返青期图像块、分蘖期图像块、拔节期图像块、抽穗期图像块、乳熟期图像块和成熟期图像块。
[0032]
作为优选方案，所述负样本图像块为曝光风格图像块，所述正样本图像块为温和光照风格图像块。
[0033]
第二个方面，本发明还提出一种基于改进神经网络的水稻生育期识别系统，包括：
[0034]
数据处理模块，用于获取水稻田间图像，对所述水稻田间图像进行预处理，并利用经过预处理后的水稻田间图像构建训练集和验证集。
[0035]
水稻生育期识别神经网络，所述水稻生育期识别神经网络中包括条件卷积模块和cbam注意力模块；将待识别的水稻田间图像输入水稻生育期识别神经网络中，水稻生育期识别神经网络输出水稻生育期的识别结果。
[0036]
训练模块，用于利用训练集对水稻生育期识别神经网络进行训练。
[0037]
验证模块，用于利用验证集对水稻生育期识别神经网络进行验证，优化水稻生育期识别网络参数。
[0038]
第三个方面，本发明还提出一种计算机系统，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行存储器中的计算机程序时实现如基于改进神经网络的水稻生育期识别方法中任一方案的步骤。
[0039]
与现有技术相比，本发明技术方案的有益效果是：本发明建立了包括条件卷积模块和cbam注意力模块的水稻生育期识别神经网络，有效提高了水稻生育期的识别效率和识别结果的准确性。其中，条件卷积模块中针对水稻生育期每一个阶段的水稻田间图像样例，定制有相应的卷积核，cbam注意力模块同时在通道与空间上关注水稻生育期每一个阶段重要特征并对每一个阶段的重要特征进行提取和学习，提高水稻生育期每一个阶段的分类准确率，使得水稻生育期识别神经网络能够准确以及有效地对水稻生育期的不同阶段进行实时识别。
附图说明
[0040]
图1为基于改进神经网络的水稻生育期识别方法的流程图。
[0041]
图2为实施例1中水稻生育期识别神经网络的原理图。
[0042]
图3为实施例2中基于改进神经网络的水稻生育期识别方法的流程图。
[0043]
图4为传统的cyclegan网络的原理图。
[0044]
图5为基于改进神经网络的水稻生育期识别系统的架构图。
具体实施方式
[0045]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0046]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0047]
实施例1
[0048]
请参阅图1，本实施例提出一种基于改进神经网络的水稻生育期识别方法，包括以下步骤：
[0049]
s1：获取水稻田间图像，对所述水稻田间图像进行预处理，利用经过预处理后的水稻田间图像构建训练集和验证集。
[0050]
s2：建立包括条件卷积模块和cbam注意力模块的水稻生育期识别神经网络。
[0051]
本实施例中，选取resnet网络结构作为基本网络结构，建立水稻生育期识别神经网络。如图2所示，图2为本实施例中水稻生育期识别神经网络的原理图。
[0052]
本实施例将resnet网络结构原有的第一个卷积层由条件卷积模块代替，并在条件卷积模块之后插入第一cbam注意力模块，以及全连接层之前插入第二cbam注意力模块，即构建的水稻生育期识别神经网络具体包括依次连接的条件卷积模块、第一cbam注意力模块、bottleneck模块、第二cbam注意力模块和全连接层。
[0053]
使用条件卷积替换普通卷积，能够针对水稻生育期每一个阶段的水稻田间图像样例，定制相应的卷积核，然后利用卷积核对水稻生育期每一个阶段的水稻田间图像样例做卷积得到对应的输出，能够在提高水稻生育期识别神经网络的模型容量和性能的同时，保持高效的推理，对水稻生育期每一个阶段进行实时识别。
[0054]
本实施例中，所述bottleneck模块包括依次连接第一bottleneck模块、第二bottleneck模块、第三bottleneck模块和第四bottleneck模块；所述第一bottleneck模块包括三个依次连接的bottleneck；所述第二bottleneck模块包括四个依次连接的bottleneck；所述第三bottleneck模块包括六个依次连接的bottleneck；所述第四bottleneck模块包括三个依次连接的bottleneck。
[0055]
所述第一cbam注意力模块和第二cbam注意力模块均包括通道注意力模块和空间注意力模块。轻量级的cbam注意力模块包括两个独立的通道注意力模块和空间注意力模块，使得水稻生育期识别神经网络能够同时在通道与空间上关注图像的重要特征，以加强网络在空间和通道上的注意力；其中通道注意力模块关注什么样的特征是有意义的，空间注意力模块关注哪里的特征是有意义的。cbam注意力模块可使网络更好的关注待识别图像的重要特征并自动提取学习，提升各个生育期分类准确率的方法。
[0056]
s3：将一组训练集输入所述水稻生育期识别神经网络进行训练后，利用验证集对水稻生育期识别神经网络进行一次验证并调参，直至将所有训练集输入水稻生育期识别神经网络，完成训练。
[0057]
本实施例中，在一轮训练后，将验证集输入到训练后的水稻生育期识别神经网络，计算水稻生育期识别神经网络输出的准确率和耗时。在下一轮训练开始前，使用反向传播
等方法进行参数调整，优化水稻生育期识别网络的参数，使下一轮训练结束后能得到更好的训练结果。
[0058]
s4：将待识别的水稻田间图像输入优化后的水稻生育期识别神经网络，水稻生育期识别神经网络输出水稻生育期的识别结果。
[0059]
在具体实施过程中，将待识别的水稻田间图像输入优化后的水稻生育期识别神经网络。水稻生育期识别神经网络的条件卷积模块中针对水稻生育期每一个阶段的水稻田间图像样例，定制有相应的卷积核。利用所述卷积核对水稻生育期每一个阶段的水稻田间图像样例做卷积得到对应的输出，并将输出结果输入cbam注意力模块中，依次经过第一cbam注意力模块、bottleneck模块和第二cbam注意力模块提取出重要特征，并将提取的重要特征输入到全连接层中，全连接层输出分类结果，作为水稻生育期的识别结果。
[0060]
针对水稻生育期不同阶段需要进行实时监控和识别的特点，本发明建立了包括条件卷积模块和cbam注意力模块的水稻生育期识别神经网络，有效提高了水稻生育期的识别效率和识别结果的准确性。其中，条件卷积模块中针对水稻生育期每一个阶段的水稻田间图像样例，定制有相应的卷积核，cbam注意力模块同时在通道与空间上关注水稻生育期每一个阶段重要特征并对每一个阶段的重要特征进行提取和学习，提高水稻生育期每一个阶段的分类准确率，使得水稻生育期识别神经网络能够准确以及有效地对水稻生育期的不同阶段进行实时识别。
[0061]
实施例2
[0062]
请参阅图3，本实施例在实施例2提出的基于改进神经网络的水稻生育期识别方法的基础上作出改进。
[0063]
本实施例中，s1具体包括以下步骤：
[0064]
s1.1：对水稻田间图像作分块处理，得到若干个图像块；根据不同的图像风格，将所述图像块划分为正样本图像块和负样本图像块。
[0065]
本实施例中，所述负样本图像块为曝光风格图像块，所述正样本图像块为温和光照风格图像块。
[0066]
本实施例通过架设在水稻田旁的图像采集设备实时采集一系列的水稻田间图像，根据水稻生育期识别神经网络模型对输入图像大小的需求，使用图像批量分块算法将每一张原始图像进行自适应裁剪，获得若干个小图像块；并根据图像块的特点，对图像块进行风格归纳分类。由于自然环境下光照条件复杂，水面反光会增加图像的曝光度，需要将图像块分为曝光风格图像块和温和光照风格图像块。
[0067]
s1.2：构建cyclegan网络，使用所述cyclegan网络将曝光风格图像块转换为温和光照风格图像块。
[0068]
由于曝光风格图像中高光部分的水稻细节难以显现，会影响后续的图像分类，所以需要将曝光风格的图像转为温和光照风格。
[0069]
如图4所示，图4为传统的cyclegan网络的原理图，传统的cyclegan网络的目标损失函数l如下所示：
[0070]
l＝l
gan
(g,dy,x,y) l
gan
(f,d
x
,x,y) λl
cyc
(g,f,x,y)
[0071]
其中，l
gan
(g,dy,x,y)为对应生成器模型g和判别器dy的生成对抗过程建立的对抗损失函数，l
gan
(f,d
x
,x,y)为对应生成器模型f和判别器dy的生成对抗过程建立的对抗损失
函数，l
cyc
(g,f,x,y)为通过直接计算生成器模型g和生成器模型f转换后的图像与原始图像的l1范数。
[0072]
在图像转换过程中，为了既能够捕获图像的纹理信息又能够捕获对象级风格，本发明在传统的cyclegan网络的目标损失函数中加入感知损失函数l
p
(g,f)，构造一个改进目标损失函数。感知损失函数中“感知”的含义是将通过预训练好的网络提取的真实图像与生成图像的高层特征作比较，使高层信息(内容和结构)非常接近，感知损失函数l
p
(g,f)通过l2范数被定义，其表达式如下所示：
[0073][0074]
其中，w表示图像的宽度，h表示图像的高度，d表示图像的提取特征的深度分别，表示特征提取函数，g表示生成器模型g，f表示生成器模型f，g(x)表示生成器模型g生成的图像，x表示x图像域图像，f(y)生成器模型f生成的图像，y表示y图像域图像。
[0075]
则cyclegan网络的改进目标损失函数的表达式l
′
如下所示：
[0076]
l
′
＝l
gan
(g,dy,x,y) l
gan
(f,d
x
,x,y) αl
cyc
(g,f,x,y) βl
p
(g,f)
[0077]
其中，l
gan
(g,dy,x,y)为对应生成器模型g和判别器dy的生成对抗过程建立的对抗损失函数，l
gan
(f,d
x
,x,y)为对应生成器模型f和判别器dy的生成对抗过程建立的对抗损失函数，l
cyc
(g,f,x,y)为通过直接计算生成器模型g和生成器模型f转换后的图像与原始图像的l1范数，α循环一致损失函数在目标损失函数中的调节权重，β为感知损失函数在目标损失函数中的调节权重，x表示x图像域，y表示y图像域。
[0078]
本实施例中，在构建好新的cyclegan网络后，使用所述cyclegan网络对所述曝光风格图像块进行训练，将曝光风格图像块转换为温和光照风格图像块，具体包括以下步骤：
[0079]
(a)将曝光风格图像块imge_x输入到cyclegan网络的生成器模型g中，生成器模型g输出生成图像fake_y；将生成图像fake_y输入到生成器模型f中，生成器模型f输出近似曝光风格图像块的图像cyc_x；将温和光照风格图像块imge_y和生成图像fake_y输入到判别器模型dy中，判别器模型dy输出分类标签为1图像和分类标签为0的图像；判定分类标签为1的图像为温和光照风格图像块imge_y，判定分类标签为0的图像为生成图像fake_y。
[0080]
(b)将温和光照风格图像块imge_y输入到生成器模型f中，生成器模型f输出生成图像fake_x；将生成图像fake_x输入到生成器模型g中，生成器模型g输出近似温和光照风格图像块的图像cyc_y；将曝光风格图像块imge_x和生成图像fake_x输入到判别器模型d
x
中，判别器模型d
x
分类标签为1图像和分类标签为0的图像，判定分类标签为1的图像为曝光风格图像块imge_x，判定分类标签为0的图像为生成图像fake_x。
[0081]
(c)重复步骤(a)-(b)，迭代训练生成器模型g、生成器模型f、判别器模型dy和判别器模型d
x
，当判别器模型dy无法正确判别生成图像fake_y与温和光照风格图像块imge_y，生成图像fake_y与温和光照风格图像块imge_y之间的差异最小时，表明曝光风格图像块均转换为温和光照风格图像块。
[0082]
本实施例中，图像cyc_x和图像cyc_y作用于cyclegan网络的改进目标损失函数l
′
中的l
cyc
(g,f,x,y)，图像cyc_x与负样本图像块imge_x，以及图像cyc_y与正样本图像块imge_y组成l1范数，生成l
′
值以训练cyclegan网络。
[0083]
s1.3：根据水稻的生育期的不同阶段，将所述温和光照风格图像块进行标注分类，
得到若干不同类型的温和光照风格图像块。
[0084]
本实施例中，根据水稻的生育期，将所述温和光照风格图像块进行标注，将温和光照风格图像块分为返青期图像块、分蘖期图像块、拔节期图像块、抽穗期图像块、乳熟期图像块和成熟期图像块。
[0085]
s1.4：利用s1.3中进行标注后的温和光照风格图像块构建训练集和验证集。
[0086]
本实施例中，按照6:2:2的比例将进行标注后的温和光照风格图像块分成训练集、验证集和测试集，利用训练集中的水稻田间图像对水稻生育期识别神经网络进行训练，并利用验证集中的水稻田间图像对水稻生育期识别神经网络进行验证，优化水稻生育期识别网络参数；将测试集中的水稻田间图像输入优化后的水稻生育期识别神经网络，水稻生育期识别神经网络输出水稻生育期的识别结果。
[0087]
最后通过在测试集上的4032张不同生育期水稻田间图像进行测试，本发明方法在识别水稻生育期的准确率为99.851％，平均对单张图像的识别耗时为0.013s，具有较高的识别效率和准确率。
[0088]
实施例3
[0089]
本实施例提出一种基于改进神经网络的水稻生育期识别系统，包括：
[0090]
数据处理模块、水稻生育期识别神经网络、训练模块和验证模块。
[0091]
在具体实施过程中，数据处理模块获取水稻田间图像，并对水稻田间图像作分块处理，得到若干个图像块；根据图像风格，将所述图像块分为负样本图像块和正样本图像块。数据处理模块中的cyclegan网络将负样本图像块转换为正样本图像块，然后根据水稻的生育期，将所述正样本图像块进行标注分类，得到若干不同类型的正样本图像块。最后利用进行标注后的正样本图像块构建训练集和验证集。
[0092]
本实施例中，所述负样本图像块为曝光风格图像块，所述正样本图像块为温和光照风格图像块。
[0093]
本实施例中，根据水稻的生育期，将所述温和光照风格图像块进行标注，将温和光照风格图像块分为返青期图像块、分蘖期图像块、拔节期图像块、抽穗期图像块、乳熟期图像块和成熟期图像块。
[0094]
训练模块利用训练集中的水稻田间图像对水稻生育期识别神经网络每进行一次训练后，验证模块利用验证集中的水稻田间图像对水稻生育期识别神经网络进行验证，计算水稻生育期识别神经网络输出的准确率和耗时，在下一轮训练开始前，使用反向传播等方法进行参数调整，优化水稻生育期识别网络参数。将待识别的水稻田间图像输入优化后的水稻生育期识别神经网络，水稻生育期识别神经网络输出水稻生育期的识别结果。
[0095]
其中，所述水稻生育期识别神经网络采用resnet网络结构作为基本网络结构，将resnet网络结构原有的第一个卷积层由条件卷积模块代替，并在条件卷积模块之后插入第一cbam注意力模块，以及全连接层之前插入第二cbam注意力模块，构成包括依次连接的条件卷积模块、第一cbam注意力模块、bottleneck模块、第二cbam注意力模块和全连接层的网络结构。
[0096]
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
[0097]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可
以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。