一种基于卷积神经网络的小麦麦穗赤霉病识别方法及系统与流程

1.本发明涉及小麦麦穗赤霉病识别技术的领域，尤其是涉及一种基于卷积神经网络的小麦麦穗赤霉病识别方法及系统。


背景技术：

2.小麦是我国主要的粮食作物之一，其产量和质量一直是相关研究人员关注的重点。赤霉病是小麦从幼苗到抽穗均可受害的常患病害，它能引起高达40％的减产并使种子失去种用和工业价值。
3.运用图像处理和机器学习技术替代传统人工识别方式成为一种趋势，而目前运用图像处理和机器学习来处理所拍摄的麦穗图片需要在纯背景以及受控环境下，而麦穗的生长环境变化多样，因而目前图像处理和机器学习具有较大的局限性，无法适应不同的麦穗成长环境。


技术实现要素：

4.本技术实施例通过提供一种基于卷积神经网络的小麦麦穗赤霉病识别方法及系统，解决了现有技术中需要在纯背景或者受控环境下才能进行麦穗图片处理和机器学习的技术问题，实现了可以适应不同环境下的麦穗图像处理，实现了对小麦麦穗赤霉病的有效准确分割，以提高对小麦麦穗赤霉病识别的环境适应能力和精准度。
5.本技术实施例提供了一种基于卷积神经网络的小麦麦穗赤霉病识别方法，包括以下步骤：获取待识别麦穗图片；将所述待识别麦穗图片输送至分割网络模型中，得到麦穗分割结果图；将所述麦穗分割结果图输送至可视化模块中进行显示。
6.进一步的，所述分割网络模型的获得方法，包括：获取待训练麦穗图片：对所述待训练麦穗图片进行标注，得到标注图像数据；对所述标注图像数据进行划分，并划分为训练集图像数据和验证集图像数据；对所述训练集图像数据进行增广操作，得到增广图像数据；将所述增广图像数据输入至分割网络中学习细节特征，得到若干个待确定模型；利用所述验证集图像数据对若干个待确定模型进行筛选，并获得所述分割网络模型。
7.进一步的，所述分割网络中学习细节特征，包括：将所述待训练麦穗图片进行两次卷积操作，得到卷积特征图；将所述卷积特征图输送至注意力机制中，得到注意力机制特征图；对所述注意力机制特征图进行采样，得到采样特征图；对所述采样特征图与所述卷积特征图进行连接，得到所述待训练麦穗的分割结果图。
8.进一步的，所述将所述卷积特征图输送至注意力机制中，得到注意力机制特征图包括：对所述卷积特征图进行转置，得到转置特征图；将所述转置特征图与所述卷积特征图进行矩阵乘法操作，得到注意力权重图；对所述注意力权重图与所述卷积特征图相乘，得到相乘特征图；对所述相乘特征图与所述卷积特征图做残差运算，得到第一分支特征图；将若干通道中的特征图在每个通道的相同位置分别取值之后求平均并压缩，得到等大的第一特征图；将所述卷积特征图求最大值，得到第二特征图；将所述第二特征图与所述第一特征图
联合起来形成第三特征图；对所述第三特征图进行卷积操作和softmax函数操作得到值与所述第一分支特征图相乘，得到所述注意力机制特征图。
9.进一步的，所述分割网络中学习细节特征中的训练过程为带有权重值的交叉熵损失函数。
10.进一步的，所述识别方法还包括：利用预设评价标准来评定若干所述待确定模型是否符合标准，并将评价结果发送至所述可视化模块中。
11.本技术还提供了一种基于卷积神经网络的小麦麦穗赤霉病识别系统，包括：
12.进一步的，第一获取单元，被配置为获取待识别麦穗图片：分割单元，被配置为将所述待识别麦穗图片输送至分割网络模型中，得到麦穗分割结果图；输送单元，被配置为将所述麦穗分割结果图输送至可视化模块中进行显示。
13.进一步的，还包括：第二获取单元，被配置为获取待训练麦穗图片；标注单元，被配置为对所述待训练麦穗图片进行标注，得到标注图像数据；划分单元，被配置为对所述标注图像数据进行划分，并划分为训练集图像数据和验证集图像数据；增广单元，被配置为对所述训练集图像数据进行增广操作，得到增广图像数据；网络学习单元，被配置为将所述增广图像数据输入至分割网络中学习细节特征，得到若干个待确定模型；筛选单元，被配置为利用所述验证集图像数据对若干个待确定模型进行筛选，并获得所述分割网络模型。
14.进一步的，所述网络学习单元：卷积操作子单元，被配置为将所述待训练麦穗图片进行两次卷积操作，得到卷积特征图；注意力机制子单元，被配置为将所述卷积特征图输送至注意力机制中，得到注意力机制特征图；采样子单元，被配置为对所述注意力机制特征图进行采样，得到采样特征图；连接子单元，被配置为对所述采样特征图与所述卷积特征图进行连接，得到所述待训练麦穗的分割结果图。
15.进一步的，所述注意力机制子单元包括：转置极单元，被配置为对所述卷积特征图进行转置，得到转置特征图；矩阵乘法操作极单元，被配置为将所述转置特征图与所述卷积特征图进行矩阵乘法操作，得到注意力权重图；相乘极单元，被配置为对所述注意力权重图与所述卷积特征图相乘，得到相乘特征图；残差运算极单元，被配置为对所述相乘特征图与所述卷积特征图做残差运算，得到第一分支特征图；压缩极单元，被配置为将若干通道中的特征图在每个通道的相同位置分别取值之后求平均并压缩，得到等大的第一特征图；求值极单元，被配置为将所述卷积特征图求最大值，得到第二特征图；运算极单元，被配置为对所述第三特征图进行卷积操作和softmax函数操作得到值与所述第一分支特征图相乘，得到所述注意力机制特征图。
16.本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
17.利用预设的分割网络模型对待识别麦穗图片进行分割识别，可以得到分割结果图并发送至可视化模块中，其中在分割网络模型中具有注意力机制，可以使得麦穗图片的识别更加快速精准，可以适应不同环境下的麦穗图像处理，实现了对小麦麦穗赤霉病的有效准确分割，以提高对小麦麦穗赤霉病识别的环境适应能力和精准度。
附图说明
18.图1为本技术实施例中一种基于卷积神经网络的小麦麦穗赤霉病识别方法的流程图；
19.图2为本技术实施例中获取分割网络模型的流程图；
20.图3为本技术实施例中分割网络中学习细节特征的流程图；
21.图4为本技术实施例中麦穗图片的原图、标注图以及分割结果图示例；
22.图5为本技术实施例中注意力机制图获取方法的流程图；
23.图6为本技术实施例中一种基于卷积神经网络的小麦麦穗赤霉病识别系统的结构示意图；
24.图7为本技术实施例中注意力机制子单元的结构示意图。
具体实施方式
25.本技术实施例公开了一种基于卷积神经网络的小麦麦穗赤霉病识别方法及系统，解决了现有技术中需要在纯背景或者受控环境下才能进行麦穗图片处理和机器学习的技术问题。
26.针对上述技术问题，本技术提供的技术方案总体思路如下：
27.本技术实施例提供了一种基于卷积神经网络的小麦麦穗赤霉病识别方法，所述方法包括：获取待识别麦穗图片；将所述待识别麦穗图片输送至分割网络模型中，得到麦穗分割结果图；将所述麦穗分割结果图输送至可视化模块中进行显示。
28.为使本发明实施例的上述基本方法能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
29.实施例一
30.图1是本技术实施例中一种基于卷积神经网络的小麦麦穗赤霉病识别方法，以下通过具体步骤进行详细说明。
31.s11：获取待识别麦穗图片。
32.在具体实施中，工作人员可以手持摄像设备到合适的农田拍摄麦穗图片，也可以将摄像模块安装在适用于田地等不平整地面的履带机器人上，通过远程遥控履带机器人来拍摄麦穗图片，拍摄后的图片可以进行无损压缩。
33.s12：将所述待识别麦穗图片输送至分割网络模型中，得到麦穗分割结果图。
34.s13：将所述麦穗分割结果图输送至可视化模块中进行显示。
35.在具体实施中，可视化模块可以是电脑或者手机上的显示模块，利用可视化模块可以将麦穗分割结果图展现出来，也可以对麦穗分割结果图进行存储，显示的结果为用不同颜色标注出的患有赤霉病区域、非患病的健康区域和背景部分。
36.如图2所示，在本技术实施例中，采用以下方法获取上述s12中的分割网络模型。
37.s21：获取待训练麦穗图片。
38.在具体实施中，也可以通过手持摄像设备或者带有摄像模块的履带机器人对适合的麦田进行拍摄，来获取所述待训练麦穗图片。
39.s22：对所述待训练麦穗图片进行标注，得到标注图像数据。
40.在具体实施中，可以利用标签制作软件对所述带训练麦穗图片进行标注。
41.s23：对所述标注图像数据进行划分，并划分为训练集图像数据和验证集图像数据。
42.s24：对所述训练集图像数据进行增广操作，得到增广图像数据。
43.在具体实施中，可以使用torchvision.transforms对图片进行水平翻转，随机裁剪，随机选择等，从而扩大所述训练集图像数据中训练数据集的规模，同时使目标物体的位置发生变化减轻模型对物体出现位置的依赖性，也可以减少过拟合的目的。
44.s25：将所述增广图像数据输入至分割网络中学习细节特征，得到若干个待确定模型。
45.在具体实施中，分割网络中学习细节特征中的训练过程为带有权重值的交叉熵损失函数。
46.在具体实施中，分割网络中学习细节特征可以通过以下步骤进行，如图3所示。
47.s251：将所述待训练麦穗图片进行两次卷积操作，得到卷积特征图。
48.在具体实施中，所述待训练麦穗图片可以经过两次填充为1的卷积进行相互之后，来得到所述卷积特征图。
49.s252：将所述卷积特征图输送至注意力机制中，得到注意力机制特征图。
50.在具体实施中，经过所述注意力机制后，不仅可以得到所述注意力机制特征图，还可以弱化无关紧要的信息。注意力机制可以充分获取上下文信息，采用跳跃连接深层和浅层用来获取细节特征，达到更精确的分割。
51.s253：对所述注意力机制特征图进行采样，得到采样特征图。
52.在具体实施中，可以通过最大池化操作进行下采样，继续下采样三次后开始上采样，经过两次与相应层下采样特征图跳跃连接的上采样后进行第三次上采样时将现有特征图与编码器中的经过通道注意力和最大池化的特征图融合起来，得到新的特征图，新的特征图进行最后一次上采样后得到采样特征图。
53.s254：对所述采样特征图与所述卷积特征图进行连接，得到所述待训练麦穗的分割结果图。
54.在具体实施中，由于编解码器中每层特征图的尺寸并不相同，于是将解码器中的特征图进行填充，使之与编码器同层的特征图尺寸相同，并且，在网络的最后一层进行跳跃连接后再添加bn层以防止过拟合，然后输出所述待训练麦穗的分割结果图。其中，如图4所示，麦穗图片经过网络分割过程中的原图(左)、标注图(中间)以及分割结果图(右)。
55.s26：利用所述验证集图像数据对若干个待确定模型进行筛选，并获得所述分割网络模型。
56.在具体实施中，在分割网络学习中可以形成若干个模型，可以利用验证集对若干个学习获得模型进行评估，并判断各个模型的优劣，将最优的模型保存下来以作为最终分割网络模型。
57.在具体实施中，可以利用预设评价标准来评定若干所述待确定模型是否符合标准，并将评价结果发送至所述可视化模块中，其中评估标准可以为miou评价标准。
58.如图5所示，注意力机制图获取方法可以通过以下方式得到。
59.s2521：对所述卷积特征图进行转置，得到转置特征图。
60.在具体实施中，特征图可以以(n,c,h,w)方式直接进行转置，n为一次处理的图片数，c为通道数，h为图片高度，w为图片宽度
61.s2522：将所述转置特征图与所述卷积特征图进行矩阵乘法操作，得到注意力权重图。
62.在具体实施中，得到的注意力权重图可以是一个c*c(64*64)的通道注意力权重图。
63.s2523：对所述注意力权重图与所述卷积特征图相乘，得到相乘特征图；
64.s2524：对所述相乘特征图与所述卷积特征图做残差运算，得到第一分支特征图；
65.s2525：将若干通道中的特征图在每个通道的相同位置分别取值之后求平均并压缩，得到等大的第一特征图；
66.s2526：将所述卷积特征图求最大值，得到第二特征图；
67.s2527：将所述第二特征图与所述第一特征图联合起来形成第三特征图；
68.s2528：对所述第三特征图进行卷积操作和softmax函数操作得到值与所述第一分支特征图相乘，得到所述注意力机制特征图。
69.综上所述，利用预设的分割网络模型对待识别麦穗图片进行分割识别，可以得到分割结果图并发送至可视化模块中，其中在分割网络模型中具有注意力机制，注意力机制可以充分获取上下文信息，采用跳跃连接深层和浅层用来获取细节特征，达到更精确的分割，从而可以使得麦穗图片的识别更加快速精准，可以适应不同环境下的麦穗图像处理，实现了对小麦麦穗赤霉病的有效准确分割，以提高对小麦麦穗赤霉病识别的环境适应能力和精准度。
70.实施例二
71.参照图4所示，本技术实施例提供了一种基于卷积神经网络的小麦麦穗赤霉病识别系统，所述识别系统包括：
72.第一获取单元，被配置为获取待识别麦穗图片。
73.分割单元，被配置为将所述待识别麦穗图片输送至分割网络模型中，得到麦穗分割结果图。
74.输送单元，被配置为将所述麦穗分割结果图输送至可视化模块中进行显示。
75.第二获取单元，被配置为获取待训练麦穗图片。
76.标注单元，被配置为对所述待训练麦穗图片进行标注，得到标注图像数据。
77.划分单元，被配置为对所述标注图像数据进行划分，并划分为训练集图像数据和验证集图像数据。
78.增广单元，被配置为对所述训练集图像数据进行增广操作，得到增广图像数据。
79.网络学习单元，被配置为将所述增广图像数据输入至分割网络中学习细节特征，得到若干个待确定模型。
80.筛选单元，被配置为利用所述验证集图像数据对若干个待确定模型进行筛选，并获得所述分割网络模型。
81.所述网络学习单元包括：
82.卷积操作子单元，被配置为将所述待训练麦穗图片进行两次卷积操作，得到卷积特征图；
83.注意力机制子单元，被配置为将所述卷积特征图输送至注意力机制中，得到注意力机制特征图；
84.采样子单元，被配置为对所述注意力机制特征图进行采样，得到采样特征图；
85.连接子单元，被配置为对所述采样特征图与所述卷积特征图进行连接，得到所述
待训练麦穗的分割结果图。
86.所述注意力机制子单元包括：
87.转置极单元，被配置为对所述卷积特征图进行转置，得到转置特征图；
88.矩阵乘法操作极单元，被配置为将所述转置特征图与所述卷积特征图进行矩阵乘法操作，得到注意力权重图；
89.相乘极单元，被配置为对所述注意力权重图与所述卷积特征图相乘，得到相乘特征图；
90.残差运算极单元，被配置为对所述相乘特征图与所述卷积特征图做残差运算，得到第一分支特征图；
91.压缩极单元，被配置为将若干通道中的特征图在每个通道的相同位置分别取值之后求平均并压缩，得到等大的第一特征图；
92.求值极单元，被配置为将所述卷积特征图求最大值，得到第二特征图；
93.运算极单元，被配置为对所述第三特征图进行卷积操作和softmax函数操作得到值与所述第一分支特征图相乘，得到所述注意力机制特征图。
94.前述实施例一中的一种基于卷积神经网络的小麦麦穗赤霉病识别方法的各种变化方式和具体实施同样适用于本实施例的一种基于卷积神经网络的小麦麦穗赤霉病识别系统，通过前述对一种基于卷积神经网络的小麦麦穗赤霉病识别方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于卷积神经网络的小麦麦穗赤霉病识别系统，所以为了说明书的简洁，在此不在详述。
95.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
96.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
97.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。