1.本发明设计一种智能植物病变叶片识别检测系统，特别设计一种针对复杂背景的植物病变叶片识别检测技术。
背景技术：
：：2.随着计算机技术和农业信息的不断融合发展，作为其核心技术的植物病变检测识别算法已经成为计算机视觉中一个重要研究方向。能否对获取的少数且背景信息复杂的植物病变叶片图像进行数据扩增、数据预处理、注意力模块处理对于之后的识别检测是十分重要的，也影响到整个系统的精确度。3.农作物为人类提供衣服和食物的来源，是所有生存的首要条件。然而，随着劳动力短缺、病虫害泛滥导致农业产量急剧下降，在全球范围内掀起一波粮食短缺浪潮。其中，病毒性疾病是农作物减产的主要原因。鉴于劳动力短缺、人工检测难度大、植物病害种类繁多、识别准确率低等问题，高效的植物病害识别系统显得尤为重要。4.目前，针对植物病害叶片识别主要通过人工进行分析判别。通过计算机自动识别可以减轻操作的劳动强度，减少或避免操作者因对植物虫病害叶片反复斟酌而造成主观无误差。另一方面它省去了操作者频繁需要实地采样的不便，大大方便了操作者。相比普通的病害识别系统，少量的数据图像会导致模型对识别效果非常差，并且随着网络层数的叠加会导致模型过拟合现象。对于自然环境获取的植物叶片的图像，往往会受到周围环境的影响，导致图像中背景信息过大从而干扰主体信息的特征。普通的神经网络往往不能注意这些细致主体信息，导致网络在浅层以及深层中不能提取图像有效的信息导致识别效果差。因此利用数据增强以及注意力机制以获取图像中细腻细节就成为了植物叶片病害识别系统正常分析的前提。5.目前应用于植物病变识别多为传统的机器学习方法。这种方式是采用图像处理技术来提取图像特征作为识别基础。这种图像处理技术是根据植物图像所具备的特征来分析，从而获得该种类病变中表现明显的特征，将该特征作为判别标准，使用目标最优函数，通过梯度下降算法获取最佳分类标准，完成识别操作。6.已提出的各种识别算法，请查考图1所示。一类是传统机器学习模式，通过提取病变图像的特征信息，将处理后的特征信息作为判断依据，搭建病害识别模型。该方法具有实现便捷，计算速度快等优点，但是对于训练样本量大时，会因为特征的选取不当而使得模型效果变差。常用的方法有朴素贝叶斯方法和线性判别分析方法；另一类是通过神经网络的方式进行植物叶片病变识别，主要采用卷积和梯度下降的方法寻找模型全局最优解作为病害图像的识别标准。7.如何在有限数据的条件下和数据背景环境复杂的植物叶片病害识别研究一直是研究的难点和热点的问题。理想的植物病害识别系统是应该基于足量的数据作为支撑，但是实际上的数据并不能满足深度学习的要求，往往会面临着数据量不足的问题，导致网络模型在小数据集上进行训练产生过拟合的问题，弱化模型泛华能力。同时在实际的数据采集过程中，会受到自然环境的干扰，使采集的图像受到失真，曝光，噪声等因素的干扰，导致网络模型在训练过程中不能学习到真实的样本信息，出现困在局部最优值的现象。影响样本的识别结果准确性。目前已经提出的各种方法来冲出局部最优点，但是大部分方法依然不能解决通过神经网络提取关键信息的问题。在不能解决图像复杂背景信息的情况下，都可能导致模型不能在最优点进行收敛。因此解决数据量小，关注图像关键信息，构建可靠、稳定、高精度的植物叶片病害识别系统具有重要意义。技术实现要素：8.本发明的目的在于针对植物叶片病害识别系统提供一种基于注意力机制的神经网络的识别算法，是可确保神经网经过数据训练后，对植物叶片病害识别是高精度的。9.一种卷积神经网中基于注意力机制的识别方法，其算法流程如图1所示。该方法包含下列步骤。10.(1)首先获取数据集，针对数据不足采用如图2所示的数据增强策略；对图像出现空穴现象采用双线性插值方法。此类空洞应采用双线性插值方法进行填充，并在图像中相邻的四个像素之间进行插值。插值公式：11.f(p)＝(1-u)(1-v)f(i,j) u(1-v)f(i 1,j) (1-u)vf(i,j 1) uvf(i 1,j 1)点p是需要插值的坐标，u,v是p的坐标位置与任意相邻点的距离差。[f(i,j),f(i 1,j),f(i,j 1),f(i 1,j 1)]是图像上4个相邻像素的值。由公式可以计算出任意坐标下的插值；[0012](2)通过卷积神经网络中卷积层对图像进行卷积运算，获取每个图像对应的特征图。卷积过程如图3所示，卷积计算公式为：[0013][0014](3)如图4所示是池化操作。通过池化操作对输入特征矩阵进行缩放操作。[0015]使用平均池化缩减特征图能极大程度的保留这些信息，减少重要的信息损失，同时能减少在传输到全连接层时的网络参数。最大池化可以降低卷积对特征位置的敏感性，增强模型的鲁棒性。[0016](4)在图像处理的过程中，通常需要对图像进行标准化处理，这样就能够加速网络的训练。可能同一网络对待两种不同的标准化会产生不同的结果。因此需要对传入网络中的图像进行统一标准化处理，即批归一化。图5所示是批归一化的简单操作。[0017](5)在网络层进行传输过程中，对于复杂的数据，线性的关系不能有效拟合。因此需要引入非线性的激活函数。在本发明中，使用的是relu和swish激活函数用于神经网络层之间。如图6所示。[0018](6)网络参数在进行反向传播过程中，指引损失函数(目标函数)的各个、参数往正确的方向更新合适的大小，使得更新后的各个参数让损失函数(目标函数)值不断逼近全局最小。本发明使用的是adam优化器。这种算法是一种计算每个参数的自适应学习率的方法。它除了像adadelta和rmsprop算法一样存储了过去梯度的平方vt的指数衰减平均值，也想冲量方法一样保存过去梯度mt的指数衰减平均值：[0019]mt＝β1mt-1 (1-β1)gt[0020][0021]其中β1和β2是需要设置的常量，默认情况下为：[0022]β1＝0.9[0023]β2＝0.999[0024]这两个参数的大小表面了梯度更新与当前梯度和历史梯度的关系。值越大则表明此时的梯度更新与历史梯度关联性更强。如果mt和vt在第一次更新时初始值设为0向量，那么它们就会向0偏置，所以需要做偏差校正，通过计算偏差校正后的vt和mt来消除这些偏差：[0025][0026][0027]梯度更新规则：[0028][0029]其中ε为一个常量防止分母为零的情况。[0030](7)本发明提出一个混合注意力机制模块。如图7所示是注意力机制se的结构流程图。包含了4中操作，特征图卷积，squeeze(挤压/fsq操作)，excitation(激励/fex操作)，拼接(fsacle)。[0031]第一步是卷积操作。ftr是对输入进来的特征层进行简单的卷积操作。公式如下：[0032]ftr:x→u,x∈rh′*w′*c′,u∈rh*w*c[0033][0034]卷积核为v＝[v1,v2,···,vc]，其中vc表示第c个卷积核。输出为[0035]u＝[u1,u2,···,uc]。[0036]第二步是squeeze操作。由于卷积知识在一个局部空间内进行操作，u很难获得足够的信息来提取不同通道之间的关系。因此，squeeze操作将一个通道上整个空间特征编码为一个全局特征，采用了全局平均池化操作来实现。公式如下：[0037][0038]第三步是excitation操作。前面通过sequeeze操作得到了全局描述特征，接下来需要了解到不同通道之间的关系。这个操作需要满足连个准则：首先要灵活，能够学习到各个通道之间的非线性关系；第二点是学习的关系不能是互斥的，因为每个通道的特征都是需要的，而不是one-hot形式。因此采用sigmoid激活函数对最后一层输出权重系数进行0～1的量化。公式如下：[0039]s＝fex(z,w)＝σ(w2relu(w1z)[0040]其中为了降低模型复杂度以及提升泛化能力，采用了包含两个全连接层的bottleneck结构，其中第一个全连接层起到降维作用，超参数r是降维系数，然后采用relu激。最后一层的全连接层恢复到原始输入进来的维度。[0041]最后一步是scale操作。将学习到的各个通道的激活值(经过sigmoid激活后，值为0～1)与原始特征u进行相乘。公式如下：[0042]fscale(uc,sc)＝sc*uc[0043]通道注意力机制主要对通道产生影响，使网络模型了解特征图的哪一部分应该有更高的响应。但是，网络模型仍然不清楚特征图在哪里具有更高的响应。空间注意力机制可以有效解决这个问题。如图7所示是空间注意力机制。沿通道轴使用池化操作有效地突出信息区域。为了计算空间注意力，f'avg∈r1×h×w和f'max∈r1×h×w两个2d映射是通过使用两个聚合特征映射的通道信息生成的平均池化和最大池化。然后将它们连接起来并通过卷积层进行卷积，以生成空间注意力图f's∈rh*w，该图对要强调或抑制的位置进行编码。空间注意力被计算为：[0044]f's＝σ(f7*7([f'avg；f'max]))[0045]2.确定最终的检测结果[0046]经过上诉的处理，神经网络经过训练后保存了每个训练后的权重模型结果。通过更改网络模型中参数，用户可以自定义的来更新训练新的数据。用户也可以使用训练好的权重模型用来预测识别植物病变叶片。[0047]本发明具有一下特点：[0048]1.本发明提出了一种基于注意力机制的神经网络植物叶片病变识别算法。能有效的进行复杂植物叶片病变识别检测。[0049]2.用户可以自定义设置种类数目，自定义数据扩增手段，并且自定义神经网络，根据现实设备的需求使用轻量型或者重量性网络，从而可使得该系统适合绝大数智能植物叶片病变识别系统。[0050]3.本系统实现简单，核心算法部分知悉要一台pc就可以完成，系统开始运行后只需要加载训练好的权重就可以使用植物叶片病变识别功能。附图说明[0051]图1为本发明提出的植物叶片病变识别算法流程图。[0052]图2为数据扩增策略。[0053]图3为卷积算法过程。[0054]图4为池化简单操作过程。[0055]图5为批归一化简单示例。[0056]图6为本发明使用的激活函数。左边为relu激活函数，右边为silu激活函数。[0057]图7为本发明提出的注意力机制模块示意图。[0058]图8为本发明提出的pdrnet网络结构图。[0059]图9为本发明提出的混合注意力连接结构图。[0060]图10为本发明提出的pdrnet与其他网络效果对比图。[0061]图11为数据扩增结果图。[0062]图12为本发明提出注意力机制所关注的信息热力图。[0063]图13为本发明对植物叶片病变预测结果图。[0064]图14为本发明对其他植物叶片病变识别结果图。[0065]图15为本发明对一个批次的植物病变叶片预测的混淆矩阵结果图。具体实施方式[0066]下面，结合附图和具体实施案例来进一步说明本发明。[0067]本发明提出了一种基于注意力机制神经网络的植物叶片病变叶片识别算法，结合图1到图7详细说明如下：[0068]如图1所示为本发明提出的基于注意力机制神经网络的植物叶片病变识别算法的流程图。从该流程图可以看出输入到神经网络中的数据是对原始图片进行处理过的。将输入的图片进行打包，转换成矩阵格式，经过归一化后输入到卷积神经网络中。图1中最上方的虚线框是图片预处理阶段，对输入神经网络之前需要对数据进行预处理使其规范化，以便加快网络模型运行。图1中间的虚线框是神经网络的各种卷积运算，包括最大池化，平均池化，数据批归一化，激活函数。通过最大池化，平均池化，将经过卷积后的特征图进行维度和大小的缩放，使其在放大感受野的同时又能保证不大的参数量。数据经过卷积后变成向量的形式在神经网络中传播，通过批归一化处理对神经网络中的数据进行归一化，归一化后的数据范围在[-1,1]之间，便于模型运行，加快模型训练，防止过拟合。神经网络中每个节点的输出需要几乎函数来连接，激活函数的作用是在模型中引入非线性因素，增强模型的表达能力。图1中最下面的虚线框是本发明中注意力模块，通过该模块中通道注意力机制模块，本发明能够针对输入进来高维度的数据进行维度上的学习，通过迭代学习到各个维度对应的权重大下，获取不同维度的重要性，从而在具有复杂背景信息的图像中学习到主体信息，使模型明白学习主体“是什么”的信息，同时通过减少背景通道的权值弱化背景信息。通过空间注意力机制，本发明能够学习到主体信息主要分布“在哪”的信息，通过训练使得模型能够快速定位输入数据的位置信息。通过特征图注意力模块，本发明能够在复杂的数据中能关注到关键主体“是什么”，“在哪里”的信息，并将关注的信息表征出来作为神经网络最终输出结果的判断依据。[0069]如图2所示为输入网络训练之前的数据扩增策略，在输入神经网训练之前，由于数据的不足需要对数据进行数据增强。不同于目前对数据单一的增强手段，根据数据类别的比例自动生成对应的数据增强策略。本发明提出的组合数据扩增手段能够达到植物叶片病变识别准确率高，模型不过拟合的效果。[0070]如图3所示为图像经过数据预处理后，输入卷积层输出的结果，在浅层网络中模型更关注特征的边缘细节信息，在深层网络中模型更关注特征的主体信息。[0071]如图7所示为特征图经过本发明提出的混合注意力机制后的输出特征图，该图表现了本发明在复杂背景图像下对输入数据的关注信息的提取特点。保证了本发明能够在具有复杂背景图像上学习到关键信息的能力。[0072]本发明以上述植物叶片病变识别算法为核心，提出了一个集图像采集模块，图像扩增模块，植物叶片病变识别模块和逻辑运行模块为一体的智能植物叶片病变识别系统，并且已经在实际的场地进行了测试，测试结果显示该系统能在简单图像和复杂自然环境下拍摄的图像都保持很高的准确率。[0073]本发明使用efficientnetv2网络，该网络引入了注意力机制模块。在此基础上，提出了pdrnet网络。与efficeintnetv2相比，pdrnet引入了随机深度和空间注意机制。添加随机深度以加快网络的初始训练和网络推理。空间注意机制使网络模型能够了解特征图上的哪个位置有更高的响应。pdrnet在其结构中使用了结合fused-mbconv卷积和t-mbconv卷积的策略。pdrnet网络浅层采用fused-mbconv，深层网络采用t-mbconv卷积结构。然后，在fused-mbconv和t-mbconv结构中都插入了一个dropout层，同时仅对快捷分支生效。该层的作用是随机丢弃主分支，通过快捷分支连接到下一层，起到随机降低网络层级的效果，从而在训练过程中缩短训练时间，显着提升推理速度。表1对使用随机深度学习进行了比较。性能提高了28.57％。[0074]table1:有dropout层和没有dropout层所需要的训练和推理时间对比。[0075][0076]在本发明中，我们重新定义了efficient网络中的部分层结构，在stage4到stage6中，将空间注意力模块(sa)模块嵌入到stage中。sa模块通过拼接直接嵌入在se模块后面，形成se-sa结构。通过这些变化，提出了pdrnet。表2说明了pdrnet网络网络级别的每个模块的详细信息。图8是pdrnet的网络结构。[0077]table2:pdrnet网络结构[0078][0079]图9展示了本发明使用的注意力机制混合残差连接方法，其中a和b是fused-mbconv和t-mbconv的卷积结构。在本发明中，改进了t-mbconv中的注意力模块。t-mbconv是基于mbconv的改进结构。与原始mbconv的区别在于嵌入了空间注意力机制，t-mbconv中各个模块的连接采用混合残差连接结构。在引入空间注意力机制的同时，采用混合残差连接方法将其拼接到网络主干中。特征层经过se模块后，加入到原来的特征层中，这样网络在训练过程中可以学习到注意力模块所关心的信息，不会随着网络层级的增加而丢失原有的底层信息。然后，se模块的输出经过空间注意力模块(sa)，包含空间信息的输出与se模块的输出相乘，得到一个新的特征层。这样，要素层就包含了对象是什么的信息。它还包含有关对象所在位置的信息。同理，为了防止模型在收敛过程中由于过于关注深度网络中的空间信息而导致模型过拟合，我们将原始特征输入添加到t-mbconv模块和sa模块的输出.如图9所示，se和sa模块的输出相乘，当我们扩展模型容量时，我们观察到更深层的激活显着增加。事实上，在归一化配置中，每个残差块的值直接合并到主分支中，主分支的幅度比更深层的幅度大，不同层之间的差异大导致训练不稳定。为了缓解这个问题，我们使用了残差归一化方法，如图9中的b所示。在这种方法中，每个残差块的输出在被合并到主分支之前都会进行归一化，主分支的幅度不会随着层的深入而累积。同时project-conv中的第一个模块再次使用了归一化操作，以缓解se的输出和sa的输出相乘后输出幅度与主分支相差太大的问题。这种方法的激活幅度比原始的预归一化配置要温和得多。[0080]为了证明本发明的有效性，增加了消融实验来表明本发明的优越性。在每个实验中使用相同的数据集和实验环境，只更改需要比较的那些。为了比较哪种注意力机制组合最适合这个模型，使用efficientnetv2作为主干网络，只替换网络结构中的注意力模块。在实验中，比较了分离se模块、分离sa模块、sa-se模块和se-sa模块这四种不同的注意力组合策略。同时还在实验中引入了坐标注意(ca)机制。坐标注意块可以被视为旨在增强移动网络中特征表达能力的计算单元。它可以将任何中间特征张量作为输入，并将输出转换为与具有增强表示的张量相同的大小。在实验过程中，ca模块被嵌入到网络中，而不是原来的模块。不同注意力组合策略在同一数据集上获得的最终结果如表3所示。因此可以看出本发明所提出的注意力机制和连接方式都是最有效的。[0081]table3:消融实验结果[0082][0083]为了充分证明本发明提出的网络结构是目前主流神经网络中最高效的，本发明增加了对比实验。对比实验中，使用了alexnet,vgg，googlenet，resnet34，regnetx,regnety,efficientnetv2网络结构与本发明提出的pdrnet在相同数据上进行识别结果对比。对比结果如表4所示。证明了本发明，提出的pdrnet在同样数据上的测试结果优于目前主流的其他神经网络，达到了最优的效果。[0084]table4:各种模型的平均精度、平均召回率和平均特异性[0085][0086]为了验证本发明提出的pdrnet网络结构是否能够适应其他的数据，能否具有较高的模型迁移能力，本发明使用了不同的数据来对本发明提出的网络结构进行测试。我们依然使用alexnet,vgg，googlenet，resnet34，regnetx,regnety,efficientnetv2网络结构与本发明提出的pdrnet网络，更换数据后再次测试不同的网络在不同数据上的识别结果。最后得出的结果如表5所示：[0087]table5:各种模型的平均精度、平均召回率、平均特异性和top1准确率[0088][0089]识别结果曲线图如图10所示。由图表可以得出，不论是网络结构，或者是数据结构，本发明提出的网络都能优于目前主流的网络结构，达到最优的识别结果。[0090]下面结合图11～图13给出一个应用实例：[0091]如图11示为图像采集模块所得的真实场景的数字图像，(a),(c),(e),(g)为真实植物样本图像，通过本发明数据增强后图像如(b),(d),(f),(h)所示。分别是经过翻转，平移，亮度，对比度的处理。为了验证本发明提出的注意力机制在注意模块上的优越性，我们将对比结果通过可视化的结果呈现出来。如图11是图形经过可视化后的结果，左边是未添加注意力机制呈现的网络在关键模块的注意权重，右边是本发明提出的注意力机制在图像关键信息上的注意权重。可以发现，本发明提出的混合注意力模块相比较于其他神经网络的注意力模块，更能抓取到输入图像中的关键特征信息，并能定位到输入图像关键特征所在位置，体现了本发明所提出的注意力关注图像特征信息和位置信息的能力。图12是本发明中注意力机制模块后输出的注意力热力图。图12中(a),(c),(e),(g)为真实植物样本图像，(b),(d),(f),(h)为原始图像经过本发明提出的混合注意力机制后输出的关注热力图，可以发现本发明能够保证模型能够切合数据学习并关注到数据中植物叶片病变信息。[0092]图13为数据的识别结果，其中(a),(c)为植物病变叶片原始图像，(b)(d)为原始数据经过本发明后输出的植物叶片病变识别结果图。[0093]示例二：[0094]如图14所示为木薯叶片的识别结果，(a),(c)为原始数据图，(b),(d)为对应的识别结果。图15展示了pdrnet使用混淆矩阵对每个类别的识别结果，同时通过表6展示了每个模型的平均准确率、平均召回率和平均特异性的统计数据。[0095]表6:各种模型的平均精度、平均召回率、平均特异性和top1准确率[0096]当前第1页12当前第1页12
背景技术：
：：2.随着计算机技术和农业信息的不断融合发展，作为其核心技术的植物病变检测识别算法已经成为计算机视觉中一个重要研究方向。能否对获取的少数且背景信息复杂的植物病变叶片图像进行数据扩增、数据预处理、注意力模块处理对于之后的识别检测是十分重要的，也影响到整个系统的精确度。3.农作物为人类提供衣服和食物的来源，是所有生存的首要条件。然而，随着劳动力短缺、病虫害泛滥导致农业产量急剧下降，在全球范围内掀起一波粮食短缺浪潮。其中，病毒性疾病是农作物减产的主要原因。鉴于劳动力短缺、人工检测难度大、植物病害种类繁多、识别准确率低等问题，高效的植物病害识别系统显得尤为重要。4.目前，针对植物病害叶片识别主要通过人工进行分析判别。通过计算机自动识别可以减轻操作的劳动强度，减少或避免操作者因对植物虫病害叶片反复斟酌而造成主观无误差。另一方面它省去了操作者频繁需要实地采样的不便，大大方便了操作者。相比普通的病害识别系统，少量的数据图像会导致模型对识别效果非常差，并且随着网络层数的叠加会导致模型过拟合现象。对于自然环境获取的植物叶片的图像，往往会受到周围环境的影响，导致图像中背景信息过大从而干扰主体信息的特征。普通的神经网络往往不能注意这些细致主体信息，导致网络在浅层以及深层中不能提取图像有效的信息导致识别效果差。因此利用数据增强以及注意力机制以获取图像中细腻细节就成为了植物叶片病害识别系统正常分析的前提。5.目前应用于植物病变识别多为传统的机器学习方法。这种方式是采用图像处理技术来提取图像特征作为识别基础。这种图像处理技术是根据植物图像所具备的特征来分析，从而获得该种类病变中表现明显的特征，将该特征作为判别标准，使用目标最优函数，通过梯度下降算法获取最佳分类标准，完成识别操作。6.已提出的各种识别算法，请查考图1所示。一类是传统机器学习模式，通过提取病变图像的特征信息，将处理后的特征信息作为判断依据，搭建病害识别模型。该方法具有实现便捷，计算速度快等优点，但是对于训练样本量大时，会因为特征的选取不当而使得模型效果变差。常用的方法有朴素贝叶斯方法和线性判别分析方法；另一类是通过神经网络的方式进行植物叶片病变识别，主要采用卷积和梯度下降的方法寻找模型全局最优解作为病害图像的识别标准。7.如何在有限数据的条件下和数据背景环境复杂的植物叶片病害识别研究一直是研究的难点和热点的问题。理想的植物病害识别系统是应该基于足量的数据作为支撑，但是实际上的数据并不能满足深度学习的要求，往往会面临着数据量不足的问题，导致网络模型在小数据集上进行训练产生过拟合的问题，弱化模型泛华能力。同时在实际的数据采集过程中，会受到自然环境的干扰，使采集的图像受到失真，曝光，噪声等因素的干扰，导致网络模型在训练过程中不能学习到真实的样本信息，出现困在局部最优值的现象。影响样本的识别结果准确性。目前已经提出的各种方法来冲出局部最优点，但是大部分方法依然不能解决通过神经网络提取关键信息的问题。在不能解决图像复杂背景信息的情况下，都可能导致模型不能在最优点进行收敛。因此解决数据量小，关注图像关键信息，构建可靠、稳定、高精度的植物叶片病害识别系统具有重要意义。技术实现要素：8.本发明的目的在于针对植物叶片病害识别系统提供一种基于注意力机制的神经网络的识别算法，是可确保神经网经过数据训练后，对植物叶片病害识别是高精度的。9.一种卷积神经网中基于注意力机制的识别方法，其算法流程如图1所示。该方法包含下列步骤。10.(1)首先获取数据集，针对数据不足采用如图2所示的数据增强策略；对图像出现空穴现象采用双线性插值方法。此类空洞应采用双线性插值方法进行填充，并在图像中相邻的四个像素之间进行插值。插值公式：11.f(p)＝(1-u)(1-v)f(i,j) u(1-v)f(i 1,j) (1-u)vf(i,j 1) uvf(i 1,j 1)点p是需要插值的坐标，u,v是p的坐标位置与任意相邻点的距离差。[f(i,j),f(i 1,j),f(i,j 1),f(i 1,j 1)]是图像上4个相邻像素的值。由公式可以计算出任意坐标下的插值；[0012](2)通过卷积神经网络中卷积层对图像进行卷积运算，获取每个图像对应的特征图。卷积过程如图3所示，卷积计算公式为：[0013][0014](3)如图4所示是池化操作。通过池化操作对输入特征矩阵进行缩放操作。[0015]使用平均池化缩减特征图能极大程度的保留这些信息，减少重要的信息损失，同时能减少在传输到全连接层时的网络参数。最大池化可以降低卷积对特征位置的敏感性，增强模型的鲁棒性。[0016](4)在图像处理的过程中，通常需要对图像进行标准化处理，这样就能够加速网络的训练。可能同一网络对待两种不同的标准化会产生不同的结果。因此需要对传入网络中的图像进行统一标准化处理，即批归一化。图5所示是批归一化的简单操作。[0017](5)在网络层进行传输过程中，对于复杂的数据，线性的关系不能有效拟合。因此需要引入非线性的激活函数。在本发明中，使用的是relu和swish激活函数用于神经网络层之间。如图6所示。[0018](6)网络参数在进行反向传播过程中，指引损失函数(目标函数)的各个、参数往正确的方向更新合适的大小，使得更新后的各个参数让损失函数(目标函数)值不断逼近全局最小。本发明使用的是adam优化器。这种算法是一种计算每个参数的自适应学习率的方法。它除了像adadelta和rmsprop算法一样存储了过去梯度的平方vt的指数衰减平均值，也想冲量方法一样保存过去梯度mt的指数衰减平均值：[0019]mt＝β1mt-1 (1-β1)gt[0020][0021]其中β1和β2是需要设置的常量，默认情况下为：[0022]β1＝0.9[0023]β2＝0.999[0024]这两个参数的大小表面了梯度更新与当前梯度和历史梯度的关系。值越大则表明此时的梯度更新与历史梯度关联性更强。如果mt和vt在第一次更新时初始值设为0向量，那么它们就会向0偏置，所以需要做偏差校正，通过计算偏差校正后的vt和mt来消除这些偏差：[0025][0026][0027]梯度更新规则：[0028][0029]其中ε为一个常量防止分母为零的情况。[0030](7)本发明提出一个混合注意力机制模块。如图7所示是注意力机制se的结构流程图。包含了4中操作，特征图卷积，squeeze(挤压/fsq操作)，excitation(激励/fex操作)，拼接(fsacle)。[0031]第一步是卷积操作。ftr是对输入进来的特征层进行简单的卷积操作。公式如下：[0032]ftr:x→u,x∈rh′*w′*c′,u∈rh*w*c[0033][0034]卷积核为v＝[v1,v2,···,vc]，其中vc表示第c个卷积核。输出为[0035]u＝[u1,u2,···,uc]。[0036]第二步是squeeze操作。由于卷积知识在一个局部空间内进行操作，u很难获得足够的信息来提取不同通道之间的关系。因此，squeeze操作将一个通道上整个空间特征编码为一个全局特征，采用了全局平均池化操作来实现。公式如下：[0037][0038]第三步是excitation操作。前面通过sequeeze操作得到了全局描述特征，接下来需要了解到不同通道之间的关系。这个操作需要满足连个准则：首先要灵活，能够学习到各个通道之间的非线性关系；第二点是学习的关系不能是互斥的，因为每个通道的特征都是需要的，而不是one-hot形式。因此采用sigmoid激活函数对最后一层输出权重系数进行0～1的量化。公式如下：[0039]s＝fex(z,w)＝σ(w2relu(w1z)[0040]其中为了降低模型复杂度以及提升泛化能力，采用了包含两个全连接层的bottleneck结构，其中第一个全连接层起到降维作用，超参数r是降维系数，然后采用relu激。最后一层的全连接层恢复到原始输入进来的维度。[0041]最后一步是scale操作。将学习到的各个通道的激活值(经过sigmoid激活后，值为0～1)与原始特征u进行相乘。公式如下：[0042]fscale(uc,sc)＝sc*uc[0043]通道注意力机制主要对通道产生影响，使网络模型了解特征图的哪一部分应该有更高的响应。但是，网络模型仍然不清楚特征图在哪里具有更高的响应。空间注意力机制可以有效解决这个问题。如图7所示是空间注意力机制。沿通道轴使用池化操作有效地突出信息区域。为了计算空间注意力，f'avg∈r1×h×w和f'max∈r1×h×w两个2d映射是通过使用两个聚合特征映射的通道信息生成的平均池化和最大池化。然后将它们连接起来并通过卷积层进行卷积，以生成空间注意力图f's∈rh*w，该图对要强调或抑制的位置进行编码。空间注意力被计算为：[0044]f's＝σ(f7*7([f'avg；f'max]))[0045]2.确定最终的检测结果[0046]经过上诉的处理，神经网络经过训练后保存了每个训练后的权重模型结果。通过更改网络模型中参数，用户可以自定义的来更新训练新的数据。用户也可以使用训练好的权重模型用来预测识别植物病变叶片。[0047]本发明具有一下特点：[0048]1.本发明提出了一种基于注意力机制的神经网络植物叶片病变识别算法。能有效的进行复杂植物叶片病变识别检测。[0049]2.用户可以自定义设置种类数目，自定义数据扩增手段，并且自定义神经网络，根据现实设备的需求使用轻量型或者重量性网络，从而可使得该系统适合绝大数智能植物叶片病变识别系统。[0050]3.本系统实现简单，核心算法部分知悉要一台pc就可以完成，系统开始运行后只需要加载训练好的权重就可以使用植物叶片病变识别功能。附图说明[0051]图1为本发明提出的植物叶片病变识别算法流程图。[0052]图2为数据扩增策略。[0053]图3为卷积算法过程。[0054]图4为池化简单操作过程。[0055]图5为批归一化简单示例。[0056]图6为本发明使用的激活函数。左边为relu激活函数，右边为silu激活函数。[0057]图7为本发明提出的注意力机制模块示意图。[0058]图8为本发明提出的pdrnet网络结构图。[0059]图9为本发明提出的混合注意力连接结构图。[0060]图10为本发明提出的pdrnet与其他网络效果对比图。[0061]图11为数据扩增结果图。[0062]图12为本发明提出注意力机制所关注的信息热力图。[0063]图13为本发明对植物叶片病变预测结果图。[0064]图14为本发明对其他植物叶片病变识别结果图。[0065]图15为本发明对一个批次的植物病变叶片预测的混淆矩阵结果图。具体实施方式[0066]下面，结合附图和具体实施案例来进一步说明本发明。[0067]本发明提出了一种基于注意力机制神经网络的植物叶片病变叶片识别算法，结合图1到图7详细说明如下：[0068]如图1所示为本发明提出的基于注意力机制神经网络的植物叶片病变识别算法的流程图。从该流程图可以看出输入到神经网络中的数据是对原始图片进行处理过的。将输入的图片进行打包，转换成矩阵格式，经过归一化后输入到卷积神经网络中。图1中最上方的虚线框是图片预处理阶段，对输入神经网络之前需要对数据进行预处理使其规范化，以便加快网络模型运行。图1中间的虚线框是神经网络的各种卷积运算，包括最大池化，平均池化，数据批归一化，激活函数。通过最大池化，平均池化，将经过卷积后的特征图进行维度和大小的缩放，使其在放大感受野的同时又能保证不大的参数量。数据经过卷积后变成向量的形式在神经网络中传播，通过批归一化处理对神经网络中的数据进行归一化，归一化后的数据范围在[-1,1]之间，便于模型运行，加快模型训练，防止过拟合。神经网络中每个节点的输出需要几乎函数来连接，激活函数的作用是在模型中引入非线性因素，增强模型的表达能力。图1中最下面的虚线框是本发明中注意力模块，通过该模块中通道注意力机制模块，本发明能够针对输入进来高维度的数据进行维度上的学习，通过迭代学习到各个维度对应的权重大下，获取不同维度的重要性，从而在具有复杂背景信息的图像中学习到主体信息，使模型明白学习主体“是什么”的信息，同时通过减少背景通道的权值弱化背景信息。通过空间注意力机制，本发明能够学习到主体信息主要分布“在哪”的信息，通过训练使得模型能够快速定位输入数据的位置信息。通过特征图注意力模块，本发明能够在复杂的数据中能关注到关键主体“是什么”，“在哪里”的信息，并将关注的信息表征出来作为神经网络最终输出结果的判断依据。[0069]如图2所示为输入网络训练之前的数据扩增策略，在输入神经网训练之前，由于数据的不足需要对数据进行数据增强。不同于目前对数据单一的增强手段，根据数据类别的比例自动生成对应的数据增强策略。本发明提出的组合数据扩增手段能够达到植物叶片病变识别准确率高，模型不过拟合的效果。[0070]如图3所示为图像经过数据预处理后，输入卷积层输出的结果，在浅层网络中模型更关注特征的边缘细节信息，在深层网络中模型更关注特征的主体信息。[0071]如图7所示为特征图经过本发明提出的混合注意力机制后的输出特征图，该图表现了本发明在复杂背景图像下对输入数据的关注信息的提取特点。保证了本发明能够在具有复杂背景图像上学习到关键信息的能力。[0072]本发明以上述植物叶片病变识别算法为核心，提出了一个集图像采集模块，图像扩增模块，植物叶片病变识别模块和逻辑运行模块为一体的智能植物叶片病变识别系统，并且已经在实际的场地进行了测试，测试结果显示该系统能在简单图像和复杂自然环境下拍摄的图像都保持很高的准确率。[0073]本发明使用efficientnetv2网络，该网络引入了注意力机制模块。在此基础上，提出了pdrnet网络。与efficeintnetv2相比，pdrnet引入了随机深度和空间注意机制。添加随机深度以加快网络的初始训练和网络推理。空间注意机制使网络模型能够了解特征图上的哪个位置有更高的响应。pdrnet在其结构中使用了结合fused-mbconv卷积和t-mbconv卷积的策略。pdrnet网络浅层采用fused-mbconv，深层网络采用t-mbconv卷积结构。然后，在fused-mbconv和t-mbconv结构中都插入了一个dropout层，同时仅对快捷分支生效。该层的作用是随机丢弃主分支，通过快捷分支连接到下一层，起到随机降低网络层级的效果，从而在训练过程中缩短训练时间，显着提升推理速度。表1对使用随机深度学习进行了比较。性能提高了28.57％。[0074]table1:有dropout层和没有dropout层所需要的训练和推理时间对比。[0075][0076]在本发明中，我们重新定义了efficient网络中的部分层结构，在stage4到stage6中，将空间注意力模块(sa)模块嵌入到stage中。sa模块通过拼接直接嵌入在se模块后面，形成se-sa结构。通过这些变化，提出了pdrnet。表2说明了pdrnet网络网络级别的每个模块的详细信息。图8是pdrnet的网络结构。[0077]table2:pdrnet网络结构[0078][0079]图9展示了本发明使用的注意力机制混合残差连接方法，其中a和b是fused-mbconv和t-mbconv的卷积结构。在本发明中，改进了t-mbconv中的注意力模块。t-mbconv是基于mbconv的改进结构。与原始mbconv的区别在于嵌入了空间注意力机制，t-mbconv中各个模块的连接采用混合残差连接结构。在引入空间注意力机制的同时，采用混合残差连接方法将其拼接到网络主干中。特征层经过se模块后，加入到原来的特征层中，这样网络在训练过程中可以学习到注意力模块所关心的信息，不会随着网络层级的增加而丢失原有的底层信息。然后，se模块的输出经过空间注意力模块(sa)，包含空间信息的输出与se模块的输出相乘，得到一个新的特征层。这样，要素层就包含了对象是什么的信息。它还包含有关对象所在位置的信息。同理，为了防止模型在收敛过程中由于过于关注深度网络中的空间信息而导致模型过拟合，我们将原始特征输入添加到t-mbconv模块和sa模块的输出.如图9所示，se和sa模块的输出相乘，当我们扩展模型容量时，我们观察到更深层的激活显着增加。事实上，在归一化配置中，每个残差块的值直接合并到主分支中，主分支的幅度比更深层的幅度大，不同层之间的差异大导致训练不稳定。为了缓解这个问题，我们使用了残差归一化方法，如图9中的b所示。在这种方法中，每个残差块的输出在被合并到主分支之前都会进行归一化，主分支的幅度不会随着层的深入而累积。同时project-conv中的第一个模块再次使用了归一化操作，以缓解se的输出和sa的输出相乘后输出幅度与主分支相差太大的问题。这种方法的激活幅度比原始的预归一化配置要温和得多。[0080]为了证明本发明的有效性，增加了消融实验来表明本发明的优越性。在每个实验中使用相同的数据集和实验环境，只更改需要比较的那些。为了比较哪种注意力机制组合最适合这个模型，使用efficientnetv2作为主干网络，只替换网络结构中的注意力模块。在实验中，比较了分离se模块、分离sa模块、sa-se模块和se-sa模块这四种不同的注意力组合策略。同时还在实验中引入了坐标注意(ca)机制。坐标注意块可以被视为旨在增强移动网络中特征表达能力的计算单元。它可以将任何中间特征张量作为输入，并将输出转换为与具有增强表示的张量相同的大小。在实验过程中，ca模块被嵌入到网络中，而不是原来的模块。不同注意力组合策略在同一数据集上获得的最终结果如表3所示。因此可以看出本发明所提出的注意力机制和连接方式都是最有效的。[0081]table3:消融实验结果[0082][0083]为了充分证明本发明提出的网络结构是目前主流神经网络中最高效的，本发明增加了对比实验。对比实验中，使用了alexnet,vgg，googlenet，resnet34，regnetx,regnety,efficientnetv2网络结构与本发明提出的pdrnet在相同数据上进行识别结果对比。对比结果如表4所示。证明了本发明，提出的pdrnet在同样数据上的测试结果优于目前主流的其他神经网络，达到了最优的效果。[0084]table4:各种模型的平均精度、平均召回率和平均特异性[0085][0086]为了验证本发明提出的pdrnet网络结构是否能够适应其他的数据，能否具有较高的模型迁移能力，本发明使用了不同的数据来对本发明提出的网络结构进行测试。我们依然使用alexnet,vgg，googlenet，resnet34，regnetx,regnety,efficientnetv2网络结构与本发明提出的pdrnet网络，更换数据后再次测试不同的网络在不同数据上的识别结果。最后得出的结果如表5所示：[0087]table5:各种模型的平均精度、平均召回率、平均特异性和top1准确率[0088][0089]识别结果曲线图如图10所示。由图表可以得出，不论是网络结构，或者是数据结构，本发明提出的网络都能优于目前主流的网络结构，达到最优的识别结果。[0090]下面结合图11～图13给出一个应用实例：[0091]如图11示为图像采集模块所得的真实场景的数字图像，(a),(c),(e),(g)为真实植物样本图像，通过本发明数据增强后图像如(b),(d),(f),(h)所示。分别是经过翻转，平移，亮度，对比度的处理。为了验证本发明提出的注意力机制在注意模块上的优越性，我们将对比结果通过可视化的结果呈现出来。如图11是图形经过可视化后的结果，左边是未添加注意力机制呈现的网络在关键模块的注意权重，右边是本发明提出的注意力机制在图像关键信息上的注意权重。可以发现，本发明提出的混合注意力模块相比较于其他神经网络的注意力模块，更能抓取到输入图像中的关键特征信息，并能定位到输入图像关键特征所在位置，体现了本发明所提出的注意力关注图像特征信息和位置信息的能力。图12是本发明中注意力机制模块后输出的注意力热力图。图12中(a),(c),(e),(g)为真实植物样本图像，(b),(d),(f),(h)为原始图像经过本发明提出的混合注意力机制后输出的关注热力图，可以发现本发明能够保证模型能够切合数据学习并关注到数据中植物叶片病变信息。[0092]图13为数据的识别结果，其中(a),(c)为植物病变叶片原始图像，(b)(d)为原始数据经过本发明后输出的植物叶片病变识别结果图。[0093]示例二：[0094]如图14所示为木薯叶片的识别结果，(a),(c)为原始数据图，(b),(d)为对应的识别结果。图15展示了pdrnet使用混淆矩阵对每个类别的识别结果，同时通过表6展示了每个模型的平均准确率、平均召回率和平均特异性的统计数据。[0095]表6:各种模型的平均精度、平均召回率、平均特异性和top1准确率[0096]当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
