一种基于多尺度注意力学习网络的害虫识别方法及系统与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种基于多尺度注意力学习网络的害虫识别方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.害虫识别(pest recognition)在害虫防治和农业管理中占有重要地位，农业害虫的准确分类对于害虫的防治至关重要。由于部分害虫相似度非常高，甚至有的害虫只有相关专业人员才能准确识别，这极大地降低了害虫防治的效率，提高了农业管理的难度。近年来，随着计算机视觉领域的发展，使得让计算机代替人去对害虫做分类成为了可能。
4.但农业害虫分类还面临一些调整。首先，小体积的害虫和复杂的环境增加了害虫识别的难度，复杂的背景信息往往会影响害虫目标特征的提取；其次，不同种类的害虫存在高度相似的形态，传统的识别算法难以有效地提取害虫图片的特征，并且加以准确地分类；最后，限于害虫本身的地域分布、生长环境、数量特征等等，有些害虫图片获取比较容易、有些则比较困难，因此害虫图片的分布具有类间不平衡的特点，如果不加以特殊的处理，则图片少的类别识别准确率就会很差。上述三点问题为农业害虫的识别研究带来了较大的挑战。


技术实现要素：

5.本发明为了解决上述问题，提出了一种基于多尺度注意力学习网络的害虫识别方法及系统，本发明能够减少害虫识别任务的干扰因素，提高模型整体的稳定性与泛化能力。
6.根据一些实施例，本发明采用如下技术方案：
7.一种基于多尺度注意力学习网络的害虫识别方法，包括：
8.获取包含害虫的图像；
9.根据获取的包含害虫的图像，利用多尺度注意力学习网络模型获得图像识别结果；
10.其中，所述获取包含害虫的图像后，将包含害虫的图像划分为训练集与测试集；通过解耦学习策略对多尺度注意力学习网络模型进行训练。
11.进一步地，所述训练集用于多尺度注意力学习网络模型参数的训练；测试集用来测试多尺度注意力学习网络模型。
12.进一步地，所述将包含害虫的图像划分为训练集与测试集，还包括对训练集与测试集做扩充处理和标准化处理。
13.进一步地，所述多尺度注意力学习网络模型包括目标定位模块、注意力检测模块和注意力删除模块。
14.进一步地，所述目标定位模块用于对输入的图像数据进行特征值提取和聚合，得
到害虫目标图。
15.进一步地，所述注意力检测模块用于将害虫目标图进行特征值提取和聚合，得到害虫部件图。
16.进一步地，所述注意力删除模块将害虫部件图进行删除操作得到注意力删除图。
17.一种基于多尺度注意力学习网络的害虫识别系统，包括：
18.图像获取模块，被配置为，获取包含害虫的图像；
19.图像识别模块，被配置为，根据获取的包含害虫的图像，利用多尺度注意力学习网络模型获得图像识别结果；
20.其中，所述获取包含害虫的图像后，将包含害虫的图像划分为训练集与测试集；通过解耦学习策略对多尺度注意力学习网络模型进行训练。
21.一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于多尺度注意力学习网络的害虫识别方法。
22.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于多尺度注意力学习网络的害虫识别方法。
23.与现有技术相比，本发明的有益效果为：
24.1、本发明的农业害虫识别算法，可以同时解决害虫识别的背景复杂多变、害虫间相似度过高、数据分布不平衡带来的问题；
25.2、ms-aln中的tlm可以有效地定位害虫的目标，并且将其裁剪出来，adm与arm可以进一步鼓励网络学习区分害虫类别的细粒度特征，三个模块相结合可以有效地提高害虫分类的精度；
26.3、本发明中多个尺度图像的特征提取网络与分类器参数共享，可以有效地减少参数量，降低模型占用内存，便于工业推广；
27.4、本发明搭建的多尺度注意力学习网络在大规模害虫数据集ip102上做了实验，并且得到了最高的准确率74.61％。
附图说明
28.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
29.图1是本发明实施例1中农业害虫识别方法流程图；
30.图2是本发明实施例1中多尺度注意力学习网络的结构图；
31.图3是本发明实施例1中目标定位模块的流程图；
32.图4是本发明实施例1中注意力检测模块的流程图；
33.图5是本发明实施例1中注意力删除模块的流程图。
具体实施方式：
34.下面结合附图与实施例对本发明作进一步说明。
35.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常
理解的相同含义。
36.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
37.实施例1
38.如图1所示，一种基于多尺度注意力学习网络的害虫识别方法，包括：获取包含害虫的图像；
39.根据获取的包含害虫的图像，利用多尺度注意力学习网络模型获得图像识别结果；
40.其中，所述获取包含害虫的图像后，将包含害虫的图像划分为训练集与测试集；通过解耦学习策略对多尺度注意力学习网络模型进行训练。
41.具体的，
42.如图1所示，包括：
43.s1、获取农业害虫的图片，并且根据害虫种类对图像进行分类，将搜集到的图片按4:1的比例划分为训练集与测试集，训练集用于模型参数的训练，测试集用于测试模型精度；
44.s2、对采样后训练集中的数据图像做扩充处理；
45.分别采用随机翻转、随机镜像变化、随机改变对比度与亮度等操作进行数据扩充。具体地，随机将图片翻转-30
°
到30
°
，每张图以0.5的概率做水平镜像变化，随机改变图像对比度与亮度，两者的浮动比均为0.2，最后，将训练集中所有的图像尺寸均调整为448
×
448，并且将所有的图像数据做标准化处理。
46.s3、构造基于多尺度注意力学习网络(ms-aln)，基于扩充后的数据，利用解耦学习策略训练网络模型，并且保存网络的最优参数；
47.多尺度注意力学习网络由三个模块构成，分别为tlm、adm与arm，其中特征提取网络选则resnet50。在图像输入时，首先，害虫图像经过tlm，裁剪出图像的主要目标，过滤一部分图片的背景；然后图片再经过adm，检测出物体有识别力的区域，进一步放大该区域中的微小差异。最后，网络利用arm随机抹除图像一部分有识别力的区域，从而鼓励网络模型学习多个高响应区域，进一步提高网络整体的稳定性。
48.图2为基于多尺度注意力学习网络的农业害虫识别网络结构；
49.目标定位模块(tlm)中，首先将原始图像(xr)传入resnet50进行特征提取，提取网络最后一层的输出作为特征图此时特征图尺寸大小为c
×h×
w，其中c为通道数，h为特征图的高，w为特征图的宽，然后再将特征图沿通道维度求和，得到响应图r，此时响应图尺寸为1
×h×
w。再利用全局平均池化运算(global average pooling,gap)计算得到用于判断害虫目标区域的判别阈值θ。进一步将原响应图r中的响应数据与该阈值与做对比，划分出高响应区域，即害虫的目标区域。之后，确定一个矩形裁剪框，以最小的面积涵盖所有的高响应点，该裁剪框所划分的区域为害虫物体所在的区域。为了进一步提高该模块的定位准确度，减少偶然因素的影响，本实施例还提取了特征提取网络中倒数第二层的输出特征
图用于计算第二个矩形裁剪框。最后将两个矩形所涵盖的区域取交集，得到最终的害虫目标区域，最后将该区域裁剪出来，得到害虫目标图(o)，并且将该目标图的尺寸放大为448
×
448。该图像不仅保留了害虫大部分的区域，而且还过滤掉了一部分背景信息，减少了环境的干扰因素。
50.图3是本发明实施例中目标定位模块的流程图；
51.注意力检测模块(adm)中，首先将害虫目标图按tlm中相同的计算步骤，得到目标响应图ro，然后，预先设定好用于滑动窗口操作的11种窗口尺寸，窗口尺寸分别设置为(4,4),(3,5),(5,3)，(6,6),(5,7),(7,5),(8,8),(6,10),(10,6),(7,9),(9，7)，相应再构建11种滑动窗口运算操作，并且依次将13种滑动窗口运算作用于目标响应图ro，进一步得到11组窗口响应值。该值的大小，代表了相应窗口所蕴含信息量的多少，即该值越大，越是网络注意力所关注的区域。为了解决不同窗口区域存在区域信息冗余的问题，本实施例再利用非极大值抑制运算(non-maximum suppression,nms)，计算得到窗口响应值高，并且窗口间重叠区域小的4个输出窗口，其中nms运算中的iou参数设置为0.25。最后将四个窗口裁剪出来，并且统一放大为224
×
224大小，得到害虫部件图该组图中，每一张图均代表一个网络的注意力关注区域，通过放大该关注区域，放大其内部微小的差异，可以有效地强化网络对不同害虫的特征表示能力。
52.图4是本发明实施例中注意力检测模块的流程图；
53.arm中，随机选择1张adm中得到的害虫部件图，依据该注意力图对害虫目标图相应位置做一个删除操作，得到注意力删除图(xd)。通过删除一部分网络注意力所关注的区域，可以鼓励网络学习多个更多的响应区域，将注意力放在害虫更多的部位，在一定程度上提高了模型的泛化能力和应对噪声的能力，有利于提高网络整体的稳定性。
54.图5是本发明实施例中注意力删除模块的流程图；
55.训练过程中，传入害虫原始图像xr，通过tlm、adm与arm会分别得到害虫目标图xo、害虫部件图注意力删除图xd，将上述四种图像依次传入特征提取网络resnet50与分类器中，得到四组害虫预测概率与p(xd)，将四组预测概率依次与害虫真实标签计算得到交叉熵损失，依据损失来优化网络的全局参数。考虑到部件图有多张，其损失值可能较大，因此最终损失中的计算中使用的是部件图的加权损失，权重设置为0.5。
56.在解耦学习过程中，首先采用样本平均采样策略训练网络全局的参数，训练网络的特征提取与害虫的分类能力。这种采样策略对于每个样本的采样概率都是相同的，也就是说遵循数据集本身的分布情况进行采样。这样采样不会扭曲数据的分布，也就不会扭曲特征的学习；然后再冻住特征提取网络的参数，采样类平均采样策略单独训练分类器的参数。这种采样方式使得从每一类中采样的概率相同，也就是重新平衡数据的分布。这种采样有利于分类器边界的调整，可以有效地缓解数据分布不平衡带来的问题。
57.s4、针对测试数据，首先搭建与训练模型一致的网络结构，将实际应用的模型加载步骤3训练好的网络参数，然后针对新接收的农业害虫图像进行识别，首先将原始图像依次传入特征提取网络提取特征以及tlm模块定位害虫的具体位置，得到害虫目标图xo，再将xo传入相同的特征提取网络得到特征编码，最后将特征编码传入分类器得到最终的害虫编
号。
58.消融实验
59.为了证明本发明所构建的三个模块以及采用的解耦学习策略的有效性，我们做了消融实验，实验数据采用ip102数据集。
60.ip102:它包含了102种常见的农业害虫的75000多张图片，其中包含45095张训练图片、7508张验证图片、22619张测试图片。与其他的害虫数据集相比，ip102数据集更能体现害虫识别任务的主要问题。该数据集主要有三个挑战，第一，数据集中图片背景复杂多变，并且害虫不同生命周期具有不同的形态特征，具有较强的类内差异，第二，部分害虫又具有非常相似的特点，类间差异性较小，第三，害虫的数据种类分布和现实分布类似，常见的害虫数据量较多，不常见的害虫数据量较少，因此具有类间分布不均衡的特点。由于这些因素，使得在ip102数据集上进行分类更具有挑战性，该数据集是害虫识别任务的基准数据集之一。
61.消融实验结果分析：
62.首先，只采用resnet50做为识别网络时，分类精度只有66.08％。当引入tlm时，提高了3.05％的准确率，可见该模块通过裁剪出害虫目标，可以有效地降低图片背景的干扰因素；在此基础上，我们引入adm来检测高响应区域并让网络更好地学习害虫的细粒度特征，网络测试精度为72.43％，测试精度上升了3.30％。在此基础上，增加arm时，测试精度提高了1.13％，可见arm模块可以通过提高网络整体的稳定性和泛化能力，来进一步提高害虫的识别精度。最后，将解耦学习策略应用到网络模型的训练过程中，最终的测试精度达到了74.61％，这充分证明了当分类器的学习与特征提取网络的学习相分离时，可以有效地缓解数据长尾分布带来的问题，进一步提高网络模型的测试精度。上述实验表明，本文构建的网络与使用的训练策略都对最终的精度有很大的贡献，所做出的的改进都是有效的。
63.表1消融实验结果
64.methodaccuracy(％)only resnet5066.08％resnet50 tlm69.13％resnet50 tlm adm72.43％resnet50 tlm adm arm73.56％resnet50 tlm adm arm dl74.61％
65.本次识别精度的计算方法：在测试集中，正确被程序识别的图片数量除以测试集中图片总数量，公式为：
[0066][0067]
其中，n为测试集图片总数，如果第i张图片成功被识别，则mi＝1，否则mi＝0。
[0068]
实施例2
[0069]
一种基于多尺度注意力学习网络的害虫识别系统，包括：
[0070]
图像获取模块，被配置为，获取包含害虫的图像；
[0071]
图像识别模块，被配置为，根据获取的包含害虫的图像，利用多尺度注意力学习网
络模型获得图像识别结果；
[0072]
其中，所述获取包含害虫的图像后，将包含害虫的图像划分为训练集与测试集；通过解耦学习策略对多尺度注意力学习网络模型进行训练。
[0073]
实施例3
[0074]
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行本实施例1提供的一种基于多尺度注意力学习网络的害虫识别方法。
[0075]
实施例4
[0076]
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行本实施例1提供的一种基于多尺度注意力学习网络的害虫识别方法。
[0077]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0078]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0079]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0080]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0081]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。
[0082]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。