一种基于神经网络模型的柑橘病虫害检测方法

swin transformer 模型，由contextual swin transformer 模型输出最终的病虫害种类识别结果。
6.进一步的步骤2中，按7:3的比例将数据集划分为训练集和测试集。
7.进一步的，步骤2中所述的预处理包括数据广增、图像填充以及具有层级的滑窗操作处理。
8.进一步的，所述数据广增预处理依次包括随机翻转、缩放、随机裁剪、归一化。
9.进一步的，所述训练集中数据进行数据广增时，以0.5的概率进行随机翻转，并从若干种尺度中随机挑选一种以对训练集中数据进行缩放。
10.进一步的步骤3中，由contextual swin transformer 模型基于自注意力机制将输入的图像根据大小windows size划分分成n个不重叠windows，得到=( ,...,)，x表示根据windows size划分后得到的向量；contextual swin transformer 模型中第i个自注意力机制的输出，由输入与对应的query参数矩阵、key参数矩阵相乘再经过softmax函数，最后与value参数矩阵相乘得，由此完成将contextual swin transformer 模型的输入映射成query向量、key向量、value向量。
11.进一步的，步骤3中，将训练后的输出结果与测试集进行的误差计算包括分类误差和回归误差，当分类误差、回归误差的计算结果均符合预期时，以此时的contextual swin transformer 模型的配置参数为最优配置参数。
12.本发明基于contextual swin transformer 模型对柑橘病虫害图像识别，从而实现病虫害种类的检测，其中所使用的contextual swin transformer 模型中通过将输入映射成三个不同向量，以此能够保证输出结果的准确性，同时降低计算量，提高检测效率。本发明方法能够高效精准的分析出柑橘的各类病虫害，从而使得种植户针对不同情况对症防治可，起到很好的防治效果。
附图说明
13.图1是本发明方法流程框图。
14.图2是本发明所采用的contextual swin transformer模型的结构图。
15.图3是本发明中信息交互过程的结构图。
16.图4是本发明实施例中检测结果展示的测试结果图。
具体实施方式
17.下面结合附图和实施例对本发明进一步说明。
18.如图1所示，本发明一种基于神经网络模型的柑橘病虫害检测方法，包括以下步骤：（1）准备数据集：收集包含多种柑橘病虫害的多张叶片图像数据集作为数据集；（2）处理数据集：将数据集中的数据按7:3的比例划分为训练集和测试集，并分别对训练集、测试集中的数据进行预处理。
19.预处理的第一步是进行数据广增，数据广增依次包括随机翻转（randomflip）、缩放（resize）、随机裁剪（randomcrop）、归一化几个过程。其中，训练集中数据进行数据广增时，以0.5的概率进行随机翻转，并从11种尺度中随机挑选1种以对训练集中数据进行缩放。
20.数据广增后，再对数据进行填充（pad），以避免特征损失，保留柑橘病虫害的特征。
21.最后，采用具有层级设计的滑窗操作对图像进行处理。
22.滑窗操作处理时，在进行对图像划分的时候，先指定超参数块大小（patch size）为4*4，将图片切成一个个patch_size * patch_size的窗口大小。在滑窗操作中将注意力计算限制在一个个小窗口中，通过对块内向量进行展平缩小输入特征图的分辨率。滑窗操作处理中的块融合（patch merging）在每个stage开始前做降采样，调整通道数，进而形成层次化的设计。每次降采样是两倍，即在行方向和列方向上，间隔2选取元素。然后拼接在一起作为一整个张量，最后展开，此时再通过一个全连接层将调整通道维度为原来的两倍，作为修改后contextual swin transformer的输入，经过共12个块融合和swin transformer block组成的模块后，图片的分辨率被降为原来的16倍。
23.经过上述预处理，可从已有训练集、测试集中剔除异常、重复的柑橘病害图像。
24.（3）构建contextual swin transformer模型，并进行训练，以得到最优化配置参数：如图2所示，本发明的contextual swin transformer模型包括块划分层（patch partition），由patch embeding和contextual swin transformer block所组成的层。
25.如图3所示，本发明模型的信息传递过程为，输入向量x经过参数化矩阵、和相乘得到相应的q，k，v向量。 q，k相关的相对位置嵌入矩阵与q，k，v相乘交换信息后与相加，并经过softmax层。v相关的相对位置嵌入矩阵与v相乘后再与v相加，相加得到的输出与softmax的输出相乘。
26.本发明中，将训练集输入至contextual swin transformer 模型，以对contextual swin transformer 模型进行训练；每次训练时利用contextual swin transformer 模型中的自注意力机制self attention，将contextual swin transformer 模型的输入（即训练集的图像数据）映射成query向量、key向量、value向量，由此使三个向量中的信息传递至contextual swin transformer 模型的相对位置编码中。self attention的计算过程如下：其中，是参数化的矩阵，都是可学习的参数矩阵，x表示self attention中窗口（windows）内的向量，z表示self attention的输出向量，swin transformer根据窗口大小将特征图分割成n个不重叠的窗口，其中i表示的是第i个窗口(windows)，j表示第j个窗口(windows)，swin transformer模型中的相对位置编码
没有产生与query、key和value值进行信息交互，而本发明的方法则是能够与query，key和value值进行交互，将三个向量中的信息传递到相对位置编码中。
27.本发明contextual swin transformer 模型中的相对位置编码如下：从上述公式可以看出，本发明中的contextual swin transformer 模型，由contextual swin transformer 模型基于自注意力机制将输入的图像根据大小windows size划分分成n个不重叠windows，得到=( ,...,)，x表示windows size划分后得到的向量；n表示为窗口（windows）的数量，其中i={1、2、3
……
n}， j={2、3
……
n}； contextual swin transformer 模型中第i个self attention的输出表示为，由输入与对应的query参数矩阵、key参数矩阵相乘再经过softmax函数，最后与value参数矩阵相乘得，由此完成将contextual swin transformer 模型的输入映射成query向量、key向量、value向量。
28.为了更直观的表示，可将swin transformer中提出的相对位置偏置策略简单的表示成如下所示：，在本发明中则是将relative position bias修改成contextual relative position bias ,则有：其中：其中：为attention中的query，key，value向量，都为对应的相对位置矩阵, 其中m为窗口（windows）内的块（patches）数，d为self attention输出向量z的维度。
29.本发明额外建立三个可学习位置偏置表来指导相对位置矩阵的生成，如下所示：的生成，如下所示：在contextual swin transformer 模型中，相对位置编码是生成了个可学习的参数矩阵进行学习。而本发明contextual swin transformer 模型中，对比传
统的相对位置偏置，增加了与query、value、key三个向量的信息传递，因此相比传统的相对位置编码，本发明方法大大减少了参数数量。
30.经过多次训练，每次训练时由contextual swin transformer 模型输出病虫害种类作为输出结果。将模型输出结果与测试集进行分类误差和回归误差计算，根据验证和测试结果将训练后的contextual swin transformer模型的配置参数调节为最优配置参数，由此最优配置参数下的contextual swin transformer模型作为最终的模型。
31.（5）图像识别：选择三种柑橘病虫害(hlb，health和ill)对应的图像，将这些病虫害图像作为待识别数据集，输入至步骤（4）最终的contextual swin transformer模型中，由contextual swin transformer模型输出病虫害识别结果，得到输入的图像属于柑橘的哪一种病虫害的信息，实现精准辨别检测。
32.如图4所示，通过本发明方法检测的图像可以看出该模型具备检测柑橘病虫的能力，准确率能达到95%以上。
33.本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。