小麦条锈病识别方法、系统、设备及介质

1.本发明涉及数据处理技术领域，尤其是一种小麦条锈病识别方法、系统、设备及介质。


背景技术：

2.小麦条锈病在我国小麦生产上具有分布广、传播快、危害面积大的特点，降低小麦的总产量，影响农民的生计，严重情况下会威胁整个国家的粮食安全。传统的小麦条锈病的监测方式主要依靠人工实地识别，这种方式是十分低效的，需要大量的人力和时间，而且具有主观倾向性，往往得不到正确的识别结果。因此，急需一种不仅可以节省时间和人力还能够保证识别准确率的方式识别大田环境下的小麦进行是否患条锈病，从而及时采取相关干预措施，避免适宜环境下条锈病孢子的传播和扩散，降低产量损失。
3.随着遥感技术的迅速发展，航空遥感逐渐成为一种重要的补充方式，利用无人机获取遥感数据进行相关研究这一方法也被逐渐应用于小麦条锈病的识别，使得作物病害在粗糙的尺度上进行识别成为可能。此外，随着机器学习、深度学习的不断发展，越来越多的学者采用遥感数据结合机器学习、深度学习的方法进行研究，但是，对于在大区域麦田下获得的大尺寸无人机影像，采用人工标注数据集的方式过于繁琐和耗时。


技术实现要素：

4.本发明的目的是提供一种小麦条锈病识别方法、系统、设备及介质，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
5.第一方面，提供一种小麦条锈病识别方法，包括：
6.获取小麦种植区中待识别区域的原拍摄图像；
7.对原拍摄图像进行预处理，得到预处理图像；
8.标注预处理图像中的特征区域，对预处理图像和标注的特征区域进行分类；所述特征区域包括健康小麦区域、条锈病小麦区域和其他区域；
9.构建预测模型并依据分类结果对预测模型进行训练；
10.使用训练后的预测模型对原拍摄图像的小麦条锈病程度进行识别。
11.进一步地，所述获取小麦种植区中待识别区域的原拍摄图像，包括：
12.使用无人机对小麦种植区的待识别区域进行拍摄，获得若干个待识别区域的原拍摄图像。
13.进一步地，所述对原拍摄图像进行预处理，得到预处理图像，包括：
14.检测每张原拍摄图像的特征点并进行特征点匹配，通过匹配的特征点重建特征点的空间三维坐标并将原拍摄图像进行对齐处理；
15.生成密集点云，基于二维卷积运算预测原拍摄图像的三维结构，使用渲染图像以及生成的掩膜在给定视点对原拍摄图像的三维结构进行优化；
16.依据优化后的三维结构生成网络和纹理，建立正射影像图。
17.进一步地，所述基于二维卷积运算预测原拍摄图像的三维结构，使用渲染图像以及生成的掩膜在给定视点对原拍摄图像的三维结构进行优化，包括：
18.依据若干个第一视点的三维刚性变换矩阵以及视点的3d点获取标准三维坐标系；
19.依据若干个第二视点的三维刚性变换矩阵和标准三维坐标系获取第二视点的位置以及第二视点在特定位置的深度值；
20.离散化第二视点的坐标，使用渲染图像以及生成的掩膜在给定的视点对原拍摄图像的三维结构进行优化。
21.进一步地，所述标注预处理图像中的特征区域，对预处理图像和标注的特征区域进行分类，包括：
22.依据颜色特征对特征区域进行划分和标注；
23.使用支持向量机对预处理图像和标注的特征区域进行分类；
24.验证分类结果的准确率，输出验证后的分类结果。
25.进一步地，所述构建预测模型并依据分类结果对预测模型进行训练，包括：
26.使用滑动窗口对分类结果和预处理图像进行切割；
27.依据切割后获得的数据集对金字塔场景解析网络进行训练以及验证。
28.进一步地，所述依据切割后获得的数据集对金字塔场景解析网络进行训练以及验证，包括：
29.将切割后获得的数据集划分为训练集和验证集，对训练集进行平均池化；
30.对平均池化得到的每个特征图进行1
×
1卷积；
31.通过双线性插值对卷积后的特征图进行上采样，将不同层级的特征图拼接为训练的金字塔池化全局特征；
32.将验证集输入至训练后的金字塔场景解析网络，验证训练后的金字塔场景解析网络的预测精度。
33.第二方面，提供一种小麦条锈病识别系统，包括：
34.拍摄模块，用于获取小麦种植区中待识别区域的原拍摄图像；
35.预处理模块，用于对原拍摄图像进行预处理，得到预处理图像；
36.分类模块，用于标注预处理图像中的特征区域，对预处理图像和标注的特征区域进行分类；所述特征区域包括健康小麦区域、条锈病小麦区域和其他区域；
37.训练模块，用于构建预测模型并依据分类结果对预测模型进行训练；
38.识别模块，用于使用训练后的预测模型对原拍摄图像的小麦条锈病程度进行识别。
39.第三方面，提供一种计算机设备，包括：
40.存储器，存储有计算机程序；
41.处理器，所述处理器执行所述计算机程序时实现如第一方面所述的小麦条锈病识别方法。
42.第四方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的小麦条锈病识别方法。
43.本发明的有益效果：依据标注数据集和小麦图像进行三维结构图像预测，进而准确地对发现小麦种植区图像中患有条锈病的小麦位置和比例，可以在一定程度上降低人工
标注大量样本所需的时间和人力，并且可以做到高准确率的识别，迅速地对小麦的条锈病进行识别，为进一步对小麦条锈病的早期预防提供技术支撑。
附图说明
44.图1是根据一实施例示出的小麦条锈病识别方法的流程图。
45.图2是根据一实施例示出的步骤s200的流程图。
46.图3是根据一实施例示出的步骤s300的流程图。
47.图4是根据一实施例示出的步骤s400的流程图。
48.图5是根据一实施例示出的一种小麦条锈病识别系统的结构框图。
49.图6是根据一实施例示出的一种计算机设备的内部结构图。
具体实施方式
50.为使本发明实施例的目的、技术方案和优点更加清晰，下面将结合实施例和附图，对本发明作进一步的描述。
51.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
52.根据本发明的第一方面，提供一种小麦条锈病识别方法。
53.参阅图1，图1是根据一实施例示出的小麦条锈病识别方法的流程图。
54.如图1所示，所述方法包括以下步骤：
55.步骤s100.获取小麦种植区中待识别区域的原拍摄图像。
56.在本实施例中，使用无人机对小麦种植区的待识别区域进行拍摄，获得若干个待识别区域的原拍摄图像。为实现预防小麦条锈病的效果，在小麦拔节期之后进行拍摄，此时是小麦条锈病的发病初期，患有条锈病的小麦数量相对较少。
57.步骤s200.对原拍摄图像进行预处理，得到预处理图像。
58.步骤s300.标注预处理图像中的特征区域，对预处理图像和标注的特征区域进行分类。
59.其中，特征区域包括健康小麦区域、条锈病小麦区域和其他区域。
60.步骤s400.构建预测模型并依据分类结果对预测模型进行训练。
61.步骤s500.使用训练后的预测模型对原拍摄图像的小麦条锈病程度进行识别。
62.参阅图2，图2是根据一实施例示出的步骤s200的流程图。如图2所示，所述方法包括以下步骤：
63.步骤s210.检测每张原拍摄图像的特征点并进行特征点匹配，通过匹配的特征点重建特征点的空间三维坐标并将原拍摄图像进行对齐处理。
64.步骤s220.生成密集点云，基于二维卷积运算预测原拍摄图像的三维结构，使用渲染图像以及生成的掩膜在给定视点对原拍摄图像的三维结构进行优化。
65.步骤s230.依据优化后的三维结构生成网络和纹理，建立正射影像图。
66.在本实施例中，通过对新投影的结构生成器进行优化，可以在多个视点的预测点
云之间进行联合三维几何推理，它还允许优化误差均匀分布在新视点上，而不是集中在固定的视点上。
67.在步骤s220中，使用结构生成器通过多个视点(包括它们的二元掩模)预测原拍摄图像的三维结构，即在每个像素位置上的3d坐标原拍摄图像中的像素值可以通过卷积生成模型来合成，结构生成器主要基于二维卷积运算来预测表示三维曲面几何的图像。这种方法避免了体积预测需要耗费的时间和内存的三维卷积运算。
68.步骤s220的具体过程包括：
69.依据若干个第一视点的三维刚性变换矩阵以及视点的3d点获取标准三维坐标系。
70.具体地，预先给定的多个视点(r1,t1)、(r2,t2)......(rn,tn)的三维刚性变换矩阵，则在视点n每个3d点都可以转换为标准的三维坐标系即：
[0071][0072]
其中，k是预定义的摄影机内部矩阵。
[0073]
上述关系定义了预测的三维点和标准三维坐标系中点云融合集合之间的关系，这是网络的结果。
[0074]
依据若干个第二视点的三维刚性变换矩阵和标准三维坐标系获取第二视点的位置以及第二视点在特定位置的深度值。
[0075]
引入伪渲染器(pseudo renderer)从密集点云合成新的深度图像，给出一个新视点(rk,tk)(即第二视点)的三维刚性变换矩阵，每个典型的三维点可以通过以下关系转换到预测视点的3d点即：
[0076][0077]
通过上述两个关系式构成一个单一的有效变换，由此得到了位置以及视点(rk,tk)新的深度值
[0078]
离散化第二视点的坐标，使用渲染图像以及生成的掩膜在给定的视点对原拍摄图像的三维结构进行优化。
[0079]
具体地，将3d点投影到目标图像上，进行上采样并执行最大池化操作，以将采样降低到原始分辨率，同时保持每个像素位置的最小深度值。使用这种渲染操作的近似来保持反向传播框架中的可微性和并行性。
[0080]
使用渲染深度图像和生成的掩模在新视点下进行优化，损失函数由掩模损失l
mask
和深度损失l
depth
组成，分别定义为：
[0081][0082][0083]
其中，mk是第k个第二视点下的ground truth掩模，zk是第k个第二视点下的深度图像。
[0084]
参阅图3，图3是根据一实施例示出的步骤s300的流程图。如图3所示，所述方法包
括以下步骤：
[0085]
步骤s310.依据颜色特征对特征区域进行划分和标注。
[0086]
在步骤s330中，可以是使用在arcmap软件对特征区域进行划分和标注，标注类别包括健康小麦、条锈病小麦和其他，其中，裸土、道路、树木等地物都属于其他，标注完成后，在属性表中修改标签对应的类别编号，健康小麦、条锈病小麦和其他这三种类别的编号分别为1、2、3，从而得到标注数据集。
[0087]
步骤s320.使用支持向量机对预处理图像和标注的特征区域进行分类。
[0088]
步骤s330.验证分类结果的准确率，输出验证后的分类结果。
[0089]
在步骤s330中，查看支持向量机的分类结果，如果总体准确率超过90％，则直接将此分类结果作为弱样本数据集；如果支持向量机的分类准确率低于90％，则对结果进行手动微调，以保证标签具有一定的准确性，然后进一步作为弱样本数据集。
[0090]
参阅图4，图4是根据一实施例示出的步骤s400的流程图。如图4所示，所述方法包括以下步骤：
[0091]
步骤s410.使用滑动窗口对分类结果和预处理图像进行切割。
[0092]
在步骤s410中，分类结果和预处理图像均属于图像，使用滑动窗口进行切割可以获得多个面积相同的图像分块。在本实施例中，使用窗口大小为256*256的滑动窗口进行切割，窗口的步长为2。
[0093]
步骤s420.依据切割后获得的数据集对金字塔场景解析网络进行训练以及验证。
[0094]
步骤s420的具体过程包括：
[0095]
将切割后获得的数据集划分为训练集和验证集，对训练集进行平均池化。数据集按照7:3的比例划分为训练集和验证集。
[0096]
对平均池化得到的每个特征图进行1
×
1卷积。若金字塔场景解析网络的有n个不同大小的层次，上下文特征表示就会减少至之前的1/n。其中，卷积模块采用的是resnet 34，可以实现从低层到高层特征的逐步抽象，金字塔池化模块将卷积模块最后一层抽象特征进行多尺度的池化和卷积。
[0097]
通过双线性插值对卷积后的特征图进行上采样，将不同层级的特征图拼接为训练的金字塔池化全局特征。其中，上采样处理后的每个低维特征图被处理后的尺寸与输入特征图的尺寸相同，金字塔场景解析网络的层数和大小可以根据具体情况进行调节。
[0098]
将验证集输入至训练后的金字塔场景解析网络，验证训练后的金字塔场景解析网络的预测精度。
[0099]
根据本发明的第二方面，提供一种小麦条锈病识别系统。
[0100]
参阅图5，图5是根据一实施例示出的一种小麦条锈病识别系统的结构框图。如图5所示，所述系统包括：
[0101]
拍摄模块510，用于获取小麦种植区中待识别区域的原拍摄图像；
[0102]
预处理模块520，用于对原拍摄图像进行预处理，得到预处理图像；
[0103]
分类模块530，用于标注预处理图像中的特征区域，对预处理图像和标注的特征区域进行分类；所述特征区域包括健康小麦区域、条锈病小麦区域和其他区域；
[0104]
训练模块540，用于构建预测模型并依据分类结果对预测模型进行训练；
[0105]
识别模块550，用于使用训练后的预测模型对原拍摄图像的小麦条锈病程度进行
识别。
[0106]
所述小麦条锈病识别系统执行上述第一方面的小麦条锈病识别方法，关于小麦条锈病识别系统的具体限定可以参见上文中对于小麦条锈病识别方法的限定，在此不再赘述。
[0107]
上述小麦条锈病识别系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0108]
根据本发明的第三方面，提供一种计算机设备。
[0109]
参阅图6，图6是根据一实施例示出的一种计算机设备的内部结构图。如图6所示，该计算机设备包括通过系统总线连接的处理器、存储器和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现第一方面所述的一种小麦条锈病识别方法。
[0110]
根据本发明的第四方面，还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序，计算机存储介质可以是磁性随机存取存储器、只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、快闪存储器、磁表面存储器、光盘、或只读光盘等；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。所述计算机程序被处理器执行时实现第一方面所述的一种小麦条锈病识别方法。
[0111]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0112]
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
[0113]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。