基于多特征数据的虫害分类方法和装置与流程

1.本技术涉及深度学习技术领域，具体涉及一种基于多特征数据的虫害分类方法和装置。


背景技术：

2.随着全球气候变化、耕作制度变革，我国虫害灾变规律发生新变化，一些跨国境、跨区域的迁飞性和流行性重大病虫暴发频率增加，一些地域性和偶发性病虫发生范围扩大、危害程度加重，严重制约我国粮食生产安全。传统虫害监测识别方法主要由人工完成，专业依存度高、主观性强、误判率高、实时性差，影响了测报的时效性和准确度，导致虫害防止措施不及时，造成巨大经济损失，因此及时准确实现农作物虫害的监测识别是有效采取防治措施的关键环节。
3.深度学习是机器学习研究中的一个分支，其通过组合低层特征实现对高层特征的抽象表示，从而更加高效地描述和表示结构化数据的特征分布，其中以alexnet和vggnet在经典卷积神经网络基础上进行深度改进构建的模型最为经典，其在图像识别领域取得了巨大的成功，使得深度学习(深度神经网络)成为当前人工神经网络领域的研究热点，并逐步在图像识别、分割和检测等众多领域得到广泛应用。
4.相关技术中，传统虫害监测识别方法主要由人工完成，专业依存度高、主观性强、误判率高、实时性差，影响了测报的时效性和准确度，导致虫害防止措施不及时，造成巨大经济损失。
5.高光谱成像技术可对虫害进行快速、准确、无损检测，其检测识别速度较快，误差较小。但是由于农作物虫害其自身出没时间的动态性，出没地点的隐蔽性，个体在经历幼虫到成虫生长过程的变态性，以及种群规模庞大形态各异等特点，因此传统图像识别分类方法仍然不完善。
6.现近年来基于机器视觉的图像分类识别技术在众多病虫害识别分类领域广泛推广应用。现有深度学习模型针对小体积虫害判识率较低，对拍摄范围较广、体积较小虫害暂无有效分类。


技术实现要素：

7.为至少在一定程度上克服相关技术中存在的问题，本技术提供一种基于多特征数据的虫害分类方法和装置。
8.根据本技术实施例的第一方面，提供一种基于多特征数据的虫害分类方法，包括：
9.获取待识别图片；
10.对所述图片的多种特征数据进行提取；
11.确定最优的信息组合方式；
12.根据所述最优的信息组合方式将所述特征数据与原图片信息进行组合，获得融合信息；
13.将所述融合信息输入到虫害分类模型中进行识别，获得虫害分类结果；所述虫害分类模型为经过训练的深度卷积网络模型。
14.进一步地，所述虫害分类模型的训练过程包括：
15.获取虫害图片，对所述虫害图片进行标记，区分为训练集和测试集；
16.对所述虫害图片的多种特征数据进行提取；
17.将每一张所述虫害图片的原图片信息和多种特征数据按照预设的多种组合方式进行组合，获得每一张所述虫害图片对应的多种组合信息；
18.将训练集中的图片及对应的多种组合信息依次输入到深度卷积网络模型中进行训练。
19.进一步地，所述深度卷积网络模型使用inceptionnet
‑
v3模型块，在高层次inception结构中将3*3卷积核拆分为1*3和3*1的卷积核并列，并且在卷积之前先使用1*1的卷积核实现降维。
20.进一步地，所述深度卷积网络模型包括cba模块、block1模块和block2模块，该网络模型的处理步骤包括：
21.数据输入后首先进入cba模块进行特征提取；
22.特征提取后经过block1模块和block2模块进行处理，再经过模型合并操作将上一层信息传递至下一层。
23.进一步地，所述确定最优的信息组合方式，包括：
24.使用测试集中的图片及对应的多种组合信息对当前训练好的网络模型进行测试，得到测试结果并保留；
25.针对每一种组合方式，根据其对应的测试结果计算得分；
26.将得分最高的组合方式确定为最优的信息组合方式。
27.进一步地，所述测试结果至少包括准确率和召回率；每一种组合方式的得分为：
28.s＝0.8
×
准确率 0.2
×
召回率。
29.进一步地，所述多种特征数据至少包括：hog特征、旋转不变lbp、gabor特征、灰度共生矩阵glcm、灰度梯度共生矩阵ggcm；所述原图片信息为rgb图像信息。
30.根据本技术实施例的第二方面，提供一种基于多特征数据的虫害分类装置，包括：
31.获取模块，用于获取待识别图片；
32.提取模块，用于对所述图片的多种特征数据进行提取；
33.确定模块，用于确定最优的信息组合方式；
34.融合模块，用于根据所述最优的信息组合方式将特征数据与原图片信息进行组合，获得融合信息；
35.识别模块，用于将所述融合信息输入到虫害分类模型中进行识别，获得虫害分类结果；所述虫害分类模型为经过训练的深度卷积网络模型。
36.根据本技术实施例的第三方面，提供一种计算机设备，包括：
37.存储器，用于存储计算机程序；
38.处理器，用于执行所述存储器中的计算机程序，以实现如上任意一种实施例所述方法的操作步骤。
39.根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算
机程序，所述计算机程序被处理器执行时实现如上任意一种实施例所述方法的操作步骤。
40.本技术的实施例提供的技术方案具备以下有益效果：
41.本技术的方案通过实验确定最优的多特征组合方式，将虫害图片的多种特征数据进行融合后再通过卷积网络模型进行识别，从而可以有效识别出虫害类别，具有很强的特征表达与分类能力，为后续智能变量喷药等虫害防治提供信息；并且对正常拍摄图片，非针对虫体的放大图像也具有很好的分类准确度。
42.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
43.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
44.图1是本发明实施例的一种基于多特征数据的虫害分类方法的流程图。
45.图2是本发明实施例的一种基于多特征数据的虫害分类方法逻辑流程图。
46.图3是本发明实施例的一种虫害分类模型结构示意图。
47.图4是本发明实施例的一种虫害分类模型结构中module1结构示意图。
48.图5是本发明实施例的一种虫害分类模型结构中module2结构示意图。
49.图6是本发明实施例的一种虫害分类模型结构中module3结构示意图。
50.图7是本发明实施例的一种基于多特征数据的虫害分类装置的程序模块示意图。
51.图8是本发明实施例的一种电子设备的硬件结构示意图。
具体实施方式
52.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的方法和装置的例子。
53.图1是根据一示例性实施例示出的一种基于多特征数据的虫害分类方法的流程图。该方法可以包括以下步骤：
54.步骤s1：获取待识别图片；
55.步骤s2：对所述图片的多种特征数据进行提取；
56.步骤s3：确定最优的信息组合方式；
57.步骤s4：根据所述最优的信息组合方式将所述特征数据与原图片信息进行组合，获得融合信息；
58.步骤s5：将所述融合信息输入到虫害分类模型中进行识别，获得虫害分类结果；所述虫害分类模型为经过训练的深度卷积网络模型。
59.本技术的方案通过实验确定最优的多特征组合方式，将虫害图片的多种特征数据进行融合后再通过卷积网络模型进行识别，从而可以有效识别出虫害类别，具有很强的特征表达与分类能力，为后续智能变量喷药等虫害防治提供信息；并且对正常拍摄图片，非针对虫体的放大图像也具有很好的分类准确度。
60.应当理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
61.如图2所示，下面结合具体的应用场景，对本技术的方案进行拓展说明。
62.一、获得图片
63.获取虫害相关图片，对虫害图片进行标记，然后区分训练集和测试集。
64.二、对图片进行特征提取
65.一些实施例中，图片的多种特征数据至少包括：hog特征、旋转不变lbp、gabor特征、灰度共生矩阵glcm、灰度梯度共生矩阵ggcm。其中，hog为方向梯度直方图(histogram of oriented gradient)特征。需要对所有图片的上述五种特征数据进行提取。原图片信息为rgb图像信息。
66.三、对图片特征进行融合
67.一些实施例中，分别提取各特征后串联所有数据，特征融合方式共21种，从中挑选依次进13组实验。13种组合方式为：1)hog、rgb；2)rotlbp、rgb；3)gabor、rgb；4)glcm、rgb；5)ggcm、rgb；6)rotlbp、hog、rgb；7)rotlbp、gabor、rgb；8)rotlbp、glcm、rgb；9)hog、glcm、rgb；10)hog、gabor、rgb；11)gabor、ggcm、rgb；12)gabor、glcm、rgb；13)rotlbp、hog、gabor、ggcm、rgb。
68.四、模型训练
69.一些实施例中，所述虫害分类模型的训练过程包括：
70.获取虫害图片，对所述虫害图片进行标记，区分为训练集和测试集；
71.对所述虫害图片的多种特征数据进行提取；
72.将每一张所述虫害图片的原图片信息和多种特征数据按照预设的多种组合方式进行组合，获得每一张所述虫害图片对应的多种组合信息；
73.将训练集中的图片及对应的多种组合信息依次输入到深度卷积网络模型中进行训练。
74.1、参照图2，首先判断特征融合池中是否还有为训练数据；若是则继续训练，若否则进行下一步；
75.2、模型训练，模型整体结构参考inceptionnet
‑
v3模型块和efficientnet模型整体结构，使用inceptionnet
‑
v3模型块，模型流程如图3所示。
76.3、模型结构
77.cba模块：conv bathnormailzation activation；
78.block1模块：conv bathnormailzation relu module1；
79.block2模块：avgpool rescaling module2 module3。
80.其中，module1、module2、module3的结构分别如图4、图5、图6所示。
81.module1、module2、module3：分别为inceptionnet
‑
v3其中的某阶段模型块结构，其中的设计理念主要是：(1)不过早压缩和降维，以免损失信息表达，避免信息表征的
bottleneck；(2)增强高维表征，在高层次inception结构中将3*3卷积核拆分为1*3和3*1的卷积核并列，变得更宽，以增强信息表征；(3)在卷积之前先使用1*1的卷积核实现降维；(4)注意网络宽度和深度的平衡。
82.整体模型如图3所示，所述深度卷积网络模型包括cba模块、block1模块和block2模块。该网络模型的处理步骤包括：数据输入后首先进入cba模块进行特征提取；特征提取后经过block1模块和block2模块进行处理，再经过模型合并(add)操作将上一层信息传递至下一层。整体模型借鉴inceptionnet
‑
v3计算模块可减少模型计算量，借鉴efficientnet提高模型准确率。
83.五、模型测试
84.使用测试集对当前训练好的模型进行测试得到测试结果并保留；然后查看特征数据池中是否还有未训练的组合，若有则继续训练模型，若无则进行下一步。
85.六、模型测试结果对比
86.一些实施例中，所述确定最优的信息组合方式，包括：
87.使用测试集中的图片及对应的多种组合信息对当前训练好的网络模型进行测试，得到测试结果并保留；所述测试结果至少包括准确率和召回率；
88.针对每一种组合方式，根据其对应的测试结果计算得分；
89.将得分最高的组合方式确定为最优的信息组合方式。
90.将所有数据池中数据都训练完后，对比每个模型虫害识别准确率和召回率，按照s＝0.8
×
准确率 0.2
×
召回率，这样的计算公式计算每个模型得分，取得分最高者即为该申请的模型；在对新图片进行虫害分类时即采用最优模型数据特征提取方案。
91.本技术以实际业务场景出发，对虫害图像提取hog特征、旋转不变lbp、gabor特征、灰度共生矩阵glcm、灰度梯度共生矩阵ggcm五种特征；然后整合多特征数据和原图像信息投入深度卷积网络进行虫害分类训练；利用该分类模型对虫害测试数据进行分类，对比分析不同特征数据的组合方式下的综合识别性能，得到实验结果准确率最优的信息组合方式。
92.本发明提出的检测方法提供了检测虫害的最优融合策略，可以有效识别出虫害类别，具有很强的特征表达与分类能力，为后续智能变量喷药等虫害防治提供信息。对正常拍摄图片，非针对虫体放大图像即可有很好的分类准确度；对小虫害进行有效识别，可大大缩减虫害发现时间，针对虫害做到早发现、早治疗的效果，减少作物因虫害而减产和降低质量的风险。
93.图7是根据一示例性实施例示出的一种基于多特征数据的虫害分类装置的电路框图。参照图7，该装置包括：
94.获取模块，用于获取待识别图片；
95.提取模块，用于对所述图片的多种特征数据进行提取；
96.确定模块，用于确定最优的信息组合方式；
97.融合模块，用于根据所述最优的信息组合方式将特征数据与原图片信息进行组合，获得融合信息；
98.识别模块，用于将所述融合信息输入到虫害分类模型中进行识别，获得虫害分类结果；所述虫害分类模型为经过训练的深度卷积网络模型。
99.关于上述实施例中的装置，其中各个模块执行操作的具体步骤已经在有关该方法的实施例中进行了详细描述，此处不再详细阐述说明。上述虫害分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
100.为了更好的理解本技术实施例，参照图8，为本技术实施例提供的一种电子设备的硬件结构示意图。如图8所示，本实施例的电子设备包括存储器，用于存储计算机程序；
101.处理器，用于执行所述存储器中的计算机程序，以实现上述实施例中描述的虫害分类方法中的各个步骤，具体可以参见前述方法实施例中的相关描述，本实施例不再赘述。
102.可选地，存储器既可以是独立的，也可以跟处理器集成在一起。当存储器独立设置时，该设备还包括总线，用于连接所述存储器和处理器。
103.基于上述实施例中所描述的内容，本技术实施例中还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，以实现如上述实施例中描述的虫害分类方法中的各个步骤，具体可以参见前述方法实施例中的相关描述，本实施例不再赘述。
104.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
105.需要说明的是，在本技术的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”的含义是指至少两个。
106.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
107.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
108.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
109.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
110.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
111.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
112.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。