一种基于GLCM特征提取的马铃薯早晚疫病分类模型构建方法

一种基于glcm特征提取的马铃薯早晚疫病分类模型构建方法
技术领域
1.本发明涉及马铃薯病害自动化诊断技术领域，尤其涉及一种基于glcm特征提取的马铃薯早晚疫病分类模型构建方法。


背景技术：

2.作物损失的预防取决于诊断和控制植物病害的能力。当前，植物病害是对全球粮食安全的重大威胁，每年造成全球10-16％的作物损失。马铃薯作为仅次于小麦、水稻和玉米的世界第四大粮食作物，随着马铃薯种植面积和总产量逐年提高，马铃薯病害问题越来越受到重视。早晚疫病是马铃薯常见病害，由真菌传染导致，感染早疫病的马铃薯叶片会过早枯萎，进而降低产量并产生经济影响。因此，建立快速有效的马铃薯早晚疫病检测方法显得尤为重要。
3.在引入机器学习来检测植物病害之前，马铃薯病害的诊断很大程度上依赖于专业的农艺师或植物病理学家。然而，由于感染体征的多样性和不同物种之间相似症状的巨大差异，这对专家鉴别病害的能力提出了更高的要求。因此，依靠机器学习获取马铃薯病害特征模式能有效对多种病害进行诊断，从而提高鉴别病害的效率。目前，有学者采取了otsu-sfla图像分割算法，对于马铃薯叶片病斑图像进行了分割处理。该算法能够对马铃薯早疫病等5种常见病害分割优化，并通过建立卷积神经网络识别模型进行图像特征提取和识别。形状特征方面，由于不同茶叶病害的致病机理不同，有学者提出围绕茶叶病病斑提取8类几何特征，分别建立矩形度、伸长度、复杂性、圆度及面积凹凸比5种组合形状特征。特征融合方面，有学者利用卷积神经网络提取浅层特征，利用相关系数分析法除去冗余特征图，取得的弱相关特征图用于提取hog特征，通过支持向量机算法进行分类。
4.但是机器学习技术在植物病害识别方面仍然存在一些缺陷：传统的机器学习技术仍然依赖于为训练模型提取重要特征；多数研究方法，提取的特征较为单一，且在植物病害中，使用了不当的特征提取方法(如hog)，导致机器学习特征过少，影像最终的识别结果；大多数研究采用单个分类器对提取的特征进行分类，分类效果并不理想。


技术实现要素：

5.本发明的目的在于提供一种基于glcm特征提取的马铃薯早晚疫病分类模型构建方法，从而解决现有技术中存在的前述问题。
6.为了实现上述目的，本发明采用的技术方案如下：
7.一种基于glcm特征提取的马铃薯早晚疫病分类模型构建方法，
8.s1、利用fast k-means算法对马铃薯叶片灰度图像进行分割，获得叶片受关注的区域；
9.s2、使用glcm算法对叶片受关注的区域提取11类纹理特征信息，以形成病害特征向量；
10.s3、将训练集和测试集中所有图像的病害特征向量分别输入投票分类器，以分别
训练投票分类器和测试训练好的投票分类器，将符合测试要求的训练好的投票分类器作为马铃薯病害识别模型。
11.优选的，马铃薯叶片灰度图像的获取过程为，
12.s01、图像采集：
13.选择马铃薯叶片形状与植株生长情况差异大的田间采集马铃薯病害叶片图像，拍摄包括早上、晚上、中午、阴天、晴天与雨天在内的不同条件下的马铃薯病害叶片图像，并从中选取n幅马铃薯健康和患病叶片图像构建马铃薯图像数据集；所述马铃薯图像数据集包含不同发病周期的叶片样本；其中，早疫病、晚疫病和正常叶类的图像数比例为11:9:10；马铃薯图像数据集中的所有图像按比例划分为训练集和测试集；
14.s02、图像预处理：
15.对马铃薯图像数据集中的所有图像依次进行噪声消除、图像强度平衡和目标排除操作，之后再进行图像裁剪、平滑处理以及图像增强操作，并将rgb格式的图像转换为灰度格式的图像，进而获取马铃薯叶片灰度图像。
16.优选的，步骤s1中fast k-means聚类算法的聚类过程如下，
17.s11、设有k个聚类，每个聚类中有n个中心向量；
18.s12、确定每个级别值与聚类中心ck之间的欧氏距离，并将每个值归属给最近的聚类中心；即第k个聚类向量以色标值r和聚类中心ck为界的欧氏距离为d(r，ck)，色标值r分配给其最近的聚类中心的ck；
19.ck＝(c
k，1
，
…
，c
k，n
)，k＝1，2，
…
，k
[0020][0021]
s13、计算每个聚类级别的平均值，为每个聚类创建一个新的聚类中心；
[0022]
s14、重复步骤s11至s13，直到新的聚类中心与原始图像数据完全匹配。
[0023]
优选的，步骤s2具体包括如下内容，
[0024]
s21、设f(x，y)为大小为m
×
n的灰度图像，(x1，y1)和(x2，y2)为灰度图像中θ方向距离为d的两个像素点的坐标，x2＝x1 d
×
cosθ，y2＝y1 d
×
sinθ；
[0025]
则灰度共生矩阵p(i，j，d，θ)为，
[0026]
p(i，j，d，θ)＝${(x1，y1)，(x2，y2)∈m
×
n，f(x1，y1)＝i，f(x2，y2)＝j}
[0027]
其中，${}为集合元素个数；d为两个像素点之间的距离；θ为两个像素点的连线与坐标横轴正方向的夹角；
[0028]
s22、对灰度共生矩阵进行归一化处理，计算公式为，
[0029][0030]
其中，p(i，j)为归一化处理后的灰度共生矩阵；r为灰度共生矩阵中所有元素的总和；
[0031]
s23、设置灰度级为8bits，度量纹理窗口大小为5
×
5，距离d为4，方向角θ分别为0
°
、45
°
、90
°
和135
°
，获取4个灰度共生矩阵，并分别计算这4个灰度共生矩阵的11类纹理特征信息，以形成病害特征向量。
[0032]
优选的，所述灰度共生矩阵的11类纹理特征信息包括同质性、对比度、相异性、角
二阶矩、能量、最大概率、熵、均值、方差、相关性和逆差矩。
[0033]
优选的，步骤s3中投票分类器包括支持向量机、k最邻近和随机森林在内的三个子分类器。
[0034]
优选的，步骤s3具体为，投票分类器依次对三个子分类器建立三个线程处理特征向量，投票分类器采取10折交叉验证，对每两个分类器输出的结果按照序列进行比较，投票的最终结果作为识别的马铃薯病害类别。
[0035]
优选的，步骤s3的训练过程中，投票分类器对其包含的三个子分类器使用网格搜索各子分类器的超参数，取得最优超参数作为所属子分类器的最终参数，进而获取训练好的投票分类器。
[0036]
本发明的有益效果是：本发明将基于支持向量机、k最邻近与随机森林分类器组合的投票分类器与灰度共生矩阵相结合，用于鉴别马铃薯早晚疫病和健康叶图像；通过fast k-means聚类算法对感染区域马铃薯叶片分割，在保证准确分割叶片的同时提升分割速度，增强glcm算法提取特征的能力；采用glcm算法提取特征，避免了机器学习特征过少的问题；投票分类器为包括三个子分类器的综合分类器，相对于svm、knn和rf单个分类器综合性能提高11％。
附图说明
[0037]
图1是本发明实施例中方法的原理流程图；
[0038]
图2是本发明实施例中rgb图像分割结果；
[0039]
图3是本发明实施例中灰度图像分割结果；
[0040]
图4是本发明实施例中计算glcm取得的11类特征图像；
[0041]
图5是本发明实施例中投票分类架构示意图。
具体实施方式
[0042]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
[0043]
实施例一
[0044]
如图1所示，本实施例中提供了一种基于glcm特征提取的马铃薯早晚疫病分类模型构建方法，
[0045]
s1、利用fast k-means算法对马铃薯叶片灰度图像进行分割，获得叶片受关注的区域；
[0046]
s2、使用glcm算法对叶片受关注的区域提取11类纹理特征信息，以形成病害特征向量；
[0047]
s3、将训练集和测试集中所有图像的病害特征向量分别输入投票分类器，以分别训练投票分类器和测试训练好的投票分类器，将符合测试要求的训练好的投票分类器作为马铃薯病害识别模型。
[0048]
结合上述内容以及附图可以看出，本方法包括五部分内容，分别为图像采集和图像预处理、图像分割、特征提取和图像分类；下面分别针对这四部分内容进行详细说明。
[0049]
一、图像采集和图像预处理
[0050]
在步骤s1之前需要获取马铃薯叶片灰度图像，具体的包括
[0051]
1、图像采集：
[0052]
选择马铃薯叶片形状与植株生长情况差异大的田间采集马铃薯病害叶片图像，拍摄包括早上、晚上、中午、阴天、晴天与雨天在内的不同条件下的马铃薯病害叶片图像，并从中选取n幅马铃薯健康和患病叶片图像构建马铃薯图像数据集；所述马铃薯图像数据集包含不同发病周期的叶片样本；其中，早疫病、晚疫病和正常叶类的图像数比例为11:9:10；马铃薯图像数据集中的所有图像按比例划分为训练集和测试集。
[0053]
本实施例中，在内蒙古自治区呼伦贝尔市岭东南地区采集的马铃薯病害叶片图像。所有图像由智能手机拍摄，以png格式存储，有效像素为3200万。在图像拍摄时的光照，天气，温度与湿度，以及不同的生态环境的情况也在数据集的收集中产生影响，并且收集到的照片与植物发育的不同阶段有关。
[0054]
因此，为解决马铃薯早晚疫病识别的环境光干扰问题，马铃薯图像数据集包含了不同发病周期的叶片样本，选取马铃薯叶片形状与植株生长情况差异较大的田间采集，通过拍摄不同条件下的图像，即早上、晚上、中午、阴天、晴天与雨天。最终选择3000幅马铃薯健康和患病叶片图像，其中早疫病(early blight)、晚疫病(late blight)和正常叶类(healthy)的图像数分别为1100、900和1000。
[0055]
图像处理在pc机进行，操作系统采用windows10专业工作站版，处理器选择intel(r)core(tm)i7-7700 cpu@3.60ghz、16.00gb的内存，nvidia geforce gtx 1060显卡，显存3gb，图像分辨率为3000
×
4000。为方便试验，每幅图像大小裁剪为256
×
256，位深度为24。
[0056]
2、图像预处理：
[0057]
对马铃薯图像数据集中的所有图像依次进行噪声消除、图像强度平衡和目标排除操作，之后再进行图像裁剪、平滑处理以及图像增强操作，并将rgb格式的图像转换为灰度格式的图像，进而获取马铃薯叶片灰度图像。
[0058]
本实施例中，图像预处理包括改善马铃薯叶片图像的视觉外观。图像预处理对提取的特征的质量和图像调查的结果有积极的影响。
[0059]
该步骤进行了噪声消除、图像强度平衡、目标排除等操作。在对图像进行计算处理之前，预处理可以提高图像数据的质量。各种预处理技术被应用于去除图像或其他物体的噪声。通过图像裁剪，去除图像中一些不合适的部分，得到叶图像的感兴趣区域。这一步还使用平滑滤波器对图像进行平滑。图像增强处理增强图像对比度，将rgb格式的输入图像转换为灰度格式作为附加处理。
[0060]
二、图像分割
[0061]
在马铃薯叶片侵染图像特征提取和病害检测中，图像分割是一个重要的功能。图像分割是对受感染马铃薯叶片进行定位和检测的一项重要任务。因此，图像分割涉及到将特征从背景中分离出来。在这个过程中，一幅图像被分解成几个不重叠的、有表现力的、相同的区域。对于马铃薯病叶，主要关注的是其侵染区，病害叶片图像的分割是识别感染类型的重要步骤，图像分割直接影响着序列图像处理，甚至控制着序列图像处理的优劣。
[0062]
本发明使用fast k-means算法对马铃薯叶片进行分割。fast k-means聚类是对k-means聚类的一种改进。与现有的k-means算法相比，fast k-means算法具有显着的优势，因
为该算法制定了一个像素累积程序来管理传统k-means中聚类中心重新训练的问题，并且能够减少重新训练图像聚类中心所需的时间。图像数据的聚类中心是利用离散函数中统计直方图水平值的增强k-means方法生成的。
[0063]
该部分对应步骤s1，则fast k-means聚类算法的聚类过程如下，
[0064]
s11、设有k个聚类，每个聚类中有n个中心向量；
[0065]
s12、确定每个级别值与聚类中心ck之间的欧氏距离，并将每个值归属给最近的聚类中心；即第k个聚类向量以色标值r和聚类中心ck为界的欧氏距离为d(r,ck)，色标值r分配给其最近的聚类中心的ck；
[0066]ck
＝(c
k,1
,
…
,c
k,n
)，k＝1,2,
…
,k
[0067][0068]
s13、计算每个聚类级别的平均值，为每个聚类创建一个新的聚类中心；
[0069]
s14、重复步骤s11至s13，直到新的聚类中心与原始图像数据完全匹配。
[0070]
图像分割旨在将数字图像分割成许多段。分割的目的在于识别物体或从马铃薯叶片的照片中获取信息。这个过程降低了图像分析的复杂性。此步骤涉及发现照片和对象的边界线。为了给图像中的每个像素分配一个标签，相似标签下的像素共享不同的特征。基于一组特征对对象进行分类的方法称为k-means聚类。
[0071]
本发明检测马铃薯病害分为三类，所以用作输入的k为3。根据k的值形成图像片段，图像片段代表一类特征，也指定义的一种马铃薯病害类别。为了比较不同颜色空间图像分割后的差异，将rgb图像与灰度图像采用fast k-means进行分割。分割图像颜色越深的片段越多表明分割效果越显著，如图2所示，rgb图像分割后差异并不明显，图2(b)健康叶对于图2(a)早疫病与图2(c)晚疫病的分割效果最差。相比而言，采用灰度图像分割的效果优于rgb图像，如图3所示，图3(a)早疫病、图3(b)健康叶和图3(c)晚疫病分割效果，分割后的三类图像都较好的表达了所属类别的纹理差异。
[0072]
三、特征提取
[0073]
该部分对应步骤s2，特征提取涉及到将未处理的数据转换为提供分类函数富有表现力的描述。为了压缩这些大尺寸图像，对图像进行抽象特征的计算，即对携带与分类问题相关的形状、纹理、颜色等信息进行量化说明，并丢弃冗余信息。本发明使用灰度共生矩阵(gray level cooccurrence matrix,glcm)进行特征提取。
[0074]
图像分割获得的结果是目标感兴趣的区域。因此，此步骤涉及从该首选区域中提取特征。特征提取是从图像中检索一组值或特征的操作。这些特征通过提供有价值的图像信息使后续处理变得容易。发现马铃薯叶片感染最常用的特征是颜色、纹理、形态和颜色一致性向量。
[0075]
glcm方法是基于图像像素灰度的空间相关性，通过研究图像中相隔一定距离的两个像素点的空间相关性来实现纹理特征的描述。则步骤s2具体包括如下内容，
[0076]
s21、设f(x，y)为大小为m
×
n的灰度图像，(x1，y1)和(x2，y2)为灰度图像中θ方向距离为d的两个像素点的坐标，x2＝x1 d
×
cosθ，y2＝y1 d
×
sinθ；
[0077]
则灰度共生矩阵p(i，j，d，θ)为，
[0078]
p(i，j，d，θ)＝${(x1，y1)，(x2，y2)∈m
×
n，f(x1，y1)＝i，f(x2，y2)＝j}
[0079]
其中，${}为集合元素个数；d为两个像素点之间的距离；θ为两个像素点的连线与坐标横轴正方向的夹角；
[0080]
s22、在实际应用中，基于灰度共生矩阵计算的二次统计量通常作为纹理分析的特征量，在计算二次统计量之前，需要对灰度共生矩阵进行归一化处理，计算公式为，
[0081][0082]
其中，p(i，j)为归一化处理后的灰度共生矩阵；r为灰度共生矩阵中所有元素的总和；
[0083]
s23、设置灰度级为8bits，度量纹理窗口大小为5
×
5，距离d为4，方向角θ分别为0
°
、45
°
、90
°
和135
°
，获取4个灰度共生矩阵，并分别计算这4个灰度共生矩阵的11类纹理特征信息，以形成病害特征向量；
[0084]
具体的，在本发明中基于归一化概率密度p(i，j)的估计，并计算在预定义的移动窗口内，θ沿着预定义的方向和像素间距离d的统计空间关系的不同属性。从glcm计算中提取了11种易于计算且相关性较低的二级统计值作为马铃薯病害的纹理特征，包括同质性(homogeneity)、对比度(contrast)、相异性(dissimilarity)、角二阶矩(asm)、能量(energy)、最大概率(max)、熵(entropy)、均值(mean)、方差(variance)、相关性(correlation)和逆差矩(idm)。在本发明中，灰度级为8bits，度量纹理窗口大小为5
×
5，选取距离d为4，方向角θ分别为0
°
、45
°
、90
°
和135
°
，计算4个灰度共生矩阵，对4个灰度共生矩阵采用式(5)-(15)计算特征值，图4所示为得到的特征图像。结合4个灰度共生矩阵与11类特征得到单个图像44个纹理特征进行分类。11类纹理特征信息计算如下，
[0085][0086][0087][0088][0089][0090][0091]
[0092][0093][0094][0095][0096]
其中，n
g-1表示图像矩阵的宽度，m
g-1图像矩阵的高。
[0097]
四、图像分类
[0098]
在图像处理和特征提取之后，必须根据图像的目标特征对图像进行分类。图像分类主要对应于分类器的设计和使用。特征提取过程通常以向量的形式生成输出。为了将此向量映射到置信度分数，使用了分类器。根据分类目标，将分数与决定目标物体是否出现的阈值进行比较，或者将其与其他分数进行比较以区分物体类别。本发明采用支持向量机(support vector machines，svm)，k最邻近(k-nearest neighbor，knn)与随机森林(random forest，rf)。
[0099]
1、支持向量机：svm是一种二元分类框架。svm的主要目标是建立一个超平面，因为训练样本的最优决策面包括正模式和负模式。因此，将正、负样本隔离，最大限度地扩大两个样本离平面的距离，提高隔离的可信度。svm算法的目标是发现这样超平面，使平面两侧的空白区域最大，同时保证被分类目标的准确性。
[0100]
2、k最邻近:knn是一种多功能分类器，在视觉、计算与图形等领域有着广泛的应用。它不依赖于假设，而只使用真实数据，这使得它在实际应用中更有用。使用knn的另一个优点是它使用瞬时训练，这意味着只要新的样本数据就能写入数据库，简而言之，它提供快速训练。它以查询实例与训练点之间的最小距离为基础，进一步给出k个最近邻。knn是基于与查询对象的距离最小、属性最相近的邻居数量来分类数据的。根据距离选择目标的邻居，从而选择k-距离上和k-距离以下的邻居。
[0101]
3、随机森林：(random forest，rf)是一种快速灵活的机器学习算法,它是建立在决策树基础上的集成学习器。这种算法在决策树的训练过程中引入随机属性的选择，每个决策树分类模型都有一票投票权来选择最优的分类结果，rf则记录投票并表决最终结果，rf算法用于分类和回归。
[0102]
本实施例中，构建马铃薯检测模型所使用的数据集有两部分，即训练集和测试集。分类器框架以输入作为训练集和测试集。整个数据集的比例是7:3。训练集图片数为2100，测试集图片数为900。
[0103]
本发明采用集成学习的思想，将svm、knn与rf进行组合形成新的投票分类器，称之为voting classifier,该分类器通过对提取的glcm特征分类，最终输出识别的马铃薯病害类别。
[0104]
投票分类架构如图5所示，首先，预处理数据集，对输入的图像进行灰度化处理，接着，采用fast k-means算法对输入的灰度化图像进行分割，分割后的图像使用glcm算法进行特征提取，对每一张图像计算四个灰度共生矩阵，由于单个灰度共生矩阵共计11个特征值，所以处理后单张图像输出44个特征值，即一张图像一个特征向量。最后，将训练集所有图像的特征向量输入投票分类器，接着，对特征向量创建2个相同的副本，投票分类器依次对svm、knn与rf建立三个线程处理特征向量，训练过程中，投票分类器对其包含的子分类器使用网格搜索分类器的超参数，取得最优超参数作为所属分类器的最终参数。
[0105]
为了保证单个分类器结果的有效性，投票分类器采取10折交叉验证，对每两个分类器输出的结果按照序列进行比较，由于投票分类器有三个子分类器，所以需要比较3次，投票的最终结果作为识别病害的类别。
[0106]
实施例二
[0107]
为了评价投票分类器性能，计算了三个常用的指标:准确率(accuracy)、精确率(precision)、召回率(recall)。分类结果分为真阳性(tp)、假阳性(fp)、真阴性(fn)和假阴性(tn)。在这种情况下，准确率是正确预测的数量(马铃薯病害)与测试数据集样本总数的比率；精确率表明该模型具有准确分类马铃薯病害的能力；召回率反映了模型对马铃薯病害的检测能力。以上三项指标的取值范围均为0～1，值高表示模型分类能力好，其定义如下:
[0108][0109][0110][0111]
采用灰度共生矩阵算法对输入图像进行特征提取。glcm算法提取图像的纹理特征，将其视为马铃薯病害的表征。从图4与图5可以看出，将分割图像作为输入，glcm算法对图像进行特征提取，用于马铃薯早疫病或晚疫病检测。提取的特征采用投票分类模型进行病害检测，投票分类模型是svm、knn和rf的结合。如表4所示，投票分类器对早疫病、晚疫病和健康叶类别的准确率分别为91.46％，94.21％与93.24％，晚疫病准确率分别高出早疫病与健康叶2.75％与0.97％，且精确率高出早疫病与健康叶1.14％与1.33％，而召回率相对于其他两类降低值小于0.7，综合而言，投票分类器对晚疫病特征敏感性较强。
[0112]
为了比较投票分类器的优势，本发明测试了svm、knn与rf分类器在相同数据集下的分类结果。如表1至表5所示，由精确率、召回率和准确率方面对结果进行比较，计算结果是早疫病、晚疫病和健康的分类平均值。投票分类器与svm分类器相比，准确率、精确率和召回率分别提升13.83％，15.21％与10.88％；投票分类器与knn分类器相比，准确率、精确率和召回率分别提升17.34％，19.05％与13.8％；投票分类器与rf分类器相比，准确率、精确率和召回率分别提升5.37％，7.76％与3.92％；准确率、精确率和召回率平均提高12.18％，
14.00％与9.53％。综上所述，投票分类器的综合性能提高了11％，优于svm、knn与rf分类器。
[0113]
表1 svm分类器的结果
[0114][0115]
表2 knn分类器的结果
[0116][0117]
表3 rf分类器的结果
[0118][0119]
表4投票分类器分类结果
[0120][0121][0122]
表5 4种分类器比较
[0123][0124]
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
[0125]
本发明提供了一种基于glcm特征提取的马铃薯早晚疫病分类模型构建方法，将基于支持向量机、k最邻近与随机森林分类器组合的投票分类器与灰度共生矩阵相结合，用于鉴别马铃薯早晚疫病和健康叶图像；通过fast k-means聚类算法对感染区域马铃薯叶片分割，在保证准确分割叶片的同时提升分割速度，增强glcm算法提取特征的能力；采用glcm算法提取特征，避免了机器学习特征过少的问题；投票分类器为包括三个子分类器的综合分类器，相对于svm、knn和rf单个分类器综合性能提高11％。
[0126]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应
视本发明的保护范围。