一种基于计算机视觉的作物果实晚疫病识别方法与流程

1.本发明涉及作物病害识别技术领域，具体为一种基于计算机视觉的作物果实晚疫病识别方法。


背景技术：

2.作物晚疫病是植株生长过程中发生较为普遍、危害极大的病害之一，严重影响着作物果实的产量和品质。因此，有效的识别作物晚疫病，检测出患有作物晚疫病的果实尤为重要。
3.现有技术中对于作物晚疫病的检测主要依靠农学专业人士进行鉴别。但是由于普通农户缺少专业农学知识，无法准确鉴别作物是否患有晚疫病而延误病情，进而导致作物果实品质下降，产量降低；聘请专业的农学专家对于普通农户来说将会增加额外经济负担。
4.随着人工智能技术的快速发展，在图像识别和目标检测等领域目前已经达到甚至超过了人眼的水平，因此越来越多的研究希望能够利用人工智能技术代替专家，以降低种植要求，达到智慧化种植的需求。近年来，针对作物果实晚疫病病害的识别研究越来越来，但大多数基于单一深度学习网络。存在以下缺陷：数据量较少，给模型优化造成了极大的困难；受到作物果实数据量不平衡的影响，一般采集到的图像正常果实较多，而含有晚疫病病灶的果实较少，单一图像检测模型存在果实检测率较高，而果实分类识别率较低。有效识别作物晚疫病，检测并提出患有作物晚疫病的果实对农户来说极为重要。


技术实现要素：

5.为克服现有技术中存在的上述问题，本发明提供了一种基于计算机视觉的作物果实晚疫病识别方法，该方法可自动检测到果实所在位置并判别是否患有晚疫病，极大便利了用户的使用，且与现有检测模型相比，通过结合检测和识别模型可在训练样本不平衡的情况下提高模型检测的准确率。
6.本发明是通过如下技术方案实现的：1、一种基于计算机视觉的作物果实晚疫病识别方法，包括如下步骤：a.获取作物植株图像，其中作物植株上的果实包含正常果实、患有晚疫病的果实及患有其他病症的果实；b. 获取果实检测模型，包括对作物植株图像进行标注生成以果实为检测目标的数据集、搭建果实图像检测模型并训练；c. 获取果实晚疫病识别模型，包括果实晚疫病识别数据集准备、果实晚疫病分类网络搭建、模型训练；d．输入作物植株图像，识别出作物植株中患有晚疫病的果实。
7.优选的，步骤d中，根据识别出的果实总数量n及患有晚疫病的果实数量m得到晚疫病占比率。
8.优选的，所述获取果实检测模型的步骤包括：
s1：果实检测图像的数据集准备和预处理，将收集到的数据集样本归一化为1024
×
1024像素大小，然后勾画图像中果实所在位置作为数据集中的标签样本；s2：数据增强：为提高模型的准确率，将训练集图像和标签同时进行上下翻转、左右翻转、旋转、图像模糊的操作增加数据量，得到数据增强后的数据集；s3：构造图像检测模型：构造图像检测模型包括，以深度卷积神经网络作为特征提取层，生成候选框的区域提取网络，收集候选框的感兴趣区域池化层，分类和回归网络判断目标图像和回归检测框；s4：将s2中的数据集按比例分为训练集、测试集和验证集；s5：将s4中的数据集输入到s3中构造的图像检测模型，训练所述图像检测模型，获得果实识别模型。
9.优选的，所述获取果实晚疫病识别模型的步骤包括：（1）果实晚疫病识别模型的数据准备和预处理：提取收集到的作物植株图像中的果实部分，将患有晚疫病的果实作为模型训练的正样本，其他果实作为负样本；（2）对正样本数量进行增强，使得正样本、负样本数量比例为1:1；（3）构造图像分类模型包括提取识别目标特征的深度学习卷积层，用于识别的softmax分类层；（4）将步骤（1）中的数据集按一定比例分为训练集、测试集和验证集；（5）将步骤（3）中的数据集输入到步骤（2）中构造的图像分类模型，得到果实晚疫病识别模型。
10.优选的，获取所述晚疫病占比率的步骤包括： a.收集单株作物图像并进行图像预处理；b.将预处理后的图像依次输入到训练后的果实检测模型及果实晚疫病识别模型中；c．获取果实总数量n及患有晚疫病的果实数量m；d．得到晚疫病占比率r，r=m/n。
11.本发明的有益效果是：1、本发明提出基于目标检测模型（果实检测模型）并结合分类模型（果实晚疫病识别模型）的方法，与现有的单一目标检测模型相比极大的提高了模型对患病果实的检测率。由于收集到的图像数据集中患病果实占所有果实中的比例较低，存在正负样本不平衡的问题，单一目标检测模型通过该数据集训练出的模型会存在对患病果实的检测率较低，并且无法较好判别检测到的果实是否患有晚疫病。本发明为提高对患病果实的检测率，首先使用目标检测模型检测所有的果实，包括正常果实和患有晚疫病的果实，通过正样本数量增强解决正负样本的不平衡，然后构建分类模型用于对患病果实和正常果实的分类，进而提高对晚疫病果实的分类准确率。
12.2、通过本发明提出的方案用于判别作物患有晚疫病的问题，将传统的分类问题有效的转化为检测问题，当检测到作物中含有患病的果实即判别作物患有晚疫病，区别于传统针对作物果实异常部位进行拍照，然后得出作物患病的概率，通过本发明提出的方案，用户可针对作物随意拍照，并上传待检测作物图像，模型通过分析感染晚疫病的果实部位从而判别作物是否患病。本发明提出的方案极便利了用户的使用并且准确率较高。
13.3、通过本发明提出的方案计算所标记的患病果实与总检测果实量的比率，即晚疫病占比率，可为后期晚疫病发病危害评估提供数据分析方案。
附图说明
14.下面结合附图对本发明作进一步的说明。
15.图1为本发明的流程图。
16.图2为本发明的实施例中faster rcnn网络结构图。
17.图3为本发明的实施例中resnet50网络结构图。
具体实施方式
18.为使本领域技术人员能够更好的理解本发明，下面将结合附图对本发明技术方案做进一步的说明。
19.本发明为一种基于计算机视觉的作物果实晚疫病识别方法，包括如下步骤：a.获取作物植株图像，其中作物植株上的果实包含正常果实、患有晚疫病的果实及患有其他病症的果实；b. 获取果实检测模型，包括对作物植株图像进行标注生成以果实为检测目标的数据集、搭建果实图像检测模型并训练；c. 获取果实晚疫病识别模型，包括果实晚疫病识别数据集准备、果实晚疫病分类网络搭建、模型训练；d．输入作物植株图像，识别出作物植株中患有晚疫病的果实。
20.2、根据权利要求1所述的一种基于计算机视觉的作物果实晚疫病识别方法，其特征在于，步骤d中，根据识别出的果实总数量n及患有晚疫病的果实数量m得到晚疫病占比率。
21.本实施例中，步骤a中，获取作物植株图像时拍摄设备为手机、照相机等移动设备，拍照像素不低于500万；为满足深度学习训练的要求，设计在作物晚疫病高病发的青果生长时期采集图像（照片），其采集数量为1000例；采集图片要求包含收集以作物晚疫病发病时期的植株为主，收集作物果实的图像部分出现晚疫病症状、部分为该时期的其他类似晚疫病的病症、部分作物植株果实不含病灶即正常果实；拍摄单株作物图像时，在作物上方，倾斜45
°
拍摄。区别于传统针对作物果实异常部位进行拍照，然后得出作物患病的概率，本发明中通用户可针对作物随意拍照从而获取作物植株图像，不再去刻意去拍摄每个果实异常部位，更加人性化，极大地方便用户。
22.步骤b中，获取果实检测模型的步骤包括：s1：果实检测图像的数据集准备和预处理，将收集到的数据集样本归一化为1024
×
1024像素大小，然后勾画图像中果实所在位置作为数据集中的标签样本，本实施例中，调用labelimg图像标注软件勾画图像中果实所在位置作为数据集中的标签样本，并保存为待训练的voc数据集格式；s2：数据增强：为提高模型的准确率，将训练集图像和标签同时进行上下翻转，左右翻转，旋转，图像模糊操作增加数据量，得到扩增20倍的数据增强后的数据集；s3：构造图像检测模型：构造图像检测模型包括，以深度卷积神经网络作为特征提
取层，生成候选框的区域提取网络，收集候选框的感兴趣区域池化层，分类和回归网络判断目标图像和回归检测框。本实施例中，采用faster rcnn图像检测网络作为基础模型，该网络包括，以深度卷积神经网络作为特征提取层，生成候选框的区域提取网络，收集候选框的感兴趣区域池化层，分类和回归网络判断目标图像和回归检测框。
23.如图2所示，faster rcnn首先使用一组基础的卷积层、relu激活函数、pooling池化层提取图像的特征图（feature maps），该feature maps用于后续的候选框提取网络（region proposal networks）和全连接层。候选框提取网络用于生成候选框（region proposals）。该层通过softmax判别锚点框（anchors）属于正样本或者负样本，并修正当前anchors；感兴趣区域池化层（roi pooling）。该层整合的feature maps和proposals，作为后续判别目标类别；最后经过分类和回归网络判断目标图像和回归检测框。
24.s4：将s2中的数据集按比例分为训练集、测试集和验证集，本实施例中，训练集、测试集和验证集的比例为7:2:1。
25.s5：将s4中的数据集输入到s3中构造的图像检测模型，训练所述图像检测模型，获得果实识别模型。
26.通过上述的果实检测模型，能够在输入的作物植株图像内检测出所有果实，包括正常果实、患有晚疫病的果实及患有其他病症的果实，不再需要人工针对作物果实异常部位一一进行拍照、统计分析，更加人性化。
27.步骤c中，获取果实晚疫病识别模型包括如下步骤：（1）作物果实晚疫病识别模型的训练数据准备和预处理，包括提取收集到数据集中的果实部分，本实施例中采用随机上下偏移像素裁剪的方法，增加数据量；将包含晚疫病病灶特征的果实作为训练模型的正样本，其他包含正常果实以及其他病灶的果实作为负样本；（2）对正样本数量进行增强，使得正样本、负样本数量比例为1:1，由于采集到的数据中含有晚疫病的果实较少，正常果实及其他患病果实较多，存在正负样本极大不平衡的问题，所以本发明对正样本进行数据增强以增加正样本数量，其中包括采用上下偏移图像，随机裁剪，上下翻转等方式，正样本及对应的标签被标记，通过上下偏移图像、随机裁剪、上下翻转等方式能够进行数量增加，进而实现正负样本平衡，提高患有晚疫病的果实的检测正确率。
28.（3）构造图像分类模型，采用resnet50图像分类网络，该网络包括提取识别目标特征的深度学习卷积层，用于识别的softmax分类层，如图3所示。
29.（4）将收集的图像分类数据集按照7：2：1分为训练集、测试集和验证集；（5）将准备的数据集输入到图像分类模型，训练并优化resnet50图像分类模型，得到最终的作物果实检测模型。
30.通过上述果实检测模型结合果实晚疫病识别模型的方法，与现有技术中的单一目标检测模型相比极大的提高了模型对患病果实的检测率。
31.步骤d中，根据识别出的果实总数量n及患有晚疫病的果实数量m得到晚疫病占比率，获取所述晚疫病占比率的步骤包括： a.收集单株作物图像并进行图像预处理，具体的，手机收集待检测单株作物果实图像，图像预处理中将图像缩放为1024
×
1024像素；
b.将预处理后的图像依次输入到训练后的果实检测模型及果实晚疫病识别模型中；c．获取果实总数量n及患有晚疫病的果实数量m；d．得到晚疫病占比率r，r=m/n，用于后续判别晚疫病的危害程度。
32.通过本发明提出的方案计算所标记的患病果实与总检测果实量的比率，即晚疫病占比率，可为后期晚疫病发病危害评估提供数据分析方案。
33.本发明的描述中，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了描述本发明而不是要求本发明必须以特定的方位构造或操作，因此不能理解为对本发明的限制。本发明中的“相连”“连接”应作广义理解，例如，可以是连接，也可以是可拆卸连接；可以是直接连接，也可以是通过中间部件间接连接，对于本领域的普通技术人员而言，可以具体情况理解上述术语的具体含义。
34.以上所述为本发明的优选实施方式，具体实施例的说明仅用于更好的理解本发明的思想。对于本技术领域的普通技术人员来说，依照本发明原理还可以做出若干改进或者同等替换，这些改进或同等替换也视为落在本发明的保护范围。