一种基于改进编解码网络的水稻分蘖期杂草分割识别方法与流程

1.本发明涉及一种水稻杂草识别方法，具体涉及一种基于改进编解码网络的水稻分蘖期杂草分割识别方法。


背景技术：

2.水稻田间杂草对水稻生长带来极大的危害，杂草与水稻争夺养分、水分以及光线等，影响水稻生长，降低水稻粮食的质量和产量。为了预防或防治田间杂草，常用的方法是对整个作业区域进行覆盖式的均匀喷洒除草，这不可避免地会造成农药的过量施用，还会造成杂草耐药性增强、浪费农药和环境污染等问题。精准施药技术是现代农业的新技术之一，在农田杂草的防治中，如何实现精准式喷洒，以降低农药使用量和减少对农业生态环境的污染具有重要意义。具体地，一般是先通过遥感的方式采集农田影响数据，再对田间杂草的进行快速、准确的识别，最后根据识别结果进行杂草农药喷施，从而实现靶向精准喷施。
3.现有技术中，基于遥感光谱技术的杂草识别分析方法对采集数据的光学设备要求高，导致成本明显增加，不利于维护且实用性低，大多数研究仅限于实验室研究，并不利于实际农田杂草识别技术的推广。而基于传统机器学习的方法识别农田杂草，则需要人为设计杂草的颜色、形状和纹理等特征作为机器学习算法的特征学习依据；这种选定特征的方式主要是依靠人工经验判断进行筛选，不仅效率低下，而且识别结果存在主观性和不稳定性，识别效果往往与选择的特征好坏有关，导致构建的分类器鲁棒性不强，对作物杂草的识别精度不高。


技术实现要素：

4.本发明目的在于克服现有技术的不足，提供一种基于改进编解码网络的水稻分蘖期杂草分割识别方法，该方法实现对水稻分蘖期的杂草分割和识别，有效提高杂草识别精度，从而实现后续的杂草精准喷施除草。
5.本发明的目的通过以下技术方案实现：
6.一种基于改进编解码网络的水稻分蘖期杂草分割识别方法，其特征在于，包括以下步骤：
7.(1)采集分蘖期的水稻农田图像；
8.(2)对所采集的水稻农田图像进行图像预处理、图像增强和语义标注；
9.(3)将经过预处理增强和语义标注的图像输入至改进编解码u
‑
net网络中，对改进编解码u
‑
net网络进行训练，得到水稻杂草分割模型；
10.(4)采用所述水稻杂草分割模型，对处于分蘖期的待测水稻农田图像进行识别检测，输出识别检测结果，得到水稻农田图像中水稻和杂草的分割情况。
11.本发明的一个优选方案，所述改进编解码u
‑
net网络中，采用mobilenetv2网络替换编解码u
‑
net网络中的vgg
‑
net网络，采用mobilenetv2网络进行特征提取。
12.优选地，将改进编解码u
‑
net网络中的超参数的初始学习率设置为0.001，并采用
l2正则化方法防止模型过拟合，其中所述l2正则化系数decay设置为10
‑
4。
13.优选地，采用带动量的adam梯度优化算法对改进编解码u
‑
net网络在训练过程中的梯度下降进行优化；包括以下步骤：
14.(a)对计算t时间步的梯度，
15.g
t
＝δ
θ
j(θ
t
‑1)
16.式中，j(θ
t
‑1)表示前一单位时间的目标函数，g
t
是对目标函数求导得到的当前梯度值；
17.(b)计算梯度的指数移动平均数和梯度平方的指数移动平均数，
18.m
t
＝β1m
t
‑1 (1
‑
β1)g
t
19.v
t
＝β2v
t
‑1 (1
‑
β2)g
t2
20.式中，m
t
为当前梯度均值，v
t
为当前梯度平方值，m
t
‑1为前一单位时间的梯度均值，v
t
‑1为前一单位时间的梯度平方值，β1为一阶矩估计的指数衰减率，β2为二阶矩估计的指数衰减率；g
t
是对目标函数求导得到的当前梯度值。
21.(c)对梯度均值m
t
和梯度平方值v
t
进行纠正，降低偏差对训练初期的影响，
[0022][0023][0024]
式中，β
1t
为当前时间步长的一阶矩估计的指数衰减率，β
2t
为当前时间步长二阶矩估计的指数衰减率。和为纠正后的梯度均值和梯度平方值。
[0025]
(d)通过纠正后的梯度均值和梯度平方值计算参数更新的值，
[0026][0027]
式中，θ
t
‑1为前一时间步长的目标函数参数，θ
t
为当前时间步长的参数，ε为常数。
[0028]
优选地，将一阶矩估计的指数衰减率β1取值为0.9，阶矩估计的指数衰减率β2取值为0.99，ε取值10
‑
8。
[0029]
优选地，对改进编解码u
‑
net网络的损失函数进行优化，具体表达式为：
[0030][0031][0032][0033]
式中，l为损失函数，n为一批次中的样本总数，k为预测图像的像素总数，m是分类类别数；y
ic
为预测值符号函数，如果样本i的真实类别等于c，y
ic
取1，否则取0；p
ic
为观测样本i属于类别c的预测概率，w
ic
为观测样本i中第c类的权重值，r
ic
为观测样本i中第c类别像素k
ic
占总像素k的比值，表示r
ic
的中位数。
[0034]
本发明的一个优选方案，在步骤(1)中，采用无人机搭载可见光相机，在设定航线
后，对分蘖期的水稻农田进行图像采集。
[0035]
本发明的一个优选方案，在步骤(2)中，图像预处理和图像增强包括将原始图像左右翻转、上下翻转、改变亮度以及对比度；同时，使用图像切割的方法增加数据集数量，经过数据增强后，并将全部图像素大小调整为352
×
480pixel。
[0036]
本发明的一个优选方案，在步骤(2)中，使用labelme语义标注工具对图像中的水稻、杂草、空白背景区域及无关背景区域进行语义标注划分，并生成单通道的语义标签文件。本实施例中，所述无关背景区域即为其他背景区域。
[0037]
本发明的一个优选方案，在步骤(1)中，完成水稻农田的图像采集后，将图像数据整合为数据集，并按照比值为8:1:1划分为训练集、验证集和测试集；其中，并对训练集进行图像增强处理。
[0038]
本发明的一个优选方案，在步骤(3)中，设置对改进编解码u
‑
net网络的训练迭代共50个epoch，每个epoch训练300次，共进行15000次结束训练；在训练集上每个epoch、300次迭代保存一次模型训练数据，设置的每步训练批量batch size为6。
[0039]
本发明与现有技术相比具有以下有益效果：
[0040]
1、本发明采用改进编解码网络实现对水稻田中的杂草密集区域进行准确识别和精确定位，从而有利于指导对农田中杂草密集区域的精准喷施除草剂的作业，降低农药用量。
[0041]
2、通过语义标注自动学习特征的方法对分蘖期水稻农田图像中的杂草区域进行特征匹配和识别，无需人工设置特征，提高最终模型的识别检测精度。
[0042]
3、采用改进编解码网络作为识别检测模型，相较于采用resnet50
‑
pspnet、segnet、u
‑
net 等其他网络模型进行图像识别检测，具有参数量少结构简单、识别精度高、推理识别速度快、易部署至终端的优点。
附图说明
[0043]
图1为本发明的基于改进编解码网络的水稻分蘖期杂草分割识别方法流程框图。
[0044]
图2为对分蘖期的水稻农田进行图像采集的样本图。
[0045]
图3为进行语义标注时的示意图。
[0046]
图4为改进编解码u
‑
net网络在训练集上的准确率和损失值训练结果的曲线示意图。
具体实施方式
[0047]
下面结合实施例和附图对本发明作进一步描述，但本发明的实施方式不仅限于此。
[0048]
参见图1
‑
图4，本实施例的基于改进编解码网络的水稻分蘖期杂草分割识别方法，包括以下步骤：
[0049]
(1)采集分蘖期的水稻农田图像。采用无人机搭载可见光相机，在设定航线后，对分蘖期的水稻农田进行图像采集；获取的图像大小为1300*1600像素；如图2所示。
[0050]
(2)对水稻农田图像进行图像预处理和图像增强。图像预处理和图像增强包括将原始图像左右翻转、上下翻转、改变亮度以及对比度；同时，使用图像切割的方法增加数据
集数量，经过数据增强后，并将全部图像素大小调整为352
×
480pixel。
[0051]
(3)对经过预处理和增强后的图像进行语义标注。使用labelme语义标注工具对图像中的水稻、杂草、无关背景区域及空白背景区域进行语义标注划分，并生成单通道的语义标签文件；如图3所示。本实施例中，所述无关背景区域即为其他背景区域。
[0052]
(4)将所采集的水稻农田图像的数据集按照比值为8:1:1划分为训练集、验证集和测试集；其中，训练集为经过上述步骤(2)和(3)处理的样本，验证集合测试集为未经过上述步骤(2)和(3)的样本。
[0053]
(5)将经过预处理增强和语义标注的图像(训练集)输入至改进编解码u
‑
net网络中，对改进编解码u
‑
net网络进行训练，得到水稻杂草分割模型。在训练过程中，设置对改进编解码u
‑
net网络的训练迭代共50个epoch，每个epoch训练300次，共进行15000次结束训练；在训练集上每个epoch、300次迭代保存一次模型训练数据，设置的每步训练批量batch size为6；通过设置这样的参数，有效防止gpu内存溢出，小批量数据有利于增强模型的特征学习能力。改进的编解码u
‑
net网络在训练集上的准确率和损失值训练结果如图4所示，其中位于上方的为准确率，位于下方的为损失值。
[0054]
(6)采用所述水稻杂草分割模型，对处于分蘖期的待测水稻农田图像进行识别检测，输出识别检测结果，得到水稻农田图像中水稻和杂草的分割情况。
[0055]
本实施例中，所述改进编解码u
‑
net网络中，采用mobilenetv2网络替换编解码u
‑
net网络中的vgg
‑
net网络，采用mobilenetv2网络进行特征提取。
[0056]
编码
‑
解码框架语义分割网络u
‑
net模型，是将vgg
‑
net网络作为基础特征提取网络；vgg
‑
net网络虽然可以提取有效的特征信息，但由于网络结构复杂、权重参数过多，导致网络运行计算量大，难以满足嵌入式设备的实时识别要求。mobilenetv2网络作为一种针对移动端开发的轻量级卷积神经网络，其主要特点是采用的反向残差结构，该结构首先通过1
×
1的卷积层对接收的特征图进行通道升维操作，将特征图像信息映射到高维度空间；然后通过深度分离卷积层在高维度空间下进行特征提取，以此获得更多的图像细节特征。此外，该层和第一层卷积都采用relu6激活函数进行输出，以提高模型的非线性表达；最后通过1
×
1的卷积层进行通道压缩，并采用linear线性激活函数进行输出。因此，mobilenetv2网络在减少低维空间信息丢失的同时，结合深度可分离卷积，降低了网络参数的计算量，从而加快了整体网络的运算速度，使其更易满足嵌入式平台的实时性要求。
[0057]
进一步地，本实施例结合mobilenetv2网络对编解码网络结构的u
‑
net语义分割模型进行改进；u
‑
net语义分割模型框架的编码部分作为特征提取的基础网络，保留了原u
‑
net的第一、二层卷积以获取更多浅层特征，利用mobilenetv2的17层反向残差bottleneck代替vgg
‑
net传统卷积网络作为模型的特征提取主干网络，目的是为了减少模型参数计算量，提高模型的特征信息提取效率，降低图像压缩带来的信息丢失。解码部分是一个特征恢复的过程，通过多个级联融合操作，将解码部分的卷积层融合来自编码部分各层的提取特征，并通过反卷积上采样操作，将经过压缩的特征图逐步恢复至原图像尺寸，最后输入至softmax层进行预测结果的输出。与原u
‑
net网络编码部分的卷积通道不同，其中编码部分的卷积通道设置为[256,128,64,32,32]。其中，改进编解码u
‑
net网络的编码部分和解码部分的结构如表1和表2所示：
[0058]
表1改进后编解码网络的编码部分内部参数
[0059][0060]
表2改进后编解码网络的解码部分内部参数
[0061][0062]
本实施例中，为进一步提高改进编解码u
‑
net网络的识别检测精度和效率，对其进行优化，具体地：
[0063]
(1)将改进编解码u
‑
net网络中的超参数的初始学习率设置为0.001，并采用l2正则化方法防止模型过拟合，其中所述l2正则化系数decay设置为10
‑
4。通过上述设置，在减
少权重值的同时，也约束了参数的范数，减少函数值的波动范围，一定程度减少过拟合的情况。
[0064]
(2)采用带动量的adam梯度优化算法对改进编解码u
‑
net网络在训练过程中的梯度下降进行优化，将一阶矩估计的指数衰减率β1取值为0.9，阶矩估计的指数衰减率β2取值为0.99，ε取值10
‑
8；具体包括以下步骤：
[0065]
(a)对计算t时间步的梯度，
[0066]
g
t
＝δ
θ
j(θ
t
‑1)
[0067]
式中，j(θ
t
‑1)表示前一单位时间的随机目标函数，g
t
是对目标函数求导得到的当前梯度值；
[0068]
(b)计算梯度的指数移动平均数和梯度平方的指数移动平均数；其中，m0、v0初始化为0，控制动量和当前梯度的权重分配，通常取接近于1的值，
[0069]
m
t
＝β1m
t
‑1 (1
‑
β1)g
t
[0070]
v
t
＝β2v
t
‑1 (1
‑
β2)g
t2
[0071]
式中，m
t
为当前梯度均值，v
t
为当前梯度平方值，m
t
‑1为前一单位时间的梯度均值，v
t
‑1为前一单位时间的梯度平方值，β1为一阶矩估计的指数衰减率，β2为二阶矩估计的指数衰减率；g
t
是对目标函数求导得到的当前梯度值。
[0072]
(c)对梯度均值m
t
和梯度平方值v
t
进行纠正，降低偏差对训练初期的影响，
[0073][0074][0075]
式中，β
1t
为当前时间步长的一阶矩估计的指数衰减率，为前时间步长二阶矩估计的指数衰减率。和为纠正后的梯度均值和梯度平方值。
[0076]
(d)通过纠正后的梯度均值和梯度平方值计算梯度更新的值，
[0077][0078]
式中，θ
t
‑1为前一时间步长的目标函数参数，θ
t
为当前时间步长的参数，ε为一常数。
[0079]
(3)对改进编解码u
‑
net网络的损失函数进行优化。为实现水稻、杂草、其他背景区域和空白背景区域4种类别的全像素分类，在模型输出时设置一个1
×
1的卷积输出层，将输出通道调整为4通道输出至softmax层。在进行分类时，由于图片中水稻、杂草和其他背景区域所占的像素比例差异较大，为保证网络模型的分类准确性和防止过拟合，采用带权重值的多分类交叉熵损失函数改进原来的交叉熵函数作为损失函数，对模型的多分类输出进行损失值计算，具体表达式为：
[0080][0081]
[0082][0083]
式中，l为损失函数，n为一批次中的样本总数，k为预测图像的像素总数，m是分类类别数；y
ic
为预测值符号函数，如果样本i的真实类别等于c，y
ic
取1，否则取0；p
ic
为观测样本i属于类别c的预测概率，w
ic
为观测样本i中第c类的权重值，r
ic
为观测样本i中第c类别像素k
ic
占总像素k的比值，表示r
ic
的中位数。当网络对像素所占比例较少的杂草和其他背景类预测错误时，会使得损失值变大，从而使得网络对小样本的分类更加准确。
[0084]
本实施例公开了一种基于改进编解码网络的对水稻分蘖期杂草分割识别方法，实现对水稻田中的杂草密集区域进行准确识别和精确定位，从而指导对农田中杂草密集区域的精准喷施除草剂的作业，降低农药用量。另外，区别于遥感光谱的杂草识别方法，本实施例简化了数据处理的流程，采用可见光的光学设备代替多光谱和高光谱等昂贵的数据采集光学设备，有效降低成本。同时区别于传统机器学习的杂草识别方法，不需要人为设置特征，通过从语义标签自动学习特征的方法对分蘖期水稻田遥感图像中的杂草区域进行特征匹配和识别。本实施例的分割识别方法更有利于实际农田杂草区域分割识别的技术推广。
[0085]
进一步地，采用本实施例优化后的改进编解码u
‑
net网络进行水稻分蘖期杂草分割识别，具有以下具体有益效果：
[0086]
平均精度值对比：本实施例改进编解码u
‑
net网络的平均像素准确率可达92.58％，对比未改进的编解码u
‑
net网络的87.95％提高了4.63％；其中改进编解码u
‑
net网络对杂草和背景类的分割交并比为86.3％和72.55％，比未改进的编解码u
‑
net网络的84.46％和65.59％高1.84％和6.96％。
[0087]
参数量：本实施例改进编解码u
‑
net网络参数量为10.57百万个，对比未改进的编解码u
‑
net网络参数量值的93.14百万个减少了65.17百万个，极大地简化了原编解码网络的复杂结构，提高了模型的运行效率。
[0088]
响应速度对比：本实施例改进编解码u
‑
net网络对单张图片的杂草识别平均测试耗时为74.4ms，对未改进的编解码u
‑
net网络平均测试耗时值125.2ms快50.8ms，极大地提高了识别效率。
[0089]
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所做的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。