一种基于DA-Net的杂草自动分割方法

一种基于da-net的杂草自动分割方法
技术领域
1.本发明属于农业的精确分割技术领域，具体涉及一种基于da-net 的杂草自动分割方法。


背景技术：

2.杂草是导致作物减产的一个重要原因，传统的方法通常利用大规模的除草剂来控制杂草。杂草分割任务是利用图像信息在像素水平上自动区分杂草和作物。将这项技术应用于无人机器人可以减少环境污染和作物污染。在本文中，我们利用精准农业中的深度学习技术来准确区分杂草和农作物，可以大大降低除草剂的使用。


技术实现要素：

3.本发明的目的是为克服现有技术不足，本发明提出一种基于 da-net的杂草自动分割方法。实现了杂草的自动分割，大大降低了除草剂的使用。为此本发明提出了一种da-net的深度学习模型，具体的步骤如下：
4.步骤1、实验数据的预处理；
5.步骤2、构建da-net网络模型；
6.步骤3、训练da-net网络模型；
7.步骤4、采用训练好的da-net网络模型进行土地中的杂草进行分割，并对分割效果进行评估。
8.所述步骤1具体包括以下步骤：
9.步骤1.1为了提高模型的泛化能力，首先对图像进行归一化处理；
10.步骤1.2对归一化后的图像进行裁剪，大小为352
×
480；
11.步骤1.3对裁剪后的图像进行数据增强，扩增训练样本，以减少过拟合现象。具体通过随机应用仿射变换、平移、水平翻转和缩放等几何变换方法；或应用运动模糊、中值滤波、内核模糊和随机明亮对比度等像素变换方法；
12.步骤1.4按照8:1:1比例划分训练集、验证集和测试集。
13.所述步骤2包括以下步骤：
14.步骤2.1采用resnet101作为编码阶段的主干网络，提取语义信息；
15.步骤2.2构建分支注意力模块，并在编码阶段的主干网络中添加分支注意力模块。
16.主干网络的第二层的res-2与高层特征res-3、res-4和res-5 共同经过分支注意力模块i；第三层的res-3与高层特征res-4和 res-5共同经过分支注意力模块ii；第四层的res-4会与高层特征 res-5共同经过分支注意力模块iii。
17.高层特征在经过分支注意力模块前，利用双线性插值将高层特征恢复图像分辨率。
18.进一步的，高层特征与低层特征进行拼接，并经过全局平均池化层g
gp
得到一维的通道特征向量。
19.进一步的，一维通道特征向量经过f
cr
(由1
×
1的卷积层、relu 激活函数和1
×
1的卷积层构成)，最终再送入sigmoid激活函数得到分支注意力图。
20.进一步的，分支注意力图与恢复分辨率后的高层特征进行相乘，得到新的高层特征。新的高层特征与低层特征相乘得到输出特征。
21.将编码阶段的第三层res-3的低层特征res-3记为第四层res-4、第五层res-5的高层特征res-4和res-5分别记为其中h和w为图像的长和宽，c为通道数；
22.利用双线性插值将高层特征l4和l5恢复图像分辨率，l4和l5转换为
23.进一步的，将低层特征l3、恢复后的高层特征l4和l5拼接得到拼接后的特征u送入全局池化得到计算公式如下：
[0024][0025]
其中，g
gp
是全局平均池化层；u
i，j
表示坐标为(i，j)的值；
[0026]
进一步的，将z依次送入1
×
1的卷积层、relu激活函数和1
×
1 的卷积层，最终再送入sigmoid激活函数得到分支注意力图s，计算公式如下：
[0027]
s＝σ(f
cr
(z))
ꢀꢀꢀ
(2)
[0028]
其中s＝[s1，s2，...，s
12c
]，σ是sigmoid激活函数。f
cr
包括了一个1
×
1的卷积层、relu激活函数和一个1
×
1的卷积层；
[0029]
将分支注意力图s与恢复分辨率后的高层特征l4、l5相乘，得到新的特征和和拼接得到新的特征和计算公式如下：
[0030][0031][0032]
其中，s1＝[s1，s2，...，s
4c
]是恢复分辨率后的高层特征l4的分支注意力图；s2＝[s
4c 1
，s
4c 2
，...，s
12c
]是恢复分辨率后的高层特征l5的分支注意力图；f
scale
(l4，s1)指的是权重s1和恢复分辨率后的高级特征l4之间的通道相乘；
[0033]
进一步的，与低层特征l3相乘得到最终输出特征计算公式如下：
[0034][0035]
其中，
⊙
代表矩阵元素相乘；
[0036]
步骤2.3：经过分支注意力模块融合后的最终特征y送入全局卷积网络(gcn)进行特征提取；
[0037]
进一步的，全局卷积网络是由两个卷积分支构成；分别是1
×ꢀ
k k
×
1的卷积和k
×
1 1
×
k的卷积；
[0038]
步骤2.4：构建空间注意力模块；
[0039]
第二层的特征与第三层经过反卷积后的高层特征共同经过空间注意力模块；第三层的特征与第四层经过反卷积后的高层特征共同经过空间注意力模块；第四层的特征与第五层经过反卷积后的高层特征共同经过空间注意力模块；而第五层的特征只有自身经过空
间注意力模块。
[0040]
在经过空间注意力模块前，解码阶段的高层特征与低层特征拼接后得到其中h和w为图像的长和宽，c为通道数；
[0041]
进一步的，特征经过三个1
×
1的卷积层得到
[0042]
进一步的，将q、k和v变形为其中n＝h
×
w。将转置后的q与k相乘，得到的特征经过一层softmax函数得到空间注意力图，计算公式如下：
[0043][0044]
其中，
[0045]
进一步的，将v与转置后的t相乘，得到将e变形为并送入1
×
1的卷积层。最终结果y计算公式如下：
[0046]
y＝αe x
ꢀꢀꢀ
(8)
[0047]
其中α是个可以学习的变量；
[0048]
步骤2.5：在解码阶段采用反卷积恢复图像分辨率；
[0049]
所述步骤3包括以下步骤：
[0050]
步骤3.1：在训练过程中使用加权交叉熵损失函数；
[0051]
步骤3.2：在训练过程中使用随机梯度下降优化算法sgd；
[0052]
步骤3.3：da-net编码阶段的resnet101网络权重采用在 imagenet数据集上预训练的权重；
[0053]
步骤3.4：在训练过程中采用poly学习率策略，学习率更新公式为：
[0054][0055]
其中，learnrate为当前epoch的学习率，initial_rate为初始学习率。iter为当前epoch数目，total_iter为总的epoch数目。
[0056]
所述步骤4具体包括以下步骤：
[0057]
步骤4.1：引入iou系数和acc系数来评价分割的效果，二者的定义如下：
[0058][0059][0060]
其中，tp表示真阳性；tn表示真阴性；fp表假阳性；fn表示假阴性。
[0061]
与现有技术相比，本发明的有益结果使：
[0062]
本发明通过建立da-net的深度学习模型，实现了杂草的自动分割，减少了除草剂的大规模使用。相比于其他u型网络结构，该方法可以更好的促进高层特征与低层特征的融合，帮助二者建立多层次和长距离的依赖关系。从而实现高精度的杂草分割。
附图说明
[0063]
图1为da-net的网络结构图。
[0064]
图2为分支注意力模块的结构图。
[0065]
图3为空间注意力的结构图。
[0066]
图4为da-net分割甜菜杂草的实例效果。
具体实施方式
[0067]
下面结合附图和具体实施例对本发明作进一步的说明。
[0068]
为了解决农业上除草时所遇到的问题，本发明提出了一种基于 da-net的杂草自动分割方法。da-net是一个基于双重注意力机制的 u形架构，由编码器、分支注意力模块、解码器和空间注意力模块组成。首先将一维的图像送入编码器中提取语义信息，resnet101提取的四层特征分别经过分支注意力模块，并且每一层都会与它的更高层进行融合。进融合后的特征送入全局卷积网络(gcn)进行特征提取；在解码器部分，每一层特征都会与其下一层特征经过空间注意力模块；最后采用反卷积恢复图像分辨率。由于高层特征具有高层语义信息和低分辨率，低层特征具有低层语义信息和高分辨率；普通深度学习模型仅仅是将二者同等地融合，该分支注意力模块可以让网络自己选择合适的分支进行融合。在解码阶段，很多传统的深度学习模型仅仅采用线性聚合的方式来帮助高层特征与低层特征建立多层次和长距离的依赖关系，但是线性聚合方法可能不足以提供神经元强大的适应能力。我们的空间注意力模块可以很好的帮助高层特征与低层特征建立长距离和多层次的依赖关系。
[0069]
实施例1实验数据的预处理。
[0070]
(1)对数据归一化处理。
[0071]
(2)对图片进行裁剪为大小352
×
480。
[0072]
(3)对图像随机应用放射变换、平移、水平翻转和缩放等几何变换方法，同时应用运动模糊、中值滤波、内核模糊和随机明亮对比度等像素变换方法。进行数据增强.扩增训练样本，以减少过拟合现象。
[0073]
(4)按照8∶1∶1的比例划分数据集为训练集、验证集和测试集。
[0074]
实施例2构建da-net网络模型。
[0075]
(1)采用resnet101作为编码阶段的主干网络，提取语义信息。
[0076]
(2)构建分支注意力模块。第二层的res-2会与高层特征res-3、 res-4和res-5共同经过分支注意力模块；第三层的res-3会与高层特征res-4和res-5共同经过分支注意力模块；第四层的res-4会与高层特征res-5共同经过分支注意力模块。
[0077]
(3)融合后的特征送入全局卷积网络(gcn)进行特征提取。
[0078]
构建空间注意力模块，第二层的特征会与第三层经过反卷积后的高层特征共同经过空间注意力模块；第三层的特征会与第四层经过反卷积后的高层特征共同经过空间注意力模块；第四层的特征会与第五层经过反卷积后的高层特征共同经过空间注意力模块；而第五层的特征只有自身经过空间注意力模块。
[0079]
(4)在解码阶段采用反卷积恢复图像分辨率。
[0080]
实施例3训练da-net网络模型。
[0081]
(1)采用sgd优化方式作为优化方法，同时采用加权交叉熵作为损失函数进行训练。采用poly学习率策略，学习率公式为：
[0082][0083]
其中，learnrate为当前epoch的学习率，initial_rate为初始学习率。iter为当前epoch数目，total_iter为总的epoch数目。
[0084]
(2)da-net编码阶段的resnet101网络权重采用在imagenet 数据集上预训练的权重。
[0085]
实施例4采用训练好的da-net网络模型进行杂草的分割，并对分割效果进行评估，我们在三个公开的甜菜杂草数据集、胡萝卜杂草数据集和稻田杂草数据集上进行了实验。
[0086]
(1)图4为da-net分割杂草的实例效果。引入iou系数和acc 系数来评价分割的效果，两个系数的定义如下：
[0087][0088][0089]
其中，tp表示真阳性；tn表示真阴性；fp表假阳性；fn表示假阴性。
[0090]
(2)下表1为da-net在甜菜杂草数据集上与当下主流语义分割框架效果的对比。我们的模型相比于resnet101-deeplabv3 ，meaniou提高了1.65％。具体参看表1中da-net与其他方法的效果对比。
[0091]
表1.da-net在甜菜杂草数据集与其他方法的效果对比
[0092][0093]
(3)我们对da-net在甜菜杂草数据集上做了一系列的消融实验，来验证分支注意力模块和空间注意力模块的作用。与基线da-net 相比，增加了分支注意模块的da-net的平均iou为88.76％，提高了1.56％。当分支注意模块和位置注意模块整合在一起时，da-net的平均iou达到90.07％，与基线相比提高了2.87％。具体参看表2中da-net 在数据集上的消融实验。
[0094]
表2.da-net在甜菜数据集上的消融实验
[0095][0096]
(4)下表3为da-net在胡萝卜杂草数据集上与当下主流语义分割框架效果的对比。我们的模型相比于resnet101-deeplabv3 ，meaniou提高了2.43％。具体参看表1中da-net与其他方法的效果对比
[0097]
表3.da-net在胡萝卜杂草数据集与其他方法的效果对比
[0098]