一种基于改进R3Det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法与流程

一种基于改进r3det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法
技术领域
1.本发明属于茶叶智能采摘技术领域，具体涉及到一种基于改进r3det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法及定位系统。


背景技术：

2.茶叶的智能化采摘对减轻茶农工作量具有重要的意义。目前对茶叶嫩芽检测的研究主要集中在两个方面。一方面是基于传统算法，根据颜色特征通过图像分割等方法对茶叶嫩芽进行分割识别，并结合质心法求出茶叶嫩芽的质心，进而实现茶叶嫩芽采摘点的二维定位。另一方面是结合深度学习算法，通过通用目标检测算法对茶叶嫩芽进行检测，实现茶叶嫩芽的分类和初定位，进一步使用骨架提取等方法对茶叶嫩芽采摘点进行二维定位。
3.但是以上技术仍然存在以下缺陷：
①
基于传统算法的茶叶嫩芽检测，由于通过图像分割等对嫩芽进行筛选，导致识别精度较差；同时由于手工设计的原因，导致该类方法(在天气、光照等环境)的普适性较差。
②
结合深度学习的通用目标检测算法，可较好的实现茶叶嫩芽的识别，但是由于其定位框为竖直框，所以嫩芽采摘点的定位还需要骨架提取等方法对其进行精确定位，然而在算法后使用骨架提取等方法耗时较长。


技术实现要素：

4.针对现有技术中存在不足，本发明提供了一种基于改进r3det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法，通过改进r3det旋转目标检测算法对茶叶嫩芽实现精准识别，并通过特殊的旋转倾斜框可直接定位出茶叶嫩芽采摘点。
5.本发明是通过以下技术手段实现上述技术目的的。
6.一种基于改进r3det旋转目标检测算法的茶叶嫩芽识别与采摘点定位系统，包括改进的r3det旋转目标检测算法和嫩芽采摘点定位模块；所述改进的r3det旋转检测网络包括改进的resnet50主干特征提取网络、特征融合模块(fpn)和分类回归模块；所述改进的resnet50主干特征提取网络采用resnext50的残差模块，并在resnext50残差模块中插入ca模块；所述嫩芽采摘点定位模块根据改进的r3det旋转目标检测算法得到的倾斜框确定嫩芽采摘点。
7.进一步的，所述嫩芽采摘点定位模块根据改进的r3det旋转目标检测算法得到的倾斜框，判断得到倾斜预测框的下短边，并计算出该短边中点，作为茶叶嫩芽采摘点。
8.进一步的，所述resnext50残差模块是在resnet50基础上将3x3的普通卷积改为3x3的组卷积，用3x3组卷积对目标进行特征提取。
9.进一步的，所述的在resnext50残差模块中插入坐标注意力机制(ca模块)，ca模块同时实现坐标注意和通道注意。
10.基于改进r3det旋转目标检测算法的茶叶嫩芽识别与采摘点定位系统的定位方法，包括如下步骤：
11.步骤一：通过工业相机实时采集茶叶嫩芽图像，输入计算机进行图像预处理；
12.步骤二：将步骤一)处理后的图像输入到改进的r3det旋转目标检测算法进行预测；
13.步骤三：将步骤二)得到的茶叶嫩叶的倾斜预测框输入到嫩芽采摘点定位模块确定嫩芽采摘点；
14.步骤四：输出茶叶嫩芽识别结果和茶叶嫩芽采摘点。
15.进一步的，步骤二中，首先通过改进的resnet50主干特征提取网络对图像进行特征提取；通过特征融合模块(fpn)对提取特征进行特征融合；通过分类回归模块的初阶段获得分类信息和竖直框，再通过精炼阶段旋转anchors以适应不同的目标，获得分类结果和倾斜框，进而识别和定位出茶叶嫩芽；输出茶叶嫩叶识别和定位结果。
16.进一步的，步骤三中，对倾斜框的坐标表示形式转化判断出倾斜框的下短边，计算下短边中点，作为茶叶嫩芽采摘点。
17.进一步的，将倾斜框的坐标表示形式(x,y,w,h,θ)转换为(x1,y1,x2,y2,x3,y3,x4,y4)，根据四个点坐标判断出倾斜框的下短边。
18.本发明的有益效果为：
19.(1)与现有的传统算法和结合深度学习的通用目标检测算法不同，本发明直接通过一个旋转目标检测算法，实现了茶叶嫩芽的精准识别和采摘点定位。仅使用一个算法加判断计算，就实现了茶叶嫩芽识别和采摘点定位，避免了后续复杂的处理，减少了时间消耗。
20.(2)将r3det算法的resnet50主干网的残差模块改为resnext50残差模块，利用组卷积，可以提高分类精度，有利于更精准的识别。
21.(3)在resnext50残差模块中加入坐标注意力机制(ca模块)，在实现通道注意的同时可以实现坐标注意。不仅可以自适应通道加权，提高分类精度；而且更关注位置信息，有利于提高模型定位感兴趣的目标，有助于旋转目标检测中倾斜框的定位。另外，位置信息对生成空间选择性特征图具有重要意义，有利于定位目标感兴趣区域；显式建模通道之间的关系可以增强模型对信息通道的敏感性，选择性地强调信息特征通道，并抑制不太重要的特征通道，有利于卷积特征的学习，提高模型对目标的识别精度。
22.(4)嫩芽采摘点确定模块，通过旋转目标检测特有的倾斜框，判断出茶叶嫩芽采摘点，减去了现有方法在检测算法后加质心法、骨架提取等的后续步骤，节约了处理时间，提高检测速度。
附图说明
23.图1为本发明总体技术流程图；
24.图2为本发明涉及到的改进的r3det网络结构图；
25.图3为本发明涉及到的改进的resnet50主干网结构图；
26.图4为本发明涉及到的改进的resnet50的残差结构图；
27.图5为本发明涉及到的coordinateattention模块(ca模块)。
具体实施方式
28.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
29.与现有的方法不同，本发明通过旋转目标检测实现茶叶嫩芽的识别和采摘点定位。根据旋转目标检测特有的倾斜框，判断出倾斜预测框下短边中点，从而确定嫩芽采摘点。并考虑旋转目标检测相比于通用目标检测性能较差，通过resnext50替换主干网resnet50，并插入ca坐标注意力模块，以改进r3det旋转目标检测算法，提高检测精度。
30.工业相机采集的图像输入到r3det旋转检测算法中，通过改进的resnet50主干网中的多次残差模块对其进行特征提取，调节残差模块中组卷积组数获得主干网最佳性能；在残差模块中插入坐标注意力机制(ca模块)，ca模块同时实现坐标注意和通道注意，可提高主干特征提取网络的分类精度，并可提取更多的位置特征，有利于旋转目标检测的倾斜定位。在主干网之后，结合改进的resnet50形成特征融合模块即特征金字塔(fpn)进行特征融合，融合不同尺度的特征图，以获得更丰富的特征信息。在分类回归模块通过初阶段获得分类信息和竖直框，再通过精炼阶段获得分类结果和倾斜框，从而识别和定位出茶叶嫩芽。最后通过嫩芽采摘点定位模块，根据判断倾斜框下短边并计算其中点，确定出嫩芽采摘点。
31.本发明中旋转目标检测与通用目标检测不同，其预测框为特殊的倾斜框，是本发明确定嫩芽采摘点的关键。
32.改进的resnet50主干特征提取网络将3x3的普通卷积改为3x3的组卷积，用3x3组卷积对目标进行特征提取。一个组卷积相当于多个卷积同时对不同通道的特征进行提取，通过调节组数，可在保持模型复杂度的同时提高分类精度。在本发明茶叶嫩芽数据集中，改进的resnet50中的组卷积可提高模型对浅绿色嫩芽和深绿色老叶的分类能力，有利于模型对茶叶嫩芽的识别。
33.在改进的resnet50的残差模块中插入的坐标注意力机制(ca模块)，ca模块同时实现坐标注意和通道注意。位置信息对生成空间选择性特征图具有重要意义,有利于定位目标感兴趣区域。ca模块将通道注意力分解为两个沿不同方向聚合特征的一维特征编码过程，实现坐标注意。显式建模通道之间的关系可以增强模型对信息通道的敏感性，选择性地强调信息特征通道，并抑制不太重要的特征通道，有利于卷积特征的学习，提高模型对目标的识别精度。ca模块通过自适应通道关系的加权，实现通道注意。
34.嫩芽采摘点定位模块，通过旋转目标检测特有的倾斜框，判断倾斜预测框的下短边，并计算出该短边中点，作为茶叶嫩芽采摘点。
35.一种基于改进r3det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法，包括改进的r3det旋转检测算法和嫩芽采摘点定位模块；改进的r3det旋转目标检测算法包括改进的主干特征提取网络、特征融合模块(fpn)和分类回归模块(包括初阶段和精炼阶段)；嫩芽采摘点定位模块根据旋转目标检测特有的倾斜框确定嫩芽采摘点。所述改进的resnet50主干特征提取网络采用resnext50残差模块；所述的坐标注意力机制(ca模块)用于插入resnext50残差模块中，提高分类精度并增强位置特征。
36.本发明基于改进r3det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法用于茶园茶叶嫩芽的自动采摘过程中。
37.结合附图1所示，本发明的方法包括如下步骤：
38.(1)拍摄茶园实地茶叶嫩芽图像，对茶叶嫩芽进行标注，构建茶叶嫩芽旋转检测数据集，对改进的r3det旋转目标检测算法进行训练；
39.(2)通过工业相机实时采集茶叶嫩芽图像，然后输入计算机进行图像预处理，消除图像采集过程中存在的光照、噪声等因素的影响；
40.(3)处理后的图像输入到改进的r3det旋转目标检测算法(结合附图2所示)进行预测；
41.①
通过改进的resnet50主干特征提取网络对图像进行特征提取：结合附图3所示，在每个残差模块(“[]”)中，用3x3组卷积代替原有的3x3卷积，并在3x3的组卷积后插入坐标注意力机制(ca模块)，形成残差相乘的结构(“{}”)。将卷积替换成组卷积，将特征图通道分成c组，每组使用一个卷积进行特征学习，相当于同时使用多个卷积对不同通道的特征进行提取，可提高模型分类精度。通过调节组卷积组数c，可以在保持模型复杂度的同时提高分类精度。在组卷积后插入坐标注意力机制(ca模块)，结合附图4所示。ca模块通过其特殊结构同时实现坐标注意和通道注意，根据坐标注意和通道注意得到的特征权重，再乘到主分支上，可提升有用特征的显著性，提高模型的分类精度和定位精度。
[0042]
②
resnext50残差模块中插入的ca模块，结合附图5所示。ca模块将通道注意力分解为x、y方向的两个并行的一维特征编码过程，将位置信息嵌入到通道注意力中，进而实现坐标注意，并通过自适应通道关系加权实现通道注意。其中坐标注意有利于生成空间选择性特征图，通道注意有利于增强信息特征通道，抑制不太重要的特征通道。将它们应用到输入特征图中可增强感兴趣的目标的特征表示。
[0043]
具体的说，ca模块分为两部分：坐标信息嵌入和坐标注意力生成。坐标信息嵌入部分对应图5中的x avg pool和y avg pool。对于输入的x，使用(h,1)和(1，w)的池化核沿着x方向和y方向对每个通道进行编码。具体公式如下：
[0044][0045]
其中表示高度为h的第c个通道的输出。
[0046][0047]
其中表示宽度为w的第c个通道的输出。
[0048]
坐标注意力生成用于充分利用捕获到的位置信息，有效捕捉通道之间的关系。它对应除x avg pool和y avg pool外的剩余部分。公式(1)和公式(2)输出的聚合特征图，首先通过concat操作按维度拼接，然后使用一个共享的1x1卷积变换f1，再通过批量归一化层和非线性激活函数。对应如下公式：
[0049]
f＝δ(f1([zh，zw]))
ꢀꢀꢀ
(3)
[0050]
其中[.，.]表示按维度拼接的操作，f1是1x1卷积，δ是一个非线性激活函数。f∈r
c/r
×
(h w)
是在x方向和y方向对空间信息编码的中间特征图，r表示下采样比例。
[0051]
进一步，将f按空间维度分成两个独立的张量fh∈r
c/r
×h和fw∈r
c/r
×w，再通过两个1x1卷积将特征图fw和fh变换成和输入x相同的通道数，然后分别使用sigmoid函数。公式如
下：
[0052]gw
＝σ(fw(fw))
ꢀꢀꢀ
(4)
[0053]gh
＝σ(fh(fh))
ꢀꢀꢀ
(5)
[0054]
其中fh和fw是1x1的卷积，σ是sigmoid函数。
[0055]
最后将输出gw和gh展开，并用作注意力权重乘回主分支。具体公式如下：
[0056][0057]
至此，ca模块就完成了，其同时实现了坐标注意和通道注意，插在resnext50的残差结构中，可提升模型的分类精度，有利于模型对感兴趣目标的定位。
[0058]
③
通过改进的resnet50主干特征提取网络特征提取后，进一步通过特征融合模块(fpn)进行特征融合。fpn结合改进的resnet50的cony3_x阶段、conv4_x阶段和conv5_x阶段，构成一个自下而上和一个自上而下以及一个横向连接的结构(如图2)。进而对不同尺度的特征图进行融合，获得更加丰富的特征信息。
[0059]
④
通过分类回归模块的初阶段获得分类信息和竖直框，再通过精炼阶段旋转anchors以适应不同的目标，获得分类结果和倾斜框，进而识别和定位出茶叶嫩芽。
[0060]
⑤
输出茶叶嫩叶识别和定位结果(输出预测结果)，结合附图1中所示。
[0061]
(4)将茶叶嫩叶的倾斜预测框输入到嫩芽采摘点定位模块(结合附图1)确定嫩芽采摘点；
[0062]
①
将倾斜框的坐标表示形式(x，y，w，h，θ)转换为(x1，y1，x2，y2，x3，y3，x4，y4)，根据四个点坐标判断倾斜框的下短边。图像左上角点是坐标原点，横轴是x轴，纵轴是y轴，作为坐标系。同一预测框中，坐标点y值最大，相距最近的两个点构成的矩形边为倾斜框的下短边。
[0063]
②
计算倾斜框下短边中点，作为茶叶嫩芽采摘点。
[0064]
(5)最终输出茶叶嫩芽识别结果和茶叶嫩芽采摘点，结合附图1中所示。
[0065]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0066]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。