一种非结构化环境下面向剪枝机器人的枝条识别方法

1.本发明属于智能农业领域，涉及一种非结构化环境下面向剪枝机器人的枝条识别方法。


背景技术：

2.剪枝是农业生产中一个重要的环节，对提高作物产量和质量起到至关重要的作用，种植的果树上的水果具有较高的经济价值，大部分的果园内依然采用人工剪枝的方式。人工剪枝费时费力，需要专业人员人力识别枝条。随着精准农业的发展，机械化剪枝逐渐成为研究重点。在机械化剪枝过程中，快速准确检测识别枝条是关键步骤之一。
3.如今如ssd网络模型、yolo网络模型、fastr-cnn网络模型能够很好的应用在不同平台和领域。目前深度学习技术应用日益广泛，成为了当今主流的检测手段，这些算法虽然能解决剪枝机器人的目标检测识别问题，但对于非结构化的环境下，它们无法准确的识别枝条。在背景复杂的情况下，机器人可能无法识别需要剪去的枝条，可能会造成误剪，漏剪的情况。因此，对于树枝的修剪位置与修剪方式，获取树枝准确高精度的图像是必要的，这意味着上述网络模型不能满足日常剪枝的精确度要求。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种非结构化环境下面向剪枝机器人的枝条识别方法，解决再非结构化环境下传统的目标检测易受复杂背景的影响、还要避免在剪枝的过程中果实遮挡以及树枝重叠的问题，还克服了一般深度学习神经网络模型需要大量训练集、计算量大、计算时间长、对计算机硬件要求高，识别精度不够高等缺点。
5.为达到上述目的，本发明提供如下技术方案：
6.一种非结构化环境下面向剪枝机器人的枝条识别方法，包括如下步骤：
7.s1：采集自然环境下树枝图像，人工标注树枝类型以及修剪方式；
8.s2：图像预处理，依次使用图像滤波、伽马矫正和自适应直方图均衡化作图像的预处理，降低环境光照和噪声对果实检测结果的干扰；
9.s3：采用改进的yolov4作为果实目标检测的主体算法，将改良的ghostnet代替cpsdarknet-53作为骨干网络，将原模型中的普通卷积换为空间可分离卷积，大大的降低了计算参数量；
10.s4：采用改进的embeddings和self-attention模块对不同尺寸的图像特征进行编码和注意力加权；
11.s5：将步骤s3提取的目标特征分别输出到yolov4目标检测框架末端的yolo head；
12.s6：在步骤s5的全连接层中采用softmax分类器和进行目标检测分类和并采用generalized focal loss损失函数代替原模型的giou进行边框回归输出检测框位置和分类置信度；
13.s7：根据s6生成的标注图像，和二值化后的原图像进行对比，将原图的果实和树枝
进行分割，使得图像中只剩下树枝；
14.s8：对s7中的二值化图像进行边缘提取，使用svm分类器得到树枝的类别和修剪方法。
15.进一步地，所述步骤s2中使用伽马矫正和自适应直方图均衡化作图像的预处理，即由多个步骤构成：归一化，预补偿，反归一化。得到进行不同gamma指数补偿后的图像。减少环境光照和噪声对果实检测结果的干扰。
16.伽马矫正算法计算公式为：
[0017][0018]
其中v
out
为输出图像，a为常量，γ为伽马值。在本实验中采用的γ值为3.33和0.33。
[0019]
进一步地，所述步骤s3中采用改进的yolov4作为目标检测的主体算法，将改良的ghostnet作为骨干网络，ghost module将普通卷积分为两部分，首先进行一个普通的1x1卷积，这是一个少量卷积，比如正常使用32通道的卷积，这里就用16通道的卷积，这个1x1卷积的作用类似于特征整合，生成输入特征层的特征浓缩。使用ghostnet和空间可分离卷积代替cspdarknet-53大大的减少了模型参数量，成为一个轻量级网络。大大的提升的计算速度。
[0020]
cpsdarknet中的conv2d计算量为：
[0021]
(n-2)*(n-2)*m*m
[0022]
空间可分离卷积的计算量为：
[0023]
(2n-2)*(n-2)*m
[0024]
计算量之比为：
[0025][0026]
其中m为卷积核大小，n为图像大小。
[0027]
进一步地，所述步骤s4中通过embeddings和self-attention模块对图像特征进行编码和注意力加权，首先对编码好的图像块通过3个不同的矩阵映射成为三个不同的向量q(查询向量)，k(匹配向量)，v(信息向量)，然后每一个块的q与其他的k进行点乘(attention)，然后对点乘的结果做softmax操作，转换为0-1之间的概率。
[0028]
attentioni＝q*ki[0029]
进一步地，所述步骤s5中通过将得到的图像特征输入到yolov4框架中末端的基于anchor的yolo head进行不同尺寸的特征提取。
[0030]
进一步地，所述步骤s6中使用generalized focal loss损失函数代替原模型的giou进行边框回归输出检测框位置和分类置信度，提高了复杂环境下的检测框准确度，对检测框质量建模，指导检测框质量估计。
[0031]
其中gfl计算公式为：
[0032][0033]
其中，y
l
、yr为网络预测变量，y为连续型标签值，分别表示区间(y
l
、yr)端点的模型质量估计概率，β为权重调节因子。
[0034]
进一步地，步骤s8中对二值化图像进行边缘提取，使用svm分类器得到树枝的类别和修剪方法。
[0035]
svm的原理为求数据之间的最大几何间隔：
[0036][0037]
s.t.yi(w
t
xi b)≥1
[0038]
其中：w，b为需要求得的参数，xi，yi为训练样本数。
[0039]
本发明的有益效果在于：
[0040]
1.本发明的目的就是提供一种非结构化环境下面向剪枝机器人的枝条识别方法，该方法解决了使用传统视觉方法在农业剪枝的情况下，对于背景复杂，光线和噪声干扰漏剪，错剪的问题，还克服了在深度学习方法中对于模型参数量大，计算困难得问题。同时也对网络进行了改进，使得网络能够更在图像特征之间有自注意力加权，加强图像之间互相的联系。
[0041]
2.本发明采用改进的yolov4作为目标检测的主体算法，将改良的ghostnet作为骨干网络，ghost module将普通卷积分为两部分，首先进行一个普通的1x1卷积，这是一个少量卷积，比如正常使用32通道的卷积，这里就用16通道的卷积，这个1x1卷积的作用类似于特征整合，生成输入特征层的特征浓缩。使用ghostnet和空间可分离卷积代替cspdarknet-53大大的减少了模型参数量，成为一个轻量级网络。大大的提升的计算速度。。
[0042]
3.本发明通过embeddings和self-attention模块对图像特征进行编码和注意力加权，首先对编码好的图像块通过3个不同的矩阵映射成为三个不同的向量q(查询向量)，k(匹配向量)，v(信息向量)，然后每一个块的q与其他的k进行点乘(attention)，然后对点乘的结果做softmax操作，转换为0-1之间的概率。
[0043]
4.本发明使用伽马矫正和自适应直方图均衡化作图像的预处理，即由多个步骤构成：归一化，预补偿，反归一化。得到进行不同gamma指数补偿后的图像。减少环境光照和噪声对果实检测结果的干扰。
[0044]
5.本发明使用generalized focal loss损失函数代替原模型的giou进行边框回归输出检测框位置和分类置信度，提高了复杂环境下的检测框准确度，对检测框质量建模，指导检测框质量估计。
[0045]
6.本发明使用对二值化图像进行边缘提取，使用svm分类器得到树枝的类别和修剪方法。
[0046]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0047]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0048]
图1为本发明的流程图；
[0049]
图2为本发明基于改进的yolov4目标检测框架对图像进行目标检测、边框回归的过程实现图；
[0050]
图3为本发明ghost module和普通卷积的区别图；
[0051]
图4为本发明self-attention机制原理图；
[0052]
图5为本发明根据改进的yolov4改造的深度学习网络结构图。
具体实施方式
[0053]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0054]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0055]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0056]
如图1所示，本发明提供了一种非结构化环境下面向剪枝机器人的枝条识别方法的流程图，包括如下具体步骤：
[0057]
(1)采集自然环境下树枝图像，人工标注树枝类型以及修剪方式；
[0058]
(2)图像预处理，依次使用图像滤波、伽马矫正和自适应直方图均衡化作图像的预处理，降低环境光照和噪声对果实检测结果的干扰；
[0059]
(3)采用改进的yolov4作为果实目标检测的主体算法，将改良的ghostnet代替cpsdarknet-53作为骨干网络(如图3所示)，将原模型中的普通卷积换为空间可分离卷积(如图5所示)；
[0060]
(4)采用改进的embeddings和self-attention模块对不同尺寸的图像特征进行编码和注意力加权(如图4所示)；
[0061]
(5)将步骤(3)提取的目标特征分别输出到yolov4目标检测框架末端的yolo head(如图2所示)；
[0062]
(6)在步骤(5)的全连接层中采用softmax分类器和进行目标检测分类和并采用generalized focal loss损失函数代替原模型的giou进行边框回归输出检测框位置和分类置信度；
[0063]
(7)根据(6)生成的标注图像，和二值化后的原图像进行对比，将原图的果实和树
枝进行分割，使得图像中只剩下树枝；
[0064]
(8)对(7)中的二值化图像进行边缘提取，使用svm分类器得到树枝的类别和修剪方法。
[0065]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。