一种半结构化果园田垄区域的检测方法

1.本发明涉及到图像分割监测技术，具体涉及一种半结构化果园田垄区域的检测方法。


背景技术：

2.基于视觉的果园田垄区域的检测是采摘机器人导航的关键环节，其目的是区分田垄区域以及非田垄区域。图像分割在整个算法中处于核心地位，但是在图像分割之前，首先对图像进行预处理，因为在果园中，田垄区域大部分时候都会存在果树阴影的干扰，对阴影区域的检测和去除是图像田垄分割的首要步骤，也是很重要的步骤，这将直接影响后续田垄区域分割的准确率。此外非结构化道路由于没有车道线以及明显的边界线，这也会给田垄区域的检测带来加大的挑战。这些方方面面的因素将会导致对算法的适应性要求很高，一旦算法无法完整的获取到果园中田垄区域的完整信息，这将直接会影响采摘机器人在果园中的导航行走，这是极其危险的，因此，结合实际应用，深入分析非结构化果园田垄环境对算法的设计尤为重要。对于非结构化果园田垄区域的检测是为了获取采摘机器人行驶所需要的方向信息以及当机器人行驶出田垄区域时即使报警，所有，田垄区域的边缘检测算法以及边界拟合算法也需要较强的实用性以及实时性。
3.图像分割技术作为采摘机器人中的关键模块，该领域的发展对机器人的研究有着不可或缺的作用。近年来，国内外大量的研究人员投身在该领域的研究，这使得图像识别领域得到的飞快的发展。现有的图像分割算法研究也比较多，但是大多不适用于复杂的果园环境，果园中经常受光照变化等干扰，这些不确定因素使许多算法难以正确检测果园道路，严重制约自然环境下作业的采摘机器人的移动范围，为此要求具备鲁棒性的田垄检测算法。


技术实现要素：

4.本发明的目的在于提供一种半结构化果园田垄区域的检测方法，可以精准实时的对复杂果园环境下的田垄实时检测，对任何光照条件下能够100％检测出田垄区域。
5.实现本发明目的的技术解决方案为：本发明提供一种半结构化果园田垄区域的检测方法，具体包括以下步骤：
6.步骤1：获取相机拍摄的大量包含田垄信息的图像数据集；
7.步骤2：基于田垄rgb图像与hsi图像的颜色特征分析以及田垄阴影区域与非阴影区域纹理梯度场分析，提取图像的颜色特征和纹理梯度特征的组合特征向量；
8.步骤3：高斯混合模型gmm的构建与训练，对田垄阴影区域进行检测；
9.步骤4：在步骤3的基础上，利用本专利提出的基于阴影颜色分量加权补偿算法对阴影区域进行补偿去除；
10.步骤5：根据田垄图像得分析，田垄区域的检测本质上是一个二分类问题以及算法的实时性，符合阈值化分割的思想，本专利提出基于超像素分割和otsu阈值分割结合的分
割算法对得到田垄图像进行二次分割；
11.步骤6：由于分割后得图像存在大量零散得干扰点，需要再对图像进行降噪滤波处理，以及形态学腐蚀、膨胀以及区域生长处理，最终得到较为完整得田垄区域；
12.步骤7：采用边缘检测算法对提取得到得田垄区域进行边缘点检测；
13.步骤8：在对田垄边缘点拟合之前，由于上一步得到得边缘点存在偏差较大得像素点，会对后续的边缘点拟合带来不好的影响，故本专利采用随机采样一致性模型ransac进行边缘检测点的优化；
14.步骤9：最后进行田垄道路模型的选择，模型的选择对于田垄区域的检测至关重要，合适的模型选择能够起到很好的约束作用，能够得到更好的拟合结果。通过对果园非结构化田垄区域的分析，综合考虑各种模型，最终选择二次曲线模型对田垄道路进行拟合。
15.与现有技术相比，本发明的有益效果在于：首先，该田垄检测算法的实时性很好，非常适用于智能作业机器人这种高实时性装备，同时该算法具有很高的检测准确率；其次，该算法对于环境的适应性较强，特别是对光照的鲁棒性较好，能够非常好的适用于光照多变的室外环境；最后，该算法不论是对笔直还是弯曲的道路，边缘线拟合的精度都较高。
附图说明
16.图1是本发明所提供的田垄检测算法的流程图。
17.图2是田垄阴影区域的检测算法流程。
具体实施方式
18.为了更好的了解本发明的步骤、优势以及实施过程，下面结合说明书附图对本发明作进一步说明。
19.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
20.现以搭载双目相机的果茶采摘机器人为例，其能够实时的侦测机器人周围的环境，基于相机和本专利所提检测算法进行田垄的的实时检测，具体的步骤如图1所示：
21.步骤1：获取相机采集的图像数据，转入步骤2；
22.步骤1.1：获取机器人在果园中沿着田垄行走一圈所拍摄得到的数据集；
23.步骤1.2：将这些数据集划分为仅田垄区域的正样本以及分别仅包含果树和天空的负样本数据并将其进行尺寸和像素统一化处理；
24.步骤2：基于田垄rgb图像与hsi图像的颜色特征分析以及田垄阴影区域与非阴影区域纹理梯度场分析，提取图像的颜色特征和纹理梯度特征的组合特征向量，转入步骤3；
25.步骤2.1：对采集得到的田垄图像分别提取图像在rgb颜色空间的r、g、b分量和hsi颜色空间的h、s、i分量并进行分析，相比较而言，r、g、h、s通道的图像对阴影的特征更加显著。这也与田垄阴影区域和颜色空间的分析基本一致，所以我们可以将这四个通道作为对田垄阴影区域的颜色特性空间。
26.步骤2.2：对于半结构化的果园环境，仅关注田垄的阴影区域的颜色显著性特征很难具有很好的适应性。为了进一步的提高对阴影区域检测的精准性，我们还需进一步研究
阴影区域的纹理特征。阴影区域的纹理特征一定程度与当前的田垄区域具有共生性质，但是与非田垄阴影区域有着较为明显的过度区域，即存在明显的梯度变化。假设田垄图像中阴影与非阴影过渡区域中任意点的水平梯度为则同理纵向梯度为：其中i
road_image
表示图片中某像素点的像素值，(x,y)为阴影区域与非阴影区域之间过渡区域中像素的坐标；
27.步骤2.3：为了更好地保持该过渡区域中的梯度特征，我们建立n个方向的梯度场，按照水平正方向为开始方向，逆时针旋转，每隔2π/n就计算一次梯度，同样考虑到图像的离散性，我们取n＝8，即每45度计算一次梯度，记方向为d的梯度场为
[0028][0029]
步骤2.4：对图像中像素点进行颜色空间的转换，得到其r、g、h、s通道组成的颜色特征ec，同时建立8个不同方向的梯度场gd，最后将其组合连接得到颜色特征与梯度场信息的特征向量e；
[0030]
e＝{ec,gd}(1-2)
[0031]
步骤3：高斯混合模型gmm的构建与训练，对田垄阴影区域进行检测。结合图2，具体包括：
[0032]
步骤3.1：首先，计算数据集中第k个田垄图像样本的颜色特征和梯度场特征的组合特征向量es；
[0033]
步骤3.1：通过em迭代过程，确定高斯混合模型gmm的各个参数ui，通过和提前设定的阈值t
μ
比较，构建gmm模型，假设由n模式(x1,x2,x3,...,xn)，使用最大化期望算法可以确定对应的参数k，αk，μi和σi。该算法随机变量的期望值是一个确定的函数，从而避免了随机变量期望直接最大化，em迭代过程如下所示：
[0034]
过程(1)：期望过程，也称e过程
[0035]
对已给的样本数据xi进行每个高斯分布的子成分生成的概率p(i,k)进行估计，概率估计函数如公式(1-3)所示：
[0036][0037]
其中，k为高斯分布的成分个数，αk为高斯分布的权值，μk，σk分别对应高斯分布的均值和方差，γ(xi|μk,σk)为后验概率：
[0038][0039]
由于(1-4)中的μi和σi在处于不断的迭代的过程，所以需要对它们进行初始化，然后进入后续的迭代中。
[0040]
过程(2)：最大化过程，也称m过程
[0041]
此过程是对每个gmm模型分量的估计，依据上一过程中样本xi对应的概率，可以不断通过公式(1-5)和(1-6)更新模型的参数分量。
[0042][0043][0044]
其中，n为gmm模型的分量数，nk如下所示：
[0045][0046]
至此，我们可以得到每个高斯分布的权值αk为：
[0047][0048]
值得注意的是，在em迭代过程，参数的初始化值可以使用权值进行估计，以便得到更好的迭代效果。比较相邻两次em迭代的结果，但得到的参数最大值一直不超过某一阈值时，即算法收敛，就可获得gmm模型参数。
[0049]
步骤3.2：再次进行em(e过程和m过程)迭代对gmm模型进行精度提升训练；
[0050]
步骤3.3：通过步骤3.2得到的gmm模型，进一步计算模型后验概率γ，然后和收敛阈值t进行对比判断，若γ＞t，则可通过该模型标记出阴影区域。
[0051]
步骤4：在步骤3的基础上，利用本专利提出的基于阴影颜色分量加权补偿算法对阴影区域进行补偿去除。
[0052]
步骤4.1：在检测出田垄阴影区域后，分别对各个阴影区域与其邻近的非阴影田垄区域进行特征匹配，完成阴影补偿。首先确定其中邻近的非阴影田垄区域由公式(1-9)确定。
[0053][0054]
其中，为邻近距离阈值ε的所有非阴影区域，为田垄图像中某像素点到阴影边界的距离。
[0055]
步骤4.2：在获得各个独立的阴影区域和其相邻的非阴影田垄区域的区域之后，先对图像进行在rgb颜色空间的r、g、b三个通道的补偿，采用映射方法对提取到的阴影区域各个波段的灰度值进行补偿，补偿策略如(1-10)至(1-12)所示：
[0056]
[0057][0058][0059]
其中，v
r_after
(i,j)、v
g_after
(i,j)、v
b_after
(i,j)分别是补偿后r、g、b通道阴影区域灰度值，v
r_before
、v
g_before
、v
b_before
分别是补偿前r、g、b通道阴影区域灰度值，μ
shadow
和σ
shadow
分别是阴影区域的均值和方差，kr、kg、kb分别是三个通道的补偿系数。
[0060]
步骤4.3：然后将rgb图像转换到hsi颜色模型，田垄阴影区域在色度h通道和亮度i通道上的显著性较强，从而加大这两个通道的补偿权值，而饱和度s通道中的阴影区域较为不明显，故不需变动。补偿策略如公式(1-13)至公式(1-14)所示。
[0061][0062][0063]
其中，v
h_after
(i,j)、v
i_after
(i,j)分别是补偿后h、i通道阴影区域色度值和亮度值，v
h_before
、v
i_before
分别是补偿前h、i通道阴影区域色度值和亮度值，kh、ki分别是h、i通道的补偿系数。
[0064]
步骤4.4：经过高斯滤波处理后加强了恢复后的阴影区域与其他田垄区域的视觉一致性。
[0065]
步骤5：根据田垄图像得分析，田垄区域的检测本质上是一个二分类问题以及算法的实时性，符合阈值化分割的思想。本专利提出基于超像素分割和otsu阈值分割结合的分割算法对得到田垄图像进行二次分割。
[0066]
步骤5.1：对步骤4得到的使用seeds超像素分割算法进行分割；
[0067]
步骤5.2：使用k-means算法对分割后的图像进行非监督分类；
[0068]
步骤5.3：对分类后的图像再次进行降噪滤波操作；
[0069]
步骤5.4：使用otsu分割算法对滤波后的图像进行二次分割；
[0070]
步骤6：由于分割后得图像存在大量零散得干扰点，需要再对图像进行降噪滤波处理，以及形态学腐蚀、膨胀以及区域生长处理，最终得到较为完整得田垄区域。
[0071]
步骤6.1：结合面积特征指数和数学形态学对图像处理；
[0072]
步骤6.2：使用区域生长算法处理提取后的道路信息。
[0073]
步骤7：采用边缘检测算法对提取得到得田垄区域进行边缘点检测。
[0074]
步骤7.1：再次使用高斯滤波器对图像平滑处理；
[0075]
步骤7.2：使用一阶偏导数的有限差分计算方法计算图像梯度的幅值和方向；
[0076]
步骤7.3：对梯度的赋值及进行非极大值抑制处理；
[0077]
步骤7.4：使用双阈值检测算法检测并连接图像边缘点；
[0078]
步骤8：在对田垄边缘点拟合之前，由于上一步得到得边缘点存在偏差较大得像素点，会对后续的边缘点拟合带来不好的影响，故本专利采用随机采样一致性模型ransac进行边缘检测点的优化。
[0079]
步骤8.1：随机选取若干个像素点数据作为局内点，由这些局内点通过最小二乘法得到一个初始数学模型；
[0080]
步骤8.2：将其他数据分别带入步骤8.1中得到的数据模型中进行检测，若其中某个点与该模型的距离小于某个阈值ε，则认为该数据适合步骤8.1得到的模型，被认为是“局内点”，否则就是“局外点”；
[0081]
步骤8.3：如果该模型的所有“局内点”大于门限值，那么就认定为得到了最佳模型，迭代终止；否则统计最终的“局内点”个数，进入步骤8.4；
[0082]
步骤8.4：如果模型迭代次数超过最大迭代次数，就返回“局内点”最多的模型，否则返回步骤8.1，重新随机选择“局内点”。
[0083]
在确定最优像素点之后，再利用最小二乘法进行曲线拟合。任意对于给定的n个像素点，都会存在一个经过这些点的函数曲线y＝f(x)，随着数据的增多，函数的多项式阶数会随之升高，计算量就越大。对经过ransac算法优化后的边缘像素点集合pi(xi,yi)，进行曲线拟合，如步骤9。
[0084]
步骤9：最后进行田垄道路模型的选择，模型的选择对于田垄区域的检测至关重要，合适的模型选择能够起到很好的约束作用，能够得到更好的拟合结果。通过对果园非结构化田垄区域的分析，综合考虑各种模型，最终选择二次曲线模型对田垄道路进行拟合。
[0085]
步骤9.1：从步骤8得到的像素点集合pi中抽取n个数据点；
[0086]
步骤9.2：使用最小二乘法计算这些数据点的集合函数以及对应的参数，得到一个初步的拟合函数模型，然后结合曲率方程计算该拟合函数模型的最大曲率；
[0087]
步骤9.3：若步骤9.2得到的曲率小于给定的最大曲率阈值θ，即认为满足曲线要求，继续进行步骤9.4，否则舍弃步骤9.2的拟合函数模型，返回步骤9.1；
[0088]
步骤9.4：将所有的数据样本逐个代入步骤9.2中的模型进行检测，若其中某个点与假设的模型之间的距离小于某个阈值ε，则认为该数据样本点适合步骤9.2得到的模型，被认为是“局内点”，否则就是“局外点”；
[0089]
步骤9.5：统计“局内点”的数量，如果大于数量阈值n，即得到最佳拟合曲线，流程结束，否则就记录最终“局内点”数量，保留“局内点”最多的模型以及对应的参数；
[0090]
步骤9.6：如果迭代次数大于最大迭代次数，同样输出“局内点”数量最多的模型以及对应的参数，否则回至步骤9.1。
[0091]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。