一种半结构化果园田垄区域的检测方法

技术特征：
1.一种半结构化果园田垄区域的检测方法，其特征在于，包括步骤：步骤1：获取相机拍摄的多组包含田垄信息的图像数据集；步骤2：基于图像数据集中田垄rgb图像与hsi图像的颜色特征分析以及田垄阴影区域与非阴影区域纹理梯度场分析，提取图像的颜色特征和纹理梯度特征的组合特征向量；步骤3：构建并训练高斯混合模型gmm，通过高斯混合模型gmm对田垄阴影区域进行检测；步骤4：基于阴影颜色分量加权补偿算法对检测的田垄阴影区域进行补偿去除；步骤5：基于超像素分割和otsu阈值分割结合的分割算法对得到田垄图像进行二次分割；步骤6：对田垄图像进行降噪滤波处理，以及形态学腐蚀、膨胀以及区域生长处理；步骤7：采用边缘检测算法对处理后的田垄区域进行边缘点检测；步骤8：采用随机采样一致性模型ransac进行边缘检测点的优化；步骤9：通过二次曲线模型对田垄道路进行拟合，得到田垄区域。2.根据权利要求1所述的半结构化果园田垄区域的检测方法，其特征在于，所述步骤2具体包括：步骤2.1：对采集得到的田垄图像分别提取图像在rgb颜色空间的r、g、b分量和hsi颜色空间的h、s、i分量，将r、g、h、s四个通道作为对田垄阴影区域的颜色特性空间；步骤2.2：假设田垄图像中阴影与非阴影过渡区域中任意点的水平梯度为则同理纵向梯度为：其中i
road_image
表示图片中某像素点的像素值，(x,y)为阴影区域与非阴影区域之间过渡区域中像素的坐标；步骤2.3：建立n个方向的梯度场，按照水平正方向为开始方向，逆时针旋转，每隔2π/n就计算一次梯度；步骤2.4：对图像中像素点进行颜色空间的转换，得到其r、g、h、s通道组成的颜色特征，同时建立n个不同方向的梯度场，最后将其组合连接得到颜色特征与梯度场信息的特征向量。3.根据权利要求2所述的半结构化果园田垄区域的检测方法，其特征在于，所述n＝8，即每45度计算一次梯度，记方向为d的梯度场为4.根据权利要求1所述的半结构化果园田垄区域的检测方法，其特征在于，所述步骤3具体包括：步骤3.1：确定高斯混合模型gmm的各个参数，构建gmm模型；步骤3.2：通过em过程迭代对gmm模型进行训练，直至gmm模型满足要求；步骤3.3：提取测试数据集的组合特征向量进行图像阴影区域的检测。5.根据权利要求1所述的半结构化果园田垄区域的检测方法，其特征在于，所述em过程包括期望过程和最大化过程，其中：所述期望过程具体包括：对已给的样本数据x
i
进行每个高斯分布的子成分生成的概率p(i,k)进行估计，概率估计函数为：
其中，k为高斯分布的成分个数，α
k
为对应高斯分布的权值，μ
k
，σ
k
分别对应高斯分布的均值和方差，γ(x
i
|μ
k
,σ
k
)为后验概率：所述最大化过程具体包括：此过程是对每个gmm模型分量的估计，依据e过程中样本x
i
对应的概率，不断通过以下两个公式更新模型的参数分量：个公式更新模型的参数分量：其中，n为gmm模型分量数，n
k
为：至此，得到每个高斯分布的权值α
k
为：6.根据权利要求1所述的半结构化果园田垄区域的检测方法，其特征在于，所述步骤4具体包括：步骤4.1：确定各个阴影区域邻近的非阴影田垄区域为：其中，为邻近距离阈值ε的所有非阴影区域，为田垄图像中某像素点p到阴影区域边界的距离,ε为阴影区域到非阴影区域的邻近距离阈值d；步骤4.2：对图像进行在rgb颜色空间的r、g、b三个通道的补偿，采用映射方法对提取到的阴影区域各个波段的灰度值进行补偿；灰度值进行补偿策略为：的阴影区域各个波段的灰度值进行补偿；灰度值进行补偿策略为：的阴影区域各个波段的灰度值进行补偿；灰度值进行补偿策略为：其中，v
r_after
(i,j)、v
g_after
(i,j)、v
b_after
(i,j)分别是补偿后r、g、b通道阴影区域灰度值，v
r_before
、v
g_before
、v
b_before
分别是补偿前r、g、b通道阴影区域灰度值，μ
shadow
和σ
shadow
分别是阴影区域的均值和方差，k
r
、k
g
、k
b
分别是三个通道的补偿系数；
步骤4.3：将rgb图像转换到hsi颜色模型，并进行色度h通道和亮度i两个通道的补偿，补充策略为：补充策略为：其中，v
h_after
(i,j)、v
i_after
(i,j)分别是补偿后h、i通道阴影区域色度值和亮度值，v
h_before
、v
i_before
分别是补偿前h、i通道阴影区域色度值和亮度值，k
h
、k
i
分别是h、i通道的补偿系数；步骤4.4：对图像进行高斯滤波处理。7.根据权利要求1所述的半结构化果园田垄区域的检测方法，其特征在于，所述步骤5具体包括：步骤5.1：对步骤4得到的图像使用seeds超像素分割算法进行分割；步骤5.2：使用k-means算法对分割后的图像进行非监督分类；步骤5.3：对分类后的图像进行降噪滤波操作；步骤5.4：使用otsu分割算法对滤波后的图像进行二次分割。8.根据权利要求1所述的半结构化果园田垄区域的检测方法，其特征在于，所述步骤7具体包括：步骤7.1：再次使用高斯滤波器对图像平滑处理；步骤7.2：使用一阶偏导数的有限差分计算方法计算图像梯度的幅值和方向；步骤7.3：对梯度的赋值及进行非极大值抑制处理；步骤7.4：使用双阈值检测算法检测并连接图像边缘点。9.根据权利要求1所述的半结构化果园田垄区域的检测方法，其特征在于，所述步骤8具体包括：步骤8.1：随机选取若干个像素点数据作为局内点，由这些局内点通过最小二乘法进行曲线拟合得到一个数学模型；步骤8.2：将其他数据分别带入数学模型中进行检测，若其中某个点与该模型的距离小于某个阈值ε，则认为该数据适合数学模型，被认为是局内点，否则就是局外点；步骤8.3：如果该模型的所有局内点大于门限值，迭代终止，得到边缘像素点集合p
i
(x
i
,y
i
)；否则统计最终的局内点个数，进入步骤8.4；步骤8.4：如果模型迭代次数超过最大迭代次数，就返回局内点最多的模型，边缘像素点集合p
i
(x
i
,y
i
)，否则返回步骤8.1，重新随机选择局内点。10.根据权利要求9所述的半结构化果园田垄区域的检测方法，其特征在于，所述步骤9具体包括：步骤9.1：从步骤8得到的边缘像素点集合p
i
中抽取n个数据点；步骤9.2：使用最小二乘法计算这些数据点的集合函数以及对应的参数，得到一个拟合函数模型，然后结合曲率方程计算该拟合函数模型的最大曲率；步骤9.3：若最大曲率小于给定的最大曲率阈值θ，即认为满足曲线要求，继续进行步骤
9.4，否则舍弃步骤9.2的拟合函数模型，返回步骤9.1；步骤9.4：将所有的数据样本逐个代入拟合函数模型进行检测，若其中某个点与拟合函数模型之间的距离小于某个阈值ε，则认为该数据样本点适合拟合函数模型，被认为是局内点，否则就是局外点；步骤9.5：统计局内点的数量，如果大于数量阈值n，即得到最佳拟合函数模型，流程结束；否则就记录最终局内点数量，保留局内点最多的拟合函数模型以及对应的参数；步骤9.6：如果迭代次数大于最大迭代次数，同样输出局内点数量最多的拟合函数模型以及对应的参数，否则回至步骤9.1。

技术总结
本发明公开了一种半结构化果园田垄区域的检测方法，该方法由搭载着立体视觉相机的采摘机器人沿着田垄来实时采集田垄区域的图像，利用田垄阴影区域和非阴影区域颜色及梯度场特征的不同，结合高斯混合模型能够实现对阴影区域的检测，再通过本文提出的阴影颜色加权补偿算法对阴影区域进行去除，最后通过对图像进行降噪滤波，通过对图像进行二次分割，再经过形态学处理最终得到完整的田垄区域；最后通过边缘检测算子对分割后的图像进行边缘检测，再对边缘点进行优化拟合，基于最小最小二乘法进行边缘点拟合，得到田垄区域的边缘线。该方法可应对任何光照条件下能够100％检测出田垄区域。域。域。


技术研发人员：孙瑜 李晨星 陈祥龙 黄江州 孙艺铭 李新彤 姚文广
受保护的技术使用者：南京理工大学
技术研发日：2022.12.21
技术公布日：2023/3/10