一种直线-弯曲秧苗行检测方法与流程

1.本发明属于图像处理技术领域，涉及智能农业机械技术，为一种直线-弯曲秧苗行检测方法。
技术背景
2.水稻秧苗行检测是水稻机械化除草的关键环节之一，对于提高除草机械的对行除草精度，提高杂草除净率和减少伤苗率具有重要的指导作用。现有技术中，不论是插秧或除草，基本都是以确定水稻秧苗行的中心线为基础进行，目前的水稻秧苗行检测方法都是基于秧苗点进行直线拟合，只能检测笔直的秧苗行，对于由于插秧机前进方向有弯曲，或地形坡度导致的弯曲秧苗行无法进行有效检测。


技术实现要素：

3.本发明要解决的问题是：现有的水稻秧苗行检测方法无法检测具有不规则行间距的弯曲秧苗行。
4.本发明的技术方案为：一种直线-弯曲秧苗行检测方法，获取秧苗图像，将秧苗图像分为上下两个区域，对下部区域的秧苗中心点划分各秧苗行候选点集合，拟合得到初始秧苗行直线；对上部区域水平划分k个子区域，由下向上逐个对子区域的秧苗中心点进行秧苗行直线的更新拟合，计算各子区域中心点与当前秧苗行直线的距离，判断中心点是否属于该秧苗行直线，更新秧苗行候选点集合，进而更新拟合秧苗行直线，秧苗行直线由此由下至上更新生长，得到最终的秧苗行直线。
5.作为优选方式，根据视差关系将秧苗图像被划分成上部[0,h/2]和下部(h/2,h]这2个区域，h为图像的高。根据视差的关系，上部远下部近，(h/2,h]区域内的水稻秧苗中心点较稀疏，[0,h/2]区域内的秧苗中心点较密集。
[0006]
作为优选方式，上部区域按图像高度均分为k个子区域。
[0007]
进一步的，对下部区域进行初始秧苗行直线拟合的步骤为：
[0008]
a1,将秧苗中心点按照横坐标从小到大排列；
[0009]
a2,对于2个中心点point1和point2，根据它们的邻域之间的关系，判断各中心点的初始归属秧苗行直线，得到该秧苗行直线对应的候选点集合，具体为：如果是同一条秧苗行直线上的相邻的点，则它们的邻域在横坐标方向上具有交集或相距很近，对于不同秧苗行直线上的2个点，它们的邻域相距较远，邻域的远近判断通过设定阈值判定；
[0010]
a3,根据每条初始秧苗行直线对应的候选点集合进行直线拟合，当只有2个点的时候，两点确定一条直线即得到该秧苗行的初始秧苗行直线，当具有3个以上点的时候，使用最小二乘法进行直线拟合。
[0011]
进一步的，对上部区域进行子区域划分及秧苗行直线拟合的步骤为：
[0012]
b1,将图像上部水平划分成k个子区域，由下至上区域编号k＝1,
…
,k；设第i个秧苗行的初始直线的方程是x＝a
i0
y b
i0
，设置一个距离阈值d
t
，如果秧苗中心点cj到第i个秧
苗行的初始直线的距离d
ij
《d
t
，则该中心点被认为是秧苗行i的候选点，加入候选点集合；反之，d
ij
≥d
t
，该中心点被认为是秧苗行i的外点，不属于该秧苗行；对子区域1的秧苗中心点进行判断，第一次迭代得到的点更新秧苗行i的候选点集合，并对每个秧苗行的候选点集合更新拟合得到新的直线x＝a
i1
y b
i1
；
[0013]
b2,对于子区域1内不属于候选点集合的中心点，计算它们到每个秧苗行最新拟合直线的距离d
ij
，如果有d
ij
《d
t
，则该点被加入秧苗行i的候选点集合，并重新拟合直线，迭代直至没有点满足d
ij
《d
t
，则计算当前每个候选点集合内的点到对应的秧苗行最新拟合直线的距离是否满足d
ij
《d
t
，满足则迭代停止，继续向下个子区域生长，执行步骤b3，如果出现d
ij
≥d
t
，则该候选点被剔除出候选点集合，并根据剩下的候选点集合拟合新的直线，然后重复步骤b2，直到迭代停止；
[0014]
b3,对子区域2的中心点，使用每个秧苗行候选点集合中的位置最高的3个候选点对每个秧苗行i拟合直线：计算子区域中每个中心点到由前一子区域拟合得到的秧苗行直线的距离d
ij
，如果d
ij
《d
t
，该中心点被认为是秧苗行i的候选点；反之，d
ij
≥d
t
，该中心点被认为是秧苗行i的外点，不属于该秧苗行,然后根据每个秧苗行的候选点集合拟合新的直线；
[0015]
b4，计算子区域2中不属于候选点集合的秧苗中心点到各个秧苗行的最新拟合直线的距离d
ij
，如果有d
ij
《d
t
，则该点被加入秧苗行i的候选点集合，并重新拟合直线，直至没有点满足d
ij
《d
t
，则计算当前每个候选点集合内的点到对应的秧苗行最新拟合直线的距离是否满足d
ij
《d
t
，满足则迭代停止，继续向下个子区域生长；如果出现d
ij
≥d
t
，则该候选点cj被剔除出候选点集合，根据剩下的候选点集合拟合新的直线，然后重复步骤b4，直到迭代停止；
[0016]
b5，对子区域3～k，按照步骤b3-b4依次同样处理，直至遍历所有子区域，最终由下至上拟合生长得到秧苗行直线。
[0017]
作为优选方式，由秧苗图像获取秧苗中心点时，采用yolov3网络模型进行检测。yolov3网络由基础特征提取网络和多尺度预测结构两部分组成，采用darknet-53的基础特征提取网络提取秧苗特征，分别在32倍、16倍和8倍下采样这3个尺度上进行特征融合，其中每个尺度的特征图和小尺度特征图上采样后的结果进行拼接融合，并在每个尺度上用融合后的特征分别进行独立检测，低层网络分辨率高，能够更多的获得目标的位置信息，高层网络感受野大，能够更好的区分目标和背景，即具有更多语义信息，yolov3将不同尺度的特征融合，很好的结合了低层的位置信息和高层的语义信息。相对于其他目标检测算法，对秧苗小目标检测有较好的效果。
[0018]
本发明具有以下有益效果：
[0019]
本发明提出一种基于子区域生长和外点剔除的直线-弯曲秧苗行检测方法，能够检测具有规则或者不规则行间距的水稻秧苗行。具有不规则行间距的秧苗行在不同的位置可能具有不同的曲率，本发明通过划分上下部区域，以及子区域的方式减少了每次处理的秧苗中心点的数量，并根据视差对不同的区域进行不同的处理方式。本发明中，每个子区域的秧苗行直线的重新迭代可以将子区域中属于每个秧苗行的候选点加入集合中，在子区域内通过外点剔除和根据新加入的秧苗中心点更新拟合直线的方式降低曲率变化对秧苗行检测的影响，因此本发明方法能同时检测具有规则或者不规则行间距的水稻秧苗行，并具有良好的准确性。
附图说明
[0020]
图1为本发明方法的总体流程图。
[0021]
图2为本发明的下部区域的秧苗中心点的邻域关系。
[0022]
图3为本发明的上部区域的子区域划分示意图。
[0023]
图4为本发明的多个秧苗行的候选点集合确定的流程图。
[0024]
图5为本发明的实施例拟合效果图。
具体实施方式
[0025]
如图1所示，本发明提出一种直线-弯曲秧苗行检测方法，获取秧苗图像，将秧苗图像分为上下两个区域，对下部区域的秧苗中心点划分各秧苗行候选点集合，拟合得到初始秧苗行直线；对上部区域水平划分k个子区域，由下向上逐个对子区域的秧苗中心点进行秧苗行直线的更新拟合，计算各子区域中心点与当前秧苗行直线的距离，判断中心点是否属于该秧苗行直线，更新秧苗行候选点集合，进而更新拟合秧苗行直线，秧苗行直线由此由下至上更新生长，得到最终的秧苗行直线。由秧苗图像获取秧苗中心点时，优选采用yolov3网络模型进行检测。
[0026]
以下结合附图对本发明作进一步详细说明。
[0027]
本发明公开了一种基于子区域生长和外点剔除的直线-弯曲秧苗行检测方法，包括对秧苗中心点进行初始直线拟合、多个秧苗行的候选点集合确定和秧苗行直线拟合。
[0028]
如图2所示，根据视差关系将秧苗图像被划分成上部[0,h/2]和下部(h/2,h]这2个区域，h为图像的高。根据视差的关系，上部远下部近，(h/2,h]区域内的水稻秧苗中心点较稀疏，[0,h/2]区域内的秧苗中心点较密集。对不同的区域进行不同的处理。
[0029]
对下部区域进行初始秧苗行直线拟合的步骤为：
[0030]
a1,将秧苗中心点按照横坐标从小到大排列；
[0031]
a2,对于2个中心点point1和point2，根据它们的邻域之间的关系，判断各中心点的初始归属秧苗行直线，得到该秧苗行直线对应的候选点集合，具体为：如果是同一条秧苗行直线上的相邻的点，则它们的邻域在横坐标方向上具有交集或相距很近，对于不同秧苗行直线上的2个点，它们的邻域相距较远，邻域的远近判断通过设定阈值判定；
[0032]
a3,根据每条初始秧苗行直线对应的候选点集合进行直线拟合，当只有2个点的时候，两点确定一条直线即得到该秧苗行的初始秧苗行直线，当具有3个以上点的时候，使用最小二乘法进行直线拟合。
[0033]
再对上部区域进行子区域划分及秧苗行直线拟合，流程如图4所示。
[0034]
b1,将图像上部水平划分成k个子区域，由下至上区域编号k＝1,
…
,k，如图3所示，本实施例划分为4个子区域。设第i个秧苗行的初始直线的方程是x＝a
i0
y b
i0
，设置一个距离阈值d
t
，如果秧苗中心点cj到第i个秧苗行的初始直线的距离d
ij
《d
t
，则该中心点被认为是秧苗行i的候选点，加入候选点集合；反之，d
ij
≥d
t
，该中心点被认为是秧苗行i的外点，不属于该秧苗行；对子区域1的秧苗中心点进行判断，第一次迭代得到的点更新秧苗行i的候选点集合，并对每个秧苗行的候选点集合更新拟合得到新的直线x＝a
i1
y b
i1
；
[0035]
b2,对于子区域1内不属于候选点集合的中心点，计算它们到每个秧苗行最新拟合直线的距离d
ij
，如果有d
ij
《d
t
，则该点被加入秧苗行i的候选点集合，并重新拟合直线，迭代
直至没有点满足d
ij
《d
t
，则计算当前每个候选点集合内的点到对应的秧苗行最新拟合直线的距离是否满足d
ij
《d
t
，满足则迭代停止，继续向下个子区域生长，执行步骤b3，如果出现d
ij
≥d
t
，则该候选点被剔除出候选点集合，并根据剩下的候选点集合拟合新的直线，然后重复步骤b2，直到迭代停止；
[0036]
b3,对子区域2的中心点，使用每个秧苗行候选点集合中的位置最高的3个候选点对每个秧苗行i拟合直线：计算子区域中每个中心点到由前一子区域拟合得到的秧苗行直线的距离d
ij
，如果d
ij
《d
t
，该中心点被认为是秧苗行i的候选点；反之，d
ij
≥d
t
，该中心点被认为是秧苗行i的外点，不属于该秧苗行,然后根据每个秧苗行的候选点集合拟合新的直线；
[0037]
b4，计算子区域2中不属于候选点集合的秧苗中心点到各个秧苗行的最新拟合直线的距离d
ij
，如果有d
ij
《d
t
，则该点被加入秧苗行i的候选点集合，并重新拟合直线，直至没有点满足d
ij
《d
t
，则计算当前每个候选点集合内的点到对应的秧苗行最新拟合直线的距离是否满足d
ij
《d
t
，满足则迭代停止，继续向下个子区域生长；如果出现d
ij
≥d
t
，则该候选点cj被剔除出候选点集合，根据剩下的候选点集合拟合新的直线，然后重复步骤b4，直到迭代停止；
[0038]
b5，对子区域3～k，按照步骤b3-b4依次同样处理，直至遍历所有子区域，最终由下至上拟合生长得到秧苗行直线。
[0039]
作为优选方式，在对子区域进行秧苗行直线拟合时，采用基于线性回归的最小二乘法进行中心线拟合。
[0040]
本发明通过上下部区域划分以及子区域划分，由下部区域先得到初始的秧苗行，然后逐步更新秧苗行候选点集合，修正秧苗行候选点集合中的点，除了加入新的点，也剔除不符合条件的点，通过由下向上逐步生长的方式适应不规则行间距带来的秧苗行弯曲，检测结果精确度高。如图5为本发明的实施例拟合效果示意图，图5a表示行间距规则，图5b表示行间距不规则，图5b中秧苗行存在明显弯曲，可见，对规则或不规则行间距的秧苗行，本发明方法都能够有效检测得到秧苗行直线。