基于改进YOLOv3的麦苗行中心线检测方法

基于改进yolov3的麦苗行中心线检测方法
技术领域
1.本发明涉及智能农机视觉导航技术领域，特别是涉及到一种基于改进yolov3的麦苗行中心线检测方法。


背景技术：

2.小麦作为世界主要粮食作物之一，其产量的稳定与增加对世界粮食的安全及人民生活水平的保障都具有重要意义。有研究表明，在早期麦苗行间采取断根、施肥、除草等措施可提高小麦的产量。然而，以往的田间作业主要依靠人工或自动化水平低的机械来完成，该种方式劳动强度大、效率低且成本高。作为精细农业的重要组成部分，智能农机视觉导航技术越来越受关注，其已应用于作物的播种、除草、收获等环节。然而，麦田中麦苗形态随时间变化、杂草、阴影、光照变化等复杂情况对麦苗行中心线的提取有一定的影响，麦苗行中心线的准确与稳定提取可为麦田农机自主导航与作业提供参考依据。为此我们发明了一种新的基于改进yolov3的麦苗行中心线检测方法。


技术实现要素：

3.本发明的目的是提供一种为早期麦田智能农机视觉导航提供技术参考的基于改进yolov3的麦苗行中心线检测方法。
4.本发明的目的可通过如下技术措施来实现：基于改进yolov3的麦苗行中心线检测方法，该基于改进yolov3的麦苗行中心线检测方法包括：
5.步骤1，利用改进yolov3目标检测模型检测麦苗行；
6.步骤2，利用定义的灰度阈值提取检测框中的麦苗特征点；
7.步骤3，利用圆形扫描窗口提取麦苗行中心点；
8.步骤4，利用最小二乘法分别对各列麦苗中心点进行拟合，提取各列麦苗中心线；
9.在步骤1中，用于模型训练的麦苗图像应该拍摄于小麦越冬期和返青期两个时间段；相机摄像头距离地面100-150cm；相机光轴与水平线夹角为30
°‑
60
°
；拍摄的偏航角为0
°‑
30
°
；沿麦苗行不同的方向进行拍摄；采用多种分辨率进行拍摄；拍摄的图像应该包含多种情况，包括杂草、阴影、不同光照等。
10.在步骤1中，对采集的图像进行扩充，包括改变亮度、旋转、镜像、添加噪声等方式；通过上述操作，建立麦苗图像数据库。
11.在步骤1中，yolov3模型输出的包围框被改进，由原来的横向包围框改为可旋转的包围框。旋转包围框的标注参数表示为(x，y，w，h，α)，其中，(x，y)表示框的中心点坐标，w、h分别表示在旋转前框的宽度与高度，α表示包围框围绕中心点(x，y)顺时针方向旋转的角度，其单位为弧度，其取值范围为[0，π)。
[0012]
在步骤1中，基于标注信息，利用k-means算法分别对包围框的大小及旋转角度进行聚类，包围框的大小被划分为9个聚类中心点，包围框的旋转角度参数被划分为6个聚类中心点。
[0013]
在步骤1中，模型的损失函数需要做一些改变，去掉损失函数中与多分类预测有关的部分，同时，利用smooth l1函数表示角度预测的损失，具体公式如下：
[0014]
loss＝l
α
l
x，y
l
w，h
l
conf
[0015][0016][0017][0018][0019][0020]
其中，s2代表输出的特征图的尺寸(s＝13，26，52)。b代表特征图中每个网格的候选包围框数量(b＝3
×
6)。代表第i个格中第j个候选包围框是否负责目标检测，若负责，否则为0。与其情况相反。与其情况相反。分别代表第i个格中第j个候选包围框的预测旋转角度与真实旋转角度。λ
coord
，λ
noobj
分别用于平衡包围框与置信度的训练损失。分别用于平衡包围框与置信度的训练损失。分别代表第i个格中第j个候选包围框中心点的预测坐标与真实坐标。标。分别代表第i个格中第j个候选包围框尺寸的预测值。分别代表第i个格中第j个候选包围框尺寸的真实值。分别代表第i个格中第j个候选包围框中对目标的预测置信度与真实置信度。
[0021]
在步骤2中，模型仅输出高度大于的包围框；图像通过hls颜色空间中h通道被转换至灰度图像，麦苗特征点的提取方法如下：
[0022][0023]
其中，grey
i，j
为图像在点(i，j)处的灰度值。t为灰度阈值，该值与麦苗生长阶段有关。若p
i，j
＝1，则表示点(i，j)为麦苗特征点。
[0024]
在步骤3中，定义了一个圆形扫描窗口，它从包围框上边缘中点沿直线扫描至包围框下边缘中点。在扫描过程中，计算窗口内部特征点的均值点，并将其作为麦苗行中心点。
[0025]
在步骤3中，根据模型输出的旋转包围框的中心点(x，y)及框的宽度w和高度h等参数计算包围框在未旋转前的四个顶点的位置坐标，其分别为左上方顶点
右上方顶点右下方顶点右下方顶点左下方顶点然后，再根据旋转角度α计算包围框旋转后的四个顶点坐标其计算方法如下：
[0026][0027][0028]
其中(xi，yi)为未旋转前的顶点坐标，为旋转后的顶点坐标，i＝1，2，3，4。
[0029]
在步骤3中，圆形窗口移动的起点和终点分别为旋转边界框的上边缘和下边缘的中心点，并且沿着两点的连接的直线移动。移动的起点与终点与旋转角度α有关。当时，起点为与的中点，终点为与的中点。当时，起点为与的中点，终点为与的中点。根据起点与终点，移动的路径方程可以被求出。当α＝0，路径方程为x＝x。当0＜α＜π时，路径方程为y＝k*x b，其中径方程为x＝x。当0＜α＜π时，路径方程为y＝k*x b，其中
[0030]
在步骤3中，圆形窗口以为半径，其圆心从起点开始，沿着被选择的路径扫描。每移动到一个新位置，分别计算圆形窗口内的所有的点的横坐标与纵坐标的平均值，并将其作为麦苗行中心点。
[0031]
在步骤4中，利用最小二乘法对麦苗行中心点进行拟合。
[0032]
在步骤4中，采用角度与距离的综合方法来评估麦苗行中心线的提取效果，计算方法如下：
[0033][0034][0035][0036][0037]
其中，θ表示提取的麦苗行中心线与准确的麦苗行中心线角度误差，d1表示提取的麦苗行中心线与图像上边缘的交点到准确的麦苗行中心线的距离，d2表示提取的麦苗行中心线与图像下边缘的交点到准确的麦苗行中心线的距离，表示提取的麦苗行中心线与准确的麦苗行中心线在距离上的误差，k1表示直线提取的麦苗行中心线的斜率，k2、b2分别表示准确的麦苗行中心线的斜率与截距。
[0038]
本发明中的基于改进yolov3的麦苗行中心线检测方法，具体步骤如下：利用改进yolov3目标检测模型检测麦苗行；利用定义的灰度阈值提取检测框中的麦苗特征点；利用
圆形扫描窗口提取麦苗行中心点；利用最小二乘法分别对各列麦苗中心点进行拟合，提取各列麦苗中心线。该基于改进yolov3的麦苗行中心线检测方法适应性更广、更稳定。
附图说明
[0039]
图1为本发明的基于改进yolov3的麦苗行中心线检测方法的一具体实施例的流程图；
[0040]
图2为本发明的一具体实施例中的改进的yolov3模型中旋转包围框的标注参数示意图；
[0041]
图3为本发明的一具体实施例中的改进的yolov3模型检测麦苗行的结果图；
[0042]
图4为本发明的一具体实施例中的特征点提取过程示意图；
[0043]
图5为本发明的一具体实施例中的特征点提取的结果图；
[0044]
图6为本发明的一具体实施例中的中心点提取过程示意图；
[0045]
图7为本发明的一具体实施例中的中心点提取的结果图；
[0046]
图8为本发明的一具体实施例中的麦苗行中心线评估方法示意图；
[0047]
图9为本发明的一具体实施例中利用基于改进yolov3的麦苗行中心线检测方法提取不同生长时间的麦苗行中心线的效果图；
[0048]
图10为本发明的一具体实施例中利用基于改进yolov3的麦苗行中心线检测方法提取不同环境下的麦苗行中心线的效果图；
[0049]
图11为本发明的一具体实施例中利用基于改进yolov3的麦苗行中心线检测方法提取不同旋转角度的麦苗行中心线的效果图。
具体实施方式
[0050]
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0051]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作和/或它们的组合。
[0052]
如图1所示，图1为本发明的基于改进yolov3的麦苗行中心线检测方法的流程图。该基于改进yolov3的麦苗行中心线检测方法包括：
[0053]
(1)利用改进yolov3目标检测模型检测麦苗行；
[0054]
(2)利用定义的灰度阈值提取检测框中的麦苗特征点；
[0055]
(3)利用圆形扫描窗口提取麦苗行中心点；
[0056]
(4)利用最小二乘法分别对各列麦苗中心点进行拟合，提取各列麦苗中心线。
[0057]
以下为应用本发明的几个具体实施例。
[0058]
实施例1
[0059]
在应用本发明的一具体实施例1中，该基于改进yolov3的麦苗行中心线检测方法包括：
[0060]
步骤1，用于模型训练的麦苗图像应该拍摄于小麦越冬期和返青期两个时间段；相机摄像头距离地面100-150cm；相机光轴与水平线夹角为30
°‑
60
°
；拍摄的偏航角为0
°‑
30
°
；沿麦苗行不同的方向进行拍摄；采用多种分辨率进行拍摄；拍摄的图像应该包含多种情况，包括杂草、阴影、不同光照等。对采集的图像进行扩充，包括改变亮度、旋转、镜像、添加噪声等方式；通过上述操作，建立麦苗图像数据库。yolov3模型输出的包围框被改进，由原来的横向包围框改为可旋转的包围框。旋转包围框的标注参数表示为(x，y，w，h，α)，如图2所示，图中，(x，y)表示框的中心点坐标，w、h分别表示在旋转前框的宽度与高度，α表示包围框围绕中心点(x，y)顺时针方向旋转的角度，其单位为弧度，其取值范围为[0，π)。基于标注信息，利用k-means算法分别对包围框的大小及旋转角度进行聚类，包围框的大小被划分为9个聚类中心点，包围框的旋转角度参数被划分为6个聚类中心点。模型的损失函数需要做一些改变，去掉损失函数中与多分类预测有关的部分，同时，利用smooth l1函数表示角度预测的损失，具体公式如下：
[0061]
loss＝l
α
l
x，y
l
w，h
l
conf
[0062][0063][0064][0065][0066][0067]
其中，s2代表输出的特征图的尺寸(s＝13，26，52)。b代表特征图中每个网格的候选包围框数量(b＝3
×
6)。代表第i个格中第j个候选包围框是否负责目标检测，若负责，否则为0。与其情况相反。与其情况相反。分别代表第i个格中第j个候选包围框的预测旋转角度与真实旋转角度。λ
coord
，λ
noobj
分别用于平衡包围框与置信度的训练损失。分别用于平衡包围框与置信度的训练损失。分别代表第i个格中第j个候选包围框中心点的预测坐标与真实坐标。分别代表第i个格中第j个候选包围框尺寸的预测值。分别代表第i个格中第j个候选包围框尺寸的真实值。分别代表第i个格中第j个候选包围框中对目标的预测置信度与真实置信度。
[0068]
图3为麦苗行检测的结果图，由图可以看到输出的包围框对麦苗行的定位较准确。
[0069]
步骤2，模型仅输出高度大于的包围框；如图4所示，图像通过hls颜色空间中h通道被转换至灰度图像，麦苗特征点的提取方法如下：
[0070][0071]
其中，grey
i，j
为图像在点(i，j)处的灰度值。t为灰度阈值，该值与麦苗生长阶段有关。若p
i，j
＝1，则表示点(i，j)为麦苗特征点。
[0072]
图5为特征点提取的结果图，由图可以看出，麦苗叶片的轮廓点大体被提取。
[0073]
步骤3，如图6所示，定义了一个圆形扫描窗口，它从包围框上边缘中点沿直线扫描至包围框下边缘中点。在扫描过程中，计算窗口内部特征点(实心点)的均值点，并将其作为麦苗行中心点(空心点)。根据模型输出的旋转包围框的中心点(x，y)及框的宽度w和高度h等参数计算包围框在未旋转前的四个顶点的位置坐标，其分别为左上方顶点右上方顶点右下方顶点左下方顶点左下方顶点然后，再根据旋转角度α计算包围框旋转后的四个顶点坐标然后，再根据旋转角度α计算包围框旋转后的四个顶点坐标其计算方法如下：其计算方法如下：其中(xi，yi)为未旋转前的顶点坐标，为旋转后的顶点坐标，i＝1，2，3，4。圆形窗口移动的起点和终点分别为旋转边界框的上边缘和下边缘的中心点，并且沿着两点的连接的直线移动。移动的起点与终点与旋转角度α有关。当时，起点为与的中点，终点为与的中点。当时，起点为与的中点，终点为与的中点。根据起点与终点，移动的路径方程可以被求出。当α＝0，路径方程为x＝x。当0＜α＜π时，路径方程为y＝k*x b，其中径方程为x＝x。当0＜α＜π时，路径方程为y＝k*x b，其中圆形窗口以为半径，其圆心从起点开始，沿着被选择的路径扫描。每移动到一个新位置，分别计算圆形窗口内的所有的点的横坐标与纵坐标的平均值，并将其作为麦苗行中心点。图7为在图5的基础上提取的麦苗行中心点。
[0074]
步骤4，利用最小二乘法对麦苗行中心点进行拟合。采用角度与距离的综合方法来评估麦苗行中心线的提取效果，计算方法如下：
[0075][0076][0077]
[0078][0079]
其中，θ表示提取的麦苗行中心线与准确的麦苗行中心线角度误差，d1表示提取的麦苗行中心线与图像上边缘的交点到准确的麦苗行中心线的距离，d2表示提取的麦苗行中心线与图像下边缘的交点到准确的麦苗行中心线的距离，表示提取的麦苗行中心线与准确的麦苗行中心线在距离上的误差，k1表示直线提取的麦苗行中心线的斜率，k2、b2分别表示准确的麦苗行中心线的斜率与截距。如图8所示，line1(虚线)表示提取的麦苗行中心线，line2(实线)表示准确的麦苗行中心线，θ代表两条线的夹角，a、b分别代表两条直线与图像上边缘的交点，c、d分别代表两条直线与图像下边缘的交点，d1表示点a到直线line2的距离，d2表示点c到直线line1的距离。
[0080]
通过对测试集中200张麦苗图像进行测试并统计，平均角度误差为0.82
°
，平均距离误差为12.16像素。
[0081]
实施例2：
[0082]
在应用本发明的具体实施例2中，分别从2021.02.25，2021.03.11，2021.03.25，2021.04.07的四个时间点拍摄的麦苗图片中选取麦苗图像，利用基于改进yolov3的麦苗行中心线检测方法进行测试，如图9所示，从图中可以看出，第1个时间点中的麦苗经过冬天后刚开始生长，麦苗行的轮廓清晰。改进的yolov3模型可以准确地检测麦苗行的位置，提取的麦苗行中心线较准确。随着麦苗的生长，麦苗行越来越宽，部分相邻两行麦苗的叶片已经交叉在一起，但模型仍能检测出麦苗行大致位置，提取的麦苗行中心线在一定程度上可以代表相应行的麦苗。
[0083]
实施例3：
[0084]
在应用本发明的具体实施例3中，为验证基于改进yolov3的麦苗行中心线检测方法对麦田环境的适应性，分别从图像集中选取存在杂草、阴影、强光、暗光的图像进行测试。从图10中可以看出，麦苗行的检测及中心线的提取并没有受到影响。因此，基于改进yolov3的麦苗行中心线检测方法对杂草、阴影及光线变化具有一定的抗干扰性。
[0085]
实施例4：
[0086]
在应用本发明的具体实施例4中，验证拍摄过程中的偏航角对基于改进yolov3的麦苗行中心线检测方法的影响。现实中，农机在田地里作业时由于地面不平、机械振动及作物行可能存在的直线误差等原因不可避免地会导致采集图像过程中存在一定偏航角。所以，一种稳定的作物行中心线提取方法应该同样适应于相机偏航角不为0时采集的图像。这里用图像集中旋转不同角度的图像模拟存在一定偏航角的图像。图11为图像旋转10
°
、20
°
、30
°
时麦苗行中心线提取的效果，从图中可以看出，图像的旋转对于麦苗行线的提取并没有太大的影响。由此看来，基于改进yolov3的麦苗行中心线检测方法对于存在偏航角的麦苗图像具有一定的适应性。
[0087]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域技术人员来说，其依然可以对前述实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0088]
除说明书所述的技术特征外，均为本专业技术人员的已知技术。