一种航线规划、作物作业方法、装置、设备及存储介质与流程

1.本发明实施例涉及农业技术领域，尤其涉及一种航线规划、作物作业方法、装置、设备及存储介质。


背景技术：

2.随着无人机技术的发展，越来越多的用户开始采用无人机进行植保作业，尤其是利用无人机进行农药喷洒和化肥喷洒等，具有对农作物损害小、农药利用率高、降低劳动强度等优点。
3.无人机在进行植保作业时，通常是按照规划航线图进行作业。目前航线规划图的确定方法是基于目标作业农田卫星图或测绘图，通过等距平行线规划的方法近似生成按行作业的航线规划图。但是按照基于现有方法确定航线规划图进行作业时，容易出现规划的航线与实际种植行不匹配的情况，从而无法满足按行作物需求。


技术实现要素：

4.本发明实施例提供一种航线规划、作物作业方法、装置、设备及存储介质，可以使航线规划与实际种植行更加匹配，满足按行作业需求，提高作业效率以及准确率。
5.第一方面，本发明实施例提供了一种航线规划方法，包括：
6.确定作物图像，并确定作物图像中种植行的主方向；
7.基于所述主方向以及所述作物图像中作物分布确定累加曲线；
8.基于所述累加曲线以及所述主方向确定的直线集合，确定所述作物图像中种植行区域；
9.基于每个种植行区域中作物的连通域确定航线规划图。
10.第二方面，本发明实施例提供了一种作物作业方法，包括：
11.采用本发明实施例提供的方法确定航线规划图；
12.基于所述航线规划图对作物进行作业。
13.第三方面，本发明实施例还提供了一种航线规划装置，包括：
14.第一确定模块，用于确定作物图像，并确定作物图像中种植行的主方向；
15.第二确定模块，用于基于所述主方向以及所述作物图像中作物分布确定累加曲线；
16.第三确定模块，用于基于所述累加曲线以及所述主方向确定的直线集合，确定所述作物图像中种植行区域；
17.第四确定模块，用于基于每个种植行区域中作物的连通域确定航线规划图。
18.第四方面，本发明实施例提供了一种设备，包括：
19.一个或多个处理器；
20.存储装置，用于存储一个或多个程序，
21.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理
器实现本发明实施例提供的方法。
22.第五方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明实施例提供的方法。
23.本发明实施例提供的技术方案，通过作物图像中种植行的主方向以及作物图像中作物分布确定累加曲线，并基于累加曲线以及主方向确定的直线集合确定作物图像中种植行区域，通过每个种植行区域中作物的连通域确定航线规划图，即通过累加曲线以及种植行的主方向确定种植行区域，并根据每个种植行区域中作物的连通域确定航线规划图，可以使航线的规划与实际种植行更加匹配，满足按行作业需求，提高作业效率以及准确率。
附图说明
24.图1是本发明实施例提供的一种航线规划方法流程图；
25.图2a是本发明实施例提供的一种航线规划方法流程图；
26.图2b是作物图像；
27.图2c是作物图像和外接矩形得到的图像；
28.图2d是确定种植行区域的原理图像；
29.图3a是本发明实施例提供的一种航线规划方法流程图；
30.图3b为植被所在区域图像；
31.图3c是图3b通过筛选之后得到的作物图像；
32.图3d是将作物图像中的连通域进行标记效果图；
33.图3e是待执行的农田图像；
34.图3f是将作物的连通域关键点连接成的单行线的示意图；
35.图3g是航线规划图的示意图；
36.图4a是本发明实施例提供的一种航线规划方法流程图；
37.图4b是本发明实施例提供的一种航线规划方法流程图；
38.图4c是本发明实施例提供的一种作物作业方法流程图；
39.图5a是本发明实施例提供的一种航线规划装置结构框图；
40.图5b是本发明实施例提供的一种作物作业装置结构框图；
41.图6是本发明实施例提供的一种设备的结构示意图。
具体实施方式
42.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
43.图1是本发明实施例提供的一种航线规划方法流程图，所述方法可以由航线规划装置来执行，所述装置可以由软件和/或硬件来实现，所述装置可以配置在无人机，计算机、服务器或者云端等设备中。本发明实施例提供的方法适用于对作物按行作业时航线规划的情况，如图1所示，本发明实施例提供的技术方案包括：
44.s110：确定作物图像，并确定作物图像中种植行的主方向。
45.在本发明实施例中的一个实施方式中，可选的，确定作物图像的方法可以是通过
拍摄农田图像，将农田图像输入到作物识别模型中，得到作物图像，通过作物识别模型识别作图图像，可以快速准确实现对作物图像的识别。或者在本发明实施例的另外一个实施方式中，可以对农田图像通过图像算法进行处理，从而识别作物，得到作物图像。其中，作物图像可以是作物的灰度图像，或者可以是作物的二值化图像，或者还可以是其他格式的图像。
46.需要说明的是，确定作物图像的方法并不局限于上述的方法，还可以采用其他可以从农田图像中提取作物图像的方法。
47.在本发明实施例的一个实施方式中，可选的，所述确定作物图像中种植行的主方向，包括：基于所述霍夫直线检测方法对所述作物图像进行直线检测，基于检测到的直线数据确定所述作物图像中种植行的主方向。具体的，可以将作物图像转换至极坐标霍夫空间，通过霍夫空间累加器返回排序靠前的直线的角度和半径列表。通过对霍夫空间累加器返回的结果进行统计分析确定种植行的方向。其中，可以选择出现次数最多的角度作为种植行的方向，或者当返回结果小于设定数量时，选择排序第一的角度作为种植行的主方向，或者还可以是其他选择主方向的方法。例如，霍夫空间累加器返回的部分结果可以参考表1所示的内容。
48.表1
[0049][0050][0051]
上述序号1-7的结果中，角度为0.85，或者0.83，rho值各不相同，由此可以得到，同一个方向(可能是主方向)存在多条直线(图像里有较多种植行，一条直线代表一条种植行)，对上述的返回结果进行统计分析，得到主方向为0.8336628550028777。
[0052]
需要说明的是，本发明实施例中，对作物图像中的直线检测并不局限于上述的霍夫直线检测方法，还可以是其他直线检测的方法。
[0053]
s120：基于所述主方向以及所述作物图像中作物分布确定累加曲线。
[0054]
在本发明实施例的一个实施方式中，可选的，所述基于所述主方向以及所述作物图像中作物分布确定累加曲线，包括：基于所述作物图像中作物像素点的个数或者非作物像素点的个数，以及所述主方向确定累加曲线。其中，具体的，可以确定作物图像的外接矩形，以外接矩形的长度方向和宽度方向分别作为两个坐标轴，在宽度方向上累加作物像素点个数，或者非作物像素点的个数，得到累加曲线。具体可以详见下述实施例的介绍。或者也可以以主方向为高度方向确定作物图像的外接矩形，以外接矩形的长度方向和高度方向
分别作为两个坐标轴，在高度方向上累加作物像素点个数，或者非作物像素点的个数，得到累加曲线。具体可以详见下述实施例的介绍。
[0055]
在一个具体的实施方式中，可选的，也可以不确定作物图像的外接矩形，可以以主方向为一个坐标轴，以与主方向垂直的方向作为另一个坐标轴。在主方向上累加作物像素点的个数，或者累加非作物像素点的个数，得到累加曲线。或者可以不确定作物图像的外接矩形，可以以主方向为纵坐标轴，以与主方向垂直的方向为横坐标轴，在主方向上累加作物像素点的个数，或者累加非作物像素点的个数，得到累加曲线。
[0056]
由此，通过主方向以及作物图像中作物分布确定累加曲线，可以为确定作物图像种植行区域提供依据，从而准确确定种植行区域。
[0057]
s130：基于所述累加曲线以及所述主方向确定的直线集合，确定所述作物图像中种植行区域。
[0058]
在本发明实施例中，具体的，可以确定累加曲线的波峰顶点(或者波谷点)，基于波峰顶点(或者波谷点)以及主方向确定的直线集合，切割出作物图像中的种植行区域。其中，主方向确定的直线集合为与主方向平行的直线组成的集合。或者具体的，也可以对累加曲线进行平滑处理，确定平滑处理后累加曲线的波峰顶点(或者波谷点)，从而基于波峰顶点(波谷点)和主方向确定的直线集合切割出作物图像中的种植行区域。其中，平滑处理的方法可以参考相关技术中的方法。具体确定种植行区域的方法可以参考下述实施例的介绍。
[0059]
s140：基于每个种植行区域中作物的连通域确定航线规划图。
[0060]
在本发明实施例中，作物的连通域可以是每颗作物像素点形成的区域，或者也可以理解为作物所在区域。
[0061]
在本发明实施例中的一个实施方式中，所述基于每个种植行区域中作物的连通域确定航线规划图，包括：基于每个种植行区域中作物的连通域，确定作物的连通域关键点；基于所述连通域关键点确定航线规划图。其中，连通域关键点的确定方法可以是连通域水平方向的切割线的中点，也可以是对连通域的几何质心，还可以有其他类似的能实现相同目的方法。连通域关键点表征的是针对单个连通域，便于种植行曲线拟合这个连通域的坐标点。种植行曲线拟合的方法包括但不限于通过局部加权回归(lowess，statsoijklmodels.api.nonparametric.lowess)生成关键点集合对应的中心线对应点集合，其中，中心线的生成可以通过插值的方法，插值的方法包括但不限于interp1d插值法(其中，代码可参考scipy.interpolate.interp1d)。
[0062]
在本发明实施例的一个实施方式中，可选的，所述基于所述连通域关键点确定航线规划图，包括：将每个种植行区域内作物的连通域关键点连接成单行线；将相邻种植行的单行线首尾连接，得到航线规划图。具体的，将每个种植行区域内作物的连通域关键点连接成单行线，将相邻种植行的单行线呈几字形连接，得到航线规划图，并且航线规划图可以添加各个位置的坐标信息，从而可以对单棵作物进行相关作业。
[0063]
本发明实施例提供的技术方案，通过作物图像中种植行的主方向以及作物图像中作物分布确定累加曲线，并基于累加曲线以及主方向确定的直线集合确定作物图像中种植行区域，通过每个种植行区域中作物的连通域确定航线规划图，即通过累加曲线以及种植行的主方向确定种植行区域，并根据每个种植行区域中作物的连通于确定航线规划图，可以使航线的规划与实际种植行更加匹配，满足按行作业的需求，提高作业效率以及准确率。
[0064]
图2a是本发明实施例提供的一种航线规划方法流程图，本实施例中可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，可选的，
[0065]
所述基于所述作物图像中非作物像素点的个数，以及所述主方向确定累加曲线，包括：
[0066]
以所述主方向为高度方向确定所述作物图像的外接矩形；
[0067]
以所述外接矩形的长度方向为横坐标轴，以所述外接矩形的高度方向为纵坐标轴，在所述外接矩形的高度方向上累加非作物像素点的个数得到累加曲线。
[0068]
可选的，所述基于所述累加曲线以及所述主方向确定的直线集合，确定所述作物图像中种植行区域，包括：
[0069]
对所述累加曲线进行平滑处理，并确定平滑处理后的累加曲线的波峰顶点；
[0070]
基于所述波峰顶点以及所述主方向确定的直线集合，切割出所述作物图像中的种植行区域；其中，所述主方向确定的直线集合为与所述主方向平行的直线组成的集合。
[0071]
如图2a所示，本发明实施例提供的技术方案包括:
[0072]
s210：确定作物图像，并确定作物图像中种植行的主方向。
[0073]
其中，s210的介绍可以参考上述实施例中s110的介绍。
[0074]
s220：以所述主方向为高度方向确定所述作物图像的外接矩形。
[0075]
在本发明实施例中，具体的，以主方向为外接矩形的高度方向确定作物图像的外接矩形。例如，如图2b为作物图像，将作物图像中种植行的主方向为外接矩形的高度方向得到的外接矩形可以参考图2c，具体方法可以是将作物图像旋转，以使种植行的主方向为矩形的高度方向，然后基于作物图像的所有顶点作出作物图像的外接矩形。
[0076]
s230：以所述外接矩形的长度方向为横坐标轴，以所述外接矩形的高度方向为纵坐标轴，在所述外接矩形的高度方向上累加非作物像素点的个数得到累加曲线。
[0077]
在本发明实施例中，对图像进行扫描，针对图像中的每个横坐标位置，在外接矩形的高度方向(主方向)上累加的非作物像素的个数作为纵坐标，从而得到累加曲线。累加曲线可以参考图2d中的曲线。
[0078]
s240：对所述累加曲线进行平滑处理，并确定平滑处理后的累加曲线的波峰顶点。
[0079]
在本发明实施例中，平滑处理包括但不限于移动平均滤波去噪、lowess平滑后去噪，一元样条函数(univariate spline)拟合后去噪、savitzky_golay滤波器平滑后去噪。其中，去噪的情况包括但不限于修正savitzky_golay滤波器平滑后负数的值等。计算平滑处理后累加曲线的波峰顶点与宽度，可以用scipy峰值查找算法(其中，代码内容可参考scipy.signal.find_peaks)等类似方法。
[0080]
s250：基于所述波峰顶点以及所述主方向确定的直线集合，切割出所述作物图像中的种植行区域；其中，所述主方向确定的直线集合为与所述主方向平行的直线组成的集合。
[0081]
在本发明实施例中的一个实施方式中，可选的，针对任意相邻的两个波峰顶点，分别过所述两个波峰顶点的两条目标直线之间的种植区域为种植行区域，其中，所述两条目标直线分别为所述主方向平行的直线。例如，如图2d所示，过波峰顶点的直线为目标直线，相邻的两条目标直线之间的种植区域为种植行区域。其中，种植行区域的宽度大于作物横向宽度，目标直线可以是两行作物的中间分界线。
[0082]
在本发明实施例中，可以对主方向确定的直线集合在一定邻域范围内左右偏移，在以外接矩形的长度方向为横坐标轴，以外接矩形的高度方向为纵坐标轴，在外接矩形的高度方向上累加非作物像素点的个数得到累加曲线的情况下，偏移的触发条件可以是邻域内原始累加曲线存在累加值等于外接矩形高度的横轴点。偏移的原因是有可能一个波峰顶点经过平滑处理之后，距离原来的真正的累加值为零的横轴点有所偏移，则该偏移是有限的。由此，对累加曲线进行平滑处理之后，若在离波峰顶点设定距离阈值的范围内搜索到平滑处理前的累加曲线上累加值为外接矩形高度的目标位置，将经过所述波峰顶点的目标直线平移至所述目标位置。具体的，设定一个距离阈值(邻域)，在波峰顶点的邻域内搜索平滑处理前累加曲线的累加值为外接矩形高度的点，将过该波峰顶点的直线平移至平滑处理前累加曲线的累加值为外接矩形高度的点处，从而可以准确确定与主方向平行的直线的位置，从而可以准确确定种植行区域。在确定种植行区域时，如果缺少左右边界线，可以补加边界线。
[0083]
由此，通过确定作物图像的外接矩形，以外接矩形的长度方向为横坐标轴，以外接矩形的高度方向为纵坐标轴，在外接矩形的高度方向上累加非作物像素点的个数得到累加曲线，并通过波峰顶点以及主方向确定的直线集合，切割出所述作物图像中的种植行区域，可以根据实际情况准确确定种植行区域，为航线规划提供依据。
[0084]
s260：基于每个种植行区域中作物的连通域确定航线规划图。
[0085]
在本发明实施例的另外的实施方式中，确定累加曲线的方法还可以是：基于所述作物图像中作物像素点的个数，以及所述主方向确定累加曲线。具体是：以所述主方向为高度方向确定所述作物图像的外接矩形；以所述外接矩形的长度方向为横坐标轴，以所述外接矩形的高度方向为纵坐标轴，在所述外接矩形的高度方向上累加作物像素点的个数，得到累加曲线。相应的，所述基于所述累加曲线以及所述主方向确定的直线集合，确定所述作物图像中种植行区域，包括：对所述累加曲线进行平滑处理，并确定平滑处理后的累加曲线的波谷点；基于所述波谷点以及所述主方向确定的直线集合，切割出所述作物图像中的种植行区域；其中，所述主方向确定的直线集合为与所述主方向平行的直线组成的集合。其中，累加曲线的中作物像素点的累加方法可以参考上述实施例中非作物像素点的累加方法，两者方法类似。
[0086]
其中，基于所述波谷位置以及所述主方向确定的直线集合，切割出所述作物图像中的种植行区域，可以包括：针对任意相邻的两个波谷点，分别过所述两个波谷点的两条目标直线之间的种植区域为种植行区域，其中，所述两条目标直线分别为所述主方向平行的直线。其中，确定波谷点的方法可以相关技术中的方法。需要说明的是，在本发明实施例的其他实施方式中，基于所述作物图像中作物像素点的个数或者非作物像素点的个数，以及所述主方向确定累加曲线，可以包括：确定所述作物图像的外接矩形；所述主方向与所述外接矩形的宽度方向平行；以所述外接矩形的长度方向为第一坐标轴，以所述外接矩形的宽度方向为第二坐标轴，在所述外接矩形的宽度方向上累加作物像素个数，或者非作物像素点的个数，得到累加曲线。其中，第一坐标轴和第二坐标轴互相垂直。该得到累加曲线的方法与本实施例上述得到累加曲线的原理相同，不同的是，外接矩形的高度方向是竖直方向，外接矩形的宽度方向并不一定是竖直方向。
[0087]
图3a是本发明实施例提供的一种航线规划方法流程图，本实施例中可以与上述一
个或者多个实施例中各个可选方案结合，在本实施例中，作物图像为作物的二值化图像，可选的，所述确定作物图像，包括：
[0088]
将待执行的农田图像输入到作物识别模型中，得到作物图像。
[0089]
可选的，本发明实施例提供的方法还包括：
[0090]
从农田图像中提取植被所在区域图像；
[0091]
对所述植被所在区域图像中的植被连通域进行筛选，保留作物的连通域，并生成作物图像，作为作物标注图像，或者对所述区域进行标注，得到作物标注图像；
[0092]
将所述作物标注图像和所述农田图像输入到深度学习模型中进行预训练，得到作物识别模型。
[0093]
如图3a所示，本发明实施例提供的技术方案包括：
[0094]
s310：从每张农田图像中提取植被所在区域图像。
[0095]
在本发明实施例中，可以拍摄多张农田图像，形成农田图像集，并从每张农田图像中提取植被所在区域图像。
[0096]
其中，提取植被所在区域图像方法包括但不限于颜色空间，比如红绿蓝(rgb)转色调、饱和度和亮度(hsv)、颜色指数、植被指数等区分方法。以超绿指数(excess green)为例，exg＝2*green
–
red
–
blue。公式右边是rgb三通道的某像素值，公式的实际使用需要归一化等数学处理。计算超绿指数后，通过阈值分离出植被区域，大于阈值的为非零值，小于阈值的置零，生成二值化图像。阈值可以根据需要人为设定，也可以通过二值化大津法(ostu)获得。
[0097]
s320：对所述植被所在区域图像中的植被连通域进行筛选，保留作物的连通域，并生成作物图像，作为作物标注图像，或者对所述区域图像中的作物连通域进行标注，得到作物标注图像。
[0098]
在本发明实施例中，植被连通域的筛选方法包括但不限于设定阈值法、统计筛选法、形状筛选法、纹理筛选法等。其中，统计筛选法通过统计所有的连通域面积，通过众数、密集区间等方法确定作物面积范围，在面积范围内的植被连通域保留，作为作物的连通域。其中，图3b为植被所在区域图像，如图3b所示，一个斑点可以认为是一个连通域，可以计算每一个连通域的面积。植被区域总面积大于等于作物区域总面积。通过筛选之后生成的作物图像的可以参考图3c，其中，作物图像可以是二值化图像。其中，该作物图像也可以称为label图，可以采用高斯圆法可以将3c中所有连通域替换为相应的高斯圆。
[0099]
在本发明实施例中，得到作物标注图像的方法还可以是对植被所在区域图像中作物连通域进行标注，例如，可以采用人工标注的方法，或者作物连通域也可以通过算法进行生成，其中，标注连通域的具体方法是将作物图像中的作物作用采用封闭区域进行标注，例如，可以是四边形，多边形等。将作物图像中的连通域进行标注效果图可以参考图3d。由此，通过该方法可以避免作物连通域的出现错误的现象，可以使作物连通域的确定更加准确。
[0100]
s330：将作物标注图像和所述农田图像输入到深度学习模型中进行预训练，得到作物识别模型。
[0101]
在本发明实施例中，深度学习模型可以是目标检测模型，例如可以是yolo(you only look once)模型，深度学习模型可以是卷积神经网络模型。可以将多张标记的作物图像以及对应的农田图像输入到深度学习模型中进行预训练，得到作物识别模型。
[0102]
其中，作物识别模型训练的过程可以是：可以将多张作物标注图像以及对应的农田图像划分为训练数据集、测试数据集和验证数据集。通过训练数据集对深度学习模型进行训练，通过测试数据集对训练的深度学习模型进行测试，从而更新深度学习模型中的网络参数。最后，通过验证数据集对训练的深度学习模型进行验证，并进行效果评估，当效果评估达到预设条件，可以判断该模型可以进行作物识别。
[0103]
s340：将待执行的农田图像输入到作物识别模型中，得到作物图像。
[0104]
由此，通过作物识别模型对作物进行识别，得到作物图像，可以提高处理效率，可以准确得到作物图像。
[0105]
s350：确定作物的图像中种植行的主方向。
[0106]
s360：基于所述主方向以及所述作物图像中作物分布确定累加曲线。
[0107]
s370：基于所述累加曲线以及所述主方向确定的直线集合，确定所述作物图像中种植行区域。
[0108]
s380：基于每个种植行区域中作物的连通域确定航线规划图。
[0109]
其中，s340-s380的介绍可以参考上述实施例。其中，待执行的农田图像可以参考图3e，将作物的连通域关键点连接成的单行线可以参考图3f，航线规划图可以参考图3g。
[0110]
图4a是本发明实施例提供的一种航线规划方法流程图，在本发明实施例中，如图4a所示，本发明实施例提供的技术方案包括：
[0111]
s410：从农田图像中提取植被所在区域图像。
[0112]
s420：对所述植被所在区域图像中的植被连通域进行筛选，保留作物的连通域，并生成作物图像，作为作物标注图像，或者将所述区域图像中的作物连通域进行标注，得到作物标注图像。
[0113]
s430：将作物标注图像和所述农田图像输入到深度学习模型中进行预训练，得到作物识别模型。
[0114]
s440：将待执行的农田图像输入到作物识别模型中，得到作物图像。
[0115]
s450：基于所述霍夫直线检测方法对所述作物进行直线检测，并基于检测到的直线数据确定所述作物图像中种植行的主方向。
[0116]
s460：以所述主方向为高度方向确定所述作物图像的外接矩形。
[0117]
s470：以所述外接矩形的长度方向为横坐标轴，以所述外接矩形的高度方向为纵坐标轴，在所述外接矩形的高度方向上累加非作物像素点的个数得到累加曲线。
[0118]
s480：对所述累加曲线进行平滑处理，并确定平滑处理后的累加曲线的波峰顶点。
[0119]
s490：基于所述波峰顶点以及所述主方向确定的直线集合，切割出所述作物图像中的种植行区域；其中，所述主方向确定的直线集合为与所述主方向平行的直线组成的集合。
[0120]
s491：基于每个种植行区域中作物的连通域，确定作物的连通域关键点。
[0121]
s492：基于所述连通域关键点确定航线规划图。
[0122]
其中，本实施例中各个步骤的介绍可以参考上述实施例。其中，本技术提供的方法也可以参考图4b所示的方法。
[0123]
在上述任意实施例的基础上，本发明实施例提供方法还可以包括：将所述航线轨迹图中的各个位置添加坐标信息，生成航线轨迹图。相关技术中，航线规划图容易出现规划
的航线与实际种植行不匹配的情况，并且较难实现单行作物中针对单棵作物的停留作业，对于株间有间隙(株间或行间有间隙)的按行种植的作物，比如番石榴、火龙果，或者柑橘等果树，存在无人机按行作业的需求，但是目前简单的平行线规划不能满足精细化需求，本发明实施例通过根据作物图像分析种植行区域，根据种植行区域中作物的连通域生成航线规划图，并将航线规划图中的各个位置添加坐标信息，可以准确匹配单颗作物的位置，实现单颗作物的作业，并满足按行作业的需求。
[0124]
图4c是本发明实施例提供了一种作物作业方法流程图，所述方法可以由作物作业装置来执行，所述装置可以由软件和/或硬件来实现，所述装置可以配置在无人机，计算机、服务器或者云端等设备中，如图4c所示，本发明实施例提供的技术方案包括：
[0125]
s41：确定航线规划图。
[0126]
其中，采用本发明上述实施例提供的方法确定航线规划图，请参考上述实施例，不再累述。
[0127]
s42：基于所述航线规划图对作物进行作业。
[0128]
在本发明实施例中，可以基于航线规划图对作物进行喷洒药物、施肥等作业。具体的，可以基于航线规划图控制无人机飞行，当无人机到达作物所在位置，或者到达作物的设定位置时，对作物进行喷洒药物、施肥等作业。例如可以对果树区域进行作业。
[0129]
本发明实施例提供的技术方案，通过上述实施例提供的方法确定航线规划图，并基于航线规划图对作物进行作业，可以满足按行作业需求，提高作业效率以及准确率。
[0130]
图5a是本发明实施例提供的一种航线规划装置结构框图，如图5a所示，所述装置包括：第一确定模块510、第二确定模块520、第三确定模块530和第四确定模块540。
[0131]
第一确定模块510，用于确定作物图像，并确定作物图像中种植行的主方向；
[0132]
第二确定模块520，用于基于所述主方向以及所述作物图像中作物分布确定累加曲线；
[0133]
第三确定模块530，用于基于所述累加曲线以及所述主方向确定的直线集合，确定所述作物图像中种植行区域；
[0134]
第四确定模块540，用于基于每个种植行区域中作物的连通域确定航线规划图。
[0135]
可选的，第二确定模块520，用于基于所述作物图像中作物像素点的个数或者非作物像素点的个数，以及所述主方向确定累加曲线。
[0136]
可选的，第二确定模块520，用于以所述主方向为高度方向确定所述作物图像的外接矩形；
[0137]
以所述外接矩形的长度方向为横坐标轴，以所述外接矩形的高度方向为纵坐标轴，在所述外接矩形的高度方向上累加作物像素点的个数，或者非作物像素点的个数得到累加曲线。
[0138]
可选的，第二确定模块520，用于基于所述作物图像中作物像素点的个数或者非作物像素点的个数，以及所述主方向确定累加曲线，包括：
[0139]
确定所述作物图像的外接矩形；所述主方向与所述外接矩形的宽度方向平行；
[0140]
以所述外接矩形的长度方向为第一坐标轴，以所述外接矩形的宽度方向为第二坐标轴，在所述外接矩形的宽度方向上累加作物像素个数，或者非作物像素点的个数，得到累加曲线。
[0141]
可选的，若以所述外接矩形的长度方向为横坐标轴，以所述外接矩形的高度方向为纵坐标轴，在所述外接矩形的高度方向上累加非作物像素点的个数得到累加曲线；第三确定模块530，用于对所述累加曲线进行平滑处理，并确定平滑处理后的累加曲线的波峰顶点；
[0142]
基于所述波峰顶点以及所述主方向确定的直线集合，切割出所述作物图像中的种植行区域；其中，所述主方向确定的直线集合为与所述主方向平行的直线组成的集合。
[0143]
可选的，所述基于所述波峰顶点以及所述主方向确定的直线集合，切割出所述作物图像中的种植行区域，包括：
[0144]
针对任意相邻的两个波峰顶点，分别过所述两个波峰顶点的两条目标直线之间的种植区域为种植行区域，其中，所述两条目标直线分别为所述主方向平行的直线。
[0145]
可选的，对所述累加曲线进行平滑处理之后，若在离波峰顶点设定距离阈值的范围内搜索到平滑处理前的累加曲线上累加值为所述外接矩形高度的目标位置，将经过所述波峰顶点的目标直线平移至所述目标位置。
[0146]
可选的，若以所述外接矩形的长度方向为横坐标轴，以所述外接矩形的高度方向为纵坐标轴，在所述外接矩形的高度方向上累加作物像素点的个数得到累加曲线；第三确定模块530，用于对所述累加曲线进行平滑处理，并确定平滑处理后的累加曲线的波谷点；
[0147]
基于所述波谷点以及所述主方向确定的直线集合，切割出所述作物图像中的种植行区域；其中，所述主方向确定的直线集合为与所述主方向平行的直线组成的集合。
[0148]
可选的，基于所述波谷位置以及所述主方向确定的直线集合，切割出所述作物图像中的种植行区域，包括：
[0149]
针对任意相邻的两个波谷点，分别过所述两个波谷点的两条目标直线之间的种植区域为种植行区域，其中，所述两条目标直线分别为所述主方向平行的直线。
[0150]
可选的，第四确定模块540，用于基于每个种植行区域中作物的连通域确定航线规划图，包括：
[0151]
基于每个种植行区域中作物的连通域，确定作物的连通域关键点；
[0152]
基于所述连通域关键点确定航线规划图。
[0153]
可选的，所述基于所述连通域关键点确定航线规划图，包括：
[0154]
将每个种植行区域内作物的连通域关键点连接成单行线；
[0155]
将相邻种植行的单行线首尾连接，得到航线规划图。
[0156]
可选的，所述确定作物图像中种植行的主方向，包括：
[0157]
基于所述霍夫直线检测方法对所述作物图像进行直线检测，并基于检测到的直线数据确定所述作物图像中种植行的主方向。
[0158]
可选的，所述确定作物图像，包括：
[0159]
将待执行的农田图像输入到作物识别模型中，得到作物图像。
[0160]
可选的，所述装置还包括训练模块，用于：
[0161]
从每张农田图像中提取植被所在区域图像；
[0162]
对所述植被所在区域图像中的植被连通域进行筛选，保留作物的连通域，并生成作物图像，作为作物标注图像，或者对所述区域图像中作物的连通域进行标注，得到作物标注图像；
[0163]
将作物标注图像和所述农田图像输入到深度学习模型中进行预训练，得到作物识别模型。
[0164]
可选的，所述作物的连通域采用高斯圆；所述作物的连通域采用多边形进行标注。
[0165]
可选的，所述装置还包括生成模块，用于将所述航线轨迹图中的各个位置添加坐标信息，生成航线轨迹图。
[0166]
可选的，所述作物图像包括作物的二值化图像，或者作物的灰度图像。
[0167]
上述装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
[0168]
图5b是本发明实施例提供的一种作物作业装置结构框图，如图5b所示，所述装置包括本发明实施例提供的航线规划装置51和作业模块52。
[0169]
所述航线规划装置51，用于确定航线规划图。
[0170]
其中，航线规划装置具体结构可以参考上述实施例。
[0171]
作业模块52，用于基于所述航线规划图对作物进行作业。
[0172]
上述装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
[0173]
图6是本发明实施例提供的一种设备结构示意图，其中，该设备可以是计算机、服务器、无人机、云端设备等。如图6所示，该设备包括：
[0174]
一个或多个处理器610，图6中以一个处理器610为例；
[0175]
存储器620；
[0176]
所述设备还可以包括：输入装置630和输出装置640。
[0177]
所述设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。
[0178]
存储器620作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种航线规划方法对应的程序指令/模块(例如，附图5a所示的第一确定模块510、第二确定模块520、第三确定模块530和第四确定模块540)或者本发明实施例中一种作物作业方法对应的程序指令/模块(例如，附图5b所示的航线规划装置51和作业模块52)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例的一种航线规划方法，即：
[0179]
确定作物图像，并确定作物图像中种植行的主方向；
[0180]
基于所述主方向以及所述作物图像中作物分布确定累加曲线；
[0181]
基于所述累加曲线以及所述主方向确定的直线集合，确定所述作物图像中种植行区域；
[0182]
基于每个种植行区域中作物的连通域确定航线规划图。
[0183]
或者，
[0184]
实现本发明实施例提供的一种作物作业方法，即：
[0185]
确定作物图像，并确定作物图像中种植行的主方向；
[0186]
基于所述主方向以及所述作物图像中作物分布确定累加曲线；
[0187]
基于所述累加曲线以及所述主方向确定的直线集合，确定所述作物图像中种植行
区域；
[0188]
基于每个种植行区域中作物的连通域确定航线规划图；
[0189]
基于所述航线规划图对作物进行作业。
[0190]
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0191]
输入装置630可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
[0192]
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的一种航线规划方法：
[0193]
确定作物图像，并确定作物图像中种植行的主方向；
[0194]
基于所述主方向以及所述作物图像中作物分布确定累加曲线；
[0195]
基于所述累加曲线以及所述主方向确定的直线集合，确定所述作物图像中种植行区域；
[0196]
基于每个种植行区域中作物的连通域确定航线规划图。
[0197]
或者，
[0198]
实现本发明实施例提供的一种作物作业方法，即：
[0199]
确定作物图像，并确定作物图像中种植行的主方向；
[0200]
基于所述主方向以及所述作物图像中作物分布确定累加曲线；
[0201]
基于所述累加曲线以及所述主方向确定的直线集合，确定所述作物图像中种植行区域；
[0202]
基于每个种植行区域中作物的连通域确定航线规划图；
[0203]
基于所述航线规划图对作物进行作业。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0204]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者
传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0205]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0206]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0207]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。