一种基于时空图神经网络的农机作业轨迹田路分割方法

1.本发明属于计算机网络应用技术领域的一种基于时空图神经网络的农机作业轨迹田路分割方法。


背景技术：

2.目前在农机有效作业轨迹分割方法和技术存在的缺陷主要有：
3.(1)基于农田边界的分割方法：首先，人工采集相关的农田边界；其次，当农机行驶时，根据其实时定位信息自动判定该农机是否进入农田，从而达到作业轨迹田路分割的目的。但是，农田边界人工采集会耗费人力物力，不能适应农机作业少人化，无人化的发展趋势，并且人工采集存在误报漏报的情况，也不利于农机有效作业轨迹的统计和监管。
4.(2)基于遥感图像的分割方法：给定农机行驶区域的遥感图像，采用图像分割方法进行田路分割。该方法会极大地受到遥感图像数据本身的限制。例如，遥感图像的低分辨率会降低图像分割效果，进而降低分割准确率。
5.(3)基于密度聚类的分割方法：针对农田和道路上轨迹点密度不同这个特征，采用聚类方法进行轨迹田路分割；但是，密度特征过于单一，不能有效地进行农机作业轨迹田路分割。例如，道路红绿灯处的轨迹点密度往往很高，导致这些区域会被误识为农田，降低了分割准确率。
6.(4)基于传统机器学习的分割方法：采用传统的全监督的机器学习方法对轨迹点进行分类(“农田”vs.“道路”)。在轨迹点分类过程中，默认轨迹点之间没有相关性。为弥补这个缺陷，在使用各种分类方法前，需要进行特征工程，尽可能地提取不同轨迹点之间的相关特征。这些特征提取往往耗时耗力，并且不能很好地提取轨迹点之间的空间相关性信息，导致田路分割准确率较低。
7.(5)基于深度学习的分割方法：采用一些常用深度学习模型(例如，lstm，cnn)对轨迹点进行分类(“农田”vs.“道路”)。这些常用深度学习模型目前只应用于城市交通轨迹分割，并没有在农机作业轨迹田路分割上进行相关实验。而且，这些常用深度学习模型也不能同时提取不同轨迹点之间的时空间相关性信息，进而导致田路分割准确率较低。
8.随着农业现代化进程的发展，个体种植的经营方式逐步向集体种植方式转变，在农业生产的过程中产生了大量的农机作业轨迹数据。因此，挖掘有效农机作业轨迹并推算出农田作业面积对于大规模农业生产管理具有十分重要的意义。播种、施肥、农药喷洒等生产资料的投入量都需要估算农田面积，根据农机作业轨迹推算出农机的有效作业面积对于农业机械进行田间作业计算工时和收费也具有很大的参考价值。精确的田路分割方法可以精准地估算出农田面积，以此可以减少计算农田面积投入的人力和物力。北斗定位全球卫星定位系统能够提供农机实时的经度、纬度、方向等导航和定位信息，是支撑精细农业实践的核心技术之一。利用北斗定位的定位功能，能够测量农机不同时刻轨迹点的经度和纬度，从而为田路分割方法的研究提供了数据支撑。监管农机轨迹数据并挖掘其中的价值信息能够推动农业现代化建设。同时，农机作业轨迹监测也是“互联网 农机作业”新型监管模式的
重要体现。
9.伴随着物联网技术的兴起和发展，基于位置服务的数据处理方法不断出现，精准农业领域正是这样一个以信息技术为基础的领域。利用导航定位终端设备可以获取农机轨迹数据，根据加工处理数据后获取的信息人们能够提高农田和道路分割准确率。


技术实现要素：

10.本发明的目的是提出一种基于时空图神经网络的农机作业轨迹田路分割方法，其特征在于，采用基于时间与空间关系的时空图神经网络对农机有效作业轨迹进行分割，利用安装在农机上的北斗定位采集模块采集农机轨迹数据，利用农机轨迹数据中不同轨迹点之间的关联信息构建时空图神经网络，以便挖掘到更加丰富的轨迹点特征信息，从而对农机作业轨迹实现农田和道路的自动分割；具体而言，针对某一台农机的一天的轨迹数据构建一个时空图，其可以有效利用同一块农田内轨迹点之间的相关性构建不同类型的边；然后，采用图卷积网络在这个时空图中进行信息传播及特征提取，为每个轨迹点挖掘更加丰富的上下文信息，以提高轨迹点分类效果；具体包括三大步骤：
11.(1)输入特征抽取：农机轨迹数据中每一行数据含有某一时刻农机的位置、方向和速度信息特征；利用这些信息计算两点之间的经纬度差、加速度和转向角度，丰富其特征维度；最后每个轨迹点是由7个特征组成一个向量来表示，具体包括经度差、纬度差、速度、方向差、转向角、加速度和加速度变化率。
12.(2)时空图构建：为了充分利用轨迹数据所蕴含的时空信息，分别设计了基于时间维度寻找邻近点与基于空间维度寻找邻近点的算法，为每幅轨迹中的每个轨迹点找到上述时空相关的7个轨迹点，构建相应的边，最终得到整幅轨迹的时空图；具体而言，可以分为轨迹点选择、时间相关边构建、空间相关边构建、自相关边构建几个步骤。
13.(3)轨迹点特征的卷积变换：采用图卷积网络进行多次轨迹点特征信息传递，最终得到每个轨迹点新特征表示；由于每个轨迹点与邻居轨迹点的关联强度不同，每次轨迹点特征信息传递使用一个聚合层进行轨迹点之间的信息传递；具体而言，将输入图的邻接矩阵a变换成一个带权矩阵b，即在带权矩阵b中，表示边连接关系的值不再都是1，而是一个权重值，通过这种方式就可以实现对所有邻居轨迹点的加权平均；另外，这些权重值代表的是轨迹点之间的关联强度，其值是通过训练时空图卷积神经网络得到；具体而言，对于第1次轨迹点特征信息传递所使用的聚合层，其计算由以下函数表示：
[0014][0015]
上式中，h
(l)
是第1个聚合层的输入特征矩阵，σ为非线性激活函数，是邻接矩阵a的归一化矩阵，w
(l)
是训练权重。
[0016]
所述构建轨迹数据时空图是以选定的轨迹数据中t时刻的轨迹点p
t
为基准点，寻找上一时刻t-1的时间最邻近的轨迹点p
t-1
和时间次邻近点p
t-2
，同理，p
t 1
和p
t 2
分别为轨迹点p
t
在下一时刻t 1的时间上最邻近的轨迹点和时间次邻近点；其次，从去除时间最邻近轨迹点与时间次邻近点轨迹点外的所有轨迹点中寻找在空间距离上与轨迹点p
t
最邻近的轨迹点p
s1
以及次距离邻近点p
s2
。
[0017]
本发明的有益效果如下
[0018]
(1)本发明第一点突出效果：针对农机轨迹数据中传统深度学习方法识别效果不好，本发明提出一个时空图卷积神经网络，进行轨迹点的田路分类，其能整体提升田路分割的准确率。
[0019]
(2)本发明第二点突出效果：针对同一块农田内轨迹点之间的时空相关性，本技术提出基于时空的二维构图方式，其能有效提升图卷积神经网络的分类效果。
[0020]
(3)本发明第三点突出效果：我们大量的实验分析表明时空图卷积神经网络不仅在分割准确率上而且在模型可靠性上都优于传统的田路分割方法。
附图说明
[0021]
图1为基于时间与空间维度输入子图。
[0022]
图2为基于时空的图神经网络卷积过程。
[0023]
图3为实验流程图。
具体实施方式
[0024]
本发明提出一种基于时空图神经网络的农机作业轨迹田路分割方法，该方法采用基于时间与空间关系的时空图神经网络对农机有效作业轨迹进行分割，利用安装在农机上的北斗定位采集模块采集农机轨迹数据，利用农机轨迹数据中不同轨迹点之间的关联信息构建时空图神经网络，以便挖掘到更加丰富的轨迹点特征信息，从而对农机作业轨迹实现农田和道路的自动分割；具体而言，针对某一台农机的一天的轨迹数据构建一个时空图，其可以有效利用同一块农田内轨迹点之间的相关性构建不同类型的边；然后，采用图卷积网络在这个时空图中进行信息传播及特征提取，为每个轨迹点挖掘更加丰富的上下文信息，以提高轨迹点分类效果；下面结合附图和实施例对本发明予以进一步说明。包括三大步骤：
[0025]
(1)输入特征抽取：农机轨迹数据中每一行数据含有某一时刻农机的位置、方向和速度信息特征；利用这些信息计算两点之间的经纬度差、加速度和转向角度，丰富其特征维度；最后每个轨迹点是由7个特征组成一个向量来表示，具体包括经度差、纬度差、速度、方向差、转向角、加速度和加速度变化率。
[0026]
(2)时空图构建：为了充分利用轨迹数据所蕴含的时空信息，分别设计了基于时间维度寻找邻近点与基于空间维度寻找邻近点的算法，为每幅轨迹中的每个轨迹点找到上述时空相关的7个轨迹点，构建相应的边，最终得到整幅轨迹的时空图(如图1所示)；具体而言，可以分为轨迹点选择、时间相关边构建、空间相关边构建、自相关边构建几个步骤。
[0027]
(3)轨迹点特征的卷积变换：采用图卷积网络进行多次轨迹点特征信息传递(如图2所示)，最终得到每个轨迹点新特征表示；由于每个轨迹点与邻居轨迹点的关联强度不同，每次轨迹点特征信息传递使用一个聚合层进行轨迹点之间的信息传递；具体而言，将输入图的邻接矩阵a变换成一个带权矩阵b，即在带权矩阵b中，表示边连接关系的值不再都是1，而是一个权重值，通过这种方式就可以实现对所有邻居轨迹点的加权平均；另外，这些权重值代表的是轨迹点之间的关联强度，其值是通过训练时空图卷积神经网络得到；对于第1次轨迹点特征信息传递所使用的聚合层，其计算由以下函数表示：
[0028]
[0029]
上式中，h
(l)
是第1个聚合层的输入特征矩阵，σ为非线性激活函数，是邻接矩阵a的归一化矩阵，w
(l)
是训练权重。
[0030]
所述构建轨迹数据时空图是以选定的轨迹数据中t时刻的轨迹点p
t
为基准点，寻找上一时刻t-1的时间最邻近的轨迹点p
t-1
和时间次邻近点p
t-2
，同理，p
t 1
和p
t 2
分别为轨迹点p
t
在下一时刻t 1的时间上最邻近的轨迹点和时间次邻近点；其次，从去除时间最邻近轨迹点与时间次邻近点轨迹点外的所有轨迹点中寻找在空间距离上与轨迹点p
t
最邻近的轨迹点p
s1
以及次距离邻近点p
s2
。
[0031]
实施例
[0032]
本实施例所使用的实验数据均来自沃得农机公司的小麦收割机与水稻收割机，总共有150辆小麦收割机的作业轨迹数据和100辆水稻收割机的作业轨迹数据。这些轨迹中的轨迹点定位精度较差(大概2-5米)，并且作业地点分布在中国不同省份，作业条件相差极大，这都导致了传统田路分割方法处理效果较差。本实施例包括如下步骤：
[0033]
步骤一、数据获取，利用安装在农机上的北斗定位采集模块采集农机每天的作业轨迹，每台农机每天的轨迹为一幅轨迹数据；
[0034]
步骤二、数据清理，在轨迹数据采集过程中，经常会出现重采样、静止轨迹等采样错误情况，为了避免采样错误对后续分类方法造成影响，需要对轨迹数据进行相应的清理，具体包括：
[0035]
1)重采样类型：清理掉两点之间时间间隔为0s的点，保留的点为第一个。
[0036]
2)静止轨迹类型：清理掉经纬度相同，速度为0的点保留点仍为第一个。
[0037]
3)重复点类型：清理掉经纬度相同，速度相同且不为0的连续的点，保留点为第一个。
[0038]
4)静态漂移类型：清理掉经纬度不相同、速度为0且连续的点，保留点为第一个。
[0039]
5)经纬度异常类型：因数据采集区域为中国的多个省市，故经纬度的范围超出中国的范围时，则此时采集的点为经纬度异常的情况需要进行清理，清理方式为直接进行删除。
[0040]
步骤三、输入特征抽取，对于数据清洗后每幅轨迹中的每个轨迹点，分别计算当前时刻轨迹点与上一时刻轨迹点的经度差、纬度差、方向差等属性特征，这样每个节点用一个7维向量来表示。
[0041]
步骤四、构建时空图，为了充分利用轨迹数据所蕴含的时空信息，分别设计了基于时间维度寻找邻近点与基于空间维度寻找邻近点的算法，为每幅轨迹的每个轨迹点找到时空相关的7个轨迹点，构建相应的边，最终得到整幅轨迹的时空图。
[0042]
具体而言，针对某一台农机一天作业轨迹，构建一个图g＝(v；e；r)，其中节点pj∈v是轨迹点，r(pi，pj)∈e是连接轨迹点pi和pj的关系类型是r∈r的边。
[0043]
节点选择：图中的节点就是轨迹中的轨迹点。如图2所示，一幅轨迹有n个轨迹点，相应的时空图中就有n个轨迹点。
[0044]
时间相关边的构建：以某一时刻t的轨迹点p
t
为例，从时间维度上寻找其之前的最邻近轨迹点p
t-1
和次邻近轨迹点p
t-2
，以及之后的最邻近轨迹点p
t 1
和次邻近轨迹点p
t 2
，构建相应的时间相关边，如图1所示。
[0045]
空间相关边的构建：在去除了轨迹点p
t-2
、p
t-1
、p
t 1
、p
t 2
后的轨迹中，从空间维度上
寻找基准轨迹点p
t
的最邻近距离轨迹点p
s1
和次距离邻近点轨迹点p
s2
，构建相应的空间相关边，如图1所示。
[0046]
自相关边的构建：构建轨迹点p
t
的自相关边，如图1所示。
[0047]
步骤五、轨迹点特征的卷积变换，对于输入的时空图，采用图卷积方法进行多次轨迹点特征信息传递，最终得到每个轨迹点的新特征表示。由于每个轨迹点与邻居轨迹点的关联强度不同，每次轨迹点特征信息传递使用一个聚合层进行轨迹点之间的卷积变换。具体而言，将输入图的邻接矩阵a变换成一个带权矩阵b，即在b中，表示边连接关系的值不再都是1，而是一个权重值，通过这种方式就可以实现对所有邻居轨迹点的加权平均。另外，这些权重值代表的是轨迹点之间的关联强度，其值是通过训练时空图卷积神经网络得到。
[0048]
对于第1次轨迹点特征信息传递所使用的聚合层，其计算由以下函数表示：
[0049][0050]
上式中，h
(l)
是第1个聚合层的输入特征矩阵，σ为非线性激活函数，是邻接矩阵a的归一化矩阵，w
(l）
是训练权重。
[0051]
步骤六，轨迹点分类，本发明采用线性网络进行轨迹点分类，预测每个轨迹点的标签是农田还是道路。
[0052]
实验结果
[0053]
基于上述构想，针对所选数据设计了轨迹数据时空图，分别在小麦和水稻这两个数据集使用时空图卷积神经网络(gcn)进行了实验，最终的实验结果如表1和表2所示。对小麦收割轨迹数据进行实验时，150幅轨迹数据按照8∶1∶1的比例随机划分为训练集、验证集和测试集。在对水稻收割轨迹数据进行实验时，150幅轨迹数据按照8∶1∶1的比例随机划分为训练集、验证集和测试集。
[0054]
通过表1和表2比较得知，水稻收割轨迹的田路分割效果普遍好于小麦收割轨迹的田路分割效果。例如，对于gcn模型，其f1-score分别是84.22％和75.77％。这极大部分是由于数据不平衡问题。具体而言，在小麦收割轨迹数据中，如表1所示田路轨迹点的比例为1∶4；而在水稻收割轨迹数据中，如表2所示田路轨迹点的比例为1∶1.4。
[0055]
表1小麦收割机轨迹数据的实验效果
[0056] 农田道路平均准确率89.7275.4182.57召回率96.7047.7272.21f1-score93.0858.4575.77
[0057]
表2水稻收割机轨迹数据的实验结果
[0058] 农田道路平均准确率84.8188.5386.67召回率94.5371.3782.95f1-score89.4179.0384.22
[0059]
除此之外，采用了常用的三种轨迹分割方法，随机森林(rf)，决策树(dt)，长短期记忆网络(lstm)，作为基线模型在水稻数据和小麦数据上进行了对比实验，最终的实验对比分析结果如表3、表4所示。相比基线模型，基于gcn的农机作业轨迹田路分割模型在这2个
数据集上的表现是最好的，这表明时空图卷积神经网络的可靠性。
[0060]
表3小麦收割机轨迹数据的实验对比分析结果
[0061] lstmdtrfgcn准确率79.7372.1275.9482.57召回率66.1853.2753.8272.21f1-score69.7152.0152.9175.77
[0062]
表4水稻收割机轨迹数据的实验对比分析结果
[0063] lstmdtrfgcn准确率80.5571.1373.6086.67召回率76.4269.2971.7782.95f1-score77.5969.8572.3884.22
[0064]
综上所述，传统的分类、聚类算法对训练数据的维度、属性依赖度比较高，而且对于农田分布面积较广、农田道路边界模糊的情况分割效果比较差。本发明利用安装在农机上的北斗定位采集模块采集农机轨迹数据，构建轨迹数据的时空图，可以基于时间与空间的特征信息对孤立的轨迹数据进行关联，使挖掘到的轨迹数据信息更加丰富，采用基于时间与空间关系图的神经网络对农机有效作业轨迹进行分析。克服了传统算法农田分类准确率低、农田道路边界错误分类等问题，实现了对农机作业轨迹进行农田和道路的可靠分割。