一种基于卷积和图神经元网络的规则化道路提取方法

1.本发明涉及一种基于卷积和图神经元网络的规则化道路提取方法，可实现规则化道路路面的自动化提取，有效提高道路提取结果的完整性和规则性，能够部分代替道路路面的生产工作，可应用于地理信息更新、城市规划、自动驾驶等领域。


背景技术：

2.道路路面作为一种基础地理数据，规则的道路路面图在城市规划、地理信息更新、汽车导航和自动驾驶等领域都有着重要且广泛的应用。然而，尽管近年来对地观测技术和深度学习技术取得了飞速的发展，目前道路路面图的构建和更新仍然是一件依赖于人工操作的工作。
3.近年来，许多基于高分辨率遥感影像的深度学习道路路面提取方法被提出，这些方法大多是语义分割方法，虽然取得了显著的成效，但是在复杂的场景中，由于光照的影响，遥感影像中的树木、建筑物和阴影会对道路造成遮挡，它们通常产生连通性差、不完整、不规则的提取结果，远低于人类绘制水平。目前，还没有方法能够实现提取规则的、完整的、接近人类绘制水平的道路路面。


技术实现要素：

4.为了解决目前道路提取问题所遇到的瓶颈，实现全自动提取接近手工绘制的道路路面，一方面可以收集和利用一些容易获取的道路相关数据作为补充，另一方面需要应用一种有效的正则化方法。openstreetmap等开源道路中心线数据和图神经元网络的发展为解决上述问题带来了可能。
5.因此，为了解决道路提取中目前主流分割方法提取结果的不完整、不规则问题，就需要结合开源数据和正则化方法，研究一种全新的道路提取框架结构，实现全自动提取接近人类绘制水平的道路路面。
6.本发明针对现有技术的不足，提供了一种基于卷积神经元网络和图神经元网络的遥感影像规则路面提取框架，通过充分利用开源的道路中心线数据，并将图神经元网络引入规则化的道路宽度回归中，将道路路面提取问题转化为中心线节点的规则化宽度预测问题，首次实现了端到端提取达到人类绘制水平的规则化道路路面，并能够同时纠正偏移的中心线位置。
7.实现本发明目的采用的技术方案是，一种基于卷积和图神经元网络的规则化道路提取方法，包括如下步骤：
8.步骤1，根据给定影像和对应路面的中心线标注文件，生成等距的矢量型道路中心线图结构，并计算道路节点的宽度信息；
9.步骤2，利用步骤1构建的道路宽度样本和中心线矢量信息(即中心线图结构)，将影像整体区域分成子图分批训练卷积神经元网络和图神经元网络组成的规则化宽度预测网络，预测中心线每一道路节点的左右宽度信息。其中，卷积神经元网络提取每一节点的高
级抽象特征和道路边界特征，并与节点位置特征串联组成每一节点的特征向量，作为图神经元网络的输入；图神经元网络通过在中心线图结构中传播、聚合节点特征信息，整体优化节点特征，最终预测得到每一节点的左右规则化宽度信息；
10.步骤3，利用步骤2中得到的道路节点左右宽度信息和中心线图结构，生成规则道路路面，并将偏移的中心线纠正到中心位置。
11.进一步的，步骤1的具体实现包括如下子步骤：
12.步骤1.1，中心线矢量化：将遥感影像所对应的道路中心线标注矢量化为由节点和线构成的矢量型中心线图结构，并将节点重采样为等距；
13.步骤1.2，计算节点方向向量：根据节点的度计算节点方向向量。若节点度为1，即仅有一个邻居节点，则根据该邻居节点与节点计算方向；若节点度为2，即有两个邻居节点，则根据两邻居节点计算方向；若节点度大于2，即有三个及以上邻居节点，则不计算方向；
14.步骤1.3，计算节点左右宽度：根据步骤1.2中计算的节点方向，对于度小于等于2的节点，可得到节点垂线方向，垂线方向与所对应的路面标签相交即可得到节点的左右宽度；对于度大于2的节点，不做处理。
15.进一步的，步骤2的具体实现包括如下子步骤：
16.步骤2.1，构建中心线子图：由于gpu的限制，影像中所有节点不能一次性输入网络，需要根据步骤1.1中生成的矢量型中心线图，构建子图。通过在中心线图的节点中选择一个随机起点，从该起点出发，通过随机深度优先或广度优先搜索定量节点个数(如64或128)构成中心线子图，作为输入网络的一个批次。下一次的随机起点选择跳过已处理的节点，直到覆盖整个中心线图，即处理完成一整张影像；
17.步骤2.2，裁剪节点块：根据步骤2.1构建的中心线子图和步骤1.2中计算的节点方向，以节点位置为中心裁剪大小为256
×
256像素的影像、中心线，并旋转到垂直方向，使道路边缘位于节点左右两侧；
18.步骤2.3，预测节点宽度：将步骤2.2中制作的节点影像、中心线块输入到所提出的规则化宽度预测网络，预测节点左右两侧宽度值。
19.进一步的，所述规则化宽度预测网络包括卷积神经元网络特征提取部分和图神经元网络宽度规则化回归部分。其中，卷积神经元网络特征提取主体部分包括十一层连续堆叠的卷积层和之后相连的三层全连接层。第一层卷积层的卷积核大小为5
×
5，步长为2；第二、四、六、八、十层卷积层的卷积核大小为3
×
3，步长为1；第三、五、七、九、十一层卷积层的卷积核大小为3
×
3，步长为2；同时，一个卷积核为3
×
3，步长为1的卷积层与第四层相连，通过一个softmax激活函数生成粗略的道路边缘提取结果，构成卷积神经元网络分支部分。在卷积神经元网络主体部分中，通过三层全连接层生成64维节点高阶特征向量；卷积神经元网络分支部分通过三层全连接层，生成62维节点边缘特征向量；将节点在输入块中的位置作为2维位置特征向量，与64维节点高阶特征向量和62维节点边缘特征向量串联生成每一节点128维特征向量，作为图神经元网络中每一节点的输入特征。
20.进一步的，图神经元网络包括三层gat层，第一层有四个注意力头，将128维特征向量转化为64维向量；第二层有四个注意力头，将64
×
4维向量转化为8维向量；最后一层只有一个注意力头，将8
×
4维向量转化为4维向量，代表节点两侧边缘节点的位置坐标，可通过该坐标得到节点两侧的宽度。输入图神经元网络的中心线图结构包括两种，这两种图结构
都是由步骤1.1中得到的中心线矢量图结构生成，它们共享相同的节点集，但边的连接关系有所不同。第一种图结构假设信息传播仅在同一条逻辑道路上进行。同一条逻辑道路指该道路的相邻节点间转角小于30
°
。第二种图结构假设节点之间的信息传播限制在两个相邻的端点或交叉点之间，即路段之间。
21.进一步的，所述规则化宽度预测网络的损失函数包括粗略的道路边缘预测均方差损失函数和最终的宽度回归均方差损失函数两部分，这两部分按经验设置权重为100和1。
22.进一步的，步骤3中的具体实现包括如下子步骤：
23.步骤3.1，生成规则化路面：根据道路中心线矢量和步骤2中预测得到的节点左右宽度可得到每一节点对应的道路左右边界节点位置。对于交叉节点，在步骤2中不做预测，通过求其周围邻居节点宽度平均值得到宽度信息并确定邻居节点对应的每一方向边缘节点位置。依次连接边缘节点，即可得到规则化道路路面图；
24.步骤3.2，纠正偏移的中心线：通过算术平均步骤2中预测得到的节点左右宽度，得到道路节点的中心位置，进而得到纠正后的中心线。
25.与现有技术相比，本发明具有如下优点和有益效果：
26.本发明提出了一种从遥感图像和现有道路中心线数据中进行正则化路面提取(及中心线校正)的全新框架结构，将路面提取任务转化为在预先从道路中心线构建的图结构中的宽度推断。这是首个基于图神经元网络的规则化路面提取框架。
27.提出的道路提取框架由卷积神经元网络和图神经元网络组成。前端卷积神经元网络既提取用于后续图神经元网络回归的高级抽象特征，又提取用于从背景中识别道路的边界特征。后端图神经元网络对道路中心线矢量图中的高级特征进行传播和聚合，实现对道路宽度的全局优化预测，实现规则化的道路路面提取，改善了分割方法结果不规则、不完整的局限性。
28.本发明提出的方法能够通过对每个道路顶点的两侧宽度预测进行后处理，同时实现中心线偏移校正。
附图说明
29.图1是本发明的整体框架图。
30.图2是本发明中规则化宽度预测网络结构图。
31.图3是本发明中输入图神经元网络的图结构示意图。
32.图4是本发明中绘制规则化道路路面和纠正偏移中心线示意图。
具体实施方式
33.下面通过实施例和附图说明本发明的具体实施方式。
34.本发明实施例提供一种基于卷积图神经元网络的规则化道路提取方法，包括如下步骤：
35.步骤1，根据已有的影像和对应的路面及中心线标注文件制作道路宽度样本库，生成等距的矢量型道路中心线图结构，并计算道路节点的宽度信息；
36.步骤2，利用步骤1构建的道路宽度样本和中心线矢量信息，将影像整体区域分成子图分批训练卷积神经元网络和图神经元网络组成的规则化宽度预测网络，得到每一节点
的左右宽度信息；
37.步骤3，利用步骤2中得到的道路节点左右宽度信息和中心线图结构，生成规则道路路面，并将偏移的中心线纠正到中心位置。
38.进一步的，步骤1的具体实现包括如下子步骤：
39.步骤1.1，中心线矢量化。将遥感影像所对应的道路中心线标注矢量化为由节点和线构成的矢量型中心线图结构，并将节点重采样为等距，以便后续图神经元网络中的信息传播。
40.步骤1.2，计算节点方向向量。根据节点的度计算节点方向向量。若节点度为1，即仅有一个邻居节点，则根据该邻居节点与节点计算方向；若节点度为2，即有两个邻居节点，则根据两邻居节点计算方向；若节点度大于2，即有三个及以上邻居节点，则不计算方向。
41.步骤1.3，计算节点左右宽度。对于道路中心线图中度小于等于2的节点，根据步骤1.2中计算的节点方向，可得到节点垂线方向，垂线方向与所对应的路面标签相交即可得到节点的左右宽度；对于道路中心线图中度大于2的节点，不做处理。
42.进一步的，步骤2的具体实现包括如下子步骤：
43.步骤2.1，构建中心线样本子图。由于gpu的限制，影像中所有节点不能一次性输入网络，所以需要根据步骤1.1中生成的矢量型中心线图，构建样本子图。通过在中心线图的节点中选择一个随机起点，从该起点出发，通过随机深度优先或广度优先搜索定量节点个数(如64,128)构成中心线样本子图，作为输入网络的一个批次。下一次选择随机起点时，跳过已处理的节点，通过随机深度优先或广度优先搜索得到下一批次子图，如此往复，直到覆盖整个中心线图的所有节点，即处理完成一整张影像。
44.步骤2.2，裁剪节点块，包括节点所对应的影像、中心线图和路面边缘标签。根据步骤2.1构建的中心线子图和步骤1.2中计算的节点方向，以节点位置为中心裁剪大小为256
×
256像素的影像、中心线、路面标签块，并旋转到垂直方向，使道路边缘位于节点左右两侧，便于让网络辨别方向；处理路面标签块，重采样到原始大小的四分之一，即64
×
64像素大小，并用canny算子提取边缘生成路面边缘标签块。
45.步骤2.3，训练规则化宽度预测网络。将步骤2.2中制作的节点影像、中心线块输入规则化宽度预测网络，用步骤1.3中生成的左右宽度和步骤2.2中生成的路面边缘标签块监督训练规则化宽度预测网络，得到输入节点的左右两侧宽度值。
46.上述规则化宽度预测网络包括卷积神经元网络特征提取部分和图神经元网络规则化宽度回归部分组成。其中，卷积神经元网络特征提取包括主体部分和分支部分。主体部分包括十一层连续堆叠的卷积层和之后相连的三层全连接层，每一层卷积层都使用了批标准化加快训练速度。第一层卷积层的卷积核大小为5
×
5，步长为2；第二、四、六、八、十层卷积层的卷积核大小为3
×
3，步长为1；第三、五、七、九、十一层卷积层的卷积核大小为3
×
3，步长为2；同时，一个卷积核为3
×
3，步长为1的卷积层与第四层相连，通过一个softmax激活函数生成粗略的道路边缘提取结果，构成卷积神经元网络分支部分。卷积神经元网络主体部分通过三层全连接层，生成64维节点高阶特征向量；卷积神经元网络分支部分通过三层全连接层，生成62维节点边缘特征向量；将节点在输入块中的位置作为2维位置特征向量，与64维节点高阶特征向量和62维节点边缘特征向量串联生成每一节点128维特征向量，作为图神经元网络中每一节点的输入特征。
47.本发明中输入图神经元网络的中心线图结构包括两种，分别是逻辑图结构和路段图结构，这两种图结构都是由步骤1.1中得到的中心线矢量图结构生成，它们共享相同的节点集，但边的连接关系有所不同。第一种逻辑图结构认为一条逻辑上相同的道路的节点间转角小于30
°
，并假设信息传播仅在同一条逻辑道路上进行，即仅逻辑上相连的道路节点在图结构中具有连接关系；第二种路段图结构假设节点之间的信息传播限制在两个相邻的端点或交叉点之间，即仅同一路段的道路节点在图结构中具有连接关系。
48.图神经元网络规则化宽度回归部分包括三层gat
1.层，在上述两种图结构中传播、聚合节点之间的特征信息。第一层有四个注意力头，每个注意力头将输入的128维特征向量转化为64维向量，并在最后将各个注意力头的结果串联；第二层有四个注意力头，每个注意力头将64
×
4维向量转化为8维向量，并在最后将各个注意力头的结果串联；最后一层只有一个注意力头，将8
×
4维向量转化为4维向量，代表节点两侧边缘节点的位置坐标，通过该坐标可得到节点两侧的宽度。该网络的损失函数包括粗略的道路边缘预测均方差损失函数和最终的宽度回归均方差损失函数两部分，这两部分按经验设置权重为100和1。
49.[1]p.g.cucurull,a.casanova et al.,“graph attention networks,”arxiv preprint arxiv:1710.10903,2017.
[0050]
进一步的，步骤3中的具体实现包括如下子步骤：
[0051]
步骤3.1，生成规则化路面。对于中心线图中度小于等于2的节点，根据道路中心线矢量和步骤2中预测得到的节点左右宽度可得到每一节点对应的道路左右边界节点位置。对于交叉节点，在步骤2中不做预测，通过求其周围邻居节点宽度平均值得到宽度信息并确定邻居节点对应的每一方向边缘节点位置。依次连接得到的边缘节点，得到规则化道路路面图。
[0052]
步骤3.2，纠正偏移的中心线。通过算术平均步骤2中预测得到的节点左右宽度，得到道路节点的中心位置，进而得到纠正后的中心线。
[0053]
本发明提供的一种基于卷积图神经元网络的规则化道路提取方法，根据图1可知总共分为四个部分，分别是数据预处理、卷积神经元网络提取节点特征、图神经元网络回归宽度和最终生成规则化道路路面与纠正偏移的道路中心线。
[0054]
首先在三个层次中进行数据的预处理。在第一个层次中，为了保留道路连接的完整性，预处理部分并不会对影像裁剪成固定的小块，而是通过由中心线标注生成等距的矢量型中心线图结构保留影像区域的整体连接关系；在第二个层次中，由于gpu的限制，不能一次性将整个区域中心线图中的节点信息输入网络，所以需要分批处理中心线图中的n个节点，构成中心线子图。子图由随机起点随机选择深度优先或广度优先搜索起点的n-1个相邻节点得到。在构建下一个子图时，跳过已处理过的节点并搜索，直至覆盖整个中心线图区域；在第三个层次中，处理子图中的每一个节点，裁剪出以子图中每一节点为中心的影像块、中心线块和路面标签块并旋转到垂直方向，影像块的尺寸为256
×
256像素。将路面标签块用canny算子提取出路面边缘，并重采样到原始尺寸的四分之一，即64
×
64像素。
[0055]
然后，将一个批次(即一个子图)中n个节点的影像块和中心线块送入规则化宽度提取网络中，网络结构如图2所示。该网络由卷积神经元网络特征提取部分和图神经元网络规则化宽度回归部分组成。其中，卷积神经元网络特征提取包括主体部分和分支部分。主体部分包括十一层连续堆叠的卷积层和三层全连接层，每一层卷积层都使用了批标准化加快
训练速度。第一层卷积层的卷积核大小为5
×
5，步长为2；第二、四、六、八、十层卷积层的卷积核大小为3
×
3，步长为1；第三、五、七、九、十一层卷积层的卷积核大小为3
×
3，步长为2；同时，一个卷积核为3
×
3，步长为1的卷积层与第四层相连，通过一个softmax激活函数生成粗略的道路边缘提取结果，构成卷积神经元网络分支部分。卷积神经元网络主体部分通过三层全连接层，生成64维节点高阶特征向量；卷积神经元网络分支部分通过三层全连接层，生成62维节点边缘特征向量；将节点在输入块中的位置作为2维位置特征向量，与64维节点高阶特征向量和62维节点边缘特征向量串联生成每一节点128维特征向量，作为图神经元网络中每一节点的输入特征。图神经元网络规则化宽度回归部分包括三层gat层，分别有四个、四个和一个注意力头，将128维特征逐步转化为4
×
64维、4
×
8维和4维特征并作为网络最后的输出，代表节点两侧边缘节点的位置坐标，通过该坐标可得到节点两侧的宽度。
[0056]
在图神经元网络部分，信息传播的图结构有两种，逻辑图结构和路段提结构，如图3所示，相连的道路节点用相同的数字表示。这两种图结构都是由原始的中心线矢量图结构生成，它们共享相同的节点集，但边的连接关系有所不同。第一种逻辑图结构认为一条逻辑上相同的道路的节点间转角小于30
°
，并假设信息传播仅在同一条逻辑道路上进行，即仅逻辑上相连的道路节点在图结构中具有连接关系；第二种路段图结构假设节点之间的信息传播限制在两个相邻的端点或交叉点之间，即仅同一路段的道路节点在图结构中具有连接关系。
[0057]
最后，根据网络预测结果生成规则化道路路面图，并纠正偏移的道路中心线，如图4所示。卷积神经元网络通过训练可得到每个节点的粗略宽度结果，图神经元网络通过对节点间宽度信息进行传播和聚合，优化了节点宽度，平滑了道路路面。最终，通过连接由预测的道路两侧宽度计算得到的两侧边缘点可生成规则的道路路面图，通过算术平均左右两侧宽度可得到纠正偏移后的道路中心线。
[0058]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。