基于最小树的语义地图融合方法、装置、设备及介质与流程

1.本发明涉及地图构建技术领域，具体涉及一种基于最小树的语义地图融合方法、装置、设备及介质。


背景技术：

2.语义地图是一种通过语义标志物等语义信息，对道路环境进行描述的的地图。
3.车辆在驾驶过程中可以采集周围信息以建立语义地图。比如，针对地库场景，每个车辆根据其行驶路径都会构建一个语义地图，如果可以将多个车辆的多次构建的语义地图融合起来，则可以获得地库更全更完整的地图。
4.相关技术中，尚未对将不同的语义地图的融合方式提供解决方案。


技术实现要素：

5.本技术提供了一种基于最小树的语义地图融合方法、装置、设备及介质，该技术方案如下。
6.一方面，提供了一种基于最小树的语义地图融合方法，所述方法包括：获取两个语义地图，每个所述语义地图中包括多个语义标志物，且所述两个语义地图中存在对应有关联关系的语义标志物，所述关联关系表示不同语义地图中的语义标志物为同一语义标志物；利用最小树，连接每个所述语义地图中的语义标志物，以构建所述两个语义地图对应的两个图模型；对所述两个图模型构建图优化的残差函数，并使用所述图优化的残差函数进行所述两个语义地图的融合。
7.又一方面，提供了一种基于最小树的语义地图融合装置，所述装置包括：语义地图获取模块，用于获取两个语义地图，每个所述语义地图中包括多个语义标志物，且所述两个语义地图中存在对应有关联关系的语义标志物，所述关联关系表示不同语义地图中的语义标志物为同一语义标志物；最小树算法模块，用于利用最小树，连接每个所述语义地图中的语义标志物，以构建所述两个语义地图对应的两个图模型；残差函数构建模块，用于对所述两个图模型构建图优化的残差函数，并使用所述图优化的残差函数进行所述两个语义地图的融合。
8.又一方面，提供了一种计算机设备，所述计算机设备中包含处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的基于最小树的语义地图融合方法。
9.又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的基于最小树的语义地图融合方法。
10.再一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的基于最小树的语义地图融合方法。
11.本技术提供的技术方案可以包括以下有益效果：利用最小树对两个语义地图分别构建两个图模型，构建的图模型中语义标志物之间是连接的，在对两个图模型构建图优化的残差函数的情况下，可以约束语义标志物之间的刚性约束，因此，使用图优化的残差函数进行两个语义地图的融合时，加入了语义标志物之间的刚性约束，从而实现更加精准的语义地图的融合。
附图说明
12.为了更清楚地说明本技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1是根据一示例性实施例示出的语义地图进行融合的示意图。
14.图2是根据一示例性实施例示出的基于最小树的语义地图融合方法的方法流程图。
15.图3是根据一示例性实施例示出的构建最小树连接语义地图中的语义标志物的示意图。
16.图4是根据一示例性实施例示出的基于最小树的语义地图融合方法的方法流程图。
17.图5是根据一示例性实施例示出的一种基于最小树的语义地图融合装置的结构方框图。
18.图6是根据一示例性实施例提供的一种计算机设备的示意图。
具体实施方式
19.下面将结合附图对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.应理解，在本技术的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，a指示b，可以表示a直接指示b，例如b可以通过a获取；也可以表示a间接指示b，例如a指示c，b可以通过c获取；还可以表示a和b之间具有关联关系。
21.在本技术实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
22.本技术实施例中，“预定义”可以通过在设备（例如，包括终端设备和网络设备）中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本技术对于其具体
的实现方式不做限定。
23.在本技术实施例中，基于最小树实现了一种语义地图的融合方法，此种方法利用最小树构建图模型，加入到语义地图融合的约束中，以保持各个语义地图本身的刚性约束，实现效果更精确的语义地图的融合。
24.示例性的，本技术实施例的应用场景可以是自动泊车或者自动驾驶场景中的语义地图融合。
25.比如，因为车辆在驾驶的时候会采集周边信息构建语义地图。如果两辆车辆分别采集了同一车库的语义地图，由于行走路线不一样，两个语义地图不太可能是一模一样的，所以可以将这两个地图进行拼接，得到一个更大的地图。此地图可以用做下次车辆自动驾驶的导航地图。
26.比如，将本技术实施例提供的技术方案用在自主泊车项目上，自主泊车的一个功能就是，人第一次自己把车开到车位上，然后第二次车能自己开过去。在一定时间和一定次数的人工驾驶之后，可以采集到多个语义地图，对这些语义地图进行融合，基于构建的融合后的地图，车辆可以实现自主泊车功能。
27.示例性的，结合参考图1，在得到两个不同的语义地图之后，对这两个语义地图进行融合，可以得到一个更加完整的语义地图。
28.下面，对本技术实施例提供的基于最小树的语义地图融合方法进行进一步说明。
29.图2是根据一示例性实施例示出的基于最小树的语义地图融合方法的方法流程图。如图2所示，该基于最小树的语义地图融合方法可以包括如下步骤：步骤210：获取两个语义地图，每个语义地图中包括多个语义标志物，且两个语义地图中存在对应有关联关系的语义标志物，关联关系表示不同语义地图中的语义标志物为同一语义标志物。
30.其中，语义地图一种是通过语义标志物对周围环境进行描述的地图。语义标志物包括：车位，车道短虚线，柱子，指示箭头，消防箱等等。
31.在本技术实施例中，获取不完全相同的两个语义地图，这两个语义地图可以来自于同一车辆的不同次观测，也可以来自于不同车辆的观测。
32.在本技术实施例中，两个语义地图中存在对应有关联关系的语义标志物，关联关系指的是两个语义地图中的两个语义标志物实际上是同一个语义标志物。
33.示例性的，结合参考图3，语义地图1和语义地图2存在对应有关联关系的语义标志物：语义地图1中的语义标志3与语义地图2中的语义标志物9对应有关联关系；语义地图1中的语义标志5与语义地图2中的语义标志物11对应有关联关系。可以将上述关联关系写入语义地图1、语义地图2的关联集合。
34.步骤220：利用最小树，连接每个语义地图中的语义标志物，以构建两个语义地图对应的两个图模型。
35.为了保持语义标志物之间的刚性约束，需要对语义标志物进行连接，在连接了语义地图中的语义标志物之后，即构建了两个语义地图对应的两个图模型。在本技术实施例中，通过最小树的方式，对语义标志物进行连接。
36.其中，最小树也可以称为最小生成树，其含义为在对语义标志物进行连接时，边权重最小的一种树。可以理解的是，相对于其他类型的语义标志物的连接方式，如，全连接，通
过最小树连接语义标志物，可以减少算法复杂度。
37.示例性的，结合参考图3，针对语义地图1、语义地图2，利用最小树对两个语义地图分别构建图模型，使得语义地图1中的语义标志物之间通过边相连接，语义地图2中的语义标志物之间也通过边相连接。
38.步骤230：对两个图模型构建图优化的残差函数，并使用图优化的残差函数进行两个语义地图的融合。
39.其中，图优化的残差函数用于表示基于两个图模型进行相应的两个语义地图的融合时，融合的效果。
40.在本技术实施例中，对两个图模型构建图优化的残差函数，由于图模型中的语义标志物是连接的，因此，构建的图优化的残差函数加入了语义标志物之间的刚性约束。
41.其中，语义标志物之间的刚性约束可以理解为有边相连接的两个语义标志物之间，存在边约束，边约束包含了相对位置约束和相对朝向约束。
42.综上所述，本实施例提供的基于最小树的语义地图融合方法，利用最小树对两个语义地图分别构建两个图模型，构建的图模型中语义标志物之间是连接的，在对两个图模型构建图优化的残差函数的情况下，可以约束语义标志物之间的刚性约束，因此，使用图优化的残差函数进行两个语义地图的融合时，加入了语义标志物之间的刚性约束，从而实现更加精准的语义地图的融合。
43.在示意性实施例中，图优化的残差函数可以用于优化两个语义地图之间的变换关系，以及优化语义标志物，以对两个语义地图进行更好的融合。
44.图4是根据一示例性实施例示出的基于最小树的语义地图融合方法的方法流程图。如图4所示，该基于最小树的语义地图融合方法可以包括如下步骤：步骤410：获取两个语义地图，每个语义地图中包括多个语义标志物，且两个语义地图中存在对应有关联关系的语义标志物，关联关系表示不同语义地图中的语义标志物为同一语义标志物。
45.本步骤的具体实现方式可以参见上述步骤210，在此不再赘述。
46.步骤420：利用最小树，连接每个语义地图中的语义标志物，以构建两个语义地图对应的两个图模型。
47.本步骤的具体实现方式可以参见上述步骤220，在此不再赘述。
48.步骤430：通过将两个图模型中的一个定义为源地图，另一个定义为目标地图，对两个图模型构建图优化的残差函数。
49.在本技术实施例中，定义其中一个图模型为源地图，另一个图模型为目标地图，可以通过将源地图中的语义标志物变换到目标地图中，来实现两个语义地图的融合。在进行图模型的定义时，可以选择两个图模型中语义标志物较多的图模型为目标地图，语义标志物较少的图模型为源地图。
50.在一种可能的实现方式中，图优化的残差函数中包括如下三个部分的残差相：第一部分残差项，第一部分残差项用于表示两个图模型中存在关联关系的语义标志物从源地图变换到目标地图前后的位姿的一致性；第二部分残差项，用于表示目标地图中的有边相连的两个语义标志物i和j在优化前后的相对位姿的一致性；
第三部分残差项，用于表示源地图中的有边相连的两个语义标志物i和j从源地图变换到目标地图前后的相对位姿的一致性。
51.下面，对各个部分残差项进行进一步说明。
52.（1）第一部分残差项。
53.通过如下公式，构建第一部分残差项：通过如下公式，构建第一部分残差项：；其中，|| ||是距离函数，s用于指示源地图，t用于指示目标地图，是优化增量，是源地图中语义标志物的空间点，是目标地图中语义标志物的空间点，是目标地图中语义标志物的空间点的优化增量，是源地图中语义标志物的法向量，是目标地图中语义标志物的法向量，是目标地图中语义标志物的法向量的优化增量。
54.在本技术实施例中，对于关联集合中的语义标志物，将源地图中的语义标志物，变化到目标地图，并通过第一部分残差公式，使其在变换前后的位姿保持一致。
55.其中，第一部分残差项的第一个公式用于表示两个图模型中存在关联关系的语义标志物从源地图变换到目标地图前后的位置的一致性；第一部分残差项的第二个公式用于表示两个图模型中存在关联关系的语义标志物从源地图变换到目标地图前后的朝向的一致性。
56.（2）第二部分残差项。
57.通过如下公式，构建第二部分残差项：通过如下公式，构建第二部分残差项：；其中，|| ||是距离函数，t用于指示目标地图，是优化增量，是目标地图中语义标志物i的空间点的优化增量，是目标地图中语义标志物j的空间点的优化增量，是目标地图中语义标志物i的法向量，是目标地图中语义标志物j的法向量，是目标地图中语义标志物i的法向量的优化增量，是目标地图中语义标志物j的法向量的优化增量。
58.在本技术实施例中，对于目标地图中的语义标志物，对其中有边相连的两个节点i和j，约束其相对位姿在优化前后保持不变。
59.其中，第二部分残差项的第一个公式用于表示目标地图中的有边相连的两个语义标志物i和j在优化前后的相对位置的一致性；第二部分残差项的第二个公式用于表示目标地图中的有边相连的两个语义标志物i和j在优化前后的相对朝向的一致性。
60.（3）第三部分残差项。
61.通过如下公式，构建第三部分残差项：、；其中，|| ||是距离函数，s用于指示源地图，是优化增量，是源地图中语义标志物i的空间点的优化增量，是源地图中语义标志物j的空间点的优化增量，是源地图中语义标志物i的法向量，是源地图中语义标志物j的法向量，是源地图中语义标志物i的法向量的优化增量，是源地图中语义标志物j的法向量的优化增量。
62.在本技术实施例中，对于源地图中的语义标志物，对其中有边相连的两个节点i和j，先将其变换到目标地图，再约束其相对位姿在变换前后保持不变。
63.在一种可能的实现方式中，在源地图中的语义标志物i与目标地图中的语义标志物k存在关联关系的情况下，第三部分残差项更新为：、；其中，|| ||是距离函数，s用于指示源地图，t用于指示目标地图，是优化增量，是目标地图中语义标志物k的空间点的优化增量，是源地图中语义标志物j的空间点的优化增量，是目标地图中语义标志物k的法向量，是源地图中语义标志物j的法向量，是目标地图中语义标志物k的法向量的优化增量，是源地图中语义标志物j的法向量的优化增量。
64.其中，第三部分残差项的第一个公式用于表示源地图中的有边相连的两个语义标志物i和j从源地图变换到目标地图前后的相对位置的一致性；第三部分残差项的第二个公式用于表示源地图中的有边相连的两个语义标志物i和j从源地图变换到目标地图前后的相对朝向的一致性。
65.在一种可能的实现方式中，上述残差项中的距离函数为欧式距离。在另一种可能
的实现方式中，在语义地图中保存了各个语义标志物的协方差矩阵的情况下，上述残差项中的距离函数为马氏距离。
66.步骤440：对图优化的残差函数进行求解，得到求解结果，求解结果包括：两个图模型中的源地图到目标地图的变换关系、语义标志物的变量的优化增量。
67.其中，变换关系包括：旋转r和平移t，语义标志物的变量包括：空间点p和法向量n。
68.在一种可能的实现方式中，通过梯度优化方法，对图优化的残差函数进行求解，以得到求解结果。
69.在一种可能的实现方式中，结合上述公式，求解结果具体包括：旋转r、平移t；第一部分残差项中的、；第二部分残差项中的、、、；第三部分残差项中的（或）、、（或）、。
70.步骤450：基于求解结果，将两个语义地图进行融合并得到融合地图。
71.综上所述，本实施例提供的基于最小树的语义地图融合方法，通过定义第一部分残差项、第二部分残差项、第三部分残差项，图优化的残差函数可以用于优化两个语义地图之间的变换关系，以及优化语义标志物，以对两个语义地图进行更好的融合需要说明的是，上述方法实施例可以单独实施例，也可以组合实施，本技术对此不加以限制。
72.图5是根据一示例性实施例示出的一种基于最小树的语义地图融合装置的结构方框图。所述装置包括：语义地图获取模块501，用于获取两个语义地图，每个所述语义地图中包括多个语义标志物，且所述两个语义地图中存在对应有关联关系的语义标志物，所述关联关系表示不同语义地图中的语义标志物为同一语义标志物；最小树算法模块502，用于利用最小树，连接每个所述语义地图中的语义标志物，以构建所述两个语义地图对应的两个图模型；残差函数构建模块503，用于对所述两个图模型构建图优化的残差函数，并使用所述图优化的残差函数进行所述两个语义地图的融合。
73.在一种可能的实现方式中，所述残差函数构建模块503，用于：通过将所述两个图模型中的一个定义为源地图，另一个定义为目标地图，对所述两个图模型构建所述图优化的残差函数；对所述图优化的残差函数进行求解，得到求解结果，所述求解结果包括：所述源地图到所述目标地图的变换关系、所述语义标志物的变量的优化增量；基于所述求解结果，得到两个语义地图后的融合地图；其中，所述变换关系包括：旋转r和平移t，所述语义标志物的变量包括：空间点p和法向量n。
74.在一种可能的实现方式中，所述图优化的残差函数中包括：第一部分残差项，所述第一部分残差项用于表示所述两个图模型中存在关联关系的语义标志物从所述源地图变换到所述目标地图前后的位姿的一致性；所述残差函数构建模块503，用于：通过如下公式，构建所述第一部分残差项：
、；其中，|| ||是距离函数，s用于指示源地图，t用于指示目标地图，是优化增量，是源地图中语义标志物的空间点，是目标地图中语义标志物的空间点，是目标地图中语义标志物的空间点的优化增量，是源地图中语义标志物的法向量，是目标地图中语义标志物的法向量，是目标地图中语义标志物的法向量的优化增量。
75.在一种可能的实现方式中，所述图优化的残差函数中包括：第二部分残差项，用于表示所述目标地图中的有边相连的两个语义标志物i和j在优化前后的相对位姿的一致性；所述残差函数构建模块503，用于：通过如下公式，构建所述第二部分残差项：、；其中，|| ||是距离函数，t用于指示目标地图，是优化增量，是目标地图中语义标志物i的空间点的优化增量，是目标地图中语义标志物j的空间点的优化增量，是目标地图中语义标志物i的法向量，是目标地图中语义标志物j的法向量，是目标地图中语义标志物i的法向量的优化增量，是目标地图中语义标志物j的法向量的优化增量。
76.在一种可能的实现方式中，所述图优化的残差函数中包括：第三部分残差项，用于表示所述源地图中的有边相连的两个语义标志物i和j从所述源地图变换到所述目标地图前后的相对位姿的一致性；所述残差函数构建模块503，用于：通过如下公式，构建所述第三部分残差项：、；
其中，|| ||是距离函数，s用于指示源地图，是优化增量，是源地图中语义标志物i的空间点的优化增量，是源地图中语义标志物j的空间点的优化增量，是源地图中语义标志物i的法向量，是源地图中语义标志物j的法向量，是源地图中语义标志物i的法向量的优化增量，是源地图中语义标志物j的法向量的优化增量。
77.在一种可能的实现方式中，在所述源地图中的语义标志物i与所述目标地图中的语义标志物k存在关联关系的情况下，所述第三部分残差项更新为：、；其中，|| ||是距离函数，s用于指示源地图，t用于指示目标地图，是优化增量，是目标地图中语义标志物k的空间点的优化增量，是源地图中语义标志物j的空间点的优化增量，是目标地图中语义标志物k的法向量，是源地图中语义标志物j的法向量，是目标地图中语义标志物k的法向量的优化增量，是源地图中语义标志物j的法向量的优化增量。
78.在一种可能的实现方式中，所述距离函数包括：欧式距离；或，马氏距离。
79.需要说明的是：上述实施例提供的基于最小树的语义地图融合装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
80.请参阅图6，其是根据本技术一示例性实施例提供的一种计算机设备的示意图，所述计算机设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的基于最小树的语义地图融合方法。
81.其中，处理器可以为中央处理器（central processing unit，cpu）。处理器还可以为其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
82.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
83.存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
84.在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、只读光盘（compact disc read-only memory，cd-rom）、磁带、软盘和光数据存储设备等。
85.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
86.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。