车辆控制方法和装置与流程

1.本技术涉及自动驾驶领域，尤其涉及一种车辆控制方法和装置。


背景技术：

2.自动驾驶车辆在行驶过程中，需要实时获取自身的位姿信息和位置信息，结合位姿信息、位置信息和高精度地图控制车辆行驶。在获取自身的位姿信息和位置信息过程中，关键一步为在相机采集到的图像上找到标志牌区域。
3.现有技术中，大多基于深度学习的目标检测算法来确定标志牌区域，然而深度学习的目标检测算法大多采用分类加回归的方式，在回归标志牌区域的时候，回归的是标志牌的中心点坐标以及宽高，将中心点坐标以及宽高确定的矩形区域作为标志牌区域。
4.然而，通过上述方法确定的矩形区域并不是严格意义上的标志牌区域，该矩形区域既包括标志牌，又包括非标志牌部分，基于该矩形区域确定的位姿信息和位置信息准确度不高，而位姿信息和位置信息是自动驾驶车辆行驶过程中重要参考，位姿信息和位置信息如果不够准确无疑会影响自动驾驶车辆行驶安全。


技术实现要素：

5.本技术提供一种车辆控制方法和装置，在目标检测模型中搭建两个分支，其中一个分支用于输出目标对象的分割掩码，另一分支用于输出目标对象的关键点，基于目标对象的分割掩码和目标对象的关键点，确定标志牌的角点坐标，进而基于标志牌的角点坐标确定标志牌区域。和现有技术中矩形区域相比，本技术的方案确定的标志牌区域更加准确，基于标志牌区域确定的位姿信息和位置信息也更加准确，而位姿信息和位置信息是自动驾驶车辆行驶过程中重要参考，本技术的方案可提升车辆行驶安全性。
6.第一方面，本技术提供一种车辆控制方法，包括：获取待处理图像；根据所述待处理图像和预先训练的目标检测模型，获取所述待处理图像中目标对象的分割掩码以及所述目标对象的关键点；根据所述目标对象的分割掩码以及所述目标对象的关键点，获取车辆的位姿信息和位置信息；根据所述位姿信息和位置信息，控制车辆行驶。
7.可选的，根据所述目标对象的分割掩码以及所述目标对象的关键点，获取车辆的位姿信息和位置信息，包括：根据所述目标对象的分割掩码以及所述目标对象的关键点，确定所述目标对象的角点坐标；根据所述目标对象的角点坐标，获取所述位姿信息和所述位置信息。
8.可选的，根据所述目标对象的分割掩码以及所述目标对象的关键点，确定所述目标对象的角点坐标，包括：根据所述目标对象的分割掩码，获取所述目标对象的分割轮廓；对所述目标对象的分割轮廓进行多边形近似，得到所述分割轮廓对应的近似多边形；根据所述近似多边形的顶点坐标以及所述目标对象的关键点坐标，确定所述目标对象的角点坐标。
9.可选的，根据所述分割轮廓对应的近似多边形的顶点坐标以及所述目标对象的关
键点坐标，确定所述目标对象的角点坐标，包括：针对所述分割轮廓对应的近似多边形上的每个顶点，从所述目标对象的关键点中获取所述顶点对应的关键点；对所述顶点的坐标和所述顶点对应的关键点的坐标取平均，得到所述目标对象的角点坐标。
10.可选的，根据所述目标对象的角点坐标，获取所述位姿信息和所述位置信息，包括：根据所述目标对象的角点坐标，确定所述目标对象在所述待处理图像上的区域；提取所述区域的特征信息；根据所述区域的特征信息和高精度地图中所有对象的特征信息，确定所述高精度地图中与所述目标对象匹配的第一对象；根据所述目标对象的角点坐标和所述第一对象各个角点的三维坐标，获取所述位姿信息和所述位置信息。
11.可选的，根据所述目标对象的角点坐标和所述第一对象各个角点的三维坐标，获取所述位姿信息和所述位置信息，包括：根据所述目标对象的角点坐标和所述第一对象各个角点的三维坐标，通过位姿估计算法pnp获取所述位姿信息和所述位置信息。
12.第二方面，本技术提供一种车辆控制装置，包括：获取模块，用于获取待处理图像，还用于根据所述待处理图像和预先训练的目标检测模型，获取所述待处理图像中目标对象的分割掩码以及所述目标对象的关键点，还用于根据所述目标对象的分割掩码以及所述目标对象的关键点，获取车辆的位姿信息和位置信息；控制模块，用于根据所述位姿信息和所述位置信息，控制车辆行驶。
13.第三方面，本技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面提供的方法。
14.第四方面，本技术提供一种导航设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来实现第一方面提供的方法。
15.本技术提供的车辆控制方法和装置，在目标检测模型中搭建两个分支，分别为图像分割分支和关键点检测分支，图像采集装置采集到图像后，将采集到的图像送入目标检测模型，图像分割分支便会输出待处理图像中目标对象的分割掩码，关键点检测分支便会输出待处理图像中目标对象的关键点。基于标志牌的分割掩码以及标志牌的关键点，便可确定标志牌的角点坐标，进而基于标志牌的角点坐标确定标志牌区域。和现有技术中矩形区域相比，本技术的方案确定的标志牌区域更加准确，因此基于标志牌区域确定的位姿信息和位置信息也更加准确，车辆行驶安全性更高。
附图说明
16.图1为本技术提供的标志牌区域的示意图一；
17.图2为本技术提供的目标检测模型原理图；
18.图3为本技术提供的车辆控制方法的实施例一的流程示意图；
19.图4为本技术提供的获取近似多边形原理图；
20.图5为本技术提供的关键点示意图；
21.图6为本技术提供的车辆控制方法的实施例二的流程示意图；
22.图7为本技术提供的标志牌区域的示意图二；
23.图8为本技术提供的车辆控制装置的结构示意图；
24.图9为本技术提供的导航设备的硬件结构示意图。
具体实施方式
25.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.在本技术中，需要解释的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“以是一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：单独a，单独b，单独c，a和b的组合，a和c的组合，b和c的组合，或a、b以及c的组合，其中a，b，c可以是单个，也可以是多个。
27.由于自动驾驶车辆没有驾驶员，因此其在行驶过程中，需要实时获取自身的位姿信息和位置信息，结合位姿信息、位置信息和高精度地图控制车辆行驶。现有技术中，通过如下方式获取位姿信息和位置信息：自动驾驶车辆周期性通过图像采集装置采集图像，在采集到的图像上找到标志牌区域，基于标志牌区域确定自动驾驶车辆的位姿信息和位置信息。
28.现有技术中，大多基于深度学习的目标检测算法来确定标志牌区域，然而深度学习的目标检测算法大多采用分类加回归的方式，在回归标志牌区域的时候，回归的是标志牌的中心点坐标以及宽高，将中心点坐标以及宽高确定的矩形区域作为标志牌区域，如图1中虚线框示意的矩形区域。然而，通过上述方法确定的矩形区域并不是严格意义上的标志牌区域，该矩形区域既包括标志牌，又包括非标志牌部分，基于该矩形区域确定的位姿信息和位置信息准确度不高。
29.为解决上述技术问题，参见图2所示，本技术提出，可在目标检测模型中搭建两个分支，分别为图像分割分支和关键点检测分支，图像采集装置采集到图像后，将采集到的图像送入目标检测模型，目标检测模型便可输出标志牌的分割掩码以及标志牌的关键点，基于标志牌的分割掩码以及标志牌的关键点，便可确定标志牌的角点坐标，进而基于标志牌的角点坐标确定标志牌区域。和现有技术中矩形区域相比，本技术的方案确定的标志牌区域更加准确，因此基于标志牌区域确定的位姿信息和位置信息也更加准确。
30.需要说明的是：本技术的方案可由任何具备相应处理能力的软件和/或硬件执行，比如中央处理单元(英文：central processing unit，简称：cpu)，数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等，本技术对此不限定。
31.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
32.图3为本技术提供的车辆控制方法的实施例一的流程示意图。本实施例提供的车辆控制方法，包括：
33.s301、获取待处理图像。
34.一种可能的实现方式中，可在自动驾驶车辆上安装图像采集装置，该图像采集装置可周期性采集图像，本实施例中将图像采集装置采集到的图像称为待处理图像。
35.可选的，上述图像采集装置可以为摄像头、相机或者手机等任何能够实现本技术的方案的装置，本技术对此不限定。
36.待处理图像是二维平面，以图像上左上角的点为坐标原点，向右为x轴，向下为y轴，这样就可以确定待处理图像上每个像素点的二维坐标。
37.一种可能的实现方式中，本实施例的方案由处理器执行时，可将处理器和图像采集装置连接，图像采集装置采集到图像后，可将图像以及图像上各个像素点的二维坐标传给处理器。
38.s302、根据待处理图像和预先训练的目标检测模型，获取待处理图像中目标对象的分割掩码以及目标对象的关键点。
39.其中，目标检测模型包括两个分支，两个分支分别为图像分割分支和关键点检测分支，将待处理图像输入目标检测模型后，两个分支分别对待处理图像进行处理，图像分割分支输出待处理图像中目标对象的分割掩码。关键点检测分支输出待处理图像中目标对象的关键点。
40.上述目标检测模型可以为卷积神经网络模型。可预先构建训练集，该训练集由很多个训练样本构成，每个训练样本包括图像、图像中目标对象的分割掩码以及目标对象的关键点坐标，每个训练样本的分割掩码和关键点坐标可以是人为标注的，得到训练集后，使用训练集对卷积神经网络模型进行训练，当模型收敛时，便可停止训练。
41.s303、根据所述目标对象的分割掩码以及所述目标对象的关键点，获取车辆的位姿信息和位置信息。
42.一种可能的实现方式中，可根据目标对象的分割掩码以及目标对象的关键点，确定目标对象的角点坐标；根据目标对象的角点坐标，获取车辆的位姿信息和位置信息。
43.下面介绍确定目标对象的角点坐标的实现方式：
44.在得到目标对象的分割掩码后，可根据目标对象的分割掩码，获取目标对象的分割轮廓；然后对目标对象的分割轮廓进行多边形近似，得到分割轮廓对应的近似多边形；最后根据近似多边形的顶点坐标以及目标对象的关键点坐标，确定目标对象的角点坐标。
45.如前文所描述，待处理图像上各个像素点的二维坐标是已知的，通过上述方式得到近似多边形后，近似多边形的顶点对应的像素点的坐标即为顶点的坐标，同样的，通过上述方式得到关键点后，关键点对应的像素点的坐标即为关键点的坐标。
46.其中，目标对象的分割掩码为位图，分割掩码上的像素点包括两个像素值，分别为0和1，可将待处理图像中的每个像素点分别和分割掩码中对应像素点进行与运算，从而将目标对象从待处理图像中的截取出来，截取出来的区域的轮廓可作为目标对象的分割轮廓。上述与运算的过程可参见现有技术，本实施例在此不再赘述。
47.一种可能的实现方式中，由于标志牌多为多边形，在得到目标对象的分割轮廓后，可对目标对象的分割轮廓进行多边形近似，具体的，可找到分割轮廓上的拐点，按照一个方向依次连接各个拐点所得到的形状可作为近似多边形。
48.一种可能的实现方式中，可针对近似多边形上的每个顶点，从目标对象的关键点
中获取该顶点对应的关键点，具体的，可将该顶点的坐标和所有关键点的坐标进行对比，将距离该顶点最近的关键点作为该顶点对应的关键点。然后对该顶点的坐标和该顶点对应的关键点的坐标取平均，便可得到目标对象的角点坐标。
49.下面对上述确定目标对象的角点坐标的过程举例说明：
50.参见图4所示，图4中从左到右依次为目标对象的分割掩码、目标对象的分割轮廓以及近似多边形。为方便描述，将近似多边形上的三个顶点分别用顶点0、顶点1和顶点2表示，图5为关键点检测分支输出的关键点，为方便描述，将三个关键点分别用关键点0’、关键点1’和关键点2’表示，顶点0对应的关键点为关键点0’，顶点1对应的关键点为关键点1’，顶点2对应的关键点为关键点2’，对顶点0和关键点0’的坐标取平均，可以得到目标对象一个角点的坐标，对顶点1和关键点1’的坐标取平均，可以得到目标对象另一个角点的坐标，对顶点3和关键点3’的坐标取平均，可以得到目标对象又一个角点的坐标。
51.s304、根据位姿信息和位置信息，控制车辆行驶。
52.可根据车辆的位置信息以及车辆的规划路线，确定车辆下一步行驶方向；根据车辆的位姿信息和下一步行驶方向，控制方向盘的转动。
53.本实施例提供的车辆控制方法，在目标检测模型中搭建两个分支，分别为图像分割分支和关键点检测分支，图像采集装置采集到图像后，将采集到的图像送入目标检测模型，图像分割分支便会输出待处理图像中目标对象的分割掩码，关键点检测分支便会输出待处理图像中目标对象的关键点。基于标志牌的分割掩码以及标志牌的关键点，便可确定标志牌的角点坐标，进而基于标志牌的角点坐标确定标志牌区域。和现有技术中矩形区域相比，本技术的方案确定的标志牌区域更加准确，因此基于标志牌区域确定的位姿信息和位置信息也更加准确。
54.图6为本技术提供的车辆控制方法的实施例二的流程示意图。本实施例提供的车辆控制方法，包括：
55.s601、获取待处理图像。
56.s602、根据待处理图像和预先训练的目标检测模型，获取待处理图像中目标对象的分割掩码以及目标对象的关键点。
57.s603、根据待处理图像中目标对象的分割掩码以及目标对象的关键点，确定目标对象的角点坐标。
58.s601-s603的实现过程和上述实施例类似，本实施例在此不再赘述。
59.s604、根据目标对象的角点坐标，确定目标对象在待处理图像上的区域。
60.一种可能的实现方式中，得到目标对象的角点坐标后，按照一个方向依次连接各个角点所围成的区域可作为目标对象在待处理图像上的区域。
61.下面举例说明：
62.参见图7所示，假设通过s601-s603得到各个目标对象的角点如图7中叉形标识示意，针对每个目标对象，按照一个方向依次连接该目标对象的各个角点，得到图7中的虚线框示意的区域。和图1中矩形区域相比，图7中虚线框示意的区域更加接近标志牌区域。
63.s605、提取目标对象在待处理图像上的区域的特征信息。
64.为方便说明，本实施例中，将目标对象在待处理图像上的区域称为第一区域。
65.可选的，可提取第一区域的方向梯度直方图(histogram of oriented gradient，
简称hog)特征、加速稳健特征(speeded up robust features，简称surf)或者局部二值模式(local binary pattern，简称lbp)等，本实施例对此不限定。
66.s606、根据第一区域的特征信息和高精度地图中所有对象的特征信息，确定高精度地图中与所述目标对象匹配的第一对象。
67.以hog特征为例，将第一区域的hog特征和高精度地图中所有对象的hog特征进行比较，如果第一区域的hog特征和某个对象的hog特征的相似度达到预设值，则将该对象作为与目标对象匹配的第一对象。
68.s607、根据目标对象的角点坐标和第一对象各个角点的三维坐标，获取位姿信息和位置信息。
69.一种可能的实现方式中，在得到目标对象的角点坐标以及第一对象各个角点的三维坐标后，可通过位姿估计算法(perspective-n-point，pnp)确定车辆的位姿信息和位置信息。
70.s608、根据位姿信息和位置信息，控制车辆行驶。
71.s608的实现过程和上述实施例类似，本实施例在此不再赘述。
72.本实施例提供的车辆控制方法，提供了确定位姿信息和位置信息的实现方式，由于本实施例中位姿信息和位置信息是基于第一区域计算的，该第一区域和现有技术中矩形区域相比更加接近真实的标志牌区域，因此本实施例的方法确定的位姿信息和位置信息也更加准确。
73.图8为本技术提供的车辆控制装置的结构示意图。如图8所示，本技术提供的车辆控制装置，包括：
74.获取模块801，用于获取待处理图像，还用于根据所述待处理图像和预先训练的目标检测模型，获取所述待处理图像中目标对象的分割掩码以及所述目标对象的关键点，还用于根据所述目标对象的分割掩码以及所述目标对象的关键点，获取车辆的位姿信息和位置信息；
75.控制模块802，用于根据所述位姿信息和位置信息，控制车辆行驶。
76.可选的，获取模块801具体用于：
77.根据所述目标对象的分割掩码以及所述目标对象的关键点，确定所述目标对象的角点坐标；
78.根据所述目标对象的角点坐标，获取车辆的位姿信息和位置信息。
79.可选的，获取模块801具体用于：
80.根据所述目标对象的分割掩码，获取所述目标对象的分割轮廓；
81.对所述目标对象的分割轮廓进行多边形近似，得到所述分割轮廓对应的近似多边形；
82.根据所述近似多边形的顶点坐标以及所述目标对象的关键点坐标，确定所述目标对象的角点坐标。
83.可选的，获取模块801具体用于：
84.针对所述分割轮廓对应的近似多边形上的每个顶点，从所述目标对象的关键点中获取所述顶点对应的关键点；对所述顶点的坐标和所述顶点对应的关键点的坐标取平均，得到所述目标对象的角点坐标。
85.可选的，获取模块801具体用于：
86.根据所述目标对象的角点坐标，确定所述目标对象在所述待处理图像上的区域；
87.提取所述区域的特征信息；
88.根据所述区域的特征信息和高精度地图中所有对象的特征信息，确定所述高精度地图中与所述目标对象匹配的第一对象；
89.根据所述目标对象的角点坐标和所述第一对象各个角点的三维坐标，获取所述位姿信息和位置信息。
90.可选的，获取模块801具体用于：
91.根据所述目标对象的角点坐标和所述第一对象各个角点的三维坐标，通过位姿估计算法pnp获取所述位姿信息和位置信息。
92.本实施例提供的车辆控制装置，可用于执行上述任一方法实施例中的步骤，其实现原理和技术效果类似，在此不再赘述。
93.图9为本技术提供的导航设备的硬件结构示意图。如图9所示，本实施例的导航设备可以包括：
94.存储器901，用于存储程序指令。
95.处理器902，用于在所述程序指令被执行时实现上述任一实施例描述的车辆控制方法，具体实现原理可参见上述实施例，本实施例此处不再赘述。
96.本技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例描述的车辆控制方法。
97.本技术还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得导航设备实施上述任一实施例描述的车辆控制方法。
98.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
99.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
100.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
101.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申
请各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read-only memory，简称：rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
102.应理解，本技术所描述的处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
103.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。