定位可靠性检测方法及相关设备与流程

1.本技术涉及智能驾驶技术领域，尤其涉及一种定位可靠性检测方法及相关设备。


背景技术：

2.自动驾驶汽车强依赖于定位技术，定位是自动驾驶技术中实现其他功能的前提，定位丢失、定位错误将会使得自动驾驶汽车无法正常运行，甚至酿成重大事故。然而，现今的高精度定位方法大部分采用融合定位的方式，这种添加算法进行高精度定位的方法(如视觉里程计、激光里程计)无法给出定位性能的可靠性评判；此处，现阶段的传感器定位设备，一般能够根据观测值得到传感器的定位性能，给出定位误差协方差，该定位误差协方差在一定程度上可以体现定位结果的可靠性，但其置信度不高。由于自动驾驶技术中的规控、感知算法依赖于定位结果，一旦定位结果不准确，将会严重影响自动驾驶技术中的规控、感知算法，使得自动驾驶产生安全隐患。


技术实现要素：

3.本技术实施例公开了一种定位可靠性检测方法及相关设备，能够对自动驾驶汽车的定位结果进行可靠性检测，有利于降低自动驾驶中的安全隐患。
4.本技术实施例第一方面公开了一种定位可靠性检测方法，应用于车载终端，上述方法包括：获取目标车辆的第一定位结果；根据上述第一定位结果和高精度地图确定第一要素图像；根据上述第一要素图像对上述第一定位结果进行可靠性检测，以得到上述第一定位结果的第一检测结果。
5.可以看出，在本实施例中，车载终端在获取到目标车辆的第一定位结果后，根据第一定位结果和高精度地图确定第一要素图像，然后根据第一要素图像对第一定位结果进行可靠性检测，以得到第一定位结果的第一检测结果。由于依据高精度地图，将第一定位结果转换为二值图像，实现将第一定位结果和高精度地图进行比较，从而检测出第一定位结果是否可靠，进而在第一定位结果可靠时利用该第一定位结果，有效的降低了因定位不可靠而引发的危害，有利于降低自动驾驶中的安全隐患。
6.在一种示例性的实施方式中，上述根据上述第一要素图像对上述第一定位结果进行可靠性检测，以得到上述第一定位结果的第一检测结果，包括：将上述第一要素图像输入到目标检测模型中进行处理，以得到上述第一定位结果的第一检测结果；其中，上述目标检测模型是基于视觉几何组网络(visual geometry group，vgg)架构实现的。
7.可见，在本实施方式中，将第一定位结果转换得到的第一要素图像输入到基于vgg架构实现的目标检测模型中，采用该目标检测模型对第一要素图像进行判别，检测第一要素图像是正常定位结果转换得到的要素图像，还是异常定位结果转换得到的要素图像，从而检测出第一定位结果是否可靠。
8.在一种示例性的实施方式中，在将上述第一要素图像输入到目标检测模型中进行处理，以得到上述第一定位结果的第一检测结果之前，上述方法还包括：获取车辆的n个第
二定位结果和m个第三定位结果，其中，上述第二定位结果为定位正常的历史定位结果，上述第三定位结果为定位异常的历史定位结果，上述n和上述m为正整数；根据上述n个第二定位结果和高精度地图确定n张第二要素图像，以及根据上述m个第三定位结果和高精度地图确定m张第三要素图像，其中，上述n个第二定位结果与上述n张第二要素图像一一对应，上述m个第三定位结果与m张第三要素图像一一对应；采用上述n张第二要素图像和上述m张第三要素图像对初始检测模型进行训练，得到上述目标检测模型；其中，上述初始检测模型是基于vgg架构实现的。
9.可见，在本实施方式中，在采用目标检测模型对第一要素图像进行判别之前，获取大量的车辆的历史定位结果；依据高精度地图，将其中定位正常的第二定位结果转换成第二要素图像作为正常定位类别图像，将其中定位异常的第三定位结果转换成第三要素图像作为异常定位类别图像；采用这些第二要素图像和第三要素图像对基于vgg架构实现的初始检测模型进行训练，得到目标检测模型，从而有利于采用该目标检测模型对目标车辆实时的第一定位结果进行可靠性检测。
10.在一种示例性的实施方式中，根据目标定位结果和高精度地图通过以下步骤确定目标要素图像：从上述高精度地图中获取预设区域内的地图要素点数据，其中，上述预设区域是基于上述目标定位结果确定的，上述地图要素点数据包括多个地图要素点；将上述多个地图要素点中的每个地图要素点的第一坐标转换成第二坐标，其中，上述每个地图要素点的第一坐标为上述地图要素点在世界坐标系中的坐标，上述第二坐标为上述地图要素点在第二坐标系中的坐标，上述第二坐标系为以上述目标定位结果中的定位坐标为原点的坐标系；根据上述车载终端的摄像头内参将上述每个地图要素点的第二坐标转换成图像坐标，得到上述目标要素图像，其中，上述目标要素图像的像素点坐标为上述图像坐标；其中，若上述目标定位结果为上述第一定位结果，则上述目标要素图像为上述第一要素图像；若上述目标定位结果为上述第二定位结果，则上述目标要素图像为上述第二要素图像；若上述目标定位结果为上述第三定位结果，则上述目标要素图像为上述第三要素图像。
11.可见，在本实施方式中，先从高精度地图中获取预设区域内的地图要素点数据，其中，预设区域是基于目标定位结果确定的，地图要素点数据包括多个地图要素点；然后将这多个地图要素点中的每个地图要素点的第一坐标转换成第二坐标，其中，每个地图要素点的第一坐标为地图要素点在世界坐标系中的坐标，第二坐标为地图要素点在第二坐标系中的坐标，第二坐标系为以目标定位结果中的定位坐标为原点的坐标系；再根据车载终端的摄像头内参将每个地图要素点的第二坐标转换成图像坐标，得到目标要素图像，其中，目标要素图像的像素点坐标为该图像坐标，从而实现将定位结果转换成要素图像，实现将定位结果和高精度地图进行比较，有利于检测定位结果的可靠性。其中，若目标定位结果为第一定位结果，则目标要素图像为第一要素图像，从而可以检测出目标车辆实时定位结果的可靠性。若目标定位结果为第二定位结果，则目标要素图像为第二要素图像；若目标定位结果为第三定位结果，则目标要素图像为第三要素图像，从而获取到车辆历史定位结果对应的要素图像，可以利用这些历史定位结果对应的要素图像训练初始检测模型，得到用于检测实时定位结果的可靠性的目标检测模型。
12.在一种示例性的实施方式中，根据以下公式将上述第一坐标转换成上述第二坐标：
[0013][0014]
其中，(xw,yw,zw)为上述第一坐标，(xc,yc,zc)为上述第二坐标，r为上述目标定位结果中的姿态三自由度的旋转矩阵，t为上述目标定位结果中的定位坐标的平移矩阵。
[0015]
可见，在本实施方式中，通过目标定位结果中的姿态三自由度的旋转矩阵和目标定位结果中的定位坐标的平移矩阵将地图要素点的第一坐标转换成第二坐标，由于第二坐标为地图要素点在以目标定位结果中的定位坐标为原点的坐标系中的坐标，从而实现将高精度地图中的地图要素点坐标转换到以车辆定位坐标为原点的坐标系中，有利于检测车辆的定位结果是否可靠。
[0016]
在一种示例性的实施方式中，根据以下公式将上述第二坐标转换成图像坐标：
[0017][0018]
其中，(u,v)为上述图像坐标，f
x
、fy为上述车载终端的摄像头焦距，u0、v0为相对于成像平面的主点坐标。
[0019]
可见，在本实施方式中，通过车载终端的摄像头焦距将第二坐标转换成图像坐标，得到目标定位结果对应的目标要素图像，目标要素图像的像素点坐标为第二坐标转换得到图像坐标，实现将目标定位结果和高精度地图进行比较，有利于检测目标定位结果的可靠性。
[0020]
在一种示例性的实施方式中，上述方法还包括：若上述第一定位结果直接来自定位传感器，则获取上述定位传感器针对上述第一定位结果确定的定位误差协方差；根据上述第一检测结果和上述定位误差协方差确定上述第一定位结果的第二检测结果。
[0021]
可见，在本实施方式中，在采用定位传感器直接给出第一定位结果的场景下，定位传感器会给出该第一定位结果对应的定位误差协方差，该定位误差协方差可以体现该第一定位结果的可靠性；在此基础上，再结合第一检测结果对该第一定位结果进行进一步地可靠性评判，能够进一步提高第一定位结果的可靠性的置信度。
[0022]
在一种示例性的实施方式中，上述方法还包括：若上述第一检测结果和上述第二检测结果指示上述第一定位结果正常，则采用上述第一定位结果进行自动驾驶；若上述第一检测结果和/或上述第二检测结果指示上述第一定位结果异常，则警示关闭自动驾驶。
[0023]
可见，在本实施方式中，在检测得到第一定位结果正常时，说明第一定位结果可靠，可以用于进行自动驾驶汽车的自动驾驶；在检测得到第一定位结果异常时，说明第一定位结果不可靠，可以警示关闭自动驾驶汽车的自动驾驶，进行人工接管，从而降低因定位不可靠带来的安全隐患。
[0024]
本技术实施例第二方面公开了一种定位可靠性检测装置，应用于车载终端，上述装置包括：获取单元，用于获取目标车辆的第一定位结果；确定单元，用于根据上述第一定位结果和高精度地图确定第一要素图像；检测单元，用于根据上述第一要素图像对上述第一定位结果进行可靠性检测，以得到上述第一定位结果的第一检测结果。
[0025]
在一种示例性的实施方式中，上述检测单元，用于：将上述第一要素图像输入到目
标检测模型中进行处理，以得到上述第一定位结果的第一检测结果；其中，上述目标检测模型是基于vgg架构实现的。
[0026]
在一种示例性的实施方式中，上述装置还包括训练单元，用于：获取车辆的n个第二定位结果和m个第三定位结果，其中，上述第二定位结果为定位正常的历史定位结果，上述第三定位结果为定位异常的历史定位结果，上述n和上述m为正整数；根据上述n个第二定位结果和高精度地图确定n张第二要素图像，以及根据上述m个第三定位结果和高精度地图确定m张第三要素图像，其中，上述n个第二定位结果与上述n张第二要素图像一一对应，上述m个第三定位结果与m张第三要素图像一一对应；采用上述n张第二要素图像和上述m张第三要素图像对初始检测模型进行训练，得到上述目标检测模型；其中，上述初始检测模型是基于上述vgg架构实现的。
[0027]
在一种示例性的实施方式中，上述确定单元，用于：从上述高精度地图中获取预设区域内的地图要素点数据，其中，上述预设区域是基于上述目标定位结果确定的，上述地图要素点数据包括多个地图要素点；将上述多个地图要素点中的每个地图要素点的第一坐标转换成第二坐标，其中，上述每个地图要素点的第一坐标为上述地图要素点在世界坐标系中的坐标，上述第二坐标为上述地图要素点在第二坐标系中的坐标，上述第二坐标系为以上述目标定位结果中的定位坐标为原点的坐标系；根据上述车载终端的摄像头内参将上述每个地图要素点的第二坐标转换成图像坐标，得到上述目标要素图像，其中，上述目标要素图像的像素点坐标为上述图像坐标；其中，若上述目标定位结果为上述第一定位结果，则上述目标要素图像为上述第一要素图像；若上述目标定位结果为上述第二定位结果，则上述目标要素图像为上述第二要素图像；若上述目标定位结果为上述第三定位结果，则上述目标要素图像为上述第三要素图像。
[0028]
在一种示例性的实施方式中，根据以下公式将上述第一坐标转换成上述第二坐标：
[0029][0030]
其中，(xw,yw,zw)为上述第一坐标，(xc,yc,zc)为上述第二坐标，r为上述目标定位结果中的姿态三自由度的旋转矩阵，t为上述目标定位结果中的定位坐标的平移矩阵。
[0031]
在一种示例性的实施方式中，根据以下公式将上述第二坐标转换成图像坐标：
[0032][0033]
其中，(u,v)为上述图像坐标，f
x
、fy为上述车载终端的摄像头焦距，u0、v0为相对于成像平面的主点坐标。
[0034]
在一种示例性的实施方式中，上述检测单元，还用于：若上述第一定位结果直接来自定位传感器，则获取上述定位传感器针对上述第一定位结果确定的定位误差协方差；根据上述第一检测结果和上述定位误差协方差确定上述第一定位结果的第二检测结果。
[0035]
在一种示例性的实施方式中，上述装置还包括处理单元，用于：若上述第一检测结果和上述第二检测结果指示上述第一定位结果正常，则采用上述第一定位结果进行自动驾
驶；若上述第一检测结果和/或上述第二检测结果指示上述第一定位结果异常，则警示关闭自动驾驶。
[0036]
本技术实施例第三方面公开了一种车载终端，包括处理器、存储器、通信接口，以及一个或多个程序，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行如上述第一方面中任一项所述的方法中的步骤的指令。
[0037]
本技术实施例第四方面公开了一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有上述芯片的设备执行如上述第一方面中任一项上述的方法。
[0038]
本技术实施例第五方面公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如上述第一方面中任一项所述的方法。
[0039]
本技术实施例第六方面公开了一种计算机程序产品，上述计算机程序产品使得计算机执行如上述第一方面中任一项所述的方法。
[0040]
本技术实施例第七方面公开了一种智能汽车，该智能汽车包括控制系统，控制系统执行如上述第一方面中任一项所述的方法，以控制上述智能汽车行驶。
附图说明
[0041]
以下对本技术实施例用到的附图进行介绍。
[0042]
图1是本技术实施例提供的一种定位可靠性检测系统的结构示意图；
[0043]
图2是本技术实施例提供的一种定位可靠性检测方法的流程示意图；
[0044]
图3是本技术实施例提供的一种要素图像的示意图；
[0045]
图4是本技术实施例提供的另一种要素图像的示意图；
[0046]
图5是本技术实施例提供的一种获取地图要素点数据的示意图；
[0047]
图6是本技术实施例提供的一种定位可靠性检测装置的结构示意图；
[0048]
图7是本技术实施例提供的一种车载终端的结构示意图。
具体实施方式
[0049]
下面结合本技术实施例中的附图对本技术实施例进行描述。
[0050]
本技术实施例提供的技术方案可以应用于但不仅限于如下场景：
[0051]
场景一：采用算法实现定位，如采用多传感器融合方式输出定位，该场景下较难给出定位结果的可靠性指标，采用本技术实施例提供的技术方案，能够给出定位结果的可靠性。
[0052]
场景二：采用定位传感器直接给出定位结果，如全球定位系统(global positioning system，gps)、惯性测量单元(inertial measuring unit，imu)，该场景下gps、imu会给出定位结果对应的定位误差协方差，定位误差协方差可以体现定位结果的可靠性指标，结合本技术实施例提供的技术方案，能够进一步提高定位结果可靠性的置信度。
[0053]
针对通过算法实现的高精度融合定位较难实时给出定位结果的可靠性，以及定位传感器给出的定位误差协方差置信度不高的难题，本技术实施例提供一种定位可靠性检测系统，能够根据当前融合定位算法给出的定位结果，实时对该定位结果进行可靠性评估，或
者结合定位传感器给出的定位误差协方差实时对该定位结果进行可靠性评估，为后续感知、规控算法是否采用该定位结果进行自动驾驶，提供评判标准，有效解决安全隐患。
[0054]
请参见图1，图1是本技术实施例提供的一种定位可靠性检测系统的结构示意图，该定位可靠性检测系统包括投影模块、可靠性检测模块、安全模块。其中，上述投影模块通过结合高精度地图，将定位结果得到的要素图像；具体地，上述投影模块获得算法给出的连续定位结果或者定位传感器直接给出的连续定位结果，根据该定位结果结合高精度地图，将地图要素投影至图像坐标系，得到投影之后的要素图像。可选地，可靠性检测模块基于vgg模型，可以将投影模块投影得到的要素图像输入至可靠性检测模块进行定位结果的可靠性判别，输出定位结果的可靠性。其中，安全模块根据可靠性检测模块输出的实时性判别结果进行后续处理，给出是否需要人工接管的警示。
[0055]
其中，上述高精度地图指精度更高、数据维度更多的电子地图。精度更高体现在精确到厘米级别，数据维度更多体现在其包括了除道路信息之外的与交通相关的周围静态信息。高精度地图将大量的行车辅助信息存储为结构化数据，这些信息可以分为两类。第一类是道路数据，比如车道线的位置、类型、宽度、坡度和曲率等车道信息。第二类是车道周边的固定对象信息，比如交通标志、交通信号灯等信息、车道限高、下水道口、障碍物及其他道路细节，还包括高架物体、防护栏、数目、道路边缘类型、路边地标等基础设施信息。
[0056]
其中，上述要素图像指依据算法给出的车辆的定位结果或者定位传感器直接给出的车辆的定位结果中的定位坐标，在高精度地图上获取该定位坐标预设范围内的地图要素点数据；然后将地图要素点数据中的地图要素点在世界坐标系下的坐标，转换成在以该定位坐标为原点的本地坐标系下的坐标；再将地图要素点在本地坐标系下的坐标转换成图像坐标，地图要素点按照图像坐标投影出来的图像，即是要素图像。
[0057]
在图1所描述的定位可靠性检测系统中，有效的将定位结果与高精度地图进行了比较，从而输出定位结果的可靠性，为后续算法是否继续采用该定位结果，给出判断依据，有利于提高自动驾驶车辆的安全性。
[0058]
请参见图2，图2是本技术实施例提供的一种定位可靠性检测方法的流程示意图，该方法应用于车载终端，该方法包括但不限于如下步骤：
[0059]
步骤201、获取目标车辆的第一定位结果。
[0060]
其中，上述第一定位结果包括目标车辆的定位坐标和目标车辆的姿态信息。
[0061]
具体地，上述车载终端可以安装于目标车辆，上述车载终端可以实时获取融合定位算法给出的目标车辆的第一定位结果，或者实时获取传感器gps和imu等定位设备直接给出的目标车辆的第一定位结果。
[0062]
步骤202、根据上述第一定位结果和高精度地图确定第一要素图像。
[0063]
其中，车载终端可以存储有高精度地图，在获取的目标车辆的第一定位结果后，可以根据第一定位结果，结合高精度地图投影，得到第一要素图像。
[0064]
具体地，第一要素图像是根据第一定位结果中的目标车辆的定位坐标，在高精度地图上获取该定位坐标预设范围内的地图要素点数据，再根据该第一定位结果对该地图要素点数据中的地图要素点坐标进行坐标转换得到的。因此，也即将第一定位结果投影进了高精度地图中，得到该第一要素图像；换言之，也即将目标车辆投影进高精度地图中，得到该第一要素图像。
[0065]
举例来说，可以获取目标车辆的定位坐标前视方向上的半圆形范围内的地图要素点数据，然后进行投影得到第一要素图像，此时的第一要素图像是目标车辆前视方向上的一张图像，也即相当于将目标车辆投影进高精度地图里，从目标车辆前视方向上看到的画面即是第一要素图像。
[0066]
步骤203、根据上述第一要素图像对上述第一定位结果进行可靠性检测，以得到上述第一定位结果的第一检测结果。
[0067]
具体地，可以将第一要素图像输入到图像识别模型中进行识别，从而评判该第一定位结果是否可靠。
[0068]
举例来说，当第一要素图像是目标车辆前视方向上看到的画面时，如果第一要素图像中的地图要素点的位置和/或姿态与正常驾驶车辆时看到的该地图要素点的位置和/或姿态相符，则说明第一定位结果可靠；否则，说明第一定位结果不可靠。例如，车辆正常行驶在道路上时，车辆前视方向和道路线是平行的，如果第一要素图像中的道路线和车辆前视方向是相交时，则说明第一定位结果不可靠；或者车辆正常行驶在道路上时，车辆前视方向指向道路尽头，如果第一要素图像中的车辆的前视方向指向天空或其他方位，则说明第一定位结果不可靠。
[0069]
在图2所描述的方法中，车载终端在获取到目标车辆的第一定位结果后，根据第一定位结果和高精度地图确定第一要素图像，然后根据第一要素图像对第一定位结果进行可靠性检测，以得到第一定位结果的第一检测结果。由于依据高精度地图，将第一定位结果转换为二值图像，实现将第一定位结果和高精度地图进行比较，从而检测出第一定位结果是否可靠，进而在第一定位结果可靠时利用该第一定位结果，有效的降低了因定位不可靠而引发的危害，有利于降低自动驾驶中的安全隐患。
[0070]
在一种示例性的实施方式中，上述根据上述第一要素图像对上述第一定位结果进行可靠性检测，以得到上述第一定位结果的第一检测结果，包括：将上述第一要素图像输入到目标检测模型中进行处理，以得到上述第一定位结果的第一检测结果；其中，上述目标检测模型是基于视觉几何组网络架构实现的。
[0071]
具体地，上述目标检测模型包括离线训练好的以vgg16作为骨干网络的分类模型；可以将第一要素图像输入到该离线训练好的以vgg16作为骨干网络的分类模型中，对第一要素图像进行判别，以确定第一要素图像是正常定位结果输出的要素图像，还是异常定位结果输出的要素图像。
[0072]
举例来说，请一并参阅图3，图3是本技术实施例提供的一种要素图像的示意图。如图3所示，图3是目标车辆在第一定位结果正常的情况下，转换得到的第一要素图像；如果将其输入到上述离线训练好的以vgg16作为骨干网络的分类模型中，该离线训练好的以vgg16作为骨干网络的分类模型可以对其进行判别，例如判别目标车辆前视方向上的地图要素点的位置与车辆正常行驶时车辆前视方向上的该地图要素点的位置的区别；车辆正常行驶在道路上时车辆前视方向和道路线是平行的，该离线训练好的以vgg16作为骨干网络的分类模型从图3所示的视角识别出目标车辆前视方向和道路线也是平行的，从而确定第一定位结果是可靠的。
[0073]
又举例来说，请一并参阅图4，图4是本技术实施例提供的另一种要素图像的示意图。如图4所示，图4是目标车辆在第一定位结果异常的情况下，转换得到的第一要素图像；
如果将其输入到上述离线训练好的以vgg16作为骨干网络的分类模型中进行判别，该离线训练好的以vgg16作为骨干网络的分类模型从图4所示的视角识别出目标车辆前视方向和道路线是相交的，而车辆正常行驶在道路上时车辆前视方向和道路线是平行的，从而确定第一定位结果是不可靠的。
[0074]
可见，在本实施方式中，将第一定位结果转换得到的第一要素图像输入到基于vgg架构实现的目标检测模型中，采用该目标检测模型对第一要素图像进行判别，检测第一要素图像是正常定位结果转换得到的要素图像，还是异常定位结果转换得到的要素图像，从而检测出第一定位结果是否可靠。
[0075]
在一种示例性的实施方式中，在将上述第一要素图像输入到目标检测模型中进行处理，以得到上述第一定位结果的第一检测结果之前，上述方法还包括：获取车辆的n个第二定位结果和m个第三定位结果，其中，上述第二定位结果为定位正常的历史定位结果，上述第三定位结果为定位异常的历史定位结果，上述n和上述m为正整数；根据上述n个第二定位结果和高精度地图确定n张第二要素图像，以及根据上述m个第三定位结果和高精度地图确定m张第三要素图像，其中，上述n个第二定位结果与上述n张第二要素图像一一对应，上述m个第三定位结果与m张第三要素图像一一对应；采用上述n张第二要素图像和上述m张第三要素图像对初始检测模型进行训练，得到上述目标检测模型；其中，上述初始检测模型是基于上述视觉几何组网络架构实现的。
[0076]
具体地，上述初始检测模型是以vgg16作为骨干网络的分类模型，可以通过录制实车gps定位数据，将其中定位正常的第二定位结果投影生成的第二要素图像作为正常定位类别图像，将其中定位异常的第三定位结果投影所生成的第三要素图像作为异常定位类别图像，然后将这些正常定位类别图像和异常定位类别图像输入到该初始检测模型中进行训练，从而得到该目标检测模型。
[0077]
其中，对以vgg16作为骨干网络的分类模型进行训练过程中，采用imagenet预训练模型参数作为网络初始权重；训练的图像尺寸为224*224；训练类别为2类，也即正常定位类别图像和异常定位类别图像；dropout设置为0.5；batch size为8。
[0078]
可见，在本实施方式中，在采用目标检测模型对第一要素图像进行判别之前，获取大量的车辆的历史定位结果；依据高精度地图，将其中定位正常的第二定位结果转换成第二要素图像作为正常定位类别图像，将其中定位异常的第三定位结果转换成第三要素图像作为异常定位类别图像；采用这些第二要素图像和第三要素图像对基于vgg架构实现的初始检测模型进行训练，得到目标检测模型，从而有利于采用该目标检测模型对目标车辆实时的第一定位结果进行可靠性检测。
[0079]
在一种示例性的实施方式中，根据目标定位结果和高精度地图通过以下步骤确定目标要素图像：从上述高精度地图中获取预设区域内的地图要素点数据，其中，上述预设区域是基于上述目标定位结果确定的，上述地图要素点数据包括多个地图要素点；将上述多个地图要素点中的每个地图要素点的第一坐标转换成第二坐标，其中，上述每个地图要素点的第一坐标为上述地图要素点在世界坐标系中的坐标，上述第二坐标为上述地图要素点在第二坐标系中的坐标，上述第二坐标系为以上述目标定位结果中的定位坐标为原点的坐标系；根据上述车载终端的摄像头内参将上述每个地图要素点的第二坐标转换成图像坐标，得到上述目标要素图像，其中，上述目标要素图像的像素点坐标为上述图像坐标；其中，
若上述目标定位结果为上述第一定位结果，则上述目标要素图像为上述第一要素图像；若上述目标定位结果为上述第二定位结果，则上述目标要素图像为上述第二要素图像；若上述目标定位结果为上述第三定位结果，则上述目标要素图像为上述第三要素图像。
[0080]
具体地，如图5所示，获得目标位置(x,y,z)和姿态(roll,pitch,yaw)的目标定位结果p(x,y,z,r,p,y)，并获得高精度地图，在车辆前视方向上以目标定位结果p为中心点、半径为γ的半圆形区域为预设区域；获取该半圆形区域内的地图要素点数据map_near，也即该半圆形区域内所有地图要素在世界坐标系下的地图要素点集；其中，地图要素包括：电线杆、车道线、引导线等；其中，γ为可设置值，默认为50m。然后针对map_near中的地图要素点，将其世界坐标系下的第一坐标(xw,yw,zw)，转换到以p为原点的本地坐标系下的第二坐标(xc,yc,zc)。再针对以p为原点的本地坐标系的map_near中的地图要素点，通过相机内参将地图要素点的第二坐标(xc,yc,zc)转换为图像坐标(u,v)，也即生成像素点坐标(u,v)，从而生成投影出来的目标要素图像。
[0081]
可见，在本实施方式中，先从高精度地图中获取预设区域内的地图要素点数据，其中，预设区域是基于目标定位结果确定的，地图要素点数据包括多个地图要素点；然后将这多个地图要素点中的每个地图要素点的第一坐标转换成第二坐标，其中，每个地图要素点的第一坐标为地图要素点在世界坐标系中的坐标，第二坐标为地图要素点在第二坐标系中的坐标，第二坐标系为以目标定位结果中的定位坐标为原点的坐标系；再根据车载终端的摄像头内参将每个地图要素点的第二坐标转换成图像坐标，得到目标要素图像，其中，目标要素图像的像素点坐标为该图像坐标，从而实现将定位结果转换成要素图像，实现将定位结果和高精度地图进行比较，有利于检测定位结果的可靠性。其中，若目标定位结果为第一定位结果，则目标要素图像为第一要素图像，从而可以检测出目标车辆实时定位结果的可靠性。若目标定位结果为第二定位结果，则目标要素图像为第二要素图像；若目标定位结果为第三定位结果，则目标要素图像为第三要素图像，从而获取到车辆历史定位结果对应的要素图像，可以利用这些历史定位结果对应的要素图像训练初始检测模型，得到用于检测实时定位结果的可靠性的目标检测模型。
[0082]
在一种示例性的实施方式中，根据以下公式将上述第一坐标转换成上述第二坐标：
[0083][0084]
其中，(xw,yw,zw)为上述第一坐标，(xc,yc,zc)为上述第二坐标，r为上述目标定位结果中的姿态三自由度的旋转矩阵，t为上述目标定位结果中的定位坐标的平移矩阵。
[0085]
可见，在本实施方式中，通过目标定位结果中的姿态三自由度的旋转矩阵和目标定位结果中的定位坐标的平移矩阵将地图要素点的第一坐标转换成第二坐标，由于第二坐标为地图要素点在以目标定位结果中的定位坐标为原点的坐标系中的坐标，从而实现将高精度地图中的地图要素点坐标转换到以车辆定位坐标为原点的坐标系中，有利于检测车辆的定位结果是否可靠。
[0086]
在一种示例性的实施方式中，根据以下公式将上述第二坐标转换成图像坐标：
[0087][0088]
其中，(u,v)为上述图像坐标，f
x
、fy为上述车载终端的摄像头焦距，u0、v0为相对于成像平面的主点坐标。
[0089]
可见，在本实施方式中，通过车载终端的摄像头焦距将第二坐标转换成图像坐标，得到目标定位结果对应的目标要素图像，目标要素图像的像素点坐标为第二坐标转换得到图像坐标，实现将目标定位结果和高精度地图进行比较，有利于检测目标定位结果的可靠性。
[0090]
在一种示例性的实施方式中，上述方法还包括：若上述第一定位结果直接来自定位传感器，则获取上述定位传感器针对上述第一定位结果确定的定位误差协方差；根据上述第一检测结果和上述定位误差协方差确定上述第一定位结果的第二检测结果。
[0091]
具体地，现阶段传感器gps和imu等定位设备，一般能够根据观测值得到传感器的定位性能，给出定位误差协方差，该定位误差协方差在一定程度上可以体现定位结果的可靠性，但其置信度不高。因此，在第一定位结果是定位传感器直接给出时，在获取到定位传感器针对第一定位结果确定的定位误差协方差的基础上，可以结合第一要素图像对第一定位结果的第一检测结果，进一步对第一定位结果进行检测，得到第一定位结果的第二检测结果，从而提高第一定位结果的可靠性的置信度。
[0092]
可见，在本实施方式中，在采用定位传感器直接给出第一定位结果的场景下，定位传感器会给出该第一定位结果对应的定位误差协方差，该定位误差协方差可以体现该第一定位结果的可靠性；在此基础上，再结合第一检测结果对该第一定位结果进行进一步地可靠性评判，能够进一步提高第一定位结果的可靠性的置信度。
[0093]
在一种示例性的实施方式中，上述方法还包括：若上述第一检测结果和上述第二检测结果指示上述第一定位结果正常，则采用上述第一定位结果进行自动驾驶；若上述第一检测结果和/或上述第二检测结果指示上述第一定位结果异常，则警示关闭自动驾驶。
[0094]
具体地，可以结合前述定位可靠性检测系统来描述，当可靠性检测模块输出第一定位结果正常时，安全模块认定第一定位结果可靠，后续算法模块可以继续使用该第一定位结果进行自动驾驶；当可靠性检测模块输出第一定位结果异常时，安全模块认定第一定位结果不可靠，给出告警，提醒关闭自动驾驶，进行人工接管。
[0095]
可见，在本实施方式中，在检测得到第一定位结果正常时，说明第一定位结果可靠，可以用于进行自动驾驶汽车的自动驾驶；在检测得到第一定位结果异常时，说明第一定位结果不可靠，可以警示关闭自动驾驶汽车的自动驾驶，进行人工接管，从而降低因定位不可靠带来的安全隐患。
[0096]
上述详细阐述了本技术实施例的方法，下面提供了本技术实施例的装置。
[0097]
请参见图6，图6是本技术实施例提供的一种定位可靠性检测装置600的结构示意图，应用于车载终端，该定位可靠性检测装置600可以包括获取单元601、确定单元602和检测单元603，其中，各个单元的详细描述如下：
[0098]
获取单元601，用于获取目标车辆的第一定位结果；
[0099]
确定单元602，用于根据上述第一定位结果和高精度地图确定第一要素图像；
[0100]
检测单元603，用于根据上述第一要素图像对上述第一定位结果进行可靠性检测，以得到上述第一定位结果的第一检测结果。
[0101]
在一种示例性的实施方式中，上述检测单元603，用于：将上述第一要素图像输入到目标检测模型中进行处理，以得到上述第一定位结果的第一检测结果；其中，上述目标检测模型是基于vgg架构实现的。
[0102]
在一种示例性的实施方式中，上述装置还包括训练单元，用于：获取车辆的n个第二定位结果和m个第三定位结果，其中，上述第二定位结果为定位正常的历史定位结果，上述第三定位结果为定位异常的历史定位结果，上述n和上述m为正整数；根据上述n个第二定位结果和高精度地图确定n张第二要素图像，以及根据上述m个第三定位结果和高精度地图确定m张第三要素图像，其中，上述n个第二定位结果与上述n张第二要素图像一一对应，上述m个第三定位结果与m张第三要素图像一一对应；采用上述n张第二要素图像和上述m张第三要素图像对初始检测模型进行训练，得到上述目标检测模型；其中，上述初始检测模型是基于上述vgg架构实现的。
[0103]
在一种示例性的实施方式中，上述确定单元602，用于：从上述高精度地图中获取预设区域内的地图要素点数据，其中，上述预设区域是基于上述目标定位结果确定的，上述地图要素点数据包括多个地图要素点；将上述多个地图要素点中的每个地图要素点的第一坐标转换成第二坐标，其中，上述每个地图要素点的第一坐标为上述地图要素点在世界坐标系中的坐标，上述第二坐标为上述地图要素点在第二坐标系中的坐标，上述第二坐标系为以上述目标定位结果中的定位坐标为原点的坐标系；根据上述车载终端的摄像头内参将上述每个地图要素点的第二坐标转换成图像坐标，得到上述目标要素图像，其中，上述目标要素图像的像素点坐标为上述图像坐标；其中，若上述目标定位结果为上述第一定位结果，则上述目标要素图像为上述第一要素图像；若上述目标定位结果为上述第二定位结果，则上述目标要素图像为上述第二要素图像；若上述目标定位结果为上述第三定位结果，则上述目标要素图像为上述第三要素图像。
[0104]
在一种示例性的实施方式中，根据以下公式将上述第一坐标转换成上述第二坐标：
[0105][0106]
其中，(xw,yw,zw)为上述第一坐标，(xc,yc,zc)为上述第二坐标，r为上述目标定位结果中的姿态三自由度的旋转矩阵，t为上述目标定位结果中的定位坐标的平移矩阵。
[0107]
在一种示例性的实施方式中，根据以下公式将上述第二坐标转换成图像坐标：
[0108][0109]
其中，(u,v)为上述图像坐标，f
x
、fy为上述车载终端的摄像头焦距，u0、v0为相对于成像平面的主点坐标。
[0110]
在一种示例性的实施方式中，上述检测单元603，还用于：若上述第一定位结果直接来自定位传感器，则获取上述定位传感器针对上述第一定位结果确定的定位误差协方
差；根据上述第一检测结果和上述定位误差协方差确定上述第一定位结果的第二检测结果。
[0111]
在一种示例性的实施方式中，上述装置还包括处理单元，用于：若上述第一检测结果和上述第二检测结果指示上述第一定位结果正常，则采用上述第一定位结果进行自动驾驶；若上述第一检测结果和/或上述第二检测结果指示上述第一定位结果异常，则警示关闭自动驾驶。
[0112]
需要说明的是，各个单元的实现还可以对应参照图2所示的方法实施例的相应描述。当然，本技术实施例提供的定位可靠性检测装置600包括但不限于上述单元模块，例如：该定位可靠性检测装置600还可以包括存储单元604，存储单元604可以用于存储该定位可靠性检测装置600的程序代码和数据。
[0113]
在图6所描述的定位可靠性检测装置600中，在获取到目标车辆的第一定位结果后，根据第一定位结果和高精度地图确定第一要素图像，然后根据第一要素图像对第一定位结果进行可靠性检测，以得到第一定位结果的第一检测结果。由于依据高精度地图，将第一定位结果转换为二值图像，实现将第一定位结果和高精度地图进行比较，从而检测出第一定位结果是否可靠，进而在第一定位结果可靠时利用该第一定位结果，有效的降低了因定位不可靠而引发的危害，有利于降低自动驾驶中的安全隐患。
[0114]
请参见图7，图7是本技术实施例提供的一种车载终端710的结构示意图，该车载终端710包括处理器711、存储器712和通信接口713，上述处理器711、存储器712和通信接口713通过总线714相互连接。
[0115]
存储器712包括但不限于是随机存储记忆体(random access memory，ram)、只读存储器(read-only memory，rom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、或便携式只读存储器(compact disc read-only memory，cd-rom)，该存储器712用于相关计算机程序及数据。通信接口713用于接收和发送数据。
[0116]
处理器711可以是一个或多个中央处理器(central processing unit，cpu)，在处理器711是一个cpu的情况下，该cpu可以是单核cpu，也可以是多核cpu。
[0117]
该车载终端710中的处理器711用于读取上述存储器712中存储的计算机程序代码，执行以下操作：获取目标车辆的第一定位结果；根据上述第一定位结果和高精度地图确定第一要素图像；根据上述第一要素图像对上述第一定位结果进行可靠性检测，以得到上述第一定位结果的第一检测结果。
[0118]
需要说明的是，各个操作的实现还可以对应参照图2所示的方法实施例的相应描述。
[0119]
在图7所描述的车载终端710中，在获取到目标车辆的第一定位结果后，根据第一定位结果和高精度地图确定第一要素图像，然后根据第一要素图像对第一定位结果进行可靠性检测，以得到第一定位结果的第一检测结果。由于依据高精度地图，将第一定位结果转换为二值图像，实现将第一定位结果和高精度地图进行比较，从而检测出第一定位结果是否可靠，进而在第一定位结果可靠时利用该第一定位结果，有效的降低了因定位不可靠而引发的危害，有利于降低自动驾驶中的安全隐患。
[0120]
本技术实施例还提供一种芯片，上述芯片包括至少一个处理器，存储器和接口电路，上述存储器、上述收发器和上述至少一个处理器通过线路互联，上述至少一个存储器中
存储有计算机程序；上述计算机程序被上述处理器执行时，图2所示的方法流程得以实现。
[0121]
本技术实施例还提供一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，当其在车载终端上运行时，图2所示的方法流程得以实现。
[0122]
本技术实施例还提供一种计算机程序产品，当上述计算机程序产品在车载终端上运行时，图2所示的方法流程得以实现。
[0123]
本技术实施例还提供一种智能汽车，该智能汽车包括控制系统，控制系统执行如上述图2所示的方法，以控制上述智能汽车行驶。
[0124]
综上所述，通过实施本技术实施例，在获取到目标车辆的第一定位结果后，根据第一定位结果和高精度地图确定第一要素图像，然后根据第一要素图像对第一定位结果进行可靠性检测，以得到第一定位结果的第一检测结果。由于依据高精度地图，将第一定位结果转换为二值图像，实现将第一定位结果和高精度地图进行比较，从而检测出第一定位结果是否可靠，进而在第一定位结果可靠时利用该第一定位结果，有效的降低了因定位不可靠而引发的危害，有利于降低自动驾驶中的安全隐患。也即本技术可以应对采用定位算法实现定位且缺少定位真值时，实时给出定位结果的可靠性场景，弥补了现有技术无法实时评估无定位真值的定位结果的可靠性的不足，采用高精度地图投影的方式，实现定位结果转换为二值图像，将定位结果投影到高精度地图里面，实现将定位结果和高精度地图进行比较，从而给出定位结果是否可靠，进而利用可靠的定位结果，有效的降低不可靠的定位结果引发的危害。
[0125]
应理解，本技术实施例中提及的处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0126]
还应理解，本技术实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
[0127]
需要说明的是，当处理器为通用处理器、dsp、asic、fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。
[0128]
应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0129]
还应理解，本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分，并不用来限制本技术的范围。
[0130]
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0131]
应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0132]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0133]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0134]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0135]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0136]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0137]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所示方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0138]
本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
[0139]
本技术实施例装置中的模块可以根据实际需要进行合并、划分和删减。
[0140]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些
修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。