验证车辆的定位信息的方法、系统和设备与流程

1.本公开涉及验证车辆的定位信息的方法、系统和设备。


背景技术：

2.对车辆进行定位，即对车辆进行位姿估计，是车辆导航中的一个核心问题，其准确性对车辆自动驾驶具有重要意义。车辆位姿是指车辆坐标系(例如可参考sae的定义)相对于全局坐标系的位置和姿态。在自动驾驶车辆上通常装载各种传感器，各传感器获取的数据在各自的坐标系中。本文为了简便，假设各传感器获取的数据为已经转换到车辆坐标系中的数据，即假设车辆及其装载的传感器都使用车辆坐标系。同时，假设高精度地图使用全局坐标系。下面结合图1来描述车辆的定位信息，即车辆的位姿。
3.参见图1，o
v-xvyvzv坐标系为全局坐标系，o
l-x
lylzl
坐标系为车辆坐标系。车辆相对于全局坐标系o
v-xvyvzv的位置为原点o
l
在o
v-xvyvzv坐标系中的坐标，例如可以是(x,y,z)。车辆的姿态为o
l-x
lylzl
坐标系相对于o
v-xvyvzv坐标系的旋转角度，例如可以是(θ
roll
,θ
pitch
,θ
yaw
)。因此，通常三维环境下车辆的位姿可以用(x,y,z,θ
roll
,θ
pitch
,θ
yaw
)的形式表示。
4.现有技术中存在对车辆进行定位以获取定位信息(即车辆的位姿)的方法。


技术实现要素：

5.本公开的目的之一是提供验证车辆的定位信息的方法、系统和设备。
6.根据本公开的第一方面，提供了一种验证车辆的定位信息的方法，包括：从定位模块获取车辆的定位信息；响应于所述定位信息指示所述车辆接近前方的路口，从所述车辆上装载的传感器获取呈现所述车辆的前方的环境的数据；基于呈现所述车辆的前方的环境的数据进行交通灯信息的检测；以及响应于检测到交通灯的信息，确定为所述定位信息被验证。
7.在本方面的一个示例性实施例中，所述方法还包括：根据所述定位信息和高精度地图判断所述车辆是否接近所述路口。可选地，响应于所述车辆与所述路口之间的距离小于50米，判断为所述车辆接近所述路口。
8.在本方面的一个示例性实施例中，所述方法还包括：响应于检测到交通灯的信息并且检测到的交通灯与所述车辆之间的第一距离与所述定位信息指示的所述车辆与所述交通灯的第二距离之差小于距离阈值，确定为所述定位信息中的位置信息被验证。
9.在本方面的一个示例性实施例中，所述方法还包括：响应于检测到交通灯的信息并且检测到的交通灯与所述车辆之间的第一角度与所述定位信息指示的所述车辆与所述交通灯的第二角度之差小于角度阈值，确定为所述定位信息中的姿态信息被验证。
10.在本方面的一个示例性实施例中，所述传感器包括摄像头。
11.根据本公开的第二方面，提供了一种验证车辆的定位信息的系统，包括：定位模块，被配置为提供车辆的定位信息；传感器，装载在所述车辆上，被配置为提供呈现所述车辆的前方的环境的数据；交通灯信息检测模块，被配置为从输入的数据中进行交通灯信息
的检测；以及控制模块，被配置为：从所述定位模块获取所述车辆的定位信息；响应于所述定位信息指示所述车辆接近前方的路口，从所述传感器获取呈现所述车辆的前方的环境的数据；将呈现所述车辆的前方的环境的数据提供给所述交通灯信息检测模块，并从所述交通灯信息检测模块接收检测结果；以及响应于所述检测结果为检测到交通灯的信息，确定为所述定位信息被验证。
12.在本方面的一个示例性实施例中，所述控制模块还被配置为：根据所述定位信息和高精度地图判断所述车辆是否接近所述路口。可选地，响应于所述车辆与所述路口之间的距离小于50米，判断为所述车辆接近所述路口。
13.在本方面的一个示例性实施例中，所述控制模块还被配置为：响应于检测到交通灯的信息并且检测到的交通灯与所述车辆之间的第一距离与所述定位信息指示的所述车辆与所述交通灯的第二距离之差小于距离阈值，确定为所述定位信息中的位置信息被验证。
14.在本方面的一个示例性实施例中，所述控制模块还被配置为：响应于检测到交通灯的信息并且检测到的交通灯与所述车辆之间的第一角度与所述定位信息指示的所述车辆与所述交通灯的第二角度之差小于角度阈值，确定为所述定位信息中的姿态信息被验证。
15.在本方面的一个示例性实施例中，所述传感器包括摄像头。
16.根据本公开的第三方面，提供了一种验证车辆的定位信息的设备。该设备包括：一个或多个处理器；以及一个或多个存储器，所述一个或多个存储器被配置为存储一系列计算机可执行的指令，其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器进行如上所述的方法。
17.在本方面的一个示例性实施例中，所述设备装载在所述车辆上。
18.根据本公开的第四方面，提供了一种非临时性计算机可读存储介质。所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列计算机可执行的指令被一个或多个计算装置执行时，使得所述一个或多个计算装置进行如上所述的方法。
19.通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
20.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
21.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，
22.其中：
23.图1为三维全局坐标系和三维车辆坐标系的示意图。
24.图2为车辆行至接近路口的示意图。
25.图3是示意性地示出根据本公开一个实施例的验证车辆的定位信息的方法的流程图。
26.图4是示意性地示出根据本公开一个实施例的验证车辆的定位信息的系统的框
图。
27.图5是示意性地示出根据本公开实施例的可应用于本公开的验证车辆的定位信息的设备的通用硬件系统的示例性框图。
28.注意，在以下说明的实施方式中，有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分，而省略其重复说明。在一些情况中，使用相似的标号和字母表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
具体实施方式
29.以下将参照附图描述本公开，其中的附图示出了本公开的若干实施例。然而应当理解的是，本公开可以以多种不同的方式呈现出来，并不局限于下文描述的实施例；事实上，下文描述的实施例旨在使本公开的公开更为完整，并向本领域技术人员充分说明本公开的保护范围。还应当理解的是，本文公开的实施例能够以各种方式进行组合，从而提供更多额外的实施例。
30.应当理解的是，本文中的用语仅用于描述特定的实施例，并不旨在限定本公开。本文使用的所有术语(包括技术术语和科学术语)除非另外定义，均具有本领域技术人员通常理解的含义。为简明和/或清楚起见，公知的功能或结构可以不再详细说明。
31.在本文中，用语“a或b”包括“a和b”以及“a或b”，而不是排他地仅包括“a”或者仅包括“b”，除非另有特别说明。
32.在本文中，用语“示例性的”意指“用作示例、实例或说明”，而不是作为将被精确复制的“模型”。在此示例性描述的任意实现方式并不一定要被解释为比其它实现方式优选的或有利的。而且，本公开不受在上述技术领域、背景技术、发明内容或具体实施方式中所给出的任何所表述的或所暗示的理论所限定。
33.另外，仅仅为了参考的目的，还可以在本文中使用“第一”、“第二”等类似术语，并且因而并非意图限定。例如，除非上下文明确指出，否则涉及结构或元件的词语“第一”、“第二”和其它此类数字词语并没有暗示顺序或次序。
34.还应理解，“包括/包含”一词在本文中使用时，说明存在所指出的特征、整体、步骤、操作、单元和/或组件，但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、单元和/或组件以及/或者它们的组合。
35.如前所述，车辆的定位信息是否准确对车辆的自动驾驶至关重要。因此，在规划自动驾驶时需要知道当前对车辆进行位姿估计得到的车辆的定位信息是否准确。自动驾驶车辆在路口需要进行交通灯检测，以便制定本车辆在路口的行驶策略。例如，如果路口是红灯，则需要停车等待。再例如，如果本车辆意图左转，而此时虽然直行的绿灯亮，但左转指示灯为红色，则车辆也需要停车等待。本技术的发明人据此想到，可以利用车辆在路口进行交通灯检测的结果对车辆的定位信息进行验证。据此，本公开提供了用以对车辆的定位信息进行验证的方法、系统及设备。
36.图3是示意性地示出根据本公开一个实施例的验证车辆的定位信息的方法100的流程图。方法100包括如下所述的步骤s11至步骤s14。图4是示意性地示出根据本公开一个实施例的验证车辆的定位信息的系统200的流程图。系统200包括定位模块210、传感器220、
交通灯信息检测模块230、以及控制模块240。定位模块210、交通灯信息检测模块230、以及控制模块240可以为车辆上装载的模块，也可以为远程模块。定位模块210、交通灯信息检测模块230、以及控制模块240中的任何一个模块为能够提供相应功能的任何装置、设备、软件和/或硬件模块。下面结合方法100的各步骤和系统200所包括的各个部分对本公开的实施例进行说明。
37.步骤s11：控制模块240从定位模块210获取车辆的定位信息。定位模块210例如可以是基于gps数据、激光雷达(lidar)数据等的定位模块。在一个实施例中，定位模块210提供的定位信息包括车辆的三维位置信息，即车辆相对于全局坐标系的位置，例如在该实施例中定位信息可以是(x,y,z)，如前文所述。在一个实施例中，当不需要三维定位时，定位模块210提供的定位信息包括车辆的二维位置信息，即可以仅包括车辆在水平面中相对于全局坐标系的位置，即不包括在z方向这个维度的位置，例如在该实施例中定位信息可以是(x,y)。在一个实施例中，定位模块210提供的定位信息除了包括车辆的位置信息之外，还包括车辆的姿态信息，即车辆相对于全局坐标系的旋转角度，例如在该实施例中定位信息可以是(x,y,z,θ
roll
,θ
pitch
,θ
yaw
)，如前文所述。在一个实施例中，当不需要三维定位时，定位模块210提供的定位信息可以仅包括车辆的二维位置信息以及车辆的二维姿态信息，即车辆在水平面中相对于全局坐标系的旋转角度，例如在该实施例中定位信息可以是(x,y,θ
yaw
)。
38.步骤s12：响应于定位信息指示车辆接近前方的路口，控制模块240从车辆上装载的传感器220获取呈现车辆的前方的环境的数据。控制模块240根据从定位模块210获取的定位信息和高精度地图(hd map)来判断车辆是否接近路口。例如，根据车辆的定位信息所指示的在hd map中的位置，如图2所示，若该位置前方(应当理解，本文所称车辆前方是指车辆所行驶的车道在行驶方向的前方)的预定距离处有路口，例如定位信息在hd map中所指示的位置的前方小于50米的距离内有路口(即响应于车辆与路口之间的距离l小于50米)，判断为车辆接近路口。需要说明的是，此时并不能判断针对车辆的定位信息是否准确，即不能判断该定位信息所指示的在hd map中的位置是否准确，因此，即便控制模块240判断为车辆接近前方的路口，在真实环境中的车辆可能在接近前方路口处，也可能不在接近前方路口处。
39.响应于控制模块240判断为车辆接近前方的路口，控制模块240从车辆上装载的传感器220获取呈现车辆的前方的环境的数据。传感器220用于提供呈现所述车辆的前方的环境的数据。在一个实施例中，传感器220为lidar传感器，其可以收集车辆周围(包括车辆前方)的点云数据。在该实施例中，控制模块240可以从lidar传感器获取呈现车辆的前方的环境的点云数据。在一个实施例中，传感器220为一个或多个摄像头，其可以拍摄车辆前方的环境图像。在该实施例中，控制模块240可以从摄像头获取呈现车辆的前方的环境的图像数据。
40.步骤s13：控制模块240将呈现车辆的前方的环境的数据提供给交通灯信息检测模块230。交通灯信息检测模块230基于呈现车辆的前方的环境的数据进行交通灯信息的检测，并将检测结果发送给控制模块240。在不同的实施例中，交通灯信息检测模块230可以分别基于呈现车辆的前方的环境的点云数据和/或图像数据来进行交通灯信息的检测。检测可以基于任何合适的现有技术，本公开对此不做限制。在一个实施例中，交通灯信息检测模块230的检测结果可以是分别表示“检测到交通灯的信息”和“未检测到交通灯的信息”的结
果，例如分别为值“1”和“0”。在这种情况下，交通灯信息检测模块230可以是一个二值分类器。在其他实施例中，交通灯信息检测模块230的检测结果可以包括检测到的交通灯相对于车辆的位姿信息，例如，交通灯在车辆坐标系中的三维位姿(x1,y1,z1,θ1
roll
,θ1
pitch
,θ1
yaw
)或二维位姿(x1,y1,θ1
yaw
)。
41.步骤s14：在一个实施例中，响应于交通灯信息检测模块230的检测结果为检测到交通灯的信息，控制模块240确定为定位信息被验证。如前所述，由于定位信息未必准确，因此即使控制模块240在步骤s12中判断为车辆接近前方的路口，在真实环境中的车辆可能在接近前方路口处，也可能不在接近前方路口处。但如果此时基于车辆上装载的传感器220提供的反应真实环境的实时数据检测出交通灯的信息，则说明车辆确实位于接近路口处，则可以验证在步骤s11中控制模块240从定位模块210获取的车辆的定位信息，即可以认为此时车辆的定位信息是准确的。反之，如果控制模块240在步骤s12中判断为车辆接近前方的路口，但交通灯信息检测模块230在步骤s13中的检测结果显示“未检测到交通灯的信息”，则说明有可能车辆在真实环境中并未接近前方的路口，则可以认为在步骤s11中获取的车辆的定位信息不准确，例如可以弃用该定位信息，或者从定位模块210之外的其他来源获取该车辆的其他的定位信息以进一步验证等。通常，车辆在道路上行驶时会不断地经过一个又一个路口，使用本公开提供的方法、系统及设备，可以在自动驾驶的行驶过程中不断地对定位信息进行验证，并且能够及时地发现定位信息有可能不可靠，从而避免车辆使用可能不准确的定位信息进行自动驾驶规划而造成错误。
42.在一些实施例中，还可以更谨慎地对车辆的定位信息进行验证。如上所述，交通灯信息检测模块230的检测结果不但包括“检测到交通灯的信息”的指示，还包括交通灯相对于车辆的位姿。例如，在传感器220为摄像头的情况下，可以使用图像测量或机器视觉技术，根据摄像头拍摄的图像检测出图像中的交通灯相对于车辆的三维或二维位姿。在一个实施例中，响应于交通灯信息检测模块230检测到交通灯的信息并且检测到的交通灯与车辆之间的第一距离与定位信息指示的车辆与交通灯的第二距离(如图2所示的距离d)之差小于预定的距离阈值(例如5米、10米等)，控制模块240确定为定位信息被验证，或者定位信息中的位置信息被验证。在一个实施例中，响应于交通灯信息检测模块230检测到交通灯的信息并且检测到的交通灯与车辆之间的第一角度与定位信息指示的车辆与交通灯的第二角度之差小于角度阈值(例如10度、15度等)，控制模块240确定为定位信息被验证，或者定位信息中的姿态信息被验证。
43.图5是示意性地示出根据本公开实施例的可应用于本公开的验证车辆的定位信息的设备的通用硬件系统300的示例性框图。现在将参考图5描述系统300，其是可以应用于本公开的各方面的硬件设备的示例。系统300可以是被配置为执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助理、智能电话、车载电脑、或其任何组合。上述根据本公开实施例的验证车辆的定位信息的系统200可以全部或至少部分地由系统300或类似设备或系统实现。
44.系统300可以包括可能经由一个或多个接口与总线302连接或与总线302通信的元件。例如，系统300可以包括总线302，以及一个或多个处理器304，一个或多个输入设备306和一个或多个输出设备308。一个或多个处理器304可以是任何类型的处理器，可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。上文所
述的方法中的各个步骤均可以通过一个或多个处理器304执行指令来实现。
45.输入设备306可以是可以向计算设备输入信息的任何类型的设备，可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备308可以是可以呈现信息的任何类型的设备，可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。
46.系统300还可以包括非暂时性存储设备310或者与非暂时性存储设备310连接。非暂时性存储设备310可以是非暂时性的并且可以实现数据存储的任何存储设备，可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、硬盘、磁带或任何其他磁介质、光盘或任何其他光学介质、rom(只读存储器)、ram(随机存取存储器)、高速缓冲存储器、和/或任何其他存储器芯片/芯片组、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备310可以从接口拆卸。非暂时性存储设备310可以具有用于实现上述方法、步骤和过程的数据/指令/代码。例如，上文所述的hd map 211可以至少部分地存储在非暂时性存储设备310中。
47.系统300还可以包括通信设备312。通信设备312可以是能够与外部设备和/或与网络通信的任何类型的设备或系统，可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备、和/或芯片组，例如蓝牙设备、1302.11设备、wifi设备、wimax设备、蜂窝通信设备、卫星通信设备、和/或类似物。
48.当系统300用作车载设备时，它还可以连接到外部设备，例如gps接收器，用于感测不同环境数据的传感器，例如加速度传感器、车轮速度传感器、陀螺仪和等等。以这种方式，系统300可以例如接收指示车辆的行驶状况的位置数据和传感器数据。当系统300用作车载设备时，它还可以连接到车辆的其他设施(例如发动机系统、雨刮器、防抱死制动系统等)以控制车辆的运行和操作。
49.另外，非暂时性存储设备310可以具有地图信息和软件元素，使得处理器304可以执行路线引导处理。另外，输出设备308可以包括用于显示地图、车辆的位置标记、以及指示车辆的行驶状况的图像的显示器。输出设备308还可以包括扬声器或具有耳机的接口，用于音频引导。
50.总线302可以包括但不限于工业标准体系结构(isa)总线、微通道架构(mca)总线、增强型isa(eisa)总线、视频电子标准协会(vesa)本地总线、和外围部件互连(pci)总线。特别地，对于车载设备，总线302还可以包括控制器区域网络(can)总线或设计用于在车辆上应用的其他架构。
51.系统300还可以包括工作存储器314，其可以是可以存储对处理器304的工作有用的指令和/或数据的任何类型的工作存储器，可以包括但不限于随机存取存储器和/或只读存储设备。
52.软件元素可以位于工作存储器314中，包括但不限于操作系统316、一个或多个应用程序318、驱动程序、和/或其他数据和代码。用于执行上述方法和步骤的指令可以包括在一个或多个应用程序318中。软件元素的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质中，例如上述存储设备310，并且可以通过编译和/或安装被读入工作存储器314中。还可以从远程位置下载软件元素的指令的可执行代码或源代码。
53.还应该理解，可以根据具体要求进行变化。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现特定元件。此外，可
以采用与诸如网络输入/输出设备之类的其他计算设备的连接。例如，根据本公开实施例的方法或装置中的一些或全部可以通过使用根据本公开的逻辑和算法的、用汇编语言或硬件编程语言(诸如verilog，vhdl，c )的编程硬件(例如，包括现场可编程门阵列(fpga)和/或可编程逻辑阵列(pla)的可编程逻辑电路)来实现。
54.还应该理解，系统300的组件可以分布在网络上。例如，可以使用一个处理器执行一些处理，而可以由远离该一个处理器的另一个处理器执行其他处理。系统300的其他组件也可以类似地分布。这样，系统300可以被解释为在多个位置执行处理的分布式计算系统。
55.尽管到目前为止已经参考附图描述了本公开的各方面，但是上述方法，系统和设备仅仅是示例性示例，并且本公开的范围不受这些方面的限制，而是仅由以下方面限定：所附权利要求及其等同物。可以省略各种元件，或者可以用等效元件代替。另外，可以以与本公开中描述的顺序不同的顺序执行这些步骤。此外，可以以各种方式组合各种元件。同样重要的是，随着技术的发展，所描述的许多元素可以由在本公开之后出现的等同元素代替。