定位的方法及装置与流程

定位的方法及装置
1.相关申请的交叉引用
2.本技术要求2020年11月19日在韩国知识产权局提交的韩国专利申请no.10-2020-0155767的权益，其全部公开内容通过引用并入本文以用于所有目的。
技术领域
3.以下描述涉及定位的方法及装置。


背景技术：

4.作为一个示例，为了辅助车辆的行驶和其他运输方式，存在通过增强现实(ar)为驾驶员提供各种视觉信息的导航系统。导航系统通过全球定位系统(gps)传感器从人造卫星接收gps信号，并且基于所接收的gps信号估计车辆的当前位置。可以通过gps信号得到纬度和经度形式的车辆的绝对位置值。


技术实现要素：

5.提供本发明内容以用简化形式介绍在下文的具体实施方式中进一步描述的构思的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于帮助确定所要求保护的主题的范围。
6.在一个总体方面，一种处理器实现的方法包括：基于使用车辆的位置传感器测量的所述车辆的位置信息确定第一参考位置；基于使用所述车辆的相机捕获的所述车辆的图像信息确定所述车辆的第二参考位置；基于所述车辆的行驶情况设置对于所述第二参考位置的可接受范围；将所述第二参考位置与所述第一参考位置进行比较并且估计所述第二参考位置的误差级别；以及将所述第二参考位置的误差级别与所述可接受范围进行比较并且估计所述车辆的当前位置。
7.确定所述第二参考位置可以包括：基于所述图像信息中所包括的车道边界的几何信息确定所述第二参考位置。
8.所述第二参考位置可以包括以下项中的一项或两项：关于所述车辆所属的车道的信息、以及关于所述车辆在所述车辆所属的车道中的具体位置的信息。
9.基于所述车辆的行驶情况设置对于所述第二参考位置的可接受范围可以包括：从多个行驶情况之中确定所述行驶情况，其中，所述多个行驶情况可以包括以下至少一种行驶情况：所述车辆在交叉路口行驶的第一行驶情况、以及所述车辆通过转弯行驶的第二行驶情况。
10.设置所述可接受范围可以包括：基于所述行驶情况选择性地调整所述可接受范围的宽度。
11.设置所述可接受范围可以包括：将对于所述车辆通过转弯行驶的第二行驶情况的可接受范围设置为宽于对于所述车辆在交叉路口行驶的第一行驶情况所设置的可接受范围。
12.估计所述当前位置可以包括：响应于所述第二参考位置的误差级别在所述可接受范围之外，在估计所述车辆的当前位置时排除对所述第二参考位置的考虑。
13.估计所述当前位置可以包括：响应于所述第二参考位置的误差级别在所述可接受范围之外，将所述第一参考位置估计为所述车辆的当前位置；响应于所述第二参考位置的误差级别在所述可接受范围之内，将基于所述第二参考位置和所述第一参考位置的加权和所估计的新位置估计为所述车辆的当前位置。
14.确定所述误差级别可以包括：基于所述第二参考位置和所述第一参考位置之间的距离确定所述第二参考位置的误差级别。
15.所述方法还可以包括：设置对于后续时间步长中的另一第二参考位置的另一可接受范围，包括：当所述第二参考位置在所述可接受范围之外时，将所述另一可接受范围的宽度设置为宽于所述可接受范围的宽度。
16.所述方法还可以包括：基于与多个先前的时间步长相对应的多个第二参考位置和所述第二参考位置，确定与所述第二参考位置相对应的参考航向角的改变，其中，估计所述当前位置可以包括：通过进一步考虑陀螺仪的输出与所确定的所述参考航向角的改变之间的比较结果，估计所述车辆的当前位置。
17.在一个总体方面，一个或多个示例包括一种存储指令的非暂时性计算机可读记录介质，所述指令在由处理器执行时，使所述处理器执行本文描述的操作、过程和/或方法中的任一个、任何组合或全部。
18.在一个总体方面，一种装置包括一个或多个处理器，所述一个或多个处理器被配置为：基于使用车辆的位置传感器测量的所述车辆的位置信息确定第一参考位置；基于使用所述车辆的相机捕获的所述车辆的图像信息确定所述车辆的第二参考位置；基于所述车辆的行驶情况设置对于所述第二参考位置的可接受范围；将所述第二参考位置与所述第一参考位置进行比较并且估计所述第二参考位置的误差级别；以及将所述第二参考位置的误差级别与所述可接受范围进行比较并且估计所述车辆的当前位置。
19.对于估计所述第二参考位置的误差级别，所述处理器可以被配置为：基于所述第二参考位置和所述第一参考位置之间的距离确定所述误差级别。
20.对于估计所述车辆的当前位置，所述处理器可以被配置为：响应于所述第二参考位置的误差级别在所述可接受范围之外，将所述第一参考位置估计为所述车辆的当前位置；以及响应于所述第二参考位置的误差级别在所述可接受范围之内，将基于所述第二参考位置和所述第一参考位置的加权和所估计的新位置估计为所述车辆的当前位置。
21.所述装置可以是进一步包括以下项的车辆：所述相机；所述传感器；以及控制系统，被配置为根据所述当前位置控制所述车辆。
22.对于设置所述可接受范围，所述处理器可以被配置为：将对于所述车辆通过转弯行驶的第二行驶情况的可接受范围设置为宽于对于所述车辆在交叉路口行驶的第一行驶情况所设置的可接受范围。
23.所述处理器还可以被配置为：设置对于后续时间步长中的另一第二参考位置的另一可接受范围，包括：当所述第二参考位置在所述可接受范围之外时，将所述另一可接受范围的宽度设置为宽于所述可接受范围的宽度。
24.所述装置还可以包括存储指令的存储器，当所述指令由所述处理器执行时，将所
述处理器配置为执行以下操作：确定所述第一参考位置，确定所述第二参考位置，设置所述可接受范围，将所述第二参考位置与所述第一参考位置进行比较并且估计所述误差级别，以及将所述第二参考位置的误差级别与所述可接受范围进行比较并且估计所述当前位置。
25.在一个总体方面，一种装置包括处理器，所述处理器被配置为：基于使用车辆的位置传感器测量的所述车辆的位置信息确定第一参考位置；基于使用所述车辆的相机捕获的所述车辆的图像信息确定所述车辆的第二参考位置；基于所述车辆的行驶情况设置对于所述第二参考位置的可接受范围；将所述第二参考位置与所述第一参考位置进行比较并且估计所述第二参考位置的误差级别；将所述第二参考位置的误差级别与所述可接受范围进行比较并且估计所述车辆的当前位置；以及基于所述车辆的当前位置生成与所述车辆的行驶相关联的控制指令；并且还包括控制系统，所述控制系统被配置为响应于所述控制指令而控制所述车辆。
26.所述装置可以是车辆并且还可以包括所述相机。
27.对于估计所述第二参考位置的误差级别，所述处理器可以被配置为：基于所述第二参考位置和所述第一参考位置之间的距离确定所述误差级别。
28.对于估计所述车辆的当前位置，所述处理器可以被配置为：响应于所述第二参考位置的误差级别在所述可接受范围之外，将所述第一参考位置估计为所述车辆的当前位置；以及响应于所述第二参考位置的误差级别在所述可接受范围之内，将基于所述第二参考位置和所述第一参考位置的加权和所估计的新位置估计为所述车辆的当前位置。
29.在一个总体方面，一种处理器实现的方法包括：基于使用车辆的位置传感器测量的所述车辆的位置信息确定第一参考位置；基于使用所述车辆的相机捕获的所述车辆的图像信息确定所述车辆的第二参考位置；基于对所述第二参考位置是否是错误位置的确定，在基于所述第一参考位置和所述第二参考位置估计所述车辆的当前位置和基于所述第一参考位置估计所述车辆的当前位置之间进行选择；以及基于所述选择的结果估计所述当前位置，其中，对所述第二参考位置是否是错误位置的确定基于对所述第二参考位置的误差考虑，所述误差考虑取决于所述车辆的当前行驶情况。
30.对所述第二参考位置是否是错误位置的确定可以基于取决于对所述当前行驶情况的确定的可接受范围，并且基于所述第二参考位置的估计误差是否在所述可接受范围之内。
31.可以针对至少两种不同的行驶情况不同地设置所述可接受范围，包括：与交叉路口情况相比，在转弯情况中将所述可接受范围设置为更宽。
32.对所述第二参考位置是否是错误位置的确定可以包括考虑以下项中的至少一项或两项：先前时间步长确定的第二参考位置是否被确定为错误，以及所确定的与所述第二参考位置相对应的参考航向角的改变和所述车辆的陀螺仪的输出之间的比较。
33.其他特征和方面通过以下具体实施方式、附图和权利要求将变得清楚。
附图说明
34.图1示出导航装置的示例。
35.图2示出位置估计过程的示例。
36.图3a、图3b和图3c示出通过使用可接受范围的错误检测来估计位置的过程的示
例。
37.图4a和图4b示出基于图像的参考位置的错误的示例。
38.图5示出参考位置和可接受范围之间的比较的示例。
39.图6示出基于行驶情况设置可接受范围的示例。
40.图7示出检测转弯情况的示例。
41.图8示出检测在交叉路口行驶的示例。
42.图9示出扩大可接受范围的示例。
43.图10示出使用航向角(heading angle)检测错误的过程的示例。
44.图11是示出车辆定位的方法的示例的流程图。
45.图12示出导航装置的配置的示例。
46.图13示出电子设备的配置的示例。
47.在整个附图和具体实施方式中，除非另外描述或提供，否则相同和相似的附图标记将被理解为指代相同的元件、特征和结构。附图可以不按比例绘制，并且为了清楚、说明和方便，可以扩大附图中元件的相对尺寸、比例和描绘。
具体实施方式
48.提供以下具体描述以帮助读者获得对本文描述的方法、装置和/或系统的全面理解。然而，在理解了本技术的公开内容以后，本文描述的方法、装置和/或系统的各种变化、修改和等同物将是显而易见的。例如，本文描述的操作的顺序仅仅是示例，并且不限于在本文阐述的那些操作顺序，而是除了必须以特定顺序出现的操作以外，本文描述的操作的顺序可以在理解了本技术的公开内容以后进行显而易见的改变。此外，为了更加清楚和简洁，可以省略在理解了本公开以后公知的特征的描述。
49.本文描述的特征可以以不同形式来实施，并且不应被解释为限于本文描述的示例。确切地说，提供本文中描述的示例仅仅是为了说明实现本文中描述的方法、装置和/或系统的许多可行方式中的一些可行方式，在理解了本技术的公开内容以后这些方式将显而易见。
50.本公开所公开的示例的以下结构或其他描述仅仅出于描述示例的目的，且示例可以以各种形式实现。示例不意在限制，而是意图在权利要求的范围内也覆盖各种修改、等同和替代方案。
51.如本文使用的，单数形式旨在也包括复数形式，除非上下文清楚地另外指示。还应理解，术语“包括”和/或“包含”当在本说明书中使用时，规定了存在所声明的特征、整数、操作、元件、组件或其组合，但是并没有排除存在或添加一个或多个其他特征、整数、操作、元件、组件和/或其组合。此外，在本文中针对示例或实施例使用术语“可以”(例如，关于示例或实施例可以包括或实现什么)意味着存在包括或实现这样的特征的至少一个示例或实施例，而所有示例不限于此。
52.除非另外定义，否则本文使用的所有术语(包括技术或科学术语)具有与示例所属一致的领域的普通技术人员在理解本公开以后通常所理解的含义相同的含义。还应理解，诸如在通用词典中定义的那些术语之类的术语应被解释为具有与它们在相关技术的上下文和本技术的公开内容中的意义相一致的意义，而不被解释为理想或过于表面的意义，除
非本文如此明确地定义。
53.另外，在示例实施例的描述中，当认为在理解了本技术的公开内容以后所获知的结构或功能的详细描述可能导致示例实施例的模棱两可的解释时，可以省略这样的描述。
54.虽然使用“第一”、“第二”、“a”、“b”、“(a)”、“(b)”等术语来解释各种组件，但是组件不受限于这些术语。这些术语应该仅用于将一个组件与另一组件区分开来。例如，在根据本公开的构思的权利范围内，“第一”组件可以被称为“第二”组件，或者类似地，“第二”组件可以被称为“第一”组件。将理解的是，当提及一个组件“连接到”或“耦接到”另一个组件时，该组件可以直接连接或耦接到该另一个组件，或者可以存在介于中间的组件。
55.此外，术语“车辆”可以指代用于例如利用驱动引擎使人或物运动的任意类型的运输设备和对应方式，例如，小汽车、公共汽车、摩托车和卡车等。术语“道路”可以指代例如这样的车辆在其上行进的道路，并且可以包括各种类型的道路，例如，高速公路、国道、高速国道和机动车专用道路等。术语“车道”表示通过在道路表面上标记的车道边界所分隔的道路空间。多个车道之中的作为车辆当前行驶的车道的术语“当前行驶车道”可以指代被车辆当前占据和使用的车道空间，并且也可以被称为“本车道”。术语“车道边界”表示在道路表面上标记的用于区分车道的实线或虚线。“车道边界”也可以被称为“车道标记”。
56.包括在一个示例中的组件可以在各个示例中使用相同的名称来描述。除非上下文另外明确指出，否则关于一个示例所做出的描述可以应用到其他示例，因此可以省略其进一步的描述。
57.图1示出导航装置的示例。参考图1，导航装置100可以基于车辆的图像数据、传感器数据和地图数据中的至少一项提供导航参数。例如，导航参数可以包括关于车辆的姿态、速度和位置中的至少一项的信息。
58.车辆可以基于导航参数生成导航信息，并且可以向用户(例如，驾驶员和/或车辆(例如，自动驾驶车辆))提供导航信息。导航装置100也可以表示车辆。作为非限制性示例，车辆可以通过车辆的三维(3d)平视显示器(hud)使用增强现实(ar)方案提供导航信息。导航装置100可以基于导航参数表示要叠加在真实背景上的虚拟图像。希望准确地测量车辆的状态以实现或寻求无错误的ar环境。
59.车辆可以包括：至少一个相机，被配置为捕获车辆周围的包括前方、侧方、后方、上方和下方在内的多个方向中的至少一个方向。导航装置100可以从至少一个相机接收车辆的图像信息。车辆可以包括被配置为测量车辆的位置的位置传感器，例如，惯性测量单元(imu)、全球定位系统(gps)和车载诊断(obd)等。导航装置100可以从位置传感器接收车辆的位置信息。此处，作为非限制性示例，imu可以包括加速度传感器和陀螺仪。
60.导航装置100可以使用或生成高清(hd)地图作为地图数据。hd地图可以包括关于使用各种传感器生成的各种地图元素(例如，车道边界、中心线和引导标记)的信息。hd地图的各种元素可以被表示为点云，并且点云中的每个点可以与3d位置相对应。例如，3d位置可以采用纬度、经度、高度来表示。
61.图2示出位置估计过程的示例。参考图2，导航装置可以在操作210中执行基于传感器的定位，在操作220中执行基于图像的定位，并且在操作240中通过基于操作210和操作220的结果执行融合来确定车辆的最终位置。
62.在操作210中，导航装置可以基于通过车辆的位置传感器测量的车辆的位置信息，
估计基于传感器的位置。例如，基于传感器的定位可以包括传感器融合。传感器融合是指融合各种信息的估计方案。例如，传感器融合可以与卡尔曼滤波器相对应。在这样的示例中，经融合的信息可以包括：使用根据卡尔曼滤波器理论的估计模型所估计的值和使用传感器信息所估计的值。例如，导航装置可以将imu、gps和obd用于操作210的传感器融合。此处，导航装置可以使用作为传感器信息的gps和obd的输出以及作为估计模型的输入的imu的输出，来估计车辆的位置、速度和姿态。
63.在操作220中，导航装置可以基于车辆的图像信息执行基于图像的定位。图像信息可以包括车辆前方可见的车道边界的几何信息。例如，车道边界的几何信息可以包括关于车道边界的类型、方向和布置中的至少一项的信息。导航装置可以通过将除了图像信息以外的其他传感器信息与图像信息组合，来确定基于图像的位置。例如，导航装置可以基于通过位置传感器(例如，gps传感器)测量的车辆的位置信息，验证车辆的近似位置。导航装置可以基于图像信息，验证车辆所属的车道和/或车辆在车辆所属的车道中的具体位置，并且相应地估计基于图像的位置。例如，所估计的基于图像的位置可以被映射到hd地图，并且hd地图的信息可以被提供给用户。
64.基于传感器的定位可以适于快的输出间隔并且可以准确地应用变化。因此，可以基于根据传感器估计的位置相对准确地验证相对位置。在一个示例中，基于图像的定位可以适于验证绝对位置。在操作240中，导航装置可以通过根据所估计的基于传感器的估计位置和基于图像的估计位置执行融合，来得到最终位置。此处，在一个示例中，导航装置可以通过传感器融合来执行融合。例如，导航装置可以通过使用在操作220中所估计的车辆的基于图像的位置和在操作210中所估计的车辆的速度作为用于估计最终位置的模型的输入，来估计车辆的最终位置。
65.通常，图像可以包括适于估计绝对位置的一些信息。然而，由于潜在的遮挡和饱和，一些图像信息可能丢失，或者在行驶环境中可能出现诸如车道增加或减少之类的变化，这可能会导致基于图像估计的估计位置的可靠性大大降低。因此，根据基于图像的估计位置得到最终位置可能导致所估计的最终位置的准确性降低。
66.在各个示例中，导航装置可以在操作230中确定这种基于图像的估计位置是否与错误相对应，并且可以在操作240中通过排除该对应的错误位置来得到最终位置，并且最终可以得到具有高准确性的最终位置。
67.在一个示例中，导航装置可以通过基于车辆的对应行驶情况设置可接受范围并将基于图像的位置的估计误差级别与可接受范围进行比较，来估计已经基于图像所估计的位置(即，基于图像的位置)的误差级别。例如，导航装置可以根据基于传感器的位置，来估计基于图像的位置的误差级别。当误差级别在可接受范围之外时，导航装置可以将基于图像的位置归类为错误。例如，导航装置可以通过排除对基于图像所估计的位置的考虑而得到最终位置。
68.在另一个示例中，例如，导航装置可以通过在连续的时间步长中的基于图像的估计位置来计算航向角，并且可以将计算出的航向角的改变与一个或多个陀螺仪的输出进行比较。当根据该比较的差异超过阈值时，例如，导航装置可以将对应的估计位置(例如，最后时间步长的估计位置)归类为错误。
69.导航装置可以考虑如下两个操作：考虑所估计的误差级别是否在可接受范围之
外，以及考虑根据计算出的航向角的改变与一个或多个陀螺仪的输出的比较的差异是否超过阈值。在这样的示例中，这两个操作可以顺序地或并行地执行。当这两种考虑的条件得到满足时，可以在得到最终位置的处理中应用基于图像的估计位置。相反，当这两种考虑的条件未得到满足时，基于图像的估计位置可以被视为错误，并且不在得到最终位置时使用。
70.图3a、图3b和图3c示出通过使用可接受范围的错误检测来估计位置的过程的示例。参考图3a，在操作310中，导航装置可以执行基于传感器的定位。例如，导航装置可以基于传感器融合来估计车辆的位置、速度和姿态。在操作330中，导航装置可以执行基于图像的定位。导航装置可以基于图像信息和传感器信息，估计车辆所属的车道和/或车辆在车辆所属的车道中的具体位置。此处，导航装置可以使用在操作310中通过传感器融合所估计的车辆的位置和姿态。基于图像的定位结果基于图像信息，因此可以被称为基于图像的参考位置。
71.在操作320中，导航装置可以确定车辆的行驶情况。车辆的行驶情况可以基于行驶道路类型和/或行驶方向类型中的类型来确定。例如，行驶情况可以包括：车辆在交叉路口行驶的行驶情况、车辆通过转弯行驶的行驶情况、以及其他行驶情况。其他行驶情况可以包括：车辆向前直行而没有在不是交叉路口的道路部分转弯的行驶情况。
72.在操作340中，导航装置可以执行与基于图像的参考位置有关的错误检测。对于错误检测，导航装置可以在操作341中设置可接受范围，并且可以在操作342中将基于图像的参考位置的估计误差级别与可接受范围进行比较。导航装置可以根据基于传感器的定位结果，估计基于图像的参考位置的误差级别。例如，导航装置可以通过根据基于传感器的定位结果执行操作351的初步估计，来确定基于模型估计的参考位置。基于模型估计的参考位置可以被用作估计基于图像的参考位置的误差级别的标准。示例性的初步估计过程在下面进一步描述。导航装置可以根据基于图像的参考位置与基于模型估计的参考位置之间的差异，来估计基于图像的参考位置的误差级别。当差异比较大或大于阈值时，基于图像的参考位置的误差级别可以被确定为比较高。
73.导航装置可以基于行驶情况设置可接受范围。在一个示例中，导航装置可以基于行驶情况对可接受范围的宽度或程度进行不同设置。因此，是否接受具有相同误差级别的基于图像的参考位置可以基于行驶情况而变化。换言之，虽然针对若干个基于图像的参考位置中的每一个估计出了特别大的误差级别，但是一些基于图像的参考位置可以被确定为错误，而一些基于图像的参考位置可以不被确定为错误，这取决于特定的基于图像的参考位置的行驶情况。例如，对于在交叉路口行驶，可以设置比较小的可接受范围，而对于转弯行驶，可以设置比较大的可接受范围。在交叉路口行驶的情况下，由于例如车道的消失、车道边界图案的改变以及通往交叉路口和在交叉路口内的遮挡的出现，导致在图像信息中包括噪声的可能性很高。因此，可以在交叉路口情况中对基于图像的参考位置应用严格的标准。在转弯行驶的情况下，在横向方向上的估计准确性可能显著下降。因此，尽可能多地接受图像信息可以有利于提高位置估计的准确性，并且因此，对于转弯行驶的可接受范围可以大于对于交叉路口情况的可接受范围。将参考图6至图9进一步描述可接受范围的示例设置。导航装置可以将在可接受范围之内的基于图像的参考位置归类为没有错误或不是错误，并且可以将在可接受范围之外的基于图像的参考位置归类为错误。
74.在操作350中，导航装置可以根据基于传感器的定位结果和基于图像的定位结果
(即，基于图像的参考位置)执行融合。操作350的融合可以包括：操作351的初步估计和操作352的二次估计。导航装置可以通过使用在前一时间步长中估计的最终位置和基于传感器的定位结果执行初步估计，来估计当前时间步长的位置。初步估计结果与基于传感器信息(例如，使用位置传感器(例如，gps)所测量的车辆的位置数据)的模型的估计值相对应，并且可以被称为基于模型估计的参考位置，以与基于图像的参考位置进行区分。导航装置也可以基于可接受范围设置基于模型估计的参考位置。
75.导航装置可以通过根据基于图像的参考位置校正基于模型估计的参考位置，来执行二次估计。可以基于在操作340中执行的错误检测的结果选择性地执行二次估计。当基于图像的参考位置与错误相对应时，可以不执行二次估计，并且基于模型估计的参考位置可以作为最终位置被输出。当基于图像的参考位置不与错误相对应时，可以执行二次估计，并且根据位置校正结果的新位置可以作为最终位置被输出。可以根据基于图像的参考位置和基于模型估计的参考位置的加权和来估计新位置。在下文中，作为非限制性示例，参考图3b和图3c进一步描述操作350的融合。
76.图3b示出传感器融合的示例。参考图3b，传感器融合可以包括：操作361中的模型传播、操作362中的测量更新和操作363中的时间更新。模型传播是指以下操作：基于模型从前一时间步长的信息(或)计算当前时间步长的信息。计算结果可以被表示为k表示当前时间步长，并且 /-表示是否应用了传感器信息。当在前一时间步长中执行了测量更新时，前一时间步长的信息是当在前一时间步长中未执行测量更新时，前一时间步长的信息是
77.时间更新是指以下操作：例如，基于卡尔曼滤波器理论，执行关于当前时间步长的信息的“基于模型的估计”。估计结果可以被表示为此处，脱字符(^)表示估计。测量更新是指执行yk和的加权和的操作。yk表示在当前时间步长中的传感器信息输入。可以基于yk和的精度或协方差确定权重。对应的结果可以被表示为当响应于yk的输入而执行测量更新时，当前时间步长的估计结果是当响应于没有输入yk而不执行测量更新时，当前时间步长的估计结果是在后一时间步长中，可以通过或执行模型传播。
78.图3c示出例如图3a的操作351中的初步估计的初步估计和例如与图3a的操作352有关的传感器融合的示例。在操作353、操作354和操作355中，图3c的导航装置可以执行分别与操作361、操作362和操作363相对应的模型传播、测量更新和时间更新。导航装置可以通过对前一时间步长的位置应用经由基于传感器的定位所估计的当前时间步长的速度来计算当前时间步长的位置，作为模型传播操作。例如，pk可以根据pk＝p
k-1
vk＊δt来计算。此处，pk表示当前时间步长的位置，p
k-1
表示前一时间步长的位置，vk表示当前时间步长的速度，并且δt表示在连续的两个时间步长之间的时间间隔。计算结果与相对应。
79.导航装置可以通过时间更新操作生成初步估计结果。初步估计结果与相对应，并且可以被称为前述的基于模型估计的参考位置。此外，导航装置可以通过执行传感器信息和初步估计结果的加权和，来生成二次估计结果。二次估计结果与相对应。传感器信息可以包括：通过基于传感器的定位所估计的当前时间步长的位置、以及通过基于图像的定位所估计的当前时间步长的位置。如上所述，通过基于图像的定位所估计的当前时间步长的位置可以被称为基于图像的参考位置。导航装置可以通过操作353、操作354和操作355生成初步估计结果和二次估计结果，并且基于错误检测结果选择初步估计结果和二次估计结果之一作为最终位置。
80.图4a和图4b示出基于图像的参考位置的错误的示例。在图4a和图4b中，粗实线或深实线表示真实或实际行驶路径，而点表示基于图像所估计的位置。图4a示出了如下示例：当前车辆在根据具有箭头的指示符410的方向上行驶，并且在路段412中出现遮挡。例如，在当前车辆前方的另一车辆遮挡当前车辆的相机时，可能出现遮挡。因为路段412中出现遮挡，所以在路段412中所捕获的图像信息中难以包括适于确定绝对位置的信息。因此，位置411可能与真实行驶路径不同。
81.图4b示出了如下示例：当前车辆在根据具有箭头的指示符420的方向上行驶，并且车道的数量在边界422处增加。如果所有的车道都出现在图像信息中，则可以比较容易地识别作为车辆的行驶车道的车道。然而，如果并非所有的车道而只是所有车道的一部分出现在图像信息中，例如，如果在四车道道路上只有两个车道被捕获到，则可能难以识别与当前车辆的行驶车道相对应的车道。在这种情况下，如果车道的数量增加或减少，则位置信息的准确性可能进一步下降。例如，如果在第一车道中出现左转车道边界，则可能需要改变行驶车道，例如，将行驶车道从第二车道改变到第三车道。然而，关于车道数量的这种增加或减少的信息可能无法通过图像信息立即反映在位置信息中。因此，虽然车辆在同一车道中行驶，但是在基于图像的定位中可能出现错误，并且行驶车道可能被识别为已经改变，如位置421所示。
82.参考图4a的位置411和图4b的位置421，由基于图像的定位引起的错误很可能涉及被错误地识别为行驶车道改变的车道跳变。通过在hd地图上进行映射来提供基于图像的定位结果。此处，hd地图包括每个车道边界的位置信息，并且定位结果一般可以基于这些车道边界被映射在hd地图上。此外，在诸如遮挡和车道增加/减少的情况下，图像信息可能包括用于估计在当前行驶车道中的具体位置的信息，然而，图像信息很可能不包括用于估计当前行驶车道是所有车道中的几号车道的信息。因此，导航装置可以基于这样的车道跳变来检测通过基于图像的定位所估计的位置中的错误。
83.图5示出参考位置和可接受范围之间的比较的示例。图5示出与第一基于图像的参考位置510有关的第一可接受区域511以及与第二基于图像的参考位置520有关的第二可接受区域521。每个可接受区域可视地表示每个对应的可接受范围，以帮助理解每个可接受范围。
84.参考图5，第一可接受区域511与半径为针对第一基于图像的参考位置510设置的第一可接受范围的圆相对应，并且第一可接受区域511的中心是与第一基于图像的参考位置510相对应的第一基于模型估计的参考位置512。同样，第二可接受区域521与半径为针对
第二基于图像的参考位置520设置的第二可接受范围的圆相对应，并且第二可接受区域521的中心是与第二基于图像的参考位置520相对应的第二基于模型估计的参考位置522。因此，在可接受区域之内的基于图像的参考位置可以表示基于图像的参考位置和与其相对应的基于模型估计的参考位置之间的差异在可接受范围之内。在图5中，假设第一可接受范围和第二可接受范围相同。例如，每个可接受范围的宽度可以基于每个车道的宽度。
85.导航装置可以将第一基于图像的参考位置510和第一基于模型估计的参考位置512之间的距离确定为第一基于图像的参考位置510的误差级别，并且可以将第二基于图像的参考位置520和第二基于模型估计的参考位置522之间的距离确定为第二基于图像的参考位置520的误差级别。此外，导航装置可以将第一基于图像的参考位置510的误差级别与第一可接受范围进行比较，并且将第二基于图像的参考位置520的误差级别与第二可接受范围进行比较。此处，因为第一基于图像的参考位置510在第一可接受区域511之内，所以导航装置可以将第一基于图像的参考位置510归类为没有错误。因为第二基于图像的参考位置520在第二可接受区域521之外，所以导航装置可以将第二基于图像的参考位置520归类为错误。
86.横向方向(y)的准确性可能比车辆行驶的纵向方向(x)的准确性更重要。因此，导航装置可以基于横向方向(y)确定每个基于图像的参考位置的误差级别。例如，导航装置可以根据图5的坐标系，基于第一基于图像的参考位置510的y坐标和第一基于模型估计的参考位置512的y坐标之间的差，来确定第一基于图像的参考位置510的误差级别，并且可以设置与其相对应的可接受范围并将可接受范围与误差级别进行比较。
87.图6示出基于行驶情况设置可接受范围的示例。参考图6，导航装置可以在操作611、操作621和操作631中确定当前行驶情况，并且可以在操作612、操作622、操作632和操作633中基于当前行驶情况设置可接受范围。在操作612、操作622、操作632和操作633中，ek表示当前时间步长的可接受范围，e
l
表示第一可接受范围，并且es表示第二可接受范围。与es相比，e
l
可以与更宽的可接受范围相对应。例如，在当前行驶情况与转弯相对应时，导航装置可以将当前可接受范围设置为e
l
。在当前行驶情况与在交叉路口行驶相对应时，导航装置可以将当前可接受范围设置为es。
88.虽然当前行驶不与转弯和在交叉路口行驶两者相对应，但是导航装置可以根据前一基于图像的参考位置是否被归类为错误而调整可接受范围的宽度。例如，当前一基于图像的参考位置被归类为错误时，与e
k-1
相比，导航装置可以使ek的宽度增加δe。当前一基于图像的参考位置被归类为没有错误时，导航装置可以将ek设置为e
init
。此处，e
init
表示初始宽度，并且例如，可以具有基于车道宽度的值。如果错误持续存在并且从位置估计中连续地排除基于图像的参考位置，那么错误可能发散。因此，如果错误持续存在，则导航装置可以递增地(例如，一点一点地)增加可接受范围的宽度，以防止错误的发散。
89.在操作640中，导航装置可以比较δpy和ei。δpy表示基于图像的参考位置和基于模型估计的参考位置之间的差异。如果差异大，则可以认为基于图像的参考位置的误差级别为高。例如，δpy可以表示基于图像的参考位置和基于模型估计的参考位置之间在横向方向上的差异。ei表示所设置的可接受范围，并且i可以与l、s和k中的一个相对应，即，取决于操作611、操作621或操作631的结果。例如，如果δpy在可接受范围之内，例如，如果δpy小于ei，则导航装置可以将对应的基于图像的参考位置归类为没有错误。如果δpy在可接受范
围之外，例如，如果δpy大于ei，则导航装置可以将对应的基于图像的参考位置归类为错误。
90.图7示出检测转弯情况的示例。因为与道路有关的信息一般分布在横向方向上，所以与横向方向上的估计相比，纵向方向上的估计往往不准确。如果车辆在转角路段中转弯，那么纵向方向上的不准确性可能在转弯前后的预定(或备选地，期望)时间段内影响横向方向上的估计。横向方向上的不准确性可能具有致命的后果，例如，估计出车辆离开道路或出现在错误的车道中等。因此，横向方向上的不准确性急需校正。
91.为了减小横向方向上的不准确性，导航装置可以基于图像信息增加可接受范围的宽度。参考图7，可以看到，车辆转弯以后的可接受范围720宽于车辆转弯以前的可接受范围710。因此，虽然基于图像的参考位置的误差级别可能在转弯以后略高，但是基于图像的参考位置可以被用于估计最终位置的可能性更大。例如，导航装置可以将陀螺仪的输出累积预定(或备选地，期望)时间段，并且，如果该时间段内累积的角度超过阈值，则可以确定行驶情况与转弯行驶相对应。如果所累积的角度落在阈值以下，则导航装置可以确定转弯结束，并且从这个时间点起，可以扩大可接受范围，以使车辆的横向位置收敛到基于图像的参考位置。
92.图8示出检测在交叉路口行驶的示例。参考图8，在hd地图800上标记车辆的当前估计位置810。hd地图800上的每个点可以包括关于各种地图元素(例如，车道边界、中心线和引导标志)的信息。因此，在当前估计位置810附近存在的地图元素可以通过hd地图800上的点得以验证。导航装置可以验证当前估计位置810的周围区域820中是否存在车道，并且当不存在车道时，可以确定当前估计位置810与交叉路口相对应。识别道路环境的基于图像的定位算法可以确定在车道消失或新车道出现的交叉路口路段中错误出现概率高。导航装置可以在通过交叉路口以后的预定(或备选地，期望)时间段内减小可接受范围的宽度，以最小化在交叉路口处的位置估计误差。
93.图9示出扩大可接受范围的示例。参考图9，在时间步长t2中，基于图像的参考位置开始偏离可接受区域910，并且这个状态被保持直到时间步长t4为止。因此，从时间步长t2至时间步长t4的基于图像的参考位置可能无法在估计最终位置时应用。如果在错误持续存在的情况下连续地忽略基于图像的参考位置，那么错误可能变为发散，并且与使用基于图像的参考位置相比，估计精度可能进一步下降。因此，如果错误持续存在，则导航装置可以递增地(例如，一点一点地)增加可接受范围的宽度，以防止错误的发散。导航装置可以从基于图像的参考位置开始偏离可接受区域910的时间步长t2开始扩大可接受区域910。在时间步长t5中，基于图像的参考位置进入可接受区域920。因此，从时间步长t5开始，导航装置可以将基于图像的参考位置用于估计最终位置。
94.图10示出使用航向角检测错误的过程的示例。备选地或除了使用误差级别和可接受范围的前述过程以外，导航装置可以通过其他过程对基于图像的参考位置进行归类。图10示出作为这些其他过程之一的使用航向角的过程的示例。
95.导航装置可以基于与包括当前时间步长的多个时间步长相对应的多个基于图像的参考位置，确定与当前时间步长的基于图像的参考位置相对应的参考航向角的改变。导航装置可以将参考航向角的改变与陀螺仪的输出进行比较，并且可以执行与当前时间步长的基于图像的参考位置有关的错误检测。如果根据该比较的差异大于阈值，则导航装置可以将对应的基于图像的参考位置归类为错误。如果差异小于阈值，则导航装置可以将对应
的基于图像的参考位置归类为没有错误。如果误差级别在可接受范围之内并且航向角的差小于阈值，即，如果两个有效条件都得到满足，则导航装置可以将基于图像的参考位置归类为没有错误，并且可以使用其估计当前位置。
96.参考图10，示出了三个连续的时间步长k-2至k的基于图像的参考位置p
k-2
至pk。此处，例如，可以根据下面的等式1计算平均航向角。
97.等式1：
[0098][0099]
在等式1中，lk表示当前时间步长的纬度，lk表示当前时间步长的经度，l
k-1
表示前一时间步长的纬度，并且l
k-1
表示前一时间步长的经度。纬度和经度可以从基于图像的参考位置p
k-2
至pk的坐标而获知。当前时间步长和前一时间步长之间的平均航向角ψk可以根据等式1计算。当如图10所示地给出至少三个时间步长时，可以计算对于给定时间步长的平均航向角。
[0100]
陀螺仪是指被配置为基于角速度检测转弯的一个或多个传感器。可以针对测量对应的基于图像的参考位置的每个时间步长存储陀螺仪的输出，并且可以基于所存储的输出，计算对于给定时间步长的平均航向变化。导航装置可以将根据基于图像的参考位置计算的平均航向变化和根据陀螺仪的输出计算的平均航向变化进行比较。如果它们之间的差大于阈值，则导航装置可以将对应的基于图像的参考位置(例如，最近时间步长的基于图像的参考位置)归类为错误。
[0101]
图11是示出车辆定位的方法的示例的流程图。参考图11，导航装置可以：在操作1110中，基于通过车辆的位置传感器测量的车辆的位置信息确定第一参考位置；在操作1120中，基于通过车辆的相机捕获的车辆的图像信息确定车辆的第二参考位置；在操作1130中，基于车辆的行驶情况设置对于第二参考位置的可接受范围；在操作1140中，将第二参考位置与第一参考位置进行比较并且估计第二参考位置的误差级别；以及在操作1150中，将第二参考位置的误差级别与可接受范围进行比较并且估计车辆的当前位置。参考图1至图10在上面做出的描述和下面参考图12和图13的描述可以应用于该车辆定位的方法。
[0102]
图12是示出导航装置的配置的示例的图。参考图12，导航装置1200可以包括处理器1210和存储器1220。导航装置可以是车辆、控制系统或装置，或者可以是另一电子设备。存储器1220可以连接到处理器1210，并且可以存储可由处理器1210执行的指令、要由处理器1210操作的数据和/或由处理器1210处理的数据。作为非限制性示例，存储器1220可以包括各种存储器，例如包括非暂时性计算机可读介质，例如，高速随机存取存储器和/或非易失性计算机可读存储介质(例如，至少一个磁盘存储设备、闪存设备和其他非易失性固态存储设备等)。
[0103]
处理器1210可以执行指令，当指令被执行时，使处理器以所有各种组合实现本文中关于图1至图11和图13描述的一个或多个或所有的操作、过程和/或方法。例如，处理器1210可以基于通过车辆的位置传感器测量的车辆的位置信息确定第一参考位置，基于通过车辆的相机捕获的车辆的图像信息确定车辆的第二参考位置，基于车辆的行驶情况设置对
于第二参考位置的可接受范围，将第二参考位置与第一参考位置进行比较并且估计第二参考位置的误差级别，以及将第二参考位置的误差级别与可接受范围进行比较并且估计车辆的当前位置。同样，参考图1至图11在上面做出的描述和参考图13在下面做出的描述可以应用于导航装置1200。
[0104]
图13是示出电子设备的配置的示例的图。参考图13，电子设备1300可以包括：处理器1310、存储器1320、相机1330、传感器1340、控制系统1350、存储设备1360、输入设备1370、输出设备1380和网络接口1390。电子设备1300的组件可以通过通信总线1305彼此通信。
[0105]
此外，虽然对处理器1310、存储器1320、相机1330、传感器1340、控制系统1350、存储设备1360、输入设备1370、输出设备1380、网络接口1390和通信总线1305进行了单数引用，但是示例也包括其中处理器1310、存储器1320、相机1330、传感器1340、控制系统1350、存储设备1360、输入设备1370、输出设备1380、网络接口1390和通信总线1305中的每一个以所有各种组合存在复数或单数的各个示例(例如，在电子设备是车辆的示例中)。作为另一个示例，电子设备1300可以与车辆控制设备、装置或系统相对应，并且可以执行各种与车辆有关的操作，例如，驾驶功能控制和附加功能控制。此外，电子设备1300可以在结构上和/或功能上包括图1的导航装置100，并且可以被实现为车辆(例如，自动驾驶车辆)，车辆的所有其余组件或车辆的部件都作为非限制性示例。
[0106]
电子设备1300可以通过基于传感器的定位和基于图像的定位来估计车辆的位置，并且可以基于所估计的位置执行后续的操作，例如，自动驾驶车辆中的驾驶功能控制。
[0107]
处理器1310可以执行将在电子设备1300中执行的功能和指令。例如，处理器1310可以处理存储在存储器1320和/或存储设备1360中的指令。在一个示例中，处理器1310和存储器1320可以与图12的处理器1210和存储器1220相对应。在一个示例中，处理器1310可以通过基于传感器的定位和/或基于图像的定位来估计车辆的位置，并且可以基于所估计的位置生成与车辆的行驶相关联的控制指令。处理器1310被配置为执行上面参考图1至图12所描述的一个或多个或所有的操作、过程和/或方法。
[0108]
存储器1320可以存储用于车辆定位的数据。存储器1320可以包括计算机可读存储介质和/或计算机可读存储设备。存储器1320可以存储将由处理器1310执行的指令，并且可以存储在由电子设备1300执行附加的软件和/或应用期间的有关信息。
[0109]
相机1330可以捕获视频图像和/或静止图像，例如，照片。例如，相机1330可以包括车辆的一个或多个相机1330，并且可以捕获车辆在预定方向上(例如，车辆的前方、后方、上方和/或下方)的相应周围环境，并且可以生成与车辆的周围环境有关的相应图像信息。在一个示例中，相机1330可以提供包括对象的深度信息的3d图像。
[0110]
传感器1340可以感测与电子设备1300相关联的信息，例如，视觉、听觉和触觉。例如，传感器1340可以包括位置传感器、超声传感器、雷达传感器和光检测及测距(lidar)传感器。控制系统1350可以响应于处理器1310的控制指令而控制车辆。例如，控制系统1350可以物理地控制与车辆有关的各种功能，包括：驾驶功能，例如，车辆的加速度、转向和致动；以及附加功能，例如，打开和关闭车门、打开和关闭车窗以及启用气囊。
[0111]
存储设备1360可以包括计算机可读存储介质和/或计算机可读存储设备。在一个示例中，存储设备1360可以比存储器1320存储更大量的信息并且可以长期存储信息。例如，作为非限制性示例，存储设备1360可以包括磁性硬盘、光盘、闪存、软盘或其他类型的非易
失性存储器。存储设备1360和存储器1320中的一者或两者可以存储hd地图。
[0112]
输入设备1370可以通过使用键盘和鼠标的典型输入方案、以及诸如触摸输入、语音输入、图像输入之类的新的输入方案从用户接收输入。例如，输入设备1370可以包括：能够检测来自键盘、触摸屏、麦克风或用户的输入、方向盘或其他车辆内部输入并且将所检测到的输入传递到电子设备1300的其他设备。
[0113]
输出设备1380可以通过视觉、听觉或触觉通道将电子设备1300的输出提供给用户。例如，输出设备1380可以包括例如显示器、触摸屏、扬声器、振动发生器或能够向用户提供输出的其他没备。网络接口1390可以在有线或无线网络上与外部设备进行通信。输出设备还可以向用户提供关于行驶进度的增强现实信息，例如与用户通过车辆的挡风玻璃的视野重叠，其中行驶进度包括车辆的估计位置和/或最终位置。
[0114]
本文描述的装置、导航装置、处理器、存储器、图像传感器、相机、3d相机、深度传感器、位置传感器、gps传感器、陀螺仪、其他传感器、控制系统、存储设备、输入设备、输出设备、网络接口、通信总线、模块、设备和其他组件通过硬件组件实现。在适当的情况下可被用于执行本技术中所描述的操作的硬件组件的示例包括控制器、传感器、发生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、以及被配置为执行本技术所描述的操作的任何其他电子组件。在其他示例中，用于执行本技术中所描述的操作的硬件组件中的一个或多个硬件组件由计算硬件(例如，由一个或多个处理器或计算机)实现。处理器或计算机可以由一个或多个处理元件(例如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或被配置为以定义的方式响应并执行指令以实现期望结果的任何其他设备或设备的组合)来实现。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件，例如，操作系统(os)和在os上运行的一个或多个软件应用，以执行本技术中描述的操作。硬件组件还可以响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简洁起见，在本技术中描述的示例的描述中可以使用单数术语“处理器”或“计算机”，但是在其他示例中可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元件、或多种类型的处理元件、或两者兼有。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器、或处理器和控制器来实现，并且一个或多个其他硬件组件可以由一个或多个其他处理器、或另一处理器和另一控制器来实现。一个或多个处理器、或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可以具有不同的处理配置中的任一种或多种，所述处理配置的示例包括单处理器、独立处理器、并行处理器、单指令单数据(sisd)多处理、单指令多数据(simd)多处理、多指令单数据(misd)多处理、和多指令多数据(mimd)多处理。
[0115]
执行本技术中描述的操作的图1至图13所示的方法由计算硬件(例如，由如上描述地实现的、执行指令或软件以执行本技术中描述的由所述方法执行的操作的一个或多个处理器或计算机)来执行。例如，单个操作或者两个或更多个操作可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或多个操作可以由一个或多个处理器、或者处理器和控制器执行，并且一个或多个其他操作可以由一个或多个其他处理器、或者
另一处理器和另一控制器执行。一个或多个处理器、或者处理器和控制器可以执行单个操作或者两个或更多个操作。
[0116]
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可以被编写为计算机程序、代码段、指令或其任何组合，用于单独或共同指示或配置一个或多个处理器或计算机作为机器或专用计算机操作以执行由上述硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一个示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的更高级的代码。可以基于附图所示的框图和流程图以及本文使用的对应描述(其公开了用于执行由如上所述的硬件组件和方法执行的操作的算法)，使用任何编程语言来编写指令或软件。
[0117]
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可以被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或其上。非暂时性计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd r、cd-rw、cd rw、dvd-rom、dvd-r、dvd r、dvd-rw、dvd rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储设备、硬盘驱动器(hdd)、固态驱动器(ssd)、闪存、卡类型的存储器(比如，多媒体卡或微型卡(例如，安全数字(sd)或极限数字(xd)))、磁带、软盘、磁光数据存储设备、光学数据存储设备、硬盘、固态盘、以及被如下配置的任何其他设备：以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且向一个或多个处理器或计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得所述一个或多个处理器或计算机可以执行所述指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得一个或多个处理器或计算机以分布方式存储、访问和执行所述指令和软件以及任何相关联的数据、数据文件和数据结构。
[0118]
尽管本公开包括特定示例，但是在理解了本技术的公开内容以后将显而易见的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以对这些示例进行形式和细节上的各种改变。本文描述的示例应仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述被认为适用于其他示例中的类似特征或方面。如果所描述的技术以不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同的方式组合和/或被其他组件或其等同物替换或补充，则可以实现合适的结果。