单目视觉信息和轮速信息融合的定位方法及系统与流程

1.本发明涉及车辆技术领域，更具体地，涉及一种单目视觉信息和轮速信息融合的定位方法及系统。


背景技术：

2.单目视觉和轮速融合定位是指利用车辆上安装的单目相机，结合载体轮速提供的尺度信息进行相对定位。但传统技术中存在单目视觉和轮速各自存在参数漂移的问题。


技术实现要素：

3.为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的单目视觉信息和轮速信息融合的定位方法及系统。
4.根据本发明实施例的第一方面，提供一种单目视觉信息和轮速信息融合的定位方法，该方法包括：在滑窗操作中，将窗口中最老帧从窗口中滑出，作为优化结果；将最新帧加入滑窗，以计算所述最新帧对应轮速累计的轮速信息及其协方差；将所述轮速信息和所述协方差加入到滑窗优化器中，为视觉约束提供尺度约束。
5.根据本发明实施例第二方面，提供了一种单目视觉信息和轮速信息融合的定位系统，该系统包括：优化模块，用于在滑窗操作中，将窗口中最老帧从窗口中滑出，作为优化结果；加入模块，用于将最新帧加入滑窗，以计算所述最新帧对应轮速累计的轮速信息及其协方差；约束模块，用于将所述轮速信息和所述协方差加入到滑窗优化器中，为视觉约束提供尺度约束。
6.根据本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的单目视觉信息和轮速信息融合的定位方法。
7.根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的单目视觉信息和轮速信息融合的定位方法。
8.本发明实施例提供的单目视觉信息和轮速信息融合的定位方法及系统，能解决车辆单目视觉和轮速融合定位中减小参数漂移的问题，且场景依赖较小，传感器简单，不需要特定的初始化条件，普遍适用于车辆能够正常运行的场景，特别是gps信号不良，视觉信息丰富的城市道路场景。
附图说明
9.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些图获得其他的附图。
10.图1为本发明实施例提供的单目视觉信息和轮速信息融合的定位方法的流程示意图；
11.图2为本发明另一实施例提供的单目视觉信息和轮速信息融合的定位方法的流程示意图；
12.图3为本发明实施例提供的算法示意图；
13.图4为本发明实施例提供的单目视觉信息和轮速信息融合的定位系统的结构示意图；
14.图5为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
15.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.单目视觉和轮速融合定位是指利用车辆上安装的单目相机，结合载体轮速提供的尺度信息进行相对定位。目前，传统技术中存在单目视觉和轮速各自存在参数漂移的问题。因此，本发明实施例提供一种单目视觉信息和轮速信息融合的定位方法，参见附图1，该方法包括但不限于如下步骤：
17.步骤101、在滑窗操作中，将窗口中最老帧从窗口中滑出，作为优化结果；
18.步骤102、将最新帧加入滑窗，以计算所述最新帧对应轮速累计的轮速信息及其协方差；
19.步骤103、将所述轮速信息和所述协方差加入到滑窗优化器中，为视觉约束提供尺度约束。
20.具体地，单目视觉和轮速融合定位是指利用车辆上安装的单目相机，结合载体轮速提供的尺度信息进行相对定位。相对于其他的车辆定位方法有以下方面的优势：(1)不依赖绝对定位信息，在不利于绝对定位的场景(gps信号不好或者缺失等条件下)也能实现较为稳定的相对位置的推算；(2)单目视觉普遍存在尺度漂移的问题，如果不进行尺度矫正，其定位及测量结果会随着时间发生偏移，但单目视觉在角度保持上较为稳定，特别是在特征点丰富的城市道路场景；使用轮速进行推算在尺度上较为稳定(不考虑车辆打滑、漂移)，但在方向上发散较快；所以结合单目视觉和轮速能够提升总体的定位精度及稳定性。
21.作为一种可选的实施方式，在步骤101之前，该方法还包括：使用优化后的单目视觉轨迹的尺度，恢复单目视觉轨迹traj_v，以完成视觉轨迹的初始化。
22.作为一种可选的实施方式，使用优化后的单目视觉轨迹的尺度，恢复单目视觉里程计轨迹traj_v之前，该方法还包括：对齐单目视觉轨迹traj_v和轮速轨迹traj_o，使得两条轨迹重合误差最小。
23.作为一种可选的实施方式，对齐单目视觉轨迹traj_v和轮速轨迹traj_o之前，还包括：使用滑窗内的视觉特征点初始化所述单目视觉轨迹traj_v；累计滑窗内的轮速信息，得到一段相对的轮速轨迹traj_o。
24.作为一种可选的实施方式，在步骤103将所述轮速信息和所述协方差加入到滑窗优化器中，为视觉约束提供尺度约束之后，该方法还包括：重复所述将最新帧加入滑窗的步骤，持续优化新的视觉和轮速约束，同时获得优化后的位姿结果。
25.基于上述实施例的内容，该方法具体可包括以下步骤：第一步，使用滑窗的方法初始化单目视觉里程计，得到一段尺度未知的相对运动轨迹traj_v；第二步，累计滑窗内的里程计数据，得到一段里程计相对运动轨迹traj_o；第三步，优化单目视觉轨迹的尺度s，并对齐traj_v和traj_o，使得两条轨迹重合误差最小；第四步，使用优化后的s恢复单目视觉里程计轨迹，至此完成融合的初始化；第五步，初始化完成后，继续视觉的滑窗过程，同时对每个窗口之间轮速记进行位置积分并按照轮速误差计算斜方差；第六步，将每个窗口中的轮速位置以及协方差作为约束加入到视觉滑窗优化中，实现单目视觉及轮速的融合定位。
26.为使上述实施例得到更为清楚的说明，参见图2
‑
3，该方法包括如下步骤：
27.步骤1：使用滑窗内的视觉特征点初始化单目视觉轨迹traj_v。
28.步骤2：累计滑窗内的轮速信息，得到一段相对的轮速轨迹traj_o。
29.步骤3：对齐tran_v及traj_o并优化尺度s，保证2跳轨迹能够最大程度重合。
30.步骤4：使用优化后的尺度s恢复traj_v轨迹，以完成视觉轨迹的初始化步骤。
31.步骤5：初始化完成后进行滑窗操作，将窗口中最老帧从窗口中滑出，并作为优化后最终的结果进行保存；
32.步骤6：将最新帧视觉信息加入滑窗，同时计算最新帧对应轮速累计的相对位置变化量d及其协方差c；
33.步骤7：将最新的轮速信息d和c加入到滑窗优化器中，为视觉约束提供尺度约束；
34.步骤8：重复步骤6，持续优化新的视觉及轮速约束，同时获取优化后的位姿结果。
35.本发明实施例提供的单目视觉信息和轮速信息融合的定位方法，结合尺度估计方法，解决车辆单目视觉和轮速融合定位中减小参数漂移的问题，且场景依赖较小，传感器简单，不需要特定的初始化条件，普遍适用于车辆能够正常运行的场景，特别是gps信号不良，视觉信息丰富的城市道路场景。
36.基于上述实施例的内容，本发明实施例提供了一种单目视觉信息和轮速信息融合的定位系统，该单目视觉信息和轮速信息融合的定位系统用于执行上述方法实施例中的单目视觉信息和轮速信息融合的定位方法。参见图4，该系统包括：优化模块201，用于在滑窗操作中，将窗口中最老帧从窗口中滑出，作为优化结果；加入模块202，用于将最新帧加入滑窗，以计算所述最新帧对应轮速累计的轮速信息及其协方差；约束模块203，用于将所述轮速信息和所述协方差加入到滑窗优化器中，为视觉约束提供尺度约束。
37.作为一种可选的实施方式，该系统还包括恢复模块，用于使用优化后的单目视觉轨迹的尺度，恢复单目视觉轨迹traj_v，以完成视觉轨迹的初始化。
38.作为一种可选的实施方式，该系统还包括对齐模块，用于对齐单目视觉轨迹traj_v和轮速轨迹traj_o，使得两条轨迹重合误差最小。
39.本发明实施例提供的单目视觉信息和轮速信息融合的定位系统用于执行上述方法实施例中的单目视觉信息和轮速信息融合的定位方法，上述实施例中对单目视觉信息和轮速信息融合的定位方法进行了详细说明，在此不再赘述。
40.本发明实施例提供了一种电子设备，如图5所示，该设备包括：处理器(processor)
501、通信接口(communications interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的单目视觉信息和轮速信息融合的定位方法，例如包括：在滑窗操作中，将窗口中最老帧从窗口中滑出，作为优化结果；将最新帧加入滑窗，以计算所述最新帧对应轮速累计的轮速信息及其协方差；将所述轮速信息和所述协方差加入到滑窗优化器中，为视觉约束提供尺度约束。
41.本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例提供的单目视觉信息和轮速信息融合的定位方法，例如包括：在滑窗操作中，将窗口中最老帧从窗口中滑出，作为优化结果；将最新帧加入滑窗，以计算所述最新帧对应轮速累计的轮速信息及其协方差；将所述轮速信息和所述协方差加入到滑窗优化器中，为视觉约束提供尺度约束。
42.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
43.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
44.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
45.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
46.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
47.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
48.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。