使用单色成像的基于事件的车辆姿态估计的制作方法

1.本公开涉及计算机驱动的车辆姿态估计，并且更具体地，涉及使用单色成像的基于事件的车辆姿态估计。


背景技术：

2.在如停车场等封闭空间中，对车辆的准确检测和定位对于终端交通控制以及在其中集中式终端定位和引导车辆交通的其他应用来说是必不可少的。当自动驾驶车辆普遍存在时，这种定位将特别重要。交通管理中的一个问题是在类似停车场之类的封闭空间中的信号传输。需要车辆的准确位置、尺寸和取向，以便在狭小的室内空间内正确引导车辆。在许多结构的内部，全球定位系统(gps)的信号往往是无法接收的，并且不能提供可用的车辆定位信息。这是一个问题，因为对车辆的准确检测和定位对于诸如终端交通控制等终端会将车辆定位并引导到车站的应用来说是必不可少的。
3.一些传统的定位系统可以使用包括rgb相机、激光雷达或其他传感设备在内的传感系统来识别移动的对象为车辆，并提供确定所检测对象的方向并跟踪车辆轨迹的姿态估计。由于需要多个复杂的相机和传感器，基于传感器的车辆姿态估计方式往往成本很高。
4.在车库交通流量很低的情况下，持续尝试检测车辆是耗电且低效的。其他设计方式包括将传感器集成在车辆中，而不是在车库的内部空间安装摄像机。这种实现方式可能成本过高，而且在车辆长时间停放的时候可能无法使用，因为相机系统总是在记录并使用电池资源。也曾考虑过使用单色相机的基于低能耗相机的系统，但是利用现有的基于单色相机的检测方法，相对于相机位置而言距离较远的车辆无法在世界坐标系中被准确检测和定位。
5.关于这些和其他考虑因素，提出了本文的公开内容。


技术实现要素：

6.描述了一种用于估计移动车辆的车辆姿态的计算机实现的方法，其包括：通过被设置成与单色相机通信的处理器，获得运行环境的单色图像；以及在所述单色图像中检测示出与所述移动车辆相关联的多个像素的事件块。所述方法还包括：使用无监督光流预测网络生成光流图，以预测所述单色图像中每个像素的光流。所述光流图包括红绿蓝(rgb)块，其颜色信息与所述移动车辆的速度相关联。所述系统生成包括所述rgb块的像素级事件掩模，并估计所述移动车辆的所述车辆姿态。
附图说明
7.参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可以利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据上下文，单数和复数术语能够可互换地使用。
8.图1描绘了其中可以实施用于提供本文所公开的系统和方法的技术和结构的示例性环境。
9.图2示出了根据本公开的来自无监督光流预测网络的示例性光流图。
10.图3示出了根据本公开的用于操作无监督光流预测网络的示例性计算系统的框图。
11.图4描绘了根据本公开的图3的无监督光流预测网络的框图。
12.图5描绘了根据本公开的光流颜色图和像素级事件掩模。
13.图6示出了根据本公开的车辆型号和侧倾-俯仰-横摆(rpy)预测网络的示例性输出。
14.图7示出了根据本公开的示例性车辆rpy预测网络。
15.图8描绘了根据本公开的方法的功能框图。
具体实施方式
16.下文将参考附图更全面地描述本公开，附图中示出了本公开的示例性实施例，并且示例性实施例不旨于限制性的。
17.图1描绘了其中可以实施用于提供本文所公开的系统和方法的技术和结构的示例性环境。交通管理中的主要问题之一是封闭空间。图1描绘了车辆105可以在其中运行的示例性车库类空间100。在车库类空间中，gps往往不起作用，并且无法提供车辆定位信息，所述车辆定位信息可能对管理封闭环境内部交通的控制站而言是有用的。从这些封闭空间发送和接收信号的困难是有问题的，因为对车辆105的准确检测和定位对于诸如终端交通控制等应用来说是必不可少的，在这些应用中，终端对车辆105进行定位并将其引导到车站(图1中未示出)进行停车，提供诸如充电、维修、上客/下客等服务。一些传统的定位系统可以使用可包括rgb相机、激光雷达或其他传感设备在内的传感系统来识别移动对象为车辆，提供用于确定所检测对象的方向并跟踪轨迹的姿态估计。由于需要多个相机和传感器，这种用于车辆姿态估计的传感方式成本很高，因为它们通常被设置在封闭空间内的多个观察点。
18.如图1所示，单色相机110可以设置在一个或多个观察位置，用以捕获在单色相机110的视场120内运行的车辆的图像。一些传统的定位系统可以使用可包括rgb相机、激光雷达或其他传感设备在内的传感系统来识别移动对象为车辆，提供用于确定所检测对象的方向并跟踪轨迹的姿态估计。由于需要多个相机和传感器，这种用于车辆姿态估计的传感方式成本可能会很高，因为它们通常被设置在封闭空间内的多个观察点。根据一个实施例，如图1所示，单色相机110可以是作为基于事件的车辆姿态估计系统300(如图3所示)的一部分运行的单色相机。
19.单色相机110可以静态地安装在表面115上。替代连续地检测运行环境100中的移动对象和车辆，单色相机110可仅在视场120中检测到移动时才检测车辆。系统(例如，事件检测系统300)可以执行事件检测系统，并响应于确定车辆(例如，车辆105)正在运行环境100中运行而生成光流图。本文所使用的事件可包括对象在单色相机110的视场120内移动。
20.图2示出了根据本公开的示例性事件掩模视图200，其是由作为事件检测系统300的一部分运行的无监督光流预测网络(例如，关于图3所示的无监督流预测网络370)生成
的。响应于在视场120内检测到移动对象，流预测网络370可以生成事件掩蔽视图205，所述视图可包括车辆105的掩蔽视图。掩蔽视图205可以是包括表示车辆105的体积或形状的像素斑块。如图4所示，掩蔽视图205可用于产生事件图(本文中称为事件掩模)。
21.在更详细地讨论事件掩模之前，在下一部分中简要介绍系统300。图3示出了用于实施本文所描述的实施例的示例性事件检测系统300(以下简称“系统300”)的框图。如本文所描述的，系统300可以用硬件、软件(例如，固件)或其组合来实现。
22.如图3所示，系统300可包括一个或多个处理器305、与所述一个或多个处理器305通信耦接的存储器310以及可与外部装置通信连接的一个或多个输入/输出适配器315。输入/输出适配器315可包括，例如，单色相机210。
23.单色相机210可以是和/或包括一个或多个数字传感器，所述一个或多个数字传感器不包括滤色器阵列。因此，单色相机210可以记录落在每个像素上的所有光线。因为没有光线由于滤色器而损失，所以单色相机210的传感器灵敏度可能高于类似的红绿蓝(rgb)相机传感器系统的灵敏度，同时操作时消耗的功率更少。
24.输入/输出适配器315可以通过存储接口320与存储一个或多个数据库的一个或多个内部和/或外部存储器装置进行操作性连接并传送信息。在一个示例性实施例中，所述数据库可包括一个或多个数据库330，所述一个或多个数据库可包括下文关于图7描述的车辆特征。
25.系统300可包括一个或多个网络通信适配器325，其能够将系统300与一个或多个网络307通信地连接。在一些示例性实施例中，网络307可以是或包括电信网络基础设施，其可以将移动装置(未示出)或其他装置如无线相机等与服务器125相连接。在这样的实施例中，系统300还可以包括一个或多个通信适配器340。系统300还可以包括一个或多个输入装置345和/或一个或多个输出装置350，和/或通过i/o适配器315与所述一个或多个输入装置345和/或一个或多个输出装置350连接。
26.一个或多个处理器305共同地是用于执行存储在计算机可读存储器(例如，存储器310)中的程序指令(又名软件)的硬件装置。一个或多个处理器305可以是定制的或可商购获得的处理器、中央处理单元(cpu)、多个cpu、与服务器125相关联的若干其他处理器之中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片组的形式)，或者一般来说用于执行指令的任何装置。
27.一个或多个处理器305可以被设置成经由存储接口320与一个或多个存储器装置(例如，存储器310和/或一个或多个外部数据库330等)进行通信。存储接口320还可采用诸如串行高级技术附件(sata)、集成驱动电子器件(ide)、通用串行总线(usb)、光纤信道、小型计算机系统接口(scsi)等连接协议连接到一个或多个存储器装置，包括但不限于一个或多个数据库330和/或一个或多个其他存储器驱动器(图2中未示出)，包括例如可移除磁盘驱动器、车辆计算系统存储器、云存储装置等。
28.存储器310可包括易失性存储器元件(例如，动态随机存取存储器(dram)、同步动态随机存取存储器(sdram)等)中的任一个或组合，并且可包括任一个或多个非易失性存储器元件(例如，可擦除可编程只读存储器(eprom)、快闪存储器、电子可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)等)。
29.存储器310中的指令可以包括一个或多个单独的程序，所述程序中的每一个可以
包括用于实施逻辑功能的计算机可执行指令的有序列表。在图3的示例中，存储器310中的指令可包括操作系统355。操作系统355可以控制其他计算机程序的执行，例如，车辆型号和侧倾-俯仰-横摆预测网络的实例化，无监督光流预测网络的实例化，和/或使用车辆姿态信息来控制运行环境100中的交通的终端交通控制应用程序等。
30.在一个示例性实施例中，处理器305可以获得运行环境100的单色图像(在图3中未示出)，检测包括与移动车辆105相关联的多个像素的事件块，生成光流图以预测单色图像中每个像素的光流，并基于光流图生成包括红绿蓝(rgb)块的像素级事件掩模。系统300可以使用流预测网络370利用光流来估计移动车辆105的车辆姿态。
31.存储在存储器310中的程序指令还可以包括应用数据360，以及用于通过用户界面365控制和/或与系统300互动的指令。
32.i/o适配器315可将多个输入装置345连接到服务器125。输入装置可包括例如键盘、鼠标、传声器、传感器等。输出装置350可包括例如显示器、扬声器、触摸屏等。
33.i/o适配器315还可包括耦接到一个或多个显示器的显示器适配器。i/o适配器315可被配置为将一个或多个输入/输出(i/o)装置350操作性地连接到服务器125。例如，i/o适配器315可连接键盘和鼠标、触摸屏、扬声器、触觉输出装置或其他输出装置。输出装置350可包括但不限于打印机、扫描仪等。也可包括其他输出装置，但图3中未示出。最后，可连接到i/o适配器315的i/o装置还可包括传送输入和输出两者的装置，例如但不限于网络接口卡(nic)或调制器/解调器(用于访问其他文件、装置、系统或网络)、射频(rf)或其他收发器、电话接口、桥接器、路由器等。
34.根据一些示例性实施例，服务器125可包括移动通信适配器340。移动通信适配器340可包括全球定位系统(gps)、蜂窝、移动和/或用于无线通信的其他通信协议。应理解，在运行环境100可能不在封闭空间内的一些实施例中，gps可以提供用于车辆105的定位的坐标。
35.在一些实施例中，服务器125还可以包括用于耦接到一个或多个网络307的通信适配器340。网络307可以是和/或包括用于服务器125与任何外部装置之间的通信的基于互联网协议(ip)的网络。网络307可在服务器125与服务器125外部的装置和/或系统之间传输和接收数据。在示例性实施例中，网络307可以是由服务提供商管理的托管ip网络。网络307可以无线方式(例如，使用无线协议和技术，诸如wi-fi、wimax等)实现。网络307还可与具有任何有线连接(包括例如rs232连接等)的有线网络(例如，以太网网络、控制器局域网(can)等)连接和/或包括它们。网络307还可以是和/或包括分组交换网络，诸如局域网、广域网、城域网、互联网或其他类似类型的网络环境。网络307可以是固定无线网络、无线局域网(lan)、无线广域网(wan)、个人局域网(pan)、虚拟专用网(vpn)、内部网或另一合适的网络系统。
36.图4描绘了根据本公开的无监督光流预测网络400(“网络400”)的框图。网络400可包括帧k 405和前一帧k-1 410、编码器415、解码器420、预测的光流图425、重建误差计算块430和重建计算误差块435。帧k 405可包括如图1所示的视场120的一个帧。因此，帧k可包括表示在车辆移动进入并通过视场120时车辆105的单色图像的多个像素。帧k-1示出了在帧k 405之后的前一帧的表示。应理解，单色相机110可以按顺序获得帧405和410，其中每一个后续帧捕获了在车辆105贯穿视场120时车辆的像素化图像表示。
37.编码器415可对单色图像进行解码，并将解码后的图像传递给数字解码器420，所述数字解码器可将信号传输给预测的光流块425。重建帧k块430可以接收前一帧k-1 410以及来自块425的预测光流馈送，并将重建的帧提供给计算重建块435。计算重建块435还可以接收帧k，结合重建帧k，并提供输出用于反向传播。
38.图5描绘了根据本公开的光流图500(其可以是如块435中所示出的预测的光流图的输出)和像素级事件掩模520。光流颜色图500示出了多个红绿蓝(rgb)块510，这些块可能与一个或多个已经移动进入单色相机110的视场120和/或通过该视场的车辆有关。光流图500包括rgb块510，所述rgb块具有与移动车辆105的速度相关联的颜色信息。系统300可以根据像素级事件掩模520生成鸟瞰视图投影。虽然图示中没有颜色，但是应理解，光流颜色图500可以被编码为使得一个或多个rgb块510包括与该特定rgb块的相对速度相关联的颜色，该相对速度可以从低到高变化(如速度图515中所示)。
39.一方面，系统300可以通过处理器305并基于单色图像(例如，帧430和帧k-1)检测包括与移动车辆105相关联的多个像素的事件块510。系统300可以对光流图500进行阈值处理，以通过提取每个事件掩模内的rgb块来创建像素级事件掩模520。系统300可以将事件掩模转换为经过良好校准的鸟瞰视图投影空间，其中像素到x、y、z的转换是准确已知的。这种校准需要做一次，并且可以通过在地板上放置4个aruco标记并将其坐标映射到鸟瞰视图投影空间来完成。然后，系统300可以将光流颜色图500中的鸟瞰视图投影调整到预定的大小(例如，256px x 256px)，并生成像素级事件掩模520。
40.系统300可以进一步基于调整大小后的rgb块510并通过无监督车辆型号和侧倾-俯仰-横摆(rpy)预测网络700来确定车辆取向620，包括用于确定车辆侧倾值635、车辆俯仰值640和车辆横摆值645的线性函数715。图6示出了根据本公开的车辆型号和侧倾-俯仰-横摆(rpy)预测网络(例如，如图7中所示的rpy预测网络700)的一个示例性输出。
41.车辆姿态600可包括与当车辆105在视场120中运行时车辆的车辆取向相关联的x、y、z值。例如，车辆姿态600可包括车辆长度值605、车辆宽度值610、以及车辆高度值615。从像素级事件掩模中提取rgb块510可包括将rgb块510的大小调整到目标分辨率。系统300可以使用已知的对象检测和表征技术确定车辆信息，包括车辆品牌信息625、车辆型号信息630和车辆取向信息620。车辆取向信息620可包括车辆长度值605、车辆宽度值610、车辆高度值615和车辆取向信息620。
42.图7示出了根据本公开的示例性车辆rpy预测网络700。rpy预测网络700可以通过编码器415对rgb块510进行编码，并通过机器学习功能705对rgb块510进行解码，所述机器学习功能具有已知车辆品牌、型号和尺寸信息的多个存储值710。根据一个实施例，事先已知的关于车辆型号信息630的信息被用来获得与车辆尺寸(长度605、宽度610、高度615)相关联的信息。从鸟瞰视图(如图5中的光流颜色图500所示)中，为每个事件块510的中心点计算x、y、z、取向。应注意，取向620可以从光流图500中获得，作为在掩蔽区域(例如，每个斑块的掩蔽区域)内的像素方向均值。取向620与由车辆型号和rpy预测网络700预测的横摆645相结合，以获得稳健的横摆。
43.rpy预测网络700利用特征检测技术，这是一个低层次的图像处理操作。也就是说，它通常作为对图像的第一个操作来执行，并检查每个像素，看所述像素是否有特征存在。当作为更大的算法的一部分时，所述算法通常只检查特征的区域内的图像。作为特征检测的
内在前提，输入图像通常由高斯内核在尺度空间表示中平滑，并且计算一个或几个特征图像，通常用局部图像导数操作表示。偶尔，当特征检测的计算成本很高且有时间限制时，可使用更高层级的算法来指导特征检测阶段，以便只对图像的某些部分进行特征搜索。
44.图8描绘了根据本公开的用于估计移动车辆的车辆姿态的方法的功能框图。系统300可以获得多个单色图像805，并从这多个单色图像中生成光流图810。系统800可以生成事件图815，并在每个掩蔽区域内提取rgb块，如方框820所示。所提取的rgb块或“斑块”提供的信息可包括车辆的形状、尺寸以及车辆移动通过视场的速度。
45.斑块提供了关于区域的对图像结构的补充描述，而不是更像点状的角。尽管如此，斑块描述符往往可能包含一个首选点(运算符响应的局部最大值或重心)，这意味着许多斑块检测器也可被视为兴趣点运算符。斑块检测器可以检测在图像中过于光滑而无法被角检测器检测到的区。系统可以从具有感兴趣的斑块信息的调整大小后的rgb块中确定汽车的品牌和型号。然后，系统在框825处确定车辆型号，参考车辆尺寸信息，并确定移动车辆的侧倾、俯仰和横摆。来自光流图810的鸟瞰视图835用于在框840处确定车辆的x、y、z取向，然后在框845处将所述取向与来自框825的车辆尺寸信息和侧倾、俯仰和横摆相结合。然后，系统可以输出车辆姿态850，其包括与车辆取向相关联的x、y、z值，车辆长度值，车辆宽度值和车辆高度值。
46.该方法只使用单色相机就能建立事件图，通过利用单色相机而不是复杂的激光雷达、雷达或rgb相机来确定车辆姿态，从而节省了成本。通过仅在检测到事件时运行神经网络来预测车辆型号、侧倾、俯仰和横摆，该系统可以节省计算能量和时间，这在车库不忙于车辆交通时可以节省电力资源。此外，所公开的方法利用已知的汽车尺寸来提供准确的三维边界框。目前基于单色相机的方法无法提供在世界坐标中的准确边界框，这对于在用于终端交通控制等应用的狭小的车库类空间内引导汽车是必不可少的。在不同取向的汽车的rgb块上训练的模型，结合从事件图的经过良好校准的鸟瞰视图中进行的姿态提取，提供了准确的侧倾、俯仰和横摆估计。
47.在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了可实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。本说明书中对“一个实施例”、“实施例”、“示例性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但每个实施例可以不一定包括所述特定特征、结构或特性。另外，此类短语不一定是指同一实施例。此外，当结合实施例描述特征、结构或特性时，无论是否明确描述，本领域的技术人员都将认识到结合其他实施例的此类特征、结构或特性。
48.此外，在适当的情况下，本文中描述的功能可在以下项中的一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(asic)可被编程为执行本文所描述的系统和程序中的一者或多者。贯穿说明书和权利要求使用某些术语来指代特定系统部件。如本领域技术人员将理解，部件可以通过不同的名称来指代。本文件不意图区分名称不同但功能相同的部件。
49.还应当理解，如本文所使用的词语“示例”意图在本质上是非排他性的和非限制性的。更具体地，本文使用的词语“示例”指示若干示例中的一者，并且应当理解，没有对所描述的特定示例进行不适当的强调或偏好。
50.计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采取许多形式，包括但不限于非易失性介质和易失性介质。计算装置可以包括计算机可执行指令，其中所述指令可由一个或多个计算装置(诸如以上列出的那些)执行并且存储在计算机可读介质上。
51.关于本文所描述的过程、系统、方法、启发法等，应理解，尽管已经将此类过程等的步骤描述为根据某个有序顺序发生，但是此类过程可以以与本文所描述的次序不同的次序执行所描述的步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文中对过程的描述是出于说明各种实施例的目的而提供的，并且绝不应被解释为限制权利要求。
52.因此，应当理解，以上描述意图是说明性的而非限制性的。在阅读以上描述时，除所提供的示例之外的许多实施例和应用将为明显的。所述范围不应参考以上描述来确定，而是应参考所附权利要求以及享有此类权利要求的权利的等效物的整个范围来确定。预计并且意图在于本文所讨论的技术未来将有所发展，并且所公开的系统和方法将并入此类未来实施例中。总而言之，应当理解，本技术能够进行修改和改变。
53.除非在本文中做出明确的相反指示，否则权利要求中使用的所有术语意图被赋予其如本文中描述的技术人员所理解的普通含义。特别地，除非权利要求叙述相反的明确限制，否则使用例如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可包括某些特征、元件和/或步骤，而其他实施例可不包括某些特征、元件和/或步骤。因此，此类条件语言通常并不意图暗示一个或多个实施例无论如何都需要各特征、元件和/或步骤。
54.根据一个实施例，所述光流图包括所述rgb块，所述rgb块具有与所述移动车辆的速度相关联的颜色信息。
55.根据一个实施例，本发明的特征还在于存储于其上的指令，所述指令用于：对所述光流图进行阈值处理，以创建包括所述rgb块的所述像素级事件掩模；以及基于所述像素级事件掩模生成鸟瞰视图投影。
56.根据一个实施例，所述车辆姿态包括：与车辆取向相关联的x、y、z值，车辆长度值，车辆宽度值和车辆高度值。
57.根据一个实施例，本发明的特征还在于存储于其上的指令，所述指令用于：将所述rgb块的大小调整到目标分辨率；以及基于调整大小后的rgb块，并通过无监督车辆型号和侧倾-俯仰-横摆(rpy)预测网络，确定车辆品牌、车辆型号、车辆长度、车辆宽度、车辆高度和车辆取向。
58.根据一个实施例，车辆取向还包括车辆侧倾值、车辆俯仰值、车辆横摆值。