用于运输车辆操作系统的多感知测量系统和方法与流程

用于运输车辆操作系统的多感知测量系统和方法


背景技术：

1.本发明涉及用于测量运输车辆周围环境特性的系统、组件和方法。特别地，本公开涉及用于测量运输车辆周围的环境特性以供系统在控制运输车辆的操作中使用的系统、组件和方法。


技术实现要素：

2.根据公开的实施例，运输车辆可以包括用于控制运输车辆操作的多个操作系统。可以提供多感知测量装置，用于观察运输车辆周围环境的条件。运输车辆的操作可以响应于观察到的条件而被调整。
3.在一些实施例中，可以收集来自环境中一个或多个特征的热发射数据，可以收集包括一个或多个特征的一个或多个环境图像，并且可以收集从运输车辆到一个或多个特征的测距信息。可以基于一个或多个捕获的图像和收集的测距信息中的至少一个来修改热发射数据。基于修改的热发射数据来确定一个或多个特征的温度，以允许操作系统响应于观察到的条件来调整运输车辆的操作。
4.本发明的附加特征在考虑说明性实施例的情况下对本领域技术人员应当变得显而易见，该说明性实施例举例说明了如目前所理解的实行本公开的最佳模式。
附图说明
5.结合各图图示以及结合各图描述的公开实施例对本发明进行描述，其中：图1是根据本公开的运输车辆的图解侧视图，其示出了运输车辆包括车身、多个操作系统和示例性多感知测量系统，并建议测量系统被布置为从运输车辆周围的环境收集信息，以供操作系统在控制运输车辆的操作中使用；图2是从运输车辆的视角取得的图1的详细视图，其示出了基于测量系统收集的信息对车辆周围环境中的各种对象进行的分离和分类；和图3是根据本发明的示例性方法的图解流程图，该示例性方法用于从运输车辆周围的环境收集信息以供操作系统在控制运输车辆的操作中使用。
具体实施方式
6.本文提供的各图和描述可能已简化，以说明与本文所述设备、系统和方法的清楚理解相关的方面，同时出于清楚的目的，排除了典型设备、系统和方法中可能找到的其他方面。本领域普通技术人员可以认识到，其他元件和/或操作对于实现本文描述的设备、系统和方法而言可能是合期望和/或有必要的。因为这样的元件和操作在本领域中是公知的，并且因为它们不促进对本公开的更好理解，所以本文可能不提供对这样的元件和操作的讨论。然而，本公开被认为固有地包括对本领域普通技术人员将知道的对所描述的方面的所有这样的元件、变化和修改。
7.根据本发明的运输车辆100在图1中示出。运输车辆100包括车身102和多个操作系
统104，用于激活运输车辆100的各种功能和控制运输车辆100的操作。除了其他功能和操作之外，一个或多个操作系统104还可以用于激活和控制运输车辆100的驱动单元（未示出）的操作，诸如燃气、电动和/或（一个或多个）混合动力马达，和/或运输车辆100的稳定性和牵引力控制操作系统、车轮动力分配系统和辅助和/或自主驱动系统。运输车辆100还包括示例性多感知测量系统10，其充当用于从运输车辆100周围的环境21收集信息以供操作系统104基于环境21的特性控制运输车辆100的操作的装置。多感知测量系统10还可以用作标识和分类运输车辆100周围的环境21中的对象的装置，诸如运输车辆100正在行驶的道路20上或周围的对象30、32。
8.在说明性实施例中，多感知测量系统10包括热检测器12、成像设备14和测距设备16，如图1中所示。热检测器12可以被配置为检测从运输车辆100周围的环境21中的道路20和对象30、32反射和/或发射的热辐射22、24、26，并基于检测到的热辐射收集热发射数据。成像设备14可以被配置为捕获运输车辆100周围的环境21的图像。测距设备16被配置为收集用于确定从运输车辆100到道路20和对象30、32的距离的测距信息。在一些实施例中，测距信息还允许道路20和对象30、32的3维轮廓确定。多感知测量系统10可以被配置为基于热发射数据来确定道路20和对象30、32的温度和/或温度分布（profile）。如本文进一步详细描述的，来自成像设备14的捕获图像、来自测距设备16的测距信息和/或由多感知测量系统10收集的其他信息可以用于在确定温度和/或温度分布中修改热发射数据，以补偿热辐射22、24、26上的环境和特性影响。
9.在一些实施例中，热检测器12可以包括诸如长波红外（lwir）或远红外（fir）相机的热成像设备，其被配置为检测和捕获红外（ir）光谱（例如，大约8微米至大约14微米波长）中的辐射图像。在图1中所示的说明性实施例中，热检测器12具有如在图1中所示的在运输车辆100前方延伸的视场（fov）23。fov 23相对于道路20或对象30、32的入射角也可以用于修改热发射数据。成像设备14具有与热检测器12基本上相似的fov，以允许热发射数据与捕获图像的协调和比较。
10.在至少一些实施例中，成像设备14可以包括rgb相机，rgb相机被配置为从可见光谱（例如，大约380纳米至大约740纳米波长）中的辐射捕获图像。在一些实施例中，测距设备16可以使用光检测和测距（lidar）、雷达、立体相机或其他过程来收集在确定距离中的测距数据。
11.在至少一些实施例中，多感知测量系统10可以进一步包括一个或多个环境传感器11，如图1中所示。环境传感器11可以被配置为测量和收集运输车辆100周围的环境21的环境信息以供在修改热发射数据中使用。例如，环境信息可以包括温度、湿度、气压、空气密度、颗粒密度、降雨/降雪或环境21的其他特性中的一个或多个。
12.在至少一些实施例中，环境传感器11可以包括被配置为测量大气特性的雷达。在一些实施例中，除了环境传感器11之外或替代环境传感器11，多感知测量系统10包括地理定位单元13、诸如gps单元，以及无线连接单元15。地理定位单元13被配置为确定运输车辆100的位置，并且无线连接单元15允许访问该位置处的环境数据，以供在修改热发射数据中使用。
13.在至少一些实施例中，地理定位单元13和/或无线连接单元15集成到一个或多个操作系统104中，并且与多感知测量系统10通信。
14.来自成像设备14的图像可以用于标识和分类运输车辆100周围的环境特征，如图2中所示。例如，可以通过语义分割、神经网络、机器学习和/或算法来处理图像，以对例如道路20、人30、水/冰32、车辆34、建筑物36、灯柱38、植物（诸如树34）、其他对象（诸如岩石33）和道路标记37、39以及运输车辆100周围环境的其他特征进行标识和分类。
15.在一些实施例中，除了捕获的图像之外，还可以使用热发射数据、测距信息和环境信息对特征进行分类。运输车辆100前方即将到来的特征的标识可以用于控制运输车辆100的操作。例如，标识运输车辆100前方的水坑32可以被操作系统104用在调整运输车辆100的操作——诸如车辆动态、行驶速度、最大减速度和加速度、通过弯道的最大速度——以及寻找具有最大摩擦力的道路上的轨迹以及其他调整中，以改进运输车辆100的性能。确定的温度和/或温度分布也可以用于将前方区域分类为具有冰32而不是液态水，以用于对运输车辆100的操作进行另外或不同的调整。道路20的类型（例如，砾石/泥土、水泥或柏油）可以被确定用在调整运输车辆100的操作中。确定的沿着道路20的温度和/或温度分布也可以用在标识具有最大牵引力的区域中，例如，用在调整运输车辆100的操作中。标识道路标记37、39的布置也可以用在调整运输车辆100的操作中。
16.在说明性实施例中，运输车辆100周围环境中的特征分类可以用在标识那些特征的特性中，以供在修改针对那些特征收集的热发射数据中使用。例如，环境中的每个特征具有特定的发射率评级（即，发射红外能量的能力），并且标识过程可以用于确定给定特征的发射率评级。在一些实施例中，多感知测量系统10具有针对运输车辆100可能遇到的一系列物品的发射率评级的存储查找表，并且对物品的标识允许多感知测量系统10从查找表确定物品的发射率评级。在一些实施例中，多感知测量系统10可以从远程数据库确定被标识物品的发射率评级。然后，确定的发射率评级可以用于修改热发射数据，以确定物品的温度和/或温度分布。
17.在黑暗环境中，成像设备14可能无法有效捕获环境的有用图像。在一些实施例中，热检测器12的输出可以提供运输车辆100前方的环境21的“热图”图像，该图像可以用在例如夜视应用中。例如，测距设备16和环境传感器11也可以在没有来自环境的光输入的情况下有效地运转。利用由多感知测量系统10收集的附加信息来修改热发射数据可以使所得图像清晰。在一些实施例中，诸如运输车辆100的前灯的一个或多个光源可以向前方的对象提供可见光，以便利用成像设备14捕获图像。在一些实施例中，运输车辆100的一个或多个光源可以提供在可见光谱之外但在成像设备14的可读光谱之内的（一个或多个）波长的光，用于从环境中的对象反射，以利用成像设备14捕获图像。
18.运输车辆100周围环境中的至少一些对象可能太小或太远，无法进行有效的温度测量。例如，在至少一些实施例中，出于确定那些对象的温度的目的和/或出于对那些对象进行分类的目的，忽略在捕获的图像和/或热发射数据中占据少于大约10个相邻像素的对象。
19.运输车辆100的车身102限定了前端106和车顶108，如图1中所示。多感知测量系统10图示性地安装在运输车辆100的车顶108上。在一些实施例中，多感知测量系统10的全部或部分可以安装在车顶108、前端106或运输车辆100的车身102的其他区域上或之中。在一些实施例中，一个或多个操作系统104控制多感知测量系统10的操作。
20.在一些实施例中，多感知测量系统10中包括控制器17，用于控制多感知测量系统
10的操作，存储收集的信息，在确定如本文详述的环境特性中使用收集的信息，并且与操作系统104通信。在一些实施例中，来自热检测器12的热发射数据、来自成像设备14的图像、来自测距设备16的测距信息、来自环境传感器11的环境信息和/或环境数据由多感知测量系统10存储并处理，以确定道路20和对象30、32的温度和/或温度分布。来自热检测器12、成像设备14和测距设备16的输出可以被同步，以提供关于环境的重叠信息，以供在调整用于确定道路20和对象30、32的温度和/或温度分布的热发射数据中使用。例如，在一些实施例中，从热检测器12、成像设备14和测距设备16中的每一个输出的信息可以标记有时间戳。然后，可以基于重叠的时间戳来选择用于调整热发射数据的信息。在一些实施例中，来自热检测器12、成像设备14和测距设备16中的每一个的输出在信息被接收用于实时处理时被同步（例如，在未对准的大约第1/30秒内）。
21.图3中示出的是根据本公开的示例性方法200，用于从运输车辆周围的环境收集信息以供操作系统在控制运输车辆的操作中使用。该方法在200开始于测量操作201，其中从诸如道路和周围对象的运输车辆周围的环境中的一个或多个特征收集热发射数据。例如，热检测器可以检测从道路和周围对象发射和/或反射的热辐射的相对水平，并从检测到的热辐射收集热发射数据。控制然后进行到202，在202，捕获包括提供热发射数据的（一个或多个）特征的环境图像。例如，成像设备可以捕获具有与热检测器基本上重叠的fov的图像，使得热发射数据和捕获的图像都包括关于特征的信息。控制然后进行到203，在203，可以在测距操作中收集测距信息，例如使用测距设备，用于确定运输车辆到提供热发射数据的（一个或多个）特征的距离。
22.在一些实施例中，控制可以进行到204，在204，可以收集环境信息，包括例如运输车辆和提供热发射数据的（一个或多个）特征之间的环境特性。在一些实施例中，环境传感器可以被配置为收集环境信息。在一些实施例中，例如，基于如使用地理定位单元确定的运输车辆的位置，通过无线连接单元收集环境信息。
23.然后，控制进行到205，在205，对热发射数据进行分类。这可以涉及例如处理被捕获的图像以将（一个或多个）特征标识和分类为运输车辆100可能遇到的一系列物品中的一个，诸如例如道路、人、水/冰、车辆、建筑物、灯柱、植物（诸如树）、其他对象（诸如岩石）和道路标记以及运输车辆周围环境的其他特征。
24.控制然后进行到206，在206，确定每个分类特征的发射率。这可以通过例如多感知测量系统从存储的发射率评级查找表确定特征的发射率来执行。
25.控制然后进行到207，在207，确定每个特征的温度。作为该操作的部分，可以修改热发射数据，以补偿环境和特性对由热检测器检测的热辐射的影响，以用于确定（一个或多个）特征的（一个或多个）“绝对”温度。例如，从运输车辆到特定特征的距离可以影响热辐射从该特征到热检测器的传输，并且测距数据可以用于修改热发射数据以补偿这些影响。在另一个示例中，运输车辆和特定特征之间的环境特性可以影响热辐射从该特征到热检测器的传输，并且环境信息可以用于修改热发射数据以补偿这些影响。在另一个示例中，特定特征的发射率可以影响该特征将热辐射传输到热检测器的能力，并且该特征的确定的发射率可以用于修改热发射数据以补偿这些影响。在说明性实施例中，多感知测量系统根据热发射数据来确定每个特征的温度，该热发射数据如由测距数据、环境信息和针对特征的确定的发射率中的一个或多个来修改。
26.控制然后进行到208，在208，来自多感知测量系统的一个或多个输出可以用于调整运输车辆的操作。例如，收集的环境信息可以向运输车辆的操作系统指示诸如由于下雨或降雪而在运输车辆前方的道路上存在较低的摩擦条件，并提示车辆动态或速度的改变以补偿较低的摩擦条件。在另一个示例中，所确定的道路和/或道路上的水的温度可以向运输车辆的操作系统指示诸如由于结冰或寒冷的道路温度而在运输车辆的前方存在道路上的较低摩擦条件，并提示车辆动态或速度的改变以补偿较低的摩擦条件。在另一个示例中，将道路分类为砾石/泥土可以向运输车辆的操作系统指示在运输车辆前方的道路上存在较低的摩擦条件，并提示车辆动态或速度的改变以补偿较低的摩擦条件。在一些情况下，基于运输车辆的当前操作对于在运输车辆周围的环境中检测到的条件已经是最佳的，可以不进行调整。
27.在说明性实施例中，本公开的多感知测量系统提供了技术实用性，其在于它们解决了在运输车辆周围的任意环境中获得障碍物和对象的准确辐射温度测量的挑战性技术问题。根据至少一些实施例，运输车辆的多感知测量系统可以配备有（一个或多个）可见相机、lidar、热相机、gps传感器、湿度、气压和温度传感器以及互联网连接，以获得给定位置中的大气条件。所有这些传感器的组合形成测量系统，提供比热相机本身更准确的障碍物和基础设施（诸如道路表面）的辐射温度测量。改进的温度测量使得能够对运输车辆进行操作调整，使诸如在自主驾驶期间的运输车辆的操作更安全和更可靠。
28.在说明性实施例中，准确的辐射测量信息和所得的温度读数可以提供确切的道路温度，以获得道路摩擦系数，用于调整车辆动态、行驶速度、最大减速度和加速度和/或通过运输车辆弯道的最大速度。改进的温度读数也可以用于寻找道路上的具有最大摩擦力的轨迹。准确的温度读数还提供检测算法的改进的分类性能，诸如基于卷积神经网络或hog特征的分类器，它们的预测纯粹基于图像中的梯度信息。用于进一步增加检测/分类性能的可再现绝对温度测量，作为供在控制运输车辆操作中使用的可靠的绝对信息的新形式。例如，每个运输车辆可以向基础设施提供商以及众包数据库提供关于道路在哪里可能结冰或道路表面中在哪里存在缺陷的反馈。
29.在说明性实施例中，多感知测量系统的感知输入包括热相机（辐射测量信息）、lidar雷达/立体相机（被观察对象的3d信息）、湿度传感器（实时大气条件-空气湿度）、气压传感器（实时大气条件-空气压力）、温度传感器（实时大气条件-空气温度）、gps/定位模块（当前车辆位置）、可视相机（传统rgb颜色配置文件中关于环境的可视信息）、v2x/无线通信模块（关于当地当前天气/气候条件的信息）和雷达（用于估计大气条件的附加输入）等。
30.在说明性实施例中，多感知测量系统补偿了使温度测量具有挑战性的各种影响因素，尤其是在汽车情境中，在任意环境中在更长的距离处进行测量。例如，每种材料具有一定的发射率。该发射率很大程度上取决于对象表面上的实际发射材料。除了其他材料之外，汽车情境中感兴趣的典型材料还可以包括沥青（具有大约0.967的发射率）、人类皮肤（具有大约0.98的发射率）、水（具有大约0.96的发射率）和雪（具有大约0.08的发射率）。被观察的特征不仅辐射其自身的热能，而且还反射来自周围环境的热能，并且关于环境和天气条件的信息可以用于补偿反射。
31.在一些实施例中，热检测器可以包括具有偏振滤光器的lwir相机，用于区分反射辐射与发射辐射。诸如寒冷条件下的大雪、非常低的气压和低湿度（经典的高山场景）、密集
的雨和雾和/或高压、高湿度的干燥条件之类的大气条件可能影响热辐射的传输，并且所收集的关于运输车辆周围环境的信息可以用于补偿变化的条件。大气条件的影响可以在更长的距离上被放大，并且被观察的特征的测距数据可以被用来补偿。
32.在一些实施例中，热检测器可以安装在运输车辆中的较高处，以增大被观察特征的入射角。
33.在说明性实施例中，运输车辆的多感知测量系统可以配备有诸如lwir相机的热检测器，以感知例如从大约8微米至大约14微米波长的长波红外辐射。热相机面向前方，以观察道路表面以及运输车辆前方道路上的对象和障碍物。多感知测量系统还具有用于可见光谱的现代rgb相机，其具有与热相机重叠和/或相同的视野。诸如lidar测距仪的测距设备可以用于提供关于由rgb和lwir相机观察到的场景的3d测距信息。这些传感器可以用于有效地预测在超过50米距离处的环境特性。
34.在说明性实施例中，gps可以用于运输车辆的定位，并且获得的gps坐标可以与无线网络连接相组合使用，以收集局部区域/运输车辆前方区域的天气/气候信息。气压、湿度和温度传感器可以添加关于运输车辆周围大气的另外信息。在一些实施例中，可以假设在运输车辆周围的较小区域（大约200 m半径）中大气近似恒定。
35.在说明性实施例中，来自热相机的测量可以通过其他感测模态进行丰富。通过传感器和/或网络连接感知的气候条件可以用于确定大气条件。lidar提供了关于在热相机视野中观察到的给定对象的距离的信息。此外，lidar还可以提供关于热相机的给定像素测量的局部表面法线的信息。这样，给定测量的大气条件和几何约束可以在lidar提供的距离上通过大气传播而得到补偿。这导致更准确的温度测量。
36.在说明性实施例中，来自rgb相机的信息、lidar强度信息和/或lwir的梯度可以用于估计给定对象的发射率。与lidar强度信息耦合的颜色信息提供了道路表面类型的信息。基于该道路表面类型，可以将发射率分配给车辆前方的道路表面。该关系可以通过机器学习算法来建模或学习。发射率也可以通过使用rgb相机对场景进行分类来确定。基于对象的语义类，可以确定发射率。例如，道路表面通常由混凝土、沥青、道路表面或砾石/泥土制成。通过基于rgb和/或lidar和/或（非辐射测量）lwir测量对这些表面的成功分类，可以准确地确定发射率。分段元素可以与给定的发射率相关联。
37.应理解，上面解释的部分或全部方法可以在一个或多个服务器、处理器和相关联存储器上执行，利用或访问一个或多个服务器、处理器和相关联存储器，所述一个或多个服务器、处理器和相关联存储器可以被包括在例如并且不限于运输车辆内，特别是为运输车辆提供控制操作的处理器内。除非另外声明并且如从以上描述可以显而易见的那样，应当领会，贯穿说明书描述，使用诸如“处理”、“计算”、“运算”、“确定”等术语指代计算机或计算系统或类似的电子计算设备的动作和/或过程，其将表示为计算系统的寄存器和/或存储器内的物理量（诸如电子量）的数据操纵和/或变换为类似地表示为计算系统的存储器、寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。
38.以类似方式，术语“控制器”和“处理器”可以指代处理来自寄存器和/或存储器的电子数据，以将该电子数据变换为可以存储在寄存器和/或存储器中的其他电子数据的任何设备或设备的部分。
39.对“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等的引用可以指示如此
描述的本发明的（一个或多个）实施例可以包括特定的特征、结构或特性，但是并非每个实施例都必须包括特定的特征、结构或特性。此外，表述“在一个实施例中”或“在示例性实施例中”的重复使用不一定指代相同的实施例，尽管它们可以指代相同的实施例。
40.尽管已经以具有一定程度的特殊性的示例性形式对某些实施例进行了描述和说明，但是应当注意的是，描述和说明仅作为示例进行。可以对部件和操作的构造、组合和布置的细节进行许多改变。因此，这样的改变旨在被包括在本公开的范围内，其保护范围由权利要求书限定。