使用表面穿透雷达和深度学习的改进的导航和定位的制作方法

使用表面穿透雷达和深度学习的改进的导航和定位
相关申请的交叉引用
1.本技术要求于2019年9月13日提交的美国临时专利申请no.62/900,098的优先权和权益，并将其全部内容通过引用并入本技术。
技术领域
2.本发明一般地涉及车辆定位和导航，并且更一般地涉及使用深度学习技术在准确性和系统监测方面的改进。


背景技术：

3.表面穿透雷达(spr)系统已用于导航和车辆定位；参见例如美国专利第8,949,024号，其全部公开内容通过引用并入本技术。spr可用于诸如城市等多路径或阴影会降低gps精度的环境中，或者可用作不能允许黑暗或改变场景照明的光学传感方法的或其性能可能受到天气状况变化的不利影响的替代方案。
4.特别是，spr可用于在车辆穿越地形时获取包含表面和地下特征的扫描，并且可以将获取的数据扫描与先前在相同环境中获取的参考扫描数据进行对比，以便在环境中定位车辆位置。如果参考扫描数据已经用地理位置信息进行标记，则可以由此确定车辆的绝对位置。
5.扫描数据对比可以为基于例如相关性的配准过程；参见例如美国专利第8,786,485号，其全部公开内容通过引用并入本技术。尽管基于参考扫描数据的spr定位克服了上述传统技术的局限性，但spr传感器并非万无一失，并且配准过程不可避免地会出现一定程度的错误。例如，不明确的地面条件、spr传感器老化或故障、车辆速度或诸如风速或温度等环境条件的变化可能会导致错误。
6.因此，需要改进基于spr的定位系统精度、最小化错误状态的发生以及估计实时定位估计的可靠性的措施。


技术实现要素：

7.本发明的实施例使用深度学习来改进或衡量用于定位或导航的spr系统的性能。术语“深度学习”是指使用多个层次来逐步从原始图像中提取更级的特征的机器学习算法。深度学习通常涉及神经网络，以类似于人脑的方式处理信息。这种网络包括大量高度互连的处理元件(神经元)，它们并行工作以解决特定问题。神经网络通过示例学习；它们必须以仔细收集和策划的训练示例进行适当的培训，以确保高性能水平、减少训练时间并最小化系统偏差。
8.卷积神经网络(cnn)通常用于对图像进行分类或识别(和分类)图像场景中描绘的对象。例如，自动驾驶车辆应用可以在计算机视觉模块中使用cnn来识别车辆路径中的交通标志、骑行者或行人。cnn使用卷积从输入图像中提取特征，它保留了像素之间的空间关系，但有助于使用小方块输入数据来学习图像特征。神经网络通过示例进行学习，因此可以将
图像标记为包含或不包含感兴趣的特征。(自动编码器无需标记即可学习。)如果系统要可靠且高效地执行，示例是经过仔细选择的，并且通常数量必须很大。
9.因此，在第一方面，本发明涉及一种检测和识别地下结构的方法。在各种实施例中，所述方法包括以下步骤：获取spr图像，以及通过使用获取的图像作为预测器的输入来计算地识别获取的图像中的地下结构，所述预测器已被计算地训练以识别spr图像中的地下结构。
10.在一些实施例中，所述方法还包括在穿越路线期间获取另外的spr图像；通过预测器在spr图像中识别预测器已被训练识别的地下特征；以及将图像中识别的特征与对应于获得图像时的时间的地面坐标相关联，以及在此基础上生成与识别的特征对应的地下结构的电子地图。
11.在各种实施例中，所述方法进一步包括以下步骤：在车辆通过路线期间获取另外的spr图像；通过预测器在spr图像中识别预测器已被训练识别的地下特征；将识别到的地下特征与对应的地面坐标相关联；以及至少部分地基于识别到的地下特征和它们的地面坐标来导航车辆。
12.在另一方面，本发明涉及一种用于检测和识别地下结构的系统。在各种实施例中，所述系统包括用于获取spr图像的spr系统，以及包括处理器和电子存储的指令的计算机，所述指令能够由所述处理器执行，用于分析获取的spr图像并通过使用获取的图像作为预测器的输入来计算地识别其中的地下结构，所述预测器已被计算地训练以识别spr图像中的地下结构。
13.在任一前述方面中，预测器可以为神经网络，例如卷积神经网络或递归神经网络。
14.本发明的又一方面涉及车辆，在各种实施例中，车辆包括用于在车辆行进期间获取spr图像的spr系统，以及包括处理器和电子存储的指令的计算机，所述指令能够由所述处理器执行，用于分析获取的spr图像以及通过使用获取的图像作为预测器的输入来计算地识别其中的地下结构，所述预测器已被计算地训练以识别spr图像中的地下结构。
15.在各种实施例中，所述计算机配置为将图像中的识别的特征与对应于获得图像时的时间的地面坐标相关联，以及在此基础上，生成与识别的特征对应的地下结构的电子地图。替代地或附加地，所述计算机可以配置为将图像中识别的特征与与其对应的地面坐标相关联，并且至少部分地基于识别的地下特征和它们的地面坐标来导航车辆。
16.如本文所用的，术语“基本上”是指组织体积的
±
10％，在一些实施例中，组织体积的
±
5％。“临床上显著的”是指临床医生认为对组织具有不期望的(有时指缺少需要的)作用是显著的，例如，引发损害。在整个说明书中，对“一个示例”、“一示例”、“一个实施例”或“一实施例”的引用是指结合该示例所描述的特定特征、结构或特性包括在本发明技术方案的至少一个示例中。因此，在整个说明书中各处出现的短语“在一个示例中”、“在一示例中”、“一个实施例”或“一实施例”不一定都指的是同一示例。此外，特定特征、结构、例程、步骤或特性可以在本发明技术方案的一个或多个示例中以任何合适方式组合。本文提供的标题仅是为了方便起见，并不旨在限制或解释所要求保护的技术的范围或含义。
附图说明
17.当结合附图时，前述内容和以下详细描述将更容易理解，其中：
18.图1a示意性地示出包括根据本发明实施例的地形监测系统的示例性行进车辆。
19.图1b示意性地示出地形监测系统的天线更靠近或接触道路表面的替代配置。
20.图2示意性地示出根据本发明实施例的示例性地形监测系统。
21.图3示意性地示出其中cnn或其他形式的深度学习与spr系统集成的示例性架构。
具体实施方式
22.首先参考图1a，其示出在预定路线104上行进的示例性车辆102；车辆102配备有根据本技术的用于车辆导航的地形监测系统106。在各种实施例中，地形监测系统106包括spr导航和控制系统108，spr导航和控制系统108具有固定到车辆102前部(或任何合适部分)的地面穿透雷达(gpr)天线阵列110。gpr天线阵列110通常平行于地面表面定向并且垂直于行进方向延伸。在替代配置中，gpr天线阵列110更靠近或接触道路表面(图1b)。在一个实施例中，gpr天线阵列110包括用于将gpr信号发射到道路的空间不变天线元件的线性配置；gpr信号可以通过道路表面传播到地下区域并在向上的方向反射。反射的gpr信号可以由gpr天线阵列110中的接收天线元件检测。在各种实施例中，检测到的gpr信号随后被处理和分析，以便生成沿着车辆102的轨迹的地下区域的一个或多个spr图像(例如，gpr图像)。如果spr天线阵列110不与地面接触，则接收到的最强回波信号可能是由道路表面引起的反射。因此，spr图像可以包括表面数据，即地下区域与空气或局部环境的界面的数据。用于处理gpr信号的合适的gpr天线配置和系统在例如美国专利第8,949,024号中进行了描述，其全部公开内容通过引用并入本技术。
23.对于导航，将spr图像与spr参考图像进行对比，所述spr参考图像为先前针对地下区域获取和存储的，所述地下区域至少部分地与限定的路线的地下区域重叠。图像对比可以为基于例如上述'485专利中描述的相关性的配准过程。然后车辆102的位置和/或路线104的地形条件可以基于对比确定。在一些实施例中，检测到的gpr信号与其他实时信息(诸如天气状况、光电(eo)图像、使用车辆102中采用的一个或多个传感器的车辆健康监测以及任何合适的输入)相结合，以估计路线104的地形条件。
24.图2示出在车辆102中实施的示例性导航和控制系统(例如，spr系统108)，用于基于spr图像为行进导航。spr系统108可以包括用户接口202，用户可以通过用户接口202输入数据以限定路线或选择预定路线。根据路线从spr参考图像源204检索spr图像。例如，spr参考图像源204可以为本地大容量存储设备，诸如闪存驱动器或硬盘等；替代地或附加地，spr参考图像源204可以为基于云的(即，在网络服务器上支持和维护)并且可以基于由gps确定的当前位置远程访问。例如，本地数据存储可以包含对应于车辆的当前位置附近的spr参考图像，并且在车辆行进时对定期更新进行检索以刷新数据。
25.spr系统108还包括具有spr天线阵列110的移动spr系统(“移动系统”)206。移动spr系统206的发射操作由控制器(例如，处理器)208控制，所述控制器208也接收由spr天线阵列110检测到的回波spr信号。控制器208生成道路表面和/或spr天线阵列110下的道路表面下方的地下区域的spr图像。
26.spr图像包括表示地下区域内和/或道路表面上的结构和对象的特征，例如岩石、根部、巨石、管道、空隙和土壤分层等，以及表示地下/表面区域中土壤或材料特性变化的其他特征。在各种实施例中，配准模块210将由控制器208提供的spr图像与从spr参考图像源
204检索的spr图像进行对比，以定位车辆102(例如，通过确定车辆相对于路线上最近点的偏移)。在各种实施例中，在配准过程中确定的位置信息(例如，偏移数据或位置误差数据)被提供给转换模块212，转换模块212创建用于为车辆102导航的位置地图。例如，转换模块212可以生成针对车辆与路线的位置偏离进行校正的gps数据。
27.可选地，转换模块212可以从地图源214(例如，诸如gps等其他导航系统，或地图服务)检索现有地图，然后将获得的位置信息定位到现有地图。在一个实施例中，预定义路线的位置地图存储在系统存储器和/或控制器208能够访问的存储设备中的数据库216中。附加地或替代地，车辆104的位置数据可以与现有地图(例如，由谷歌地图提供的地图)和/或诸如惯性导航系统(ins)、gps系统、声音导航和测距(sonar)系统、激光雷达系统、照相机、惯性测量单元(imu)和辅助雷达系统、一个或多个车辆航位推算传感器(基于例如转向角和轮胎里程计)和/或悬架传感器等一个或多个其他传感器或导航系统提供的数据结合使用来引导车辆102。例如，控制器112可以将获得的spr信息定位到使用gps生成的现有地图。将spr系统用于车辆导航和定位的方法在例如上述'024专利中进行了描述。
28.将深度学习与spr导航和控制模块108集成的示例性架构在图3中示出。如上所述，该系统可以包括部署在相关车辆内的各种传感器310。这些包括spr传感器，但也可以包括用于识别与一个或多个深度学习模块315的操作相关的条件的传感器，如下所述。传感器310还可以检测可能影响系统性能和准确性的外部条件，并触发缓解策略。例如，如2020年7月15日提交的美国序列第16/929,437号中所述且在此通过引用将其全部内容并入，传感器310可以检测危险的地形条件(结合地表以下特征的spr测量，这也可能触发危险警告)。作为响应，系统108可以相应地更新地图数据库216，并且在一些实施方式中，向地方当局发出警告。传感器还可以捕获与位置估计的可靠性相关的条件。例如，附加传感器317可以感测环境条件(例如，风速和/或温度)，并且硬件监测传感器可以感测车辆性能参数(例如，速度)和/或车辆健康参数(例如，胎压和悬架性能)和/或spr传感器参数(例如，传感器健康或其他性能指标)。传感器数据可以由适当的硬件和/或软件模块323进行过滤和调节，如本领域中的常规方式。
29.实施为存储在计算机存储器326中的指令的多个软件子系统由常规的中央处理单元(cpu)330执行。cpu 330可以用于以下描述的深度学习功能或者也可以操作控制器208(参见图2)。操作系统(例如，诸如microsoft windows、unix、linux、ios或android等)提供低级系统功能，诸如文件管理、资源分配以及从硬件设备到软件子系统和从软件子系统到硬件设备的消息路由。
30.适合于深度学习子模块(诸如cnn)的过滤和调节模块335也被实施为软件子系统。例如，如果子模块315之一为cnn，则可以通过调整至cnn的输入大小、去噪、边缘平滑、锐化等来预处理spr图像。取决于所选择的深度学习子模块315，生成的输出可以由后处理模块338进行后处理，用于定位，以及生成诸如健康状态估计、警告和地图更新信息等度量。后处理是指将来自深度学习子模块315的输出格式化和调整为可用于定位估计的格式和值的操作。后处理可以包括将各个深度学习模块的输出合并为可供下游处理(例如，对多个深度学习模块的输出进行平均)使用的值的单个流(a single stream of values)所需的任何统计分析，更改数据类型以便输出可以以下游处理所需的文件格式、网络协议和api来使用。此外，后处理可以包括将深度学习模块输出转换为位置估计(例如，将通过spr图像的概率
密度函数转换为通过与这些spr图像相关的地理位置的概率密度函数)所需的传统的、非深度学习算法。
31.更一般地，定位可以涉及通过地图更新模块340对地图上的预测车辆位置或对地图本身的调整，其基于由深度学习子模块315产生的定位估计来改变来自地图数据库216的地图。健康状态度量可以包括估计修复时间、单个部件和整个系统的估计故障时间、精度估计、物理传感器部件的估计损坏程度、外部干扰的估计以及系统性能、耐用性和可靠性的类似指标。度量可以采用整个系统和/或单个子模块的置信度值的形式，以及估计的准确度和误差分布以及估计的系统延迟。生成的度量也可以促进自动系统参数调整，例如增益调整。这些操作可以由度量模块345处理。
32.在一个实施例中，深度学习子模块315包括cnn，其分析传入的spr图像(例如，从gpr天线阵列110周期性地采样)并计算与一个或多个配准图像的匹配概率。替代地，spr图像可以常规地进行分析，如'024专利中所述，以定位一个或多个最佳匹配图像和相关联的匹配概率。匹配概率可以基于从传感器接收到的输入来调整，所述传感器捕获与位置估计的可靠性相关的条件，并且由深度学习子模块315处理。该数据可以由不同的子模块315(例如，另一神经网络)处理并且可以包括环境条件(例如，风速和/或温度)、车辆参数(例如，速度)和/或spr传感器参数(例如，传感器健康或其他性能指标)——任何与生成的spr数据扫描的可靠性和/或与参考图像的匹配概率有关的数据，以及因此与定位精度，表示为例如误差估计有关的数据。数据和spr图像之间的关系可能非常复杂，最相关的特征难以检测和用作定位的基础，这就是采用深度学习系统的原因。深度学习子模块315将传感器数据和原始spr图像作为输入并输出位置估计模块347可用的预测位置或数据，位置估计模块347可以使用如上所述和'024专利中的图像配准来估计位置。
33.深度学习子模块的训练方式取决于其架构、输入数据格式和目标。通常，收集大量输入数据并使用真实信息(即，已知位置)350进行地理参考。系统的定位误差使用成本函数评估并回传以调整系统权重。还可以训练深度学习系统来识别细节或构造可能变化的地下特征。作为概念性的示例，公用事业管道不仅在直径上而且在其相对于spr传感器的方向上都可以变化。分析地表示对应于管道的所有可能的spr图像可能是不切实际或不可能的，但通过训练cnn(或者，在识别需要对多个spr图像进行顺序分析的情况下，通过递归神经网络或rnn)，可以以高精度识别处于任意定向的导管。因此，神经网络可以用于沿地下路线识别和登记其已被训练识别的特征——将这些特征与如上所述或使用gps获得的纬度/经度坐标相关联，在道路或基础设施建设之前生成固定的、永久性或半永久性的地下结构的地图。
34.可选地，特征识别可用于导航目的。例如，知道特定尺寸的管道位于特定的gps坐标处可能足以基于对已知位置附近的管道的一般检测来确定移动车辆的位置。如果检测到相距已知距离的多个特征，则可以提高准确性。地下特征也可以代表危险或表明需要采取预防措施来避免危险。例如，道路下含水量高的地下区域可能会导致坑洼。如果在冻融周期之前检测并纠正，可以避免危险的路况并降低缓解成本。
35.在一些实施例中，深度学习模块315本地托管在车辆内的计算设备上，并且随着进一步的集中训练改进神经网络的性能，可以不时地由服务器进行更新。在其他实施例中，最新的神经网络模型可以由车辆通过无线连接(例如，通过互联网)远程存储和访问。地图更新和维护也可以“在云端”进行。
36.深度学习模块315可以使用常用的库在没有过度试验的情况下实现。caffe、cuda、pytorch、theano、keras和tensorflow是合适的神经网络平台(根据设计偏好，实施的系统可以为基于云的或本地的)。神经网络的输入可以为输入值的向量(“特征”向量)，例如，spr扫描的读数和系统健康信息。
37.控制器208可以包括以硬件、软件或两者的组合实现的一个或多个模块。对于其中功能作为一个或多个软件程序提供的实施例，所述程序可以用许多高级语言中的任何一种来编写，例如python、fortran、pascal、java、c、c 、c#、basic、各种脚本语言和/或html。另外，软件可以用指向驻留在目标计算机上的微处理器的汇编语言来实现；例如，如果软件配置为在ibm pc或pc克隆上运行，则可以用intel 80x86汇编语言实现。所述软件可以实施在制品上，包括但不限于软盘、闪存盘、硬盘、光盘、磁带、prom、eprom、eeprom、现场可编程门阵列或cd-rom。
38.执行命令和指令的cpu 330可以为通用计算机，但也可以利用各种其他技术中的任一种，包括专用计算机、微型计算机、微处理器、微控制器、外围集成电路元件、csic(客户专用集成电路)、asic(专用集成电路)、逻辑电路、数字信号处理器、可编程逻辑器件，例如fpga(现场可编程门阵列)、pld(可编程逻辑器件)、pla(可编程逻辑阵列)、rfid处理器、智能芯片或能够实现本发明的过程的步骤的任何其他器件或设备的装置。
39.本文使用的术语和表达是用作描述性而非限制性的术语和表达，并且在使用这些术语和表达时，无意排除所示出和所描述的特征或其一部分的任何等同体。另外，已经描述了本发明的某些实施例，对于本领域普通技术人员将显而易见的是，在不脱离本发明的精神和范围的情况下，可以使用结合本文公开的概念的其他实施例。因此，所描述的实施例应认为是仅在所有方面对本发明进行说明而非限制。
40.权利要求为：