用于按需自主的基于场景定位与链接车辆的系统和方法与流程

1.本专利文件中描述的技术总体上涉及半自主/自主车辆/吊舱的按需自主(oda，on-demand autonomy)服务，并且更具体地涉及oda服务中实体的定位与链接。


背景技术：

2.自主车辆是能够在很少或没有用户输入的情况下感测其环境并进行导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等的感测设备来感测其环境。自主车辆系统还使用来自包括全球定位系统(gps)技术的定位系统、导航系统、车辆到车辆通信、车辆到基础设施技术和/或线控驱动系统的信息，对车辆进行导航。
3.车辆自动化已经分类为范围从零(对应于完全人类控制的无自动化)到五(对应于无人类控制的完全自动化)的数字级别。各种自动驾驶员辅助系统，诸如巡航控制、自适应巡航控制和泊车辅助系统，对应于较低的自动化级别，而真正的“无人驾驶”车辆对应于更高的自动化级别。可能存在下述情况：车辆可能会受益于自主驾驶能力，但未配备所有必要部件来实现完全自主驾驶体验。
4.按需服务通过由车队提供运送来向用户提供按需移动，车队包括至少一辆能够引导非自主或半自主车辆的自主车辆。为了实现自主车辆引导非自主车辆，车辆必须以通信方式“链接”。
5.因而，期望提供用于按需自主(oda)服务的系统和方法，其使车辆能够对其自身进行定位以便可被链接。此外，根据随后的详细描述和所附的权利要求，结合附图，其他期望的特征和特性将变得显而易见。


技术实现要素：

6.提供了用于按需自主(oda)服务的系统和方法。在一个实施例中，提供一种按需自主(oda)系统，包括跟随车辆(fv)、引导车辆(lv)和odas。odas包括控制器，用于在队列行程启动后支持编队。控制器包括非暂时性计算机可读介质和一个或多个处理器，所述一个或多个处理器通过所述非暂时性计算机可读介质上的编程指令被配置为：接收来自fv的对oda服务的请求，其中所述请求包括fv的位置；当lv在fv的位置的第一距离内时：在lv的环境的场景内识别fv；在lv的环境的场景内识别fv的方位；以及为lv确定第二位置以开始oda服务。当lv在第二位置的第二距离内时，在lv的环境的第二场景内确定其他车辆的接近度；在第二场景中确认fv的方位；与fv执行握手法，以创建lv与fv之间的虚拟链路；以及使用所创建的虚拟链路执行牵引和泊车编队方法中的至少一种。
7.在各种实施例中，控制器还被配置为基于从lv的传感器生成的传感器数据来确定环境的场景。
8.在各种实施例中，控制器被配置为基于机器学习模型和与fv相关联的参数来识别fv。
9.在各种实施例中，控制器被配置为基于第二机器学习模型和指示泊车类型的地图
数据来识别fv的方位。
10.在各种实施例中，控制器被配置为基于机器学习模型、部分可观察马尔可夫决策过程模型、地图数据和交通数据中的至少一种来确定第二位置。
11.在各种实施例中，控制器被配置为基于第二机器学习模型和fv的参数，在第二场景中确认fv的方位。
12.在各种实施例中，握手法在lv与fv之间建立安全通信链路。
13.在各种实施例中，握手法基于来自lv的通信来确认fv的控制功能。
14.在各种实施例中，握手法基于对lv的场景进行分析的机器学习模型来确认控制功能。
15.在各种实施例中，控制器还被配置为控制lv和fv中至少一个的通知设备以指示oda服务。
16.在另一实施例中，提供一种按需自主(oda)系统中的方法，所述按需自主系统包括跟随车辆(fv)、引导车辆(lv)和odas。该方法包括：接收来自fv的对oda服务的请求，其中所述请求包括fv的位置；当lv在fv的位置的第一距离内时：在lv的环境的场景内识别fv；在lv的环境的场景内识别fv的方位；以及为lv确定第二位置以开始oda服务；当lv在第二位置的第二距离内时，在lv的环境的第二场景内确定其他车辆的接近度；在第二场景中确认fv的方位；与fv执行握手法，以创建lv与fv之间的虚拟链路；以及使用所创建的虚拟链路执行牵引和泊车编队方法中的至少一种。
17.在各种实施例中，确定环境的场景是基于从lv的传感器生成的传感器数据。
18.在各种实施例中，识别fv是基于机器学习模型和与fv相关联的参数。
19.在各种实施例中，识别fv的方位是基于第二机器学习模型和指示泊车类型的地图数据。
20.在各种实施例中，确定第二位置是基于机器学习模型、部分可观察马尔可夫决策过程模型、地图数据和交通数据中的至少一种。
21.在各种实施例中，在第二场景中确认fv的方位是基于第二机器学习模型和fv的参数。
22.在各种实施例中，握手法在lv与fv之间建立安全通信链路。
23.在各种实施例中，握手法基于来自lv的通信来确认fv的控制功能。
24.在各种实施例中，握手法基于对lv的场景进行分析的机器学习模型来确认控制功能。
25.在各种实施例中，该方法包括控制lv和fv中至少一个的通知设备以指示oda服务。
附图说明
26.下文将结合以下附图对示例性实施例进行描述，其中相同的数字表示相同的元素，并且其中：
27.图1是示出根据各种实施例的用于提供oda服务的示例按需自主(oda)系统的区块图；
28.图2是示出根据各种实施例的可以在示例oda系统中用作引导车辆或跟随车辆的示例车辆的区块图；
29.图3是示出根据各种实施例的由于来自跟随车辆的对oda服务的请求而产生的oda服务器、引导车辆和跟随车辆之间的交互及时序的循序图；
30.图4是示出根据各种实施例的由引导车辆响应于来自跟随车辆的对oda服务的请求而执行的定位和链接的方法的流程图；
31.图5是根据各种实施例的在由引导车辆确定的示例性场景内识别的跟随车辆的示意图；
32.图6是根据各种实施例的在由引导车辆进行定位和链接时确定的泊车类型和车辆方位的示意图；以及
33.图7是示出根据各种实施例的由引导车辆响应于oda服务的结束而执行的定位和解除链接的方法的流程图。
具体实施方式
34.以下详细描述本质上仅是示例性的，而且并不旨在限制应用和使用。此外，并不旨在受到在前述技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论的约束。如本文所使用的，术语“模块”是指任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，单独地或以任何组合方式，包括但不限于：专用集成电路(asic)、现场可编程门阵列(fpga)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或组)和存储器、组合逻辑电路和/或提供所描述功能的其他合适的部件。
35.在本文中可以在功能和/或逻辑区块部件以及各种处理步骤方面对本公开的实施例进行描述。应当理解，这种区块部件可以通过被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员应当理解，本公开的实施例可以结合任何数量的系统来实行，并且本文描述的系统仅为本公开的示例性实施例。
36.为简洁起见，与信号处理、数据传输、信令、控制、机器学习模型、雷达、激光雷达、图像分析和系统(以及系统的单独的操作部件)的其他功能方面相关的常规技术可能不在本文中详述。此外，本文所含各种附图中所示的连接线旨在表示各种元件之间的示例功能关系和/或物理耦接。应当注意，在本公开的实施例中可以存在多种替代或附加的功能关系或物理连接。
37.本文描述的主题公开了用于按需自主(oda)系统的装置、系统、技术和制品，该按需自主系统使得能够响应于跟随车辆的oda服务请求对引导车辆和跟随车辆进行定位以及链接/解除链接。oda系统使引导车辆能够将其自身定位于安全状况下以启动按需自主驾乘服务。对于这种最佳位置的确定是动态的并且基于场景理解和合作车辆的状况。一旦被定位，则执行握手协议并交叉参考基于相机/传感器的监控，并且一旦全清(all clear)，则应通过通知控制服务器来执行按需自主驾乘服务。驾乘结束时，再次确定安全位置，以在解除链接之前将跟随车辆停放在安全可靠的区域中。
38.现参考图1，功能区块图示出了根据各种实施例的示例按需自主(oda)系统100。在各种实施例中，oda系统100包括按需自主服务器(odas)102、一台或多台跟随车辆(fv)104、以及一台或多台引导车辆(lv)106。通常，按需自主(oda)系统100利用编程模块和通信系统
来实现按需自主(oda)服务，这些编程模块和通信系统实现在队列中驾驶一台或多台车辆。
39.例如，oda服务使自主配备车辆(即引导车辆106)根据请求将它们的自主驾驶能力扩展至其他非自主车辆(即跟随车辆104)。换言之，自主引导车辆106配置有包括引导模块108的至少一个控制器107，引导模块108控制引导车辆106按照odas 102的指示在非自主车辆104的驾驶员给予极少关注的情况下引导非自主跟随车辆104从地点a至地点b。非自主跟随车辆104配置有包括跟随模块110的至少一个控制器109，跟随模块110控制跟随车辆104按照odas 102的指示针对从地点a至地点b的行程跟随自主引导车辆106并将驾驶控制让给自主引导车辆106。
40.在各种实施例中，lv 106经由通信链路112通信地耦接到odas 102，fv 104经由通信链路114通信地耦接到odas 102。通过通信链路112、114，odas 102可以便于在lv 106与fv 104之间建立编队行程，在编队行程期间监控lv 106和fv 104，相互传送关于编队车辆104、106的状态信息，在编队车辆104、106之间传送队列终止请求，在编队车辆104、106之间传送安全信息以及其他任务，以实现有效的oda服务。
41.在各种实施例中，lv 106经由虚拟链路116动态地耦接到fv 104。如以下将更详细讨论的，在识别到编队需求并且fv 104在lv 106附近时建立虚拟链路116。
42.在各种实施例中，可以使用无线载波系统诸如蜂窝电话系统和/或卫星通信系统实现虚拟链路116和通信链路112、114。无线载波系统可以实现任何合适的通信技术，包括例如数字技术，诸如cdma(例如cdma2000)、lte(例如4g lte或5g lte)、gsm/gprs、或者其他当前或新兴的无线技术。
43.通信链路112、114也可以使用耦接到无线载波系统的传统陆基电信网络来实现。例如，陆地通信系统可以包括公共交换电话网络(pstn)，诸如用于提供硬连线电话、分组交换数据通信和互联网基础设施的公共交换电话网络。陆地通信系统的一段或多段可以使用标准有线网络、光纤或其他光学网络、电缆网络、电力线、诸如无线局域网(wlan)之类的其他无线网络、或提供宽带无线接入(bma)的网络或者其任何组合来实现。
44.现参考图2，区块图示出了可以在示例oda系统100中用作lv 106或fv 104的示例车辆200。示例车辆200通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上并且基本上包围车辆200的部件。车身14和底盘12可以共同形成框架。车轮16-18各自在车身14的相应角部附近可转动地耦接到底盘12。在所示实施例中将车辆200描绘为乘用车，但也可使用其他车辆类型，包括卡车、运动型多功能车(suv)、休旅车(rv)等。
45.车辆200可以能够手动驾驶、自主驾驶、和/或半自主驾驶。例如，车辆200可以配置为具有二级加自主能力的fv 104，或者可以配置为具有四级或五级自主能力的lv 106。二级或二级加系统表示“半自动化”特征，使车辆能够在没有驾驶员干预的情况下接收和/或确定用于控制车辆的指令。四级系统表示“高度自动化”，是指自动驾驶系统即使在人类驾驶员没有适当响应干预请求的情况下，对动态驾驶任务所有方面的特定驾驶模式执行。五级系统表示“完全自动化”，是指自动驾驶系统在可由人类驾驶员管理的所有道路和环境条件下对动态驾驶任务所有方面的全时执行。
46.在各种实施例中，车辆200还包括推进系统20、将动力从推进系统20传输到车轮16-18的传动系统22、影响车轮16-18位置的转向系统24、向车轮16-18提供制动扭矩的制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34、被配
置为与其他实体48诸如其他车辆(lv 106或fv 104)和odas 102无线通信信息的通信系统36、以及向车辆200附近用户生成视觉、音频和/或触觉通知的通知设备82。
47.传感器系统28包括一个或多个感测设备40a-40n，其感测自主车辆10的外部环境和/或内部环境的可观察到的状况。根据车辆200的自主级别，感测设备40a-40n可以包括雷达、激光雷达、全球定位系统、光学相机、热像仪、超声传感器、惯性测量单元和/或其他传感器。致动器系统30包括一个或多个致动器设备42a-42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、传动系统22、转向系统24和制动系统26。
48.通信系统36被配置为与其他实体48无线通信信息，其他实体48诸如但不限于其他车辆(“v2v”通信)、基础设施(“v2i”通信)、远程系统和/或个人设备。在示例性实施例中，通信系统36是被配置为经由使用ieee 802.11标准的无线局域网(wlan)或者通过使用蜂窝数据通信进行通信的无线通信系统。然而，诸如专用短程通信(dsrc)信道之类的附加或替代通信方法也被认为在本公开的范围内。dsrc信道是指专为汽车使用而设计的单向或双向短程至中程无线通信信道以及相应的一组协议和标准。
49.数据存储设备32存储用于自动控制车辆200的数据。数据存储设备32可以是控制器34的一部分、与控制器34分离、或者是控制器34的一部分和单独系统的一部分。控制器34包括至少一个处理器44和计算机可读存储设备或介质46。尽管图2仅示出一个控制器34，但车辆200的实施例可以包括任何数量的控制器34，其通过任何合适的通信介质或通信介质组合进行通信，并协作以处理传感器信号，执行逻辑、计算、方法和/或算法，并生成控制信号以自动控制车辆200的特征。
50.处理器44可以是任何定制或市售的处理器、中央处理单元(cpu)、图形处理单元(gpu)、与控制器34相关联的多个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、它们的任何组合，或通常用于执行指令的任何设备。例如，计算机可读存储设备或介质46可以包括只读存储器(rom)、随机存取存储器(ram)和保活存储器(kam)中的易失性和非易失性存储。kam是持久性或非易失性存储器，其可以用于在处理器44断电时存储各种操作变量。计算机可读存储设备或介质46可以使用多种已知存储器设备中的任何一种来实现，诸如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪存或任何其他能够存储数据的电、磁、光或组合存储器设备，该数据中的一些表示控制器34使用的可执行指令。
51.编程指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。在各种实施例中，可以在引导模块108(图1)中或跟随模块110(图1)中实施指令。如结合图3至图6更详细讨论的，指令在由处理器执行时对车辆104、106执行定位和链接。
52.参考图3，循序图示出了由于对编队行程的请求而产生的oda服务器102、fv 104和lv 106之间随时间301推移的示例交互。在该示例中，在302处，由fv 104向odas 102传送oda服务请求。作为响应，在304处，odas102向区域中包括lv 106在内的潜在引导车辆广播指示请求的消息。lv 106接收广播消息并在306处以对请求的接受来响应odas 102。在308处，odas102向发出请求的fv 104传送引导车辆信息。fv 104接收引导车辆信息并在310处以确认来响应odas 102。然后，在312处，odas 102以对引导关系的确认来响应lv 106。然后，在314处，odas 102向lv 106提供fv 104的位置信息和所请求目的地的位置信息。
53.随后，在操作315处，lv 106执行lv 106和fv 104的定位和链接。例如，在316处，lv 106执行fv 104的识别并相对于fv 104对其自身进行定位，以建立虚拟链路116(图1)。一旦被定位，则在318处lv 106和fv 104执行通信握手，并在320处由lv 106向fv 104传送队列请求。
54.在322处，由lv 106执行智能队列指示。在324处，作为响应，fv 104向lv 106传送队列虚拟链路信息。在326处，lv 106向odas 102传送驾乘确认。随后，在328处，基于所建立的虚拟链路116(图1)执行编队。一旦驾乘完成，则在330处解除链接虚拟链路116(图1)，并在332处fv 104和lv 106向odas 102发送驾乘完成的确认。
55.现参考图4和图7并继续参考图1至图3，流程图示出了根据本公开的控制方法400、600，这些方法可以由图1的系统100执行，并且更具体地可以由lv 106的引导模块108执行。如根据本公开可以理解的，控制方法400、600中的操作顺序不限于图4所示的顺次执行，而是可以在适用的情况下以一种或多种不同的顺序并根据本公开执行。在各种实施例中，方法400、600可以基于一个或多个预定事件来调度运行，和/或可以在lv 106操作过程中持续运行。例如，方法400、600可以基于图3的操作顺序执行。
56.在一个示例中，方法可以起始于405。在410处，例如从odas 102或者响应于众包引导者搜索请求-确认过程，接收fv 104的位置。在420处，基于该位置控制lv 106，直至确定其处于fv 104的近距离(例如，基于地图和/或gps数据五十米)范围内。
57.随后，在430处，在本地环境内执行对fv 104的识别。在各种实施例中，基于来自lv 106的传感器系统28的传感器数据生成场景；并基于一个或多个经过训练的机器学习模型对场景进行分析，以在场景中存在的车辆中识别fv 104的一个或多个参数。例如，如图5所示，可以对场景550的识别车辆560进行视觉分析，以认出与fv 104相关联的品牌、型号、颜色、注册牌号或其他简档信息。在另一示例中，可以基于可能由fv 104生成以使lv 106识别其的模式喇叭鸣响、模式发动机加速或其他声音模式，对场景550的识别车辆560进行声学分析。
58.在各种实施例中，可以基于对来自fv 104的短程信号的分析，诸如wi-fi/蓝牙信号或编码红外信号分析，附加地或替代地对fv 104进行识别。随着lv106变得更加接近fv 104，预期蓝牙信号会变得更强。应当理解，由于本公开不限于本文示例中的任何一个，因而可以使用其他方法在本地环境内识别fv 104。
59.返回参考图4，一旦已在430处识别出fv 104，则在440处确定所识别的fv 104的方位。在各种实施例中，基于一个或多个场景分析模型来识别方位，该模型相对于识别车辆位置处的被识别泊车位来分析识别车辆的方位。在各种实施例中，该分析及其所用模型基于与识别位置(其例如基于地图数据)相关联的泊车位的泊车类型(例如平行泊车、倾斜泊车、垂直泊车等)。例如，如图6所示，当泊车类型为570处的平行泊车时，预期车辆方位对应于道路方向。对识别车辆进行视觉分析，以确认识别车辆的前部是朝向(heading)道路方向。在另一实施例中，当泊车类型为590处的倾斜泊车时，预期车辆的方位对应于车位方向。对识别车辆进行视觉分析，以确认识别车辆的前部或后部是朝向车位方向。在又一实施例中，当泊车类型为580处的垂直泊车时，预期车辆的方位对应于车位方向。对识别车辆进行视觉分析，以确认识别车辆的前部或后部是朝向车位方向。
60.在各种实施例中，fv 104可以移动(并未泊车)。在这种情况下，基于一个或多个场
景分析模型来识别方位，该模型相对于与识别车辆的位置相关联的车道来分析识别车辆的方位。在各种实施例中，该分析及其所用模型基于车道类型和/或车道方向和/或车道数量以及交通状况。
61.返回参考图4，随后，在450处，使用机器学习模型分析fv 104的方位和周围场景，以确定lv 106移动到达的位置，以便启动编队(例如靠近辅路泊车、无前车位路边泊车等)。在各种实施例中，基于识别车辆的方位、地图数据和交通数据，确定最接近识别车辆的车道或可用泊车位。例如，如果交通数据指示道路上交通繁忙，则从场景中搜索最接近的可用泊车位。在各种其他实施例中，当fv 104移动时，确定车辆由驾驶员手动操作还是由另一引导车辆操作。随后，基于车辆正在如何驾驶、识别车辆的方位、地图数据和交通数据，来确定识别车辆的车道内的位置或最接近识别车辆的车道内的位置。例如，可以通过对限定的一组参数输入进行考虑的部分可观察马尔可夫决策过程(pomdp，partially observable markov decision process)模型来作出确定。
62.一旦在450处确定了队列启动位置，则在460处控制lv 106到达该位置。例如，一旦lv 106接近fv 104附近，则还控制lv 106的通知设备82。在各种实施例中，控制lv 106停在该位置处或该位置附近，并且车辆104、106各自能够清楚地看到彼此的地方。在各种实施例中，可以通过对限定的一组参数输入进行考虑的pomdp模型来提供基于情况的决策。
63.一旦lv 106停下，则在480处对环境执行分析，以确定与其他车辆的接近度并重新确定识别车辆的方位以用于建立牵引角度。在490处执行握手。在各种实施例中，建立安全的v2v连接，并验证控制功能。例如，由lv 106和/或直接由fv 104在视觉上确认制动功能、转向功能、转向指示器功能和发动机曲柄功能。
64.在编队开始之前，控制lv 106和/或fv 104的通知设备82，以向其他道路用户指示按需自主驾乘即将开始(例如，诸如闪灯或其他通知手段)。一旦在500处编队准备开始，则在510处使用预先编队法执行编队，以自主控制fv 104从该位置到最终目的地的操作。如果请求指示了任何上车或下车中断事件，则基于此执行编队。一旦到达目的地，则在520处执行fv 104的定位和虚拟链路116的解除链接。随后，该方法可以在530处结束。
65.图7示出了如在图4步骤520处描述的一旦到达或即将到达目的地，则用于对fv104解除链接的方法600。在一个示例中，该方法可以起始于605。在610处启动泊车选项搜索。在各种实施例中，使用机器学习/pomdp模型执行场景分析，以识别lv 104可用于泊车的泊车位置。
66.一旦在620处识别出泊车位置，则在630处确定泊车位置类型并选择与泊车位置类型相对应的泊车方法。在640处，基于所选择的泊车方法对fv 104进行泊车。在泊车请求在私人车库内的情况下，则fv 104使用lv 106车库开启选项或经由odas 102与服务请求者通信，以进入车库安全地停放fv 104。
67.一旦在650处确认fv 104停放在其目的地，则在660处lv 106执行虚拟链路116的解除链接。然后，在670处控制lv 106到达等待位置，以等待下一次请求。随后，该方法可以在680处结束。
68.可以将用于评估lv 106环境的一个或多个模型实现为经历监督、无监督、半监督或强化学习的一个或多个机器学习模型。此类模型的实例包括但不限于人工神经网络(ann)(诸如递归神经网络(rnn)和卷积神经网络(cnn))、决策树模型(诸如分类和回归树
(cart))、集成学习模型(诸如提升、自举聚合、梯度提升机和随机森林)、贝叶斯网络模型(诸如朴素贝叶斯)、主成分分析(pca)、支持向量机(svm)、聚类模型(诸如k-最近邻，k-平均，期望最大化，层次聚类等)、线性判别分析模型。在各种实施例中，任何模型的训练由引导模块执行。在其他实施例中，训练至少部分发生在车辆10的控制器34本身之内。在各种实施例中，训练可以在远离lv 106的系统内进行，然后下载到lv 106以在lv 106的正常操作期间使用。
69.尽管在前述详细描述中已经提出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，示例性实施例或多个示例性实施例仅是示例，并且不旨在以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实现示例性实施例或多个示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求及其合法等同物中阐述的本公开的范围的情况下，可以在元件的功能和布置中进行各种改变。