车道机动意图检测系统和方法与流程

1.本公开总体上涉及车辆领域，更具体地，涉及用于检测驾驶员要进行车道变换操纵的意图的方法和系统。


背景技术：

2.人工智能技术可以用于跟踪驾驶员的视线。在驾驶时，驾驶员通常会看向特定的方向，以观察在该方向上行驶之前道路上是否没有障碍物。因此，驾驶员的视线可用于确定驾驶员执行驾驶操作的意图。
3.因此，期望提供使用驾驶员视线来预测驾驶员意图的计算机化的方法和系统。此外，结合附图和本发明的背景，本发明的其他期望的特征和特性将从本发明的后续详细描述和所附权利要求中变得明显。


技术实现要素：

4.根据示例性实施例，提供了一种用于控制车辆的方法。该方法包括：监视车辆驾驶员的视线；监视车辆周围的当前交通条件；基于视线、驾驶员视线的历史和当前交通条件来预测驾驶员要进行变换车道操纵的意图；以及由处理器基于预测的驾驶员要进行车道变换操纵的意图来控制车辆。
5.在各种实施例中，该方法包括通过车辆的相机获得车辆驾驶员的相机图像，并且其中监视视线基于该相机图像。
6.在各种实施例中，监视视线包括对驾驶员眼睛从第一道路方向转移到第二侧镜方向的次数进行计数，并且其中基于该次数来预测驾驶员要进行变换车道操纵的意图。
7.在各种实施例中，监视视线包括累积在视线在侧镜上的集中时间，并且其中基于累积的集中时间来预测驾驶员要进行变换车道操纵的意图。
8.在各种实施例中，该方法包括学习预测的驾驶员意图和视线的历史，并基于视线的历史预测驾驶员的未来意图。
9.在各种实施例中，该方法包括通过人机界面向驾驶员确认预测的驾驶员意图。
10.在各种实施例中，车道变换操纵包括左侧变换车道和右侧变换车道中的至少一个。
11.在各种实施例中，交通条件包括具有对所有相关交通参与者和对象保持安全裕度的相邻车道的交通条件，并且车辆位于安全通道内，其中，安全通道限定与变换车道操纵的纵向位置相关联的上边界和下边界。
12.在各种实施例中，车道变换操纵包括超车。
13.在各种实施例中，交通条件包括前方道路车辆的车速和车道数。
14.在另一示例性实施例中，一种系统包括：驾驶员监视系统，被配置为采集驾驶员视线数据；感知系统，被配置为采集与车辆环境相关联的感知数据；以及处理器，被配置为：监视驾驶员视线数据以确定车辆驾驶员的视线；监视感知数据以确定车辆周围的当前交通条
件；基于视线、视线的历史和当前交通条件来预测驾驶员要进行变换车道操纵的意图；并且基于预测的驾驶员要进行车道变换操纵的意图来控制车辆。
15.在各种实施例中，驾驶员监视系统还被配置成经由车辆的相机获得车辆驾驶员的相机图像，并且其中处理器基于相机图像监视视线。
16.在各种实施例中，处理器被配置成通过对驾驶员眼睛从第一道路方向转移到第二侧镜方向的次数进行计数来监视视线，并且其中处理器被配置成基于该次数来预测驾驶员要进行车道变换操纵的意图。
17.在各种实施例中，处理器被配置成通过累积视线在侧镜上的集中时间来监视视线，并且其中处理器被配置成基于累积的集中时间来预测驾驶员要进行变换车道操纵的意图。
18.在各种实施例中，处理器还被配置为学习预测的驾驶员意图和视线的历史，并基于视线的历史预测驾驶员的未来意图。
19.在各种实施例中，处理器还被配置成通过人机界面向驾驶员确认预测的驾驶员意图。
20.在各种实施例中，车道变换操纵包括左侧变换车道和右侧变换车道中的至少一个。
21.在各种实施例中，交通条件包括具有对所有相关交通参与者和对象保持安全裕度的相邻车道的交通条件，并且车辆位于安全通道内，其中安全通道限定与变换车道操纵的纵向位置相关联的上边界和下边界。
22.在各种实施例中，车道变换操纵包括超车。
23.在各种实施例中，交通条件包括前方道路车辆的车速和车道数。
附图说明
24.下文将结合附图描述本公开，其中相同的附图标记表示相同的元件，并且其中：
25.图1是根据各种实施例的车辆的功能框图，该车辆包括用于预测驾驶员变换车道操纵的控制系统；
26.图2是数据流图，示出了根据各种实施例的用于预测变换车道操纵的驾驶员意图的控制系统；
27.图3、4和5是流程图，示出了根据各种实施例的用于预测变换车道操纵的驾驶员意图的方法；
28.图6是示出了用于存储在控制系统变换车道操作期间驾驶员视线数据活动模式历史的数据结构的图形。
具体实施方式
29.以下详细描述本质上仅仅是示例性的，并不旨在限制本公开或其应用和用途。此外，不打算受前面背景技术或下面详细描述中提出的任何理论的约束。
30.图1示出了根据示例性实施例的车辆100。如下文更详细描述的，车辆100包括控制系统102，用于预测车辆100的驾驶员要进行车道变换操纵的意图，例如车道变换或超越另一车辆。在各种实施例中，控制系统102被配置成使用结合图2-6描述的技术来跟踪车辆100
的驾驶员的视线，以预测意图。在各种实施例中，控制系统102被配置成使用结合图2-6描述的技术来监视当前交通条件以预测意图。
31.在各种实施例中，车辆100可以包括任何数量的不同类型的车辆或移动平台。在某些实施例中，车辆100包括陆基车辆，例如多种不同类型的汽车中的任何一种，例如轿车、货车、卡车或运动型多功能车(suv)、摩托车和/或其他陆基车辆。在各种实施例中，车辆100是包括一个或多个自主或半自主驾驶特征的自主车辆。
32.在所示的示例性实施例中，车辆100包括布置在底盘109上的车身110。车身110基本上封闭车辆100的其他部件。车身110和底盘109可以共同形成框架。车辆100还包括多个车轴112和车轮114。车轮114各自在车身110的相应拐角附近可旋转地连接到一个或多个轴112，以便于车辆100的运动。在一个实施例中，车辆100包括四个车轮114，尽管这在其他实施例中可以变化(例如对于卡车和某些其他车辆)。
33.此外，在所示的示例性实施例中，驱动系统116安装在底盘109上并驱动车轮114。驱动系统116优选包括推进系统。在某些示例性实施例中，驱动系统116包括内燃机和/或电动机/发电机，与其变速器相连接。在某些实施例中，驱动系统116可以变化，和/或可以使用两个或更多个驱动系统116。举例来说，车辆100还可结合多种不同类型的推进系统中的任何一种或其组合，例如汽油或柴油燃料的内燃机、“柔性燃料车辆”(ffv)发动机(即，使用汽油和酒精的混合物)、气态化合物(例如，氢和/或天然气)燃料发动机、燃烧/电动机混合发动机和电动机。
34.如图1所示，在各种实施例中，控制系统102包括传感器阵列130和计算机系统140。在各种实施例中，控制系统102安装在底盘109上。
35.在各种实施例中，传感器阵列130包括靠近驾驶员的一个或多个相机132。在某些实施例中，相机132位于车辆100的平视单元120内(例如，在车辆100的前仪表板内或其上)。在某些其他实施例中，相机132位于车辆100的反光镜118内或其上，例如后视镜。在各种实施例中，相机132朝向驾驶员定位，特别是朝向其面部，以采集驾驶员面部的图像。
36.在某些实施例中，传感器阵列130包括用于采集关于车辆100的环境或车辆本身的信息的一个或多个其他传感器。这种传感器可以被称为感知系统，并且可以包括但不限于相机、雷达、激光雷达、gps等或者其他车辆传感器。这种传感器可以安装在车辆100的外部。
37.在各种实施例中，计算机系统140经由通信链路111耦合到传感器阵列130，并且经由通信链路111接收相机图像和感知系统数据。在某些实施例中，通信链路111包括一个或多个有线连接，例如一个或多个电缆(例如，同轴电缆和/或一种或多种其他类型的电缆)，和/或一种或多种无线连接(例如，使用无线总线技术)。
38.在各种实施例中，计算机系统140从相机132接收相机图像，并使用相机图像识别车辆100的驾驶员的眼睛(或多个眼睛)的注视方向。在各种实施例中，计算机系统140从感知系统接收传感器数据，并使用传感器数据识别当前交通条件。
39.在所描绘的实施例中，计算机系统140包括处理器142、存储器144、接口146、存储设备148和总线150。处理器142执行计算机系统140的计算和控制功能，并且可以包括任何类型的处理器或多个处理器、诸如微处理器的单个集成电路、或者任何合适数量的集成电路设备和/或电路板，它们协同工作以实现处理单元的功能。在操作期间，处理器142执行包含在存储器144中的一个或多个程序152，并且因此控制计算机系统140的一般操作和计算
机系统140的计算机系统，通常是在执行这里描述的过程中，例如结合图2-4描述的过程200。
40.存储器144可以是任何类型的合适的存储器。例如，存储器144可以包括各种类型的动态随机存取存储器dram，例如sdram；各种类型的静态随机存取存储器sram，和各种类型的非易失性存储器(prom、eprom和闪存)。在某些示例中，存储器144与处理器142位于和/或共同位于同一计算机芯片上。在所示实施例中，存储器144存储上述程序152以及一个或多个存储值154。
41.总线150用于在计算机系统140的计算机系统的各种组件之间传输程序、数据、状态和其他信息或信号。接口146允许例如从系统驱动器和/或另一个计算机系统到计算机系统140的计算机系统的通信，并且可以使用任何合适的方法和装置来实现。在一个实施例中，接口146从相机132获得各种数据。接口146可以包括一个或多个网络接口，以与其他系统或组件通信。接口146还可以包括一个或多个网络接口以与技术人员通信，和/或一个或多个存储接口以连接到存储设备，例如存储设备148。
42.存储设备148可以是任何合适类型的存储设备，包括直接存取存储设备，例如硬盘驱动器、闪存系统、软盘驱动器和光盘驱动器。在一个示例性实施例中，存储设备148包括程序产品，存储器144可以从该程序产品接收程序152，该程序152执行本公开的一个或多个过程或方法的一个或多个实施例，例如结合图2-6描述的过程200(及其任何子过程)的步骤。在另一个示例性实施例中，程序产品可以直接存储在存储器144和/或磁盘(例如，盘156)，例如下面提到的。
43.总线150可以是连接计算机系统和组件的任何合适的物理或逻辑装置。这包括但不限于直接硬连线连接、光纤、红外和无线总线技术。在操作期间，程序152存储在存储器144中，并由处理器142执行。
44.应当理解，虽然该示例性实施例是在全功能计算机系统的环境中描述的，但是本领域技术人员将认识到，本公开的机制能够作为具有一种或多种类型的非暂时性计算机可读信号承载介质的程序产品来分发，所述非暂时性计算机可读信号承载介质用于存储程序及其指令并执行其分发，例如承载该程序并包含存储在其中的计算机指令的非暂时性计算机可读介质，用于使计算机处理器(例如处理器142)执行和执行该程序。这种程序产品可以采取多种形式，并且无论用于执行分发的计算机可读信号承载介质的具体类型如何，本公开同样适用。信号承载介质的例子包括可记录介质，例如软盘、硬盘、存储卡和光盘，以及传输介质，例如数字和模拟通信链路。应当理解，在某些实施例中也可以利用基于云的存储和/或其他技术。同样可以理解，计算机系统140的计算机系统也可以不同于图1所示的实施例，例如，计算机系统140的计算机系统可以耦合到或者可以利用一个或多个远程计算机系统和/或其他控制系统。
45.参考图2并继续参考图1，数据流图示出了控制系统102，该控制系统102包括一个或多个模块，用于预测驾驶员要进行变换车道操纵的意图。如这里所使用的，术语“模块”指的是任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备，单独地或以任何组合的方式，包括但不限于：专用集成电路(asic)、现场可编程门阵列(fpga)、电子电路、处理器(共享的、专用的或成组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的组件。可以理解，在各种实施例中，图2所示的模块可以组
合或进一步分割。在各种实施例中，控制系统102包括交通条件监视模块160、意图预测模块162、意图确认模块164、历史数据学习模块166和历史数据数据库168。
46.在各种实施例中，交通条件监视模块160从感知系统接收传感器数据170作为输入。交通条件监视模块160评估传感器数据170，以确定满足车道变换操纵的特定交通条件的时机。交通条件监视模块170基于评估设置一个或多个交通条件标志172。
47.在各种实施例中，传感器数据170可以指示车辆速度、当前道路配置(车道数量、车道类型、车道中的速度限制等)、和/或车道上行驶的车辆流。当左侧相邻车道对所有相关交通参与者和对象(例如，车辆、行人和路障等)保持安全裕度，并且本车辆可以定位在安全通道内时，该安全通道限定了在整个左侧变换车道操作中车辆纵向位置的上边界和下边界，则交通条件被定义为满足左侧变换车道。当右侧相邻车道对所有相关交通参与者和对象(例如，车辆、行人和路障等)保持安全裕度，并且本车辆可以定位在安全通道内时，该安全通道限定了在整个右侧变换车道操作中车辆纵向位置的上边界和下边界，则交通条件被定义为满足右侧变换车道。当车辆100前方的车辆的车速小于速度极限减去速度偏差，并且道路中的车道总数为二时，交通条件被定义为满足超车变换车道操纵。
48.在各种实施例中，变换车道交通条件包括对所有相关交通参与者和对象(周围交通环境中的车辆、行人和路障)保持安全裕度。这意味着本车辆必须位于一个安全通道内，该通道定义整个机动操作(例如左侧变换车道或右侧变换车道)上其纵向位置的上边界和下边界。
49.当对传感器数据170的评估指示满足左侧变换车道的交通条件时，交通条件监视模块160将左侧变换车道条件标志174设置为真。否则，左侧变换车道条件标志174保持为假。当对传感器数据170的评估指示满足右侧变换车道的交通条件时，交通条件监视模块160将右侧变换车道条件标志176设置为真。否则，右侧变换车道条件标志176保持为假。当对传感器数据170的评估指示满足超车的交通条件时，交通条件监视模块160将超车条件标志178设置为真。否则，超车条件标志178保持为假。
50.在各种实施例中，意图预测模块162接收条件标志172、驾驶员视线数据180和驾驶员面部识别数据182作为输入。在各种实施例中，驾驶员视线数据180指示驾驶员视线方向和/或位置。在各种实施例中，驾驶员面部识别数据182包括指示识别驾驶员面部特征的参数的特征数据，该特征数据可以用作驾驶员的识别，以在车道变换操作期间加载驾驶员的视线活动模式历史，用于确定驾驶员的车道变换操作意图。
51.意图预测模块162评估条件标志172、驾驶员视线数据180和驾驶员面部识别数据182，其作为驾驶员识别以在变换车道操纵期间加载驾驶员视线活动模式的历史，以便预测驾驶员要进行变换车道操纵的意图184(例如，右侧变换车道、左侧变换车道、超车等)。例如，意图预测模块162在随时间的车道变换操作期间评估驾驶员视线数据180，以确定驾驶员注视行为。驾驶员注视行为可以包括例如驾驶员的眼睛活动，包括在不同变换车道机动交通条件下，驾驶员的眼睛在短时间间隔内从道路上转移到侧镜或侧窗(左或右)的次数，以及驾驶员的眼睛集中在侧镜或侧窗(左或右)上的时间。
52.意图预测模块162然后基于驾驶员面部数据识别驾驶员，并针对所识别的驾驶员检索相同驾驶员的注视行为历史数据186。意图预测模块162然后评估条件标志172，并将当前驾驶员注视行为数据与历史数据进行比较，以确定预测的意图184。例如，当左侧变换车
道交通条件标志174为真，并且当前行为数据小于或等于类似的变换车道交通条件(例如自身车辆速度和相邻车道交通等)下的左侧变换车道的历史数据186(在某些情况下加上或减去偏移)时，意图预测模块162将左侧变换车道标志设置为真。在另一个例子中，当右侧变换车道条件标志176为真，并且当前行为数据小于或等于类似的变换车道交通条件(例如自身车辆速度和相邻车道交通等)下的右侧变换车道的历史数据185(在某些情况下加上或减去偏移)时，意图预测模块162将右侧变换车道标志设置为真。在另一示例中，当右侧变换车道或左侧变换车道的意图预测标志为真并且超车变换车道条件标志178为真时，意图预测模块162将超车标志设置为真。
53.此后，意图预测模块162基于指示真的标志将预测意图184设置为右侧变换车道、左侧变换车道和超车之一。预测意图184然后与交通条件和识别的驾驶员相关联。
54.确认模块164接收预测意图数据184。确认模块164向驾驶员确认预测的意图。例如，确认模块164生成意图确认请求消息188，该消息由用户接收并经由人机界面模块(未示出)呈现给用户。当驾驶员确认或拒绝执行变换车道操作的意图时，人机界面模块继而提供意图确认响应消息190。确认模块164提供确认信息192，包括对所识别的驾驶员的预测的车道变换操纵的拒绝或确认。当学习驾驶员视线数据历史的过程的稳定时，驾驶员意图的预测可以以非常高的准确率进行。驾驶员可以信任预测，并可以选择请求无需确认。
55.历史学习模块166在接收到确认信息192之后，用在由车辆速度和等待满足交通条件的时间索引的相应数据存储单元处的当前驾驶员视线数据更新历史数据存储168。例如，历史学习模块166学习驾驶员的车道变换操纵的驾驶员注视行为，并将该信息存储在专用于该驾驶员的学习单元历史数据结构中。图6示出了示例性的历史数据结构500。在各种实施例中，数据结构500由x轴502上的车辆速度(mph)和y轴504上的等待满足变换车道机动交通条件的时间来定义。数据结构500的每个单元506存储驾驶员注视行为数据的计算移动平均值，包括眼睛转向侧镜的计数的计算移动平均值，以及在变换车道操作期间眼睛在侧镜上的累积时间的计算移动平均值。然后，意图预测模块162使用存储的历史数据来确定同一驾驶员的下一次预测。
56.现在参考图3-5并继续参考图1和2，流程图示出了可由图1和2的系统执行的用于预测驾驶员意图的示例性方法。可以理解，在各种实施例中，该方法的步骤顺序可以改变、添加或移除。
57.图3示出了预测驾驶员意图的示例性方法200。在一个示例中，方法200可以在205开始。在210确定驾驶员眼睛转移计数和驾驶员集中时间，例如，如参考图4更详细讨论的。在220确定交通条件标志172。如果在230处左侧或右侧变换车道的交通条件标志为真，则在240，检索驾驶员历史数据186，例如基于驾驶员的面部识别以及为真的条件。在250，将当前驾驶员眼睛转移计数和驾驶员集中时间与具有相应数据存储单元的历史数据186(加上或减去偏移)进行比较，该数据存储单元具有类似的驾驶条件，例如车辆速度和车道变换交通条件。在250，如果当前驾驶员眼睛转移计数和当前驾驶员集中时间小于或等于具有相应数据存储单元的历史数据(加上或减去偏移)，该数据存储单元具有类似的驾驶条件，例如车辆速度和车道变换交通条件，则在270，将车道变换意图标志设置为真。此后，在280评估超车的交通条件标志。当在280处超车的交通条件标志为真时，在290处超车意图被设置为真，并且在300处执行确认过程，例如关于图5更详细讨论的。此后，该方法可以在310结束。当在
280超车的交通条件标志为假时，在305超车意图被设置为假，在300执行确认过程，并且该方法可以在310结束。
58.当在250，当前驾驶员眼睛转移计数和当前驾驶员集中时间大于具有相应数据存储单元的历史数据，该数据存储单元具有类似的驾驶条件，例如车辆速度和变换车道交通条件，则在260，将变换车道意图标志设置为假。此后，该方法可以在310结束。
59.图4示出了确定包括驾驶员眼睛转移计数和驾驶员集中时间的驾驶员行为数据的示例性方法(图3的步骤210)。在图4中，该方法可以在315开始。在320，接收驾驶员视线数据180，并评估驾驶员的眼睛运动，以确定驾驶员视线的方向或兴趣点。当在325确定驾驶员的视线从路上转移到侧镜或窗户(左或右)时，跟踪驾驶员注视行为的计时器和计数器被更新。例如，在330，眼睛在侧镜上的关停计时器被重置。在340，眼睛在侧镜上的开启计时器增加。在350，在上升沿增加眼睛在侧镜上的计数器。此后，该方法继续到355，在此执行方法200的步骤220(图3)。
60.在325，当驾驶员的视线没有被确定从道路上转移到侧镜(保持在相同方向)时，跟踪驾驶员行为的计时器和计数器被更新。例如，在360，眼睛在侧镜上的关停定时器增加。在370，当眼睛在侧镜上的关停定时器高于阈值时，在380，眼睛在侧镜上的开启定时器被重置。在390，眼睛在侧镜上的计数器重置。此后，该方法可以在310结束。当在370，眼睛在侧镜上的关停计时器小于或等于阈值时，该方法可以在310结束。
61.图5示出了用于执行确认过程的示例性方法(图3的步骤300)。在图5中，该方法可以在405开始。在410接收意图确认响应数据190。在420处，当预测的驾驶员意图被驾驶员确认时，在430-460处，驾驶员行为数据在历史数据数据库168中被更新，其具有类似的驾驶条件，例如车辆速度和变换车道交通条件。例如，在430，眼睛在侧镜上开启定时器存储在历史数据存储168单元中，其具有类似的驾驶条件，例如车辆速度和变换车道交通条件。在440，针对数据结构500计算眼睛在侧镜上开启计时器的移动平均值。在450，眼睛在侧镜上计数器与类似的驾驶条件(例如车速和车道变换交通条件)一起存储在历史数据数据库168中。在460，针对数据结构500计算眼睛在侧镜上的计数器的移动平均值。此后，该方法可以在310结束。当在420预测的驾驶员意图没有被驾驶员确认时，该方法可以在310结束。
62.因此，所公开的方法、系统和车辆提供了对驾驶员执行一个或多个车道变换动作的意图的预测。在各种实施例中，预测然后被用于开发驾驶员车道变换历史数据并基于此控制车辆。
63.应当理解，系统、车辆和方法可以不同于附图中描绘的和本文描述的那些。例如，在各种实施例中，车辆100、控制系统102和/或其各种部件可以不同于图1中描绘的和结合图1描述的。类似地，将会理解，在各种实施例中，系统和方法的步骤和/或实现可以不同于图2-6中描绘的步骤和/或实现，和/或方法的各种步骤可以同时发生和/或以不同于图2-6中描绘的顺序发生。
64.虽然在前面的详细描述中已经给出了至少一个示例性实施例，但是应当理解，存在大量的变化。还应当理解，一个或多个示例性实施例仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前面的详细描述将为本领域技术人员提供实现一个或多个示例性实施例的便利路线图。应当理解，在不脱离所附权利要求及其合法等同物中阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。