车辆控制方法及其装置与流程

1.本技术实施例涉及智能车领域，并且更具体地，涉及一种车辆控制方法及其装置。


背景技术：

2.随着智能车技术的发展，可以通过传感器等设备获取车辆的自车信息、车辆的环境信息、驾驶员信息等，然后基于这些信息对车辆进行控制。
3.目前出现了一类考虑了驾驶员的视野范围的防碰撞预警的方案，在碰撞预警中，会根据自车与驾驶员视野角度范围内的车辆的距离和自车与驾驶员视野角度范围外的车辆的距离来综合得到预警策略。但即使驾驶员的轻微偏头等一些细微动作都会导致视野角度范围的不断变化，导致预警策略也过度频繁地发生变化，预警的准确性太低。
4.因此，如何提高视野范围检测的稳定性，从而提升车辆控制的准确性是亟待解决的技术问题。


技术实现要素：

5.本技术实施例提供一种车辆控制方法及其装置，能够提高视野范围检测的稳定性，从而提高车辆控制的准确性。
6.第一方面，提供一种车辆控制方法，该方法包括：获取驾驶员的目光信息，以及至少根据目光信息获取控制策略。上述目光信息包括驾驶员的关注扇区，关注扇区包括车辆的多个视野扇区中的至少一个视野扇区。
7.在本技术的技术方案中，利用关注扇区来表示驾驶员的视野范围，视野范围的检测的稳定性得到了提高，从而提高了车辆控制的准确性。
8.在现有技术中，由于只考虑了视野角度范围，而当驾驶员轻微转动眼珠等行为都可能导致视野角度范围的变化，很不稳定，这给后续的车辆控制带来了较大的困难和误差。而在本技术实施例中，视野扇区则是把驾驶员的所有可能视野范围进行了划分，划分成多个区域，即多个扇区，关注扇区即为驾驶员目光注视的区域，该视野范围的检测结果相对稳定，不会出现因为驾驶员偏偏头等轻微动作就导致检测结果不断跳动的情况，从而提高车辆控制的准确性。
9.目光信息可以是利用摄像头、眼动仪等感知设备获取驾驶员的视线方向，再根据视线方向来确定上述关注扇区。
10.结合第一方面，在第一方面的某些实现方式中，在根据目光信息得到控制策略时，可以根据目光信息和车辆的自车信息得到控制策略，自车信息包括以下至少一种：方向盘转角、角速度、转向灯或车速。自车信息可以理解为底盘信息或车辆的信息。
11.结合第一方面，在第一方面的某些实现方式中，在根据目光信息和车辆的自车信息得到控制策略时，可以通过执行下面的步骤完成：利用训练好的神经网络模型对目光信息和自车信息进行处理得到驾驶员的驾驶意图，以及根据驾驶意图得到控制策略。该驾驶意图可以为车道保持、转向或变道，驾驶意图还可以为加速、减速或停车等，但应理解，加
速、减速、停车等也可以看作是包括在车道保持中的情况。
12.结合第一方面，在第一方面的某些实现方式中，上述多个视野扇区包括以下多项：左侧车窗视野扇区、左侧后视镜视野扇区、前方车窗视野扇区、车内后视镜视野扇区、右侧车窗视野扇区和右侧后视镜视野扇区。
13.结合第一方面，在第一方面的某些实现方式中，前方车窗视野扇区可以包括前方车窗左视野扇区和前方车窗右视野扇区。由于前车窗的视野区域相对较大，而驾驶员未必会关注整个前车窗区域，例如右转弯的时候，驾驶员会向右侧看，此时只会通过前车窗的右边区域往外看。因此，为了进一步提高关注扇区确定的准确性，可以将前方车窗视野扇区划分为前方车窗左视野扇区和前方车窗右视野扇区，即把前车窗视野扇区一分为二。
14.结合第一方面，在第一方面的某些实现方式中，关注扇区至少可以是根据盲区和/或障碍物得到的。
15.结合第一方面，在第一方面的某些实现方式中，关注扇区至少可以是根据驾驶员的视线方向得到的。
16.结合第一方面，在第一方面的某些实现方式中，上述控制策略包括以下至少一项：防碰撞预警策略、自动紧急制动策略、自适应巡航控制策略、车道偏离预警策略、车道保持辅助策略或车道居中辅助策略。
17.可选地，还可以利用人机交互界面、显示屏等具备显示功能的显示单元(显示装置)来将关注扇区进行呈现。结合第一方面，在第一方面的某些实现方式中，上述方法还包括利用显示单元显示上述关注扇区。
18.可选地，还可以引入反应时间，在上述获取控制策略时，可以结合反应时间来获取。结合第一方面，在第一方面的某些实现方式中，可以根据反应时间和关注扇区来得到控制策略，或者根据反应时间和驾驶意图来得到控制策略，或者根据反应时间、驾驶意图和关注扇区来得到控制策略。反应时间的引入在除了上述对于关注扇区的考虑外还考虑了驾驶员的注意力情况，减小了因为驾驶员注意力程度不够导致的驾驶风险，因此能够进一步提升车辆控制的准确性和车辆驾驶的安全性。
19.第二方面，提供一种车辆控制装置，该装置包括用于执行上述第一方面的任意一种实现方式的方法的单元。
20.第三方面，提供一种车辆控制装置，该装置包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行第一方面中的任意一种实现方式中的方法。该装置可以设置在各类需要进行车辆控制的设备或系统中。该装置还可以为芯片。
21.第四方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行第一方面中的任意一种实现方式中的方法。
22.第五方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面中的任意一种实现方式中的方法。
23.第六方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面中的任意一种实现方式中的方法。
24.可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于
执行第一方面中的任意一种实现方式中的方法。
附图说明
25.图1是本技术实施例的车辆控制装置的结构示意图。
26.图2是本技术实施例的车辆的视野扇区的示意图。
27.图3是本技术实施例的视野扇区的示意图。
28.图4是本技术实施例的关注扇区的示意图。
29.图5至图10是本技术实施例的车辆控制方案的应用示意图。
30.图11是本技术实施例的车辆控制方法的示意性流程图。
31.图12是本技术实施例的获取注意力信息的方法的示意图。
32.图13是本技术实施例的车辆控制过程的示意图。
33.图14是本技术实施例的车辆控制装置的示意性框图。
34.图15是本技术实施例的车辆控制装置的硬件结构示意图。
具体实施方式
35.下面将结合附图，对本技术实施例中的技术方案进行描述。
36.图1是本技术实施例的车辆控制装置的结构示意图。如图1所示，车辆控制装置100可以包括获取模块110和控制策略模块120。车辆控制装置100可以是车载终端中的模块或车辆的控制单元。
37.获取模块110用于获取驾驶员的目光信息，该目光信息包括驾驶员的关注扇区，该关注扇区包括车辆的多个视野扇区中的至少一个视野扇区。
38.目光信息可以是利用摄像头、眼动仪等感知设备获取驾驶员的视线方向，再根据视线方向来确定上述关注扇区。在这个过程中，获取模块110可以直接获取上述目光信息；也可以先获取来自于感知设备的上述视线方向，再根据视线方向来得到目光信息；还可以获取包含有视线方向的图像等(即上述感知设备也集成在获取模块110中的情况)，再从图像中提取出视线方向以及根据视线方向来得到目光信息。也就是说，获取模块110可以是上述感知设备，或者是能够获取视线方向和根据视线方向确定目光信息的设备，或者是能够从存储装置中读取目光信息的接口电路、读取装置，或者是能够通过网络获取目光信息的通信接口。
39.视线方向可以理解为视线的朝向，可以用一条线表示，也可以用一个角度表示，例如视线方向与车辆行驶方向的夹角等。
40.在现有技术中，由于只考虑了视野角度范围，而当驾驶员轻微转动眼珠等行为都可能导致视野角度范围的变化，很不稳定，这给后续的车辆控制带来了较大的困难和误差。而在本技术实施例中，视野扇区则是把驾驶员的所有可能视野范围进行了划分，划分成多个区域，即多个扇区，关注扇区即为驾驶员目光注视的区域，该视野范围的检测结果相对稳定，不会出现因为驾驶员偏偏头等轻微动作就导致检测结果不断跳动的情况，从而提高车辆控制的准确性。
41.在一些实现方式中，上述视野扇区可以包括以下至少一项：左侧车窗视野扇区、左侧后视镜视野扇区、前方车窗视野扇区、车内后视镜视野扇区、右侧车窗视野扇区和右侧后
视镜视野扇区。其中，前方车窗视野扇区还可以包括前方车窗左视野扇区和前方车窗右视野扇区。左侧车窗视野扇区即驾驶员从左侧车窗能够看到的视野区域，左侧后视镜视野扇区即驾驶员从左侧后视镜能够看到的视野区域，前方车窗视野扇区即驾驶员从前方车窗能够看到的视野区域，车内后视镜视野扇区即驾驶员从车内后视镜能够看到的视野区域，右侧车窗视野扇区即驾驶员从右侧车窗能够看到的视野区域，右侧后视镜视野扇区即驾驶员从又侧车窗能够看到的视野区域。由于前车窗的视野区域相对较大，而驾驶员未必会关注整个前车窗区域，例如右转弯的时候，驾驶员会向右侧看，此时只会通过前车窗的右边区域往外看。因此，为了进一步提高关注扇区确定的准确性，可以将前方车窗视野扇区划分为前方车窗左视野扇区和前方车窗右视野扇区，即把前车窗视野扇区一分为二。
42.为了便于理解，下文会结合附图2至图4介绍视野扇区和关注扇区，此处不再重复。
43.控制策略模块120用于根据上述目光信息获取控制策略。
44.在一些实现方式中，控制策略模块120可以根据目光信息中的关注扇区来对车辆进行控制，可以是辅助驾驶控制也可以是自动驾驶控制，例如可以控制车辆加速、减速、变道、转弯、停车、避障或各类预警等等。
45.上述控制策略可以包括一下至少一项：防碰撞预警策略、自动紧急制动(autonomous emergency braking，aeb)策略、自适应巡航控制(adaptive cruise control，acc)策略、车道偏离预警(lane departure warning，ldw)策略、车道保持辅助(lane keeping assist，lka)策略或车道居中辅助策略(lane centering control，lcc)等。
46.防碰撞预警策略是指在车辆有碰撞风险的时候提出警示，比如可以根据关注扇区来确定驾驶员是否有碰撞到障碍物的风险，从而确定是否需要预警。例如假设三种情况，情况一是障碍物不在驾驶员的关注扇区，且在车辆的行驶轨迹上；情况二是障碍物不在驾驶员的关注扇区，但并不在车辆的行驶轨迹上；情况三是障碍物在驾驶员的关注扇区，也不在车辆的行驶轨迹上。则明显情况一的碰撞风险远高于情况二和情况三，且情况三对车辆行驶不会产生影响，所以可以对情况一和情况二进行不同级别的预警，而对于情况三则不进行预警。
47.自动紧急制动策略、自适应巡航控制策略、车道偏离预警策略或车道保持辅助策略等其他控制策略同样可以参照上面的情况确定对车辆的控制动作，不再一一展开。
48.在一些实现方式中，控制策略模块120还可以根据目光信息和自车信息得到驾驶员的驾驶意图。该驾驶意图可以为车道保持、转向或变道等，还可以为加速、减速或停车等。
49.自车信息可以理解为底盘信息或车辆的信息。自车信息可以包括一下至少一种：方向盘转角、角速度、转向灯或车速。例如假设驾驶员的关注扇区是左侧后视镜视野扇区、左侧车窗视野扇区，且左转向灯闪烁，则可以推断该驾驶员的驾驶意图是向左变道。假设驾驶员的关注扇区是前方车窗左视野扇区和左侧车窗视野扇区，且左转向灯闪烁，则可以推断该驾驶员的驾驶意图是左转。
50.在另一些实现方式中，控制策略模块120还可以根据驾驶意图和来得到上述控制策略。例如，假设驾驶员的驾驶意图是车道保持，则对于其他车道中的静止障碍物就可以不再考虑。可以是只根据驾驶意图来得到控制策略，也可以是根据驾驶意图和目光信息来得到控制策略，还可以进一步结合车辆的预测行驶轨迹等其他因素来得到控制策略。
51.可选地，可以利用训练好的神经网络模型等模型来对目光信息进行处理，得到上述驾驶意图。该神经网络模型可以理解为建立了输入和输出之间的对应关系的模型，输入为目光信息和自车信息，输出为驾驶意图。可以理解为，该神经网络模型建立了输入数据和标签之间的映射关系，此处即为建立了目光信息和驾驶意图之间的映射关系，以及自车信息和驾驶意图之间的映射关系，训练则是使得上述映射关系更加准确。神经网络模型可以采用卷积神经网络(convolutional neuron network，cnn)、循环神经网络(recurrent neural networks，rnn)或长短期记忆(long short-term memory，lstm)神经网络等。训练数据包括输入数据和标签，输入数据包括上述目光信息和自车信息，标签包括上述驾驶意图，每个输入数据都对应一个标签。在训练过程中，利用上述训练数据更新神经网络模型(例如初始的神经网络模型)的参数，就可以得到训练后的神经网络模型，该训练后的神经网络模型就可以用于上述车辆控制方法。
52.需要说明的是，神经网络模型往往涉及训练过程和推理过程，在训练过程，是利用带有标签的训练数据对初始神经网络模型(此处可以理解为没有训练好的神经网络模型)进行训练，即更新神经网络模型的参数，在推理过程，则是利用训练好的神经网络模型(即参数已经更新过的神经网络模型)对待处理数据(例如上述获取的目光信息、自车信息)进行处理，得到一个推理结果，该推理结果即为待处理数据对应的驾驶意图。可选地，车辆控制装置100还可以包括显示单元，该显示单元可以用于显示关注扇区，也就是利用显示单元将关注扇区呈现出来，该显示单元例如可以是人机交互界面、车载显示屏等。人机交互界面也可以称之为人机界面(human machine interaction，hmi)、用户界面、使用者界面或交互界面等。
53.在又一些实现方式中，控制策略模块120还可以根据反应时间以及上述关注扇区、驾驶意图等信息来得到控制策略。反应时间即驾驶员遇到紧急情况时采取应对措施的时间，例如，当驾驶员紧急刹车的时候，从看到障碍物到执行紧急刹车之间的时间即为反应时间。反应时间除了受驾驶员的自身反应灵敏度有关以外，还跟驾驶员的注意力程度相关。所以可以通过检测驾驶员的注意力程度来推断驾驶员的反应时间。例如，假设驾驶员正在集中注意力开车，那注意力程度较高，反应时间相对较短，如果遇到突发状况，驾驶员能够很快进行处理；而如果驾驶员正在东张西望或者走神瞌睡等，则注意力程度较低，反映时间相对较长，如果遇到突发状况，驾驶员可能反应不及时。
54.可选地，注意力信息可以根据自车信息和驾驶员状态监测信息得到。驾驶员状态监测信息可以利用驾驶员状态监测系统(drivermonitoringsystem，dms)获取驾驶员的面部图像信息来得到。关于如何获取注意力信息的方法会在下文详细介绍，在此不再展开。
55.反应时间的引入在除了上述对于关注扇区的考虑外还考虑了驾驶员的注意力情况，减小了因为驾驶员注意力程度不够导致的驾驶风险，因此能够进一步提升车辆控制的准确性和车辆驾驶的安全性。
56.图2是本技术实施例的车辆的视野扇区的示意图。如图2所示，该车辆的视野扇区包括：
①
左侧车窗视野扇区、
②
左侧后视镜视野扇区、
③
前方车窗左视野扇区、
④
车内后视镜视野扇区、
⑤
前方车窗右视野扇区、
⑥
右侧后视镜视野扇区和
⑦
右侧车窗视野扇区。
57.图3是本技术实施例的视野扇区的示意图。如图3中的(a)所示，该车辆的视野扇区包括：
①
左侧车窗视野扇区、
②
左侧后视镜视野扇区、
④
车内后视镜视野扇区、
⑥
右侧后视
镜视野扇区、
⑦
右侧车窗视野扇区和
⑧
前方车窗视野扇区。如图3中的(b)所示，该车辆的视野扇区包括：
①
左侧车窗视野扇区、
②
左侧后视镜视野扇区、
③
前方车窗左视野扇区、
④
车内后视镜视野扇区、
⑤
前方车窗右视野扇区、
⑥
右侧后视镜视野扇区和
⑦
右侧车窗视野扇区，(b)与(a)的区别在于，(b)中前方车窗扇区被分为左右两个区域，更加精准。如图3中的(c)所示，该车辆的视野扇区包括：
①
左侧车窗视野扇区、
②
左侧后视镜视野扇区、
④
车内后视镜视野扇区、
⑥
右侧后视镜视野扇区、
⑦
右侧车窗视野扇区和
⑧
前方车窗视野扇区，(c)与(a)的区别在于，(c)中还示出了两个盲区，即车辆自身结构导致的前方两侧的两个盲区，同样可以提高准确性。如图3中的(d)所示，该车辆的视野扇区包括：
①
左侧车窗视野扇区、
②
左侧后视镜视野扇区、
③
前方车窗左视野扇区、
④
车内后视镜视野扇区、
⑤
前方车窗右视野扇区、
⑥
右侧后视镜视野扇区和
⑦
右侧车窗视野扇区，(d)与(b)的区别在于，(d)中还示出了两个盲区。
58.应理解，盲区不是视野扇区，但是可以被包含在某个视野扇区内，因为驾驶员在盲区是没有视野的。图3中的(c)中的
⑧
前方车窗视野扇区就可以看作是在(a)中的
⑧
前方车窗视野扇区的基础上去除掉两个盲区得到的。
59.图3只是给出了几种视野扇区的划分示例，在实际情况中还可以存在其他划分方式。例如有些车辆的两侧后视镜上还会安装小圆镜，则可以把驾驶员从小圆镜得到的视野划分为左侧后视镜圆镜视野扇区和右侧后视镜圆镜视野扇区。又例如，大型车辆的视野盲区相对较多，所以对于上述每个视野扇区，大型车辆的某个视野扇区的覆盖角度会有所不同。又例如，针对盲区问题，可以在车辆上安装相应的摄像头，此时，摄像头的显示屏所显示出来的视野也可以划分为一个视野扇区。在此不再一一列举。
60.关注扇区则是驾驶员实际视野所包括的视野扇区，因此关注扇区会包括上述多个视野扇区中的至少一个视野扇区。例如，假设驾驶员想要右转，且视线方向为右前方，此时，驾驶员的关注扇区会包括前方车窗右侧视野扇区和左侧车窗视野扇区。驾驶员还可能观察后视镜，此时，驾驶员的关注扇区会包括右侧后视镜视野扇区。
61.如图3所示，视野扇区可以包括盲区也可以不包括盲区。因此，在确定关注扇区时，还可以进一步考虑盲区，因为虽然盲区可以被包含在某个视野扇区中，但实际上驾驶员并不能观察到盲区的情况，所以为了提高准确性，关注扇区可以是根据盲区信息得到的。可以对关注扇区进行裁剪，去除关注扇区中的盲区。在关注扇区不包括盲区的情况下，能够提高目光信息的准确性。
62.此外，关注扇区还可以考虑障碍物的影响，也就是，关注扇区可以是根据障碍物信息得到的。下面结合图4，介绍在考虑盲区和障碍物的影响的情况下，关注扇区的确定。
63.图4是本技术实施例的关注扇区的示意图。如图4中的(a)所示，该车辆的视野区域包括：
①
左侧车窗视野扇区、
②
左侧后视镜视野扇区、
③
前方车窗左视野扇区、
④
车内后视镜视野扇区、
⑤
前方车窗右视野扇区、
⑥
右侧后视镜视野扇区和
⑦
右侧车窗视野扇区，且示出了两个盲区。假设驾驶员的视野为直线a和直线b之间的区域，从图4中的(a)可以看出实际上该视野包括了两个盲区、
③
前方车窗左视野扇区、
⑤
前方车窗右视野扇区，且
⑤
前方车窗右视野扇区的一小部分被障碍物遮挡。在这种情况下可以去除盲区和障碍物遮挡的部分，图4中的(b)所示的关注扇区。如图4中的(a)所示，该驾驶员的视野为直线c和直线d之间的区域，关注扇区只包括
③
前方车窗左视野扇区和
⑤
前方车窗右视野扇区。
64.如上文所述，本技术实施例的车辆控制方案可以应用于各种自动驾驶、辅助驾驶等场景。例如可以结合高级驾驶辅助系统(advanced driver assistance system，adas)来实现一些辅助驾驶功能。为了便于理解，下面结合图5至图10进行介绍。
65.图5至图10是本技术实施例的车辆控制方案的应用示意图。具体而言，是结合目光信息和驾驶意图来确定控制策略的示例。
66.为了便于理解，首先对图中的一些元素进行介绍，图中的加粗平行虚线表示的是车道线，关注扇区用两条直线表示，例如直线a和直线b之间的区域就是关注扇区，例如直线e和直线f之间的区域也是关注扇区。车辆的预测行驶轨迹用两条曲线表示，例如曲线c和曲线d之间的就是车辆按照预测行驶轨迹行驶时的通行区域，曲线g和曲线h也是车辆的预测行驶轨迹，但曲线c和曲线d是在考虑了驾驶意图的情况下得到的预测行驶轨迹，曲线g和曲线h是在没有考虑驾驶意图的情况下得到的预测行驶轨迹。带箭头的物体表示该物体相对地面运动，箭头方向即为运动方向，不带箭头的物体表示该物体相对地面静止，例如，带箭头的障碍物表示是在移动的障碍物，不带箭头的障碍物表示静止的障碍物。
67.在图5所示的防碰撞预警的场景中，驾驶员的关注扇区为图5中直线a和直线b之间的区域，即关注扇区包括前方车窗视野扇区(或者前方车窗左视野扇区和前方车窗右视野扇区)。驾驶员的驾驶意图是车道保持。曲线c和曲线d表示的是车辆的预测行驶轨迹。障碍物#1是在关注扇区内的移动物体，障碍物#2是在关注扇区外的移动物体，障碍物#1的移动方向与车辆一致，障碍物#2的移动方向与车辆预测行驶轨迹有交叉。在该场景下，障碍物#2可能会带来危险，所以需要进行防碰撞预警，即得到的控制策略是：进行防碰撞预警。
68.需要说明的是，在图5至图10所示的车辆控制方案的应用场景中，预警信号可以采用声音、警示灯闪烁或画面呈现等多种呈现方式，不存在限定。例如图5所示场景中，假设得到了上述进行防碰撞预警的控制策略，就可以采用例如声音提示的方式提醒驾驶员存在碰撞风险，或者可以采用警示灯闪烁的方式进行预警提醒，也可以采用呈现在人机交互界面、车载显示屏上的方式进行预警提醒，这些预警提醒方式还可以叠加使用，例如可以既警示灯闪烁又声音报警，不再一一列举。
69.在图6所示的防碰撞预警的场景中，驾驶员的关注扇区为图6中直线a和直线b之间的区域，即关注扇区包括前方车窗左视野扇区和左侧车窗视野扇区。驾驶员的驾驶意图是车道保持。曲线c和曲线d表示的是车辆的预测行驶轨迹。障碍物#1和障碍物#2都是在关注扇区内的移动物体，障碍物#1的移动方向与车辆一致，障碍物#2的移动方向与车辆预测行驶轨迹有交叉。在该场景下，虽然障碍物#2可能会带来危险，但驾驶员已经注意到障碍物#2，所以此时可以不进行防碰撞预警，即得到的控制策略是：不进行防碰撞预警。
70.在图7所示的防碰撞预警的场景中，驾驶员的关注扇区为图7中直线a和直线b之间的区域，即关注扇区包括前方车窗右视野扇区。驾驶员的驾驶意图是右转。曲线c和曲线d表示的是车辆的预测行驶轨迹。障碍物#1是在关注扇区内的移动物体，障碍物#2和障碍物#3是在关注扇区外的移动物体，且障碍物2是在盲区内的障碍物，障碍物#1的移动方向与车辆一致，障碍物#2和障碍物#3的移动方向与车辆的预测行驶轨迹有交叉。在该场景下，即使驾驶员已经关注到了障碍物#1，且采取了刹车减速的避障方式，但由于障碍物#2和障碍物#3都依然可能会带来危险，所以依然需要进行防碰撞预警，即得到的控制策略是：进行防碰撞预警。
71.在图8所示的防碰撞预警的场景中，驾驶员的关注扇区为图8中直线a和直线b之间的区域以及直线e和直线f之间的区域，即关注扇区包括前方车窗视野扇区(或者前方车窗左视野扇区和前方车窗右视野扇区)和左侧后视镜视野扇区。驾驶员的驾驶意图是向左变道。曲线c和曲线d表示的是车辆的预测行驶轨迹。障碍物#1是在关注扇区内的移动物体，障碍物#2是在关注扇区外的移动物体，障碍物#1和障碍物#2的移动方向与车辆一致。在该场景下，即使驾驶员已经关注到了障碍物#1，但由于障碍物#2依然可能会带来危险，所以依然需要进行防碰撞预警，即得到的控制策略是：进行防碰撞预警。假设在该场景下，驾驶员的关注扇区还包括左侧车窗视野扇区，此时障碍物#2就成为了关注扇区内的移动障碍物，驾驶员已经注意到两个障碍物，此时，可以不进行防碰撞预警，即得到的控制策略是：不进行防碰撞预警。
72.此外，假设图8是车道偏离预警的场景，则此时由于已经知道驾驶员的驾驶意图是向左变道，所以可以不进行车道偏离预警，即得到的控制策略是：进行车道偏离预警。
73.在图9所示的防碰撞预警或纵向辅助驾驶的场景中，驾驶员的关注扇区为图8中直线a和直线b之间的区域，即关注扇区包括前方车窗视野扇区(或者前方车窗左视野扇区和前方车窗右视野扇区)。曲线c和曲线d表示的是车辆的预测行驶轨迹#1，曲线g和曲线h表示的是车辆的预测行驶轨迹#2，预测行驶轨迹#1是综合了驾驶员的驾驶意图得到的，预测行驶轨迹#2没有考虑驾驶员的驾驶意图，是存在偏差的。障碍物#1是在关注扇区内的移动物体，障碍物#2是在关注扇区外的静止物体。在该场景下，驾驶员已经关注到了障碍物#1，虽然驾驶员没有关注到障碍物#2，但由于障碍物#2并不在车辆的预测行驶轨迹#1上，所以不需要进行防碰撞预警或不需要进行自动紧急制动，即得到的控制策略是：不进行防碰撞预警或不需要进行自动紧急制动。假设在该场景下，没有考虑驾驶员的驾驶意图，此时障碍物#2就成为关注扇区外且在预测行驶轨迹上的障碍物，得到的控制策略是：进行防碰撞预警或进行自动紧急制动，导致错误的控制，影响驾驶体验。
74.图9主要给出了是否考虑驾驶意图会对控制策略带来差异。
75.在图10所示的横向辅助驾驶的场景中，驾驶员的关注扇区为图10中直线a和直线b之间的区域，即关注扇区包括前方车窗视野扇区(或者前方车窗左视野扇区和前方车窗右视野扇区)。驾驶员的驾驶意图是向左变道。曲线c和曲线d表示的是车辆的预测行驶轨迹。障碍物#1是在关注扇区内的移动物体，障碍物#1不在车辆的预测行驶轨迹上。在该场景下，驾驶员的行驶轨迹是会偏向左侧车道的，所以不再需要进行车道保持辅助预警或车道偏离预警，即得到的控制策略是：不进行车道保持辅助预警或不进行车道偏离预警。如果不考虑驾驶意图，则由于驾驶员的关注扇区是正前方，很有可能导致预测行驶轨迹依然在车道内，即预测车辆会保持车道内行驶，就会导致上述预警策略为进行预警，影响驾驶体验。此外，在该场景中，还可以根据驾驶意图为向左变道来执行自主变道，提升驾驶体验。
76.应理解，图5至图10只是一些驾驶场景的示例，还可以应用于其他控制策略，不再一一列举。
77.图11是本技术实施例的车辆控制方法的示意性流程图。下面对图11的各个步骤进行介绍。
78.1101、获取驾驶员的目光信息，该目光信息包括关注扇区。
79.目光信息和关注扇区的解释以及获取目光信息的方式可以参照上文相关介绍，不
再重复。
80.在一些实现方式中，该关注扇区至少是根据盲区信息和/或障碍物信息得到的。也就是说，在关注扇区的确认过程中考虑了盲区和/或障碍物的因素，并做出了对应的调整，或者可以立即为，在确定关注扇区的时候消除了盲区和/或障碍物的影响。这样可以提高关注扇区的准确性，即目光信息的准确性，从而提高车辆控制的准确性。
81.1102、至少根据目光信息获取控制策略。
82.控制策略可以参照上文的相关介绍，不再重复。
83.可选地，该控制策略可以包括以下至少一项：防碰撞预警策略、自动紧急制动策略、自适应巡航控制策略、车道偏离预警策略、车道保持辅助策略或车道居中辅助策略等。
84.在一些实现方式中，可以根据目光信息和自车信息得到驾驶员的驾驶意图。该驾驶意图可以为车道保持、转向或变道等，还可以为加速、减速或停车等。
85.在另一些实现方式中，可以根据驾驶意图和目光信息来得到上述控制策略。例如，假设驾驶员的驾驶意图是车道保持，则对于其他车道中的静止障碍物就可以不再考虑。可以是只根据驾驶意图来得到控制策略，也可以是根据驾驶意图和目光信息来得到控制策略，还可以进一步结合车辆的预测行驶轨迹等其他因素来得到控制策略。
86.在又一些实现方式中，可以先根据目光信息和自车信息得到驾驶员的驾驶意图，再根据驾驶意图来得到控制策略。
87.驾驶意图可以利用训练好的神经网络模型等模型来得到。例如可以利用训练好的神经网络模型对目光信息和自车信息进行处理，得到上述驾驶意图。该神经网络模型可以理解为建立了输入和输出之间的对应关系的模型，输入为目光信息和自车信息，输出为驾驶意图。可以理解为，该神经网络模型建立了输入数据和标签之间的映射关系，此处即为建立了目光信息和驾驶意图之间的映射关系，以及自车信息和驾驶意图之间的映射关系，训练则是使得上述映射关系更加准确。
88.神经网络模型可以采用卷积神经网络、深度神经网络、循环神经网络或长短期记忆神经网络等。训练数据包括输入数据和标签，输入数据包括上述目光信息和自车信息，标签包括上述驾驶意图，每个输入数据都对应一个标签。在训练过程中，利用上述训练数据更新神经网络模型(例如初始的神经网络模型)的参数，就可以得到训练后的神经网络模型，该训练后的神经网络模型就可以用于上述车辆控制方法。
89.在又一些实现方式中，还可以根据反应时间和关注扇区来得到控制策略，或者根据反应时间和驾驶意图来得到控制策略，或者根据反应时间、驾驶意图和关注扇区来得到控制策略。反应时间的介绍可以参照上文。
90.如上文所述，反应时间可以利用注意力信息得到，下面结合图12对获取注意力信息的方法进行介绍。
91.图12是本技术实施例的获取注意力信息的方法的示意图。如图12所示，可以利用神经网络模型来对自车信息和驾驶员状态监测信息进行处理，从而得到注意力信息。
92.可选地，可以利用图中用rnn表示的神经网络模型对方向盘转角、车速和转向角(即车头转向角度)等自车信息进行处理，以及利用图中用nn表示的神经网络模型对驾驶员状态监测信息进行处理，将上述处理得到的结果输入到在图中用fc表示的全连接(fully connected，fc)层，就可以得到注意力信息。该注意力信息为用于表示驾驶员的注意力程度
的信息。
93.在一些实现方式中，用于对自车信息进行处理的神经网络例如可以采用lstm等循环神经网络，用于对驾驶员状态监测信息进行处理的神经网络例如可以采用多层感知机(multilayerperceptron，mlp)神经网络。
94.上述神经网络模型同样可以利用训练数据训练得到，过程可以参照上文关于神经网络模型的训练的介绍。
95.应理解，上述图示rnn、nn和fc可以看作共同组成了一个注意力模型，该注意力模型的输入为自车信息和驾驶员状态监测信息，输出为注意力信息。或者可以理解为，注意力模型用于对自车信息和驾驶员状态监测信息进行处理，得到注意力信息。在一个具体例子中，注意力模型包括lstm、mlp和fc，其中，lstm用于对自车信息进行处理，并将得到的处理结果输入到fc；mlp用于对驾驶员状态监测信息进行处理，并将得到的处理结果输入到fc；fc用于将来自于lstm和mlp的处理结果进行继续处理，得到注意力信息。
96.图11所示方法，利用关注扇区来表示驾驶员的视野范围，视野范围的检测的稳定性得到了提高，从而提高了车辆控制的准确性。
97.可选地，图11所示方法还可以包括：在显示单元上显示上述关注扇区。该显示单元可以是车载显示屏或人机交互界面等。
98.图13是本技术实施例的车辆控制过程的示意图。图13可以看作是利用图11所示方法进行车辆控制的一个具体示例，主要以防碰撞预警的控制策略为例。
99.如图13所示，获取模块获取视线方向、盲区信息和障碍物信息，并根据视线方向、盲区信息和障碍物信息得到目光信息，该目光信息中包括关注扇区。该过程可以看作是步骤1101的一个具体示例，即关注扇区是根据视线方向、盲区信息和障碍物信息综合得到的。此处的获取模块可以看作是图1所示获取模块110的一个示例。
100.如图13所示，神经网络模型根据自车信息和目光信息进行驾驶意图分析，得到驾驶员的驾驶意图，其中，自车信息包括方向盘转向、角速度、转向灯和车速，驾驶意图包括车道保持、转向和变道。应理解，图13只是一种示例，所以上述自车信息、驾驶意图等还可以是其他组成方式，不存在限定，例如驾驶意图还可以包括停车等。此处的神经网络模型可以看作是图1所示驾驶意图分析模块130的一个示例，即利用神经网络模型来对自车信息和目光信息进行处理，以获取驾驶员的驾驶意图，该神经网络模型是训练好的神经网络模型。
101.如图13所示，车辆的控制单元根据驾驶意图和目光信息进行车辆行驶轨迹的预测与车辆碰撞风险的预测，以及得到控制策略，该控制单元可以看作是图1所示控制策略模块120的一个具体示例。
102.在图13中，神经网络模型对自车信息和目光信息进行处理得到驾驶意图，之后控制单元根据驾驶意图和目光信息得到控制策略，上述过程可以看作是步骤1102的一个具体示例。
103.如上文所述，图13可以看作是利用图11所示方法进行车辆控制的一个具体示例，因此还可以存在其他例子。例如，图13中还可以包括反应时间，该反应时间可以是根据注意力信息得到的，控制单元可以根据反应时间、驾驶意图和目光信息进行车辆行驶轨迹的预测与车辆碰撞风险的预测，以及得到控制策略。又例如，图13还可以包括注意力模型，该注意力模型用于对自车信息和驾驶员状态监测信息进行处理得到注意力信息，等等，在此不
再一一列举。图14是本技术实施例的车辆控制装置的示意性框图。图14所示的装置2000包括获取单元2001和处理单元2002。
104.获取单元2001和处理单元2002可以用于执行本技术实施例的车辆控制方法。具体地，获取单元2001可以执行上述步骤1101，处理单元2002可以执行上述步骤1102。
105.装置2000可以为图1所示车辆控制装置100，获取单元2001可以包括图1所示获取模块110，处理单元2002可以包括图1所示控制策略模块120。处理单元2002还可以包括驾驶意图分析模块130。
106.装置2000还可以包括显示单元2003，显示单元2003用于显示上述关注扇区。显示单元2003还可以用于将预警信号以画面的形式呈现给驾驶员。显示单元2003还可以集成在处理单元2002中。
107.应理解，上述装置2000中的处理单元2002可以相当于下文中的装置3000中的处理器3002。
108.图15是本技术实施例的车辆控制装置的硬件结构示意图。图15所示的车辆控制装置3000(该装置3000具体可以是一种计算机设备)包括存储器3001、处理器3002、通信接口3003以及总线3004。其中，存储器3001、处理器3002、通信接口3003通过总线3004实现彼此之间的通信连接。
109.存储器3001可以是只读存储器(read only memory，rom)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，ram)。存储器3001可以存储程序，当存储器3001中存储的程序被处理器3002执行时，处理器3002和通信接口3003用于执行本技术实施例的车辆控制方法的各个步骤。
110.处理器3002可以采用通用的中央处理器(central processing unit，cpu)，微处理器，应用专用集成电路(application specific integrated circuit，asic)，图形处理器(graphics processing unit，gpu)或者一个或多个集成电路，用于执行相关程序，以实现本技术实施例的车辆控制装置中的单元所需执行的功能，或者执行本技术方法实施例的车辆控制方法。
111.处理器3002还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本技术的车辆控制方法的各个步骤可以通过处理器3002中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器3002还可以是通用处理器、数字信号处理器(digital signal processing，dsp)、asic、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器3001，处理器3002读取存储器3001中的信息，结合其硬件完成本技术实施例的车辆控制装置中包括的单元所需执行的功能，或者执行本技术方法实施例的车辆控制方法。
112.通信接口3003使用例如但不限于收发器一类的收发装置，来实现装置3000与其他设备或通信网络之间的通信。例如，可以通过通信接口3003获取上述目光信息。
113.总线3004可包括在装置3000各个部件(例如，存储器3001、处理器3002、通信接口3003)之间传送信息的通路。
114.应注意，尽管图15所示的装置3000仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置3000还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置3000还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置3000也可仅仅包括实现本技术实施例所必须的器件，而不必包括图15中所示的全部器件。
115.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同装置来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
116.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
117.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
118.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
119.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
120.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(usb flash disk，ufd)，ufd也可以简称为u盘或者优盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
121.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。