一种运动意图确定方法、装置、设备及存储介质与流程

1.本技术实施例涉及智能驾驶技术领域，涉及但不限于一种运动意图确定方法、装置、设备及存储介质。


背景技术：

2.近些年来，随着行车灯和示宽灯的兴起，车灯呈现着复杂化的态势，仅根据左右两个整灯的亮暗情况无法准确判断车辆是否在刹车或者转向。


技术实现要素：

3.本技术实施例提供一种运动意图确定技术方案。
4.本技术实施例的技术方案是这样实现的：
5.本技术实施例提供一种运动意图确定方法，所述方法包括：获取交通图像；基于所述交通图像，确定所述交通图像中的车辆的车灯信息和所述车辆的朝向信息；基于所述车灯信息和所述朝向信息，确定所述车辆的运动意图。
6.在一些实施例中，所述基于所述交通图像，确定所述交通图像中的车辆的车灯信息和所述车辆的朝向信息，包括：基于所述交通图像，确定所述交通图像中所述车辆的点亮的目标车灯的位置信息；基于所述交通图像，确定所述交通图像中的车辆的外观信息；基于所述车辆的外观信息，确定所述车辆的车头的朝向信息；基于所述车灯信息和所述朝向信息，确定所述车辆的运动意图，包括：基于所述车辆的目标车灯的位置信息和所述车辆的车头的朝向信息，确定所述车辆的运动意图。如此，将目标车灯的位置信息与车辆的朝向信息相结合，能够更加准确地预测出车辆的转向。
7.在一些实施例中，所述目标车灯为单个转向灯，所述基于所述车辆的目标车灯的位置信息和所述车辆的车头的朝向信息，确定所述车辆的运动意图，包括：基于所述单个转向灯的位置信息和所述车辆的车头的朝向信息，确定转向灯指示的转向信息；根据所述转向信息，确定所述车辆的转向意图。如此，通过分析单个转向灯的位置和车头的朝向能够准确得到该转向灯所指示的转向信息，进而能够精准预测车辆的转向意图。
8.在一些实施例中，所述基于所述车辆的目标车灯的位置信息和所述车辆的车头的朝向信息，确定所述车辆的运动意图，包括：响应于所述车灯信息中未包括刹车灯信息、且所述目标车灯为多个转向灯，确定所述车辆处于制动状态。如此，通过识别多个转向灯是否同时处于点亮状态，可准确预测该车辆是否处于制动状态。
9.在一些实施例中，所述方法还包括：基于所述交通图像，确定所述交通图像中的车辆的车型信息；基于所述车灯信息和所述朝向信息，确定所述车辆的运动意图，包括：基于所述车灯信息、朝向信息和车型信息，确定所述车辆的运动意图。如此，将车灯信息、朝向信息以及车型信息相结合，能够准确得到车辆的转向灯所指示的转向信息，即预测到该车辆的运动意图。
10.在一些实施例中，在确定所述车辆的运动意图时，确定所述车辆的运动意图的置
信度，所述方法还包括：响应于所述朝向信息指示所述车辆为横向，降低所述运动意图的置信度。如此，在所述朝向信息为车辆横向的情况下，降低所述运动意图的置信度，能够提高对车辆运动意图的预测准确度。
11.在一些实施例中，在确定所述车辆的运动意图时，确定所述车辆的运动意图的置信度；所述方法还包括：获取对所述车辆的运动意图进行预测的应用需求；确定与所述应用需求匹配的置信度阈值；在确定所述车辆的运动意图之后，所述方法还包括：将置信度大于所述置信度阈值的运动意图作为所述车辆的确定运动意图。如此，按照应用需求设定置信度阈值，从而能够使得预测的运动意图更好地满足用户需求。
12.在一些实施例中，确定所述车灯信息、所述朝向信息和所述车辆的运动意图由神经网络执行；所述神经网络中的第一分类器利用标注了车灯信息和朝向信息的样本图像训练得到，所述神经网络中的第二分类器利用标注了车辆的运动意图的样本图像训练得到。如此，采用包括多个分类器的识别网络对车辆的运动意图进行识别，能够提高运动意图预测的准确度。
13.在一些实施例中，所述第二分类器包括以下至少之一：用于对车辆的基础运动意图进行分类的基础分类器、用于对车辆的扩展运动意图进行分类的扩展分类器，其中，所述基础分类器是基于标注了车辆的整体车灯状态的样本图像训练得到的；所述扩展分类器是基于标注了车辆的转向灯的车灯状态的样本图像训练得到的。如此，将基础分类器和扩展分类器在训练过程中互相辅助，在训练的过程中网络先考虑整体车灯状态，再考虑整体车灯中转向灯的转头，能够更加准确地预测车辆的运动意图。
14.在一些实施例中，利用所述神经网络，基于所述交通图像，确定所述交通图像中的车辆的车灯信息和所述车辆的朝向信息，包括：利用所述神经网络的卷积层，确定所述交通图像的注意力掩模；基于所述注意力掩模，确定所述交通图像的空间特征；将所述空间特征与所述交通图像的时间特征进行合并，得到所述交通图像的图像特征；采用所述第一分类器，基于所述图像特征，确定所述车辆的车灯信息和所述车辆的朝向信息。如此，通过使用多任务学习，可以使用车辆朝向、车辆类型的分类器等辅助车灯状态分类的分类器；进而能够提高对车灯的显示状态进行预测的准确度。
15.在一些实施例中，所述基于所述车灯信息和所述朝向信息，确定所述车辆的运动意图，包括：将所述车灯信息和所述朝向信息，输入所述第二分类器，所述第二分类器输出所述车辆的预测运动意图；响应于所述预测运动意图与所述第一分类器输出的分类结果不匹配，分别确定所述预测运动意图的第一置信度和所述分类结果的第二置信度；基于所述预测运动意图的第一置信度和所述分类结果的第二置信度中较大置信度对应的预测结果，确定所述车辆的运动意图。如此，在多个分类器的预测结果产生冲突时，选择置信度较大的作为最终的预测结果，能够更加准确地预测出车辆的运动意图。
16.本技术实施例提供一种运动意图确定装置，所述装置包括：图像获取模块，用于获取交通图像；信息确定模块，用于基于所述交通图像，确定所述交通图像中的车辆的车灯信息和所述车辆的朝向信息；意图确定模块，用于基于所述车灯信息和所述朝向信息，确定所述车辆的运动意图。
17.对应地，本技术实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述所述的方法步骤。
18.本技术实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述所述的方法步骤。
19.本技术实施例提供一种运动意图确定方法、装置、设备及存储介质，通过在获取的交通图像中，确定车辆的车灯信息和朝向信息；将车灯信息与朝向信息相结合，判断该车辆是否要制动或者转向等运动意图；如此，能够更加准确地预测出车辆的运动意图。
附图说明
20.图1为本技术实施例运动意图确定方法的实现流程示意图；
21.图2为本技术实施例提供的运动意图确定方法的另一实现流程示意图；
22.图3为本技术实施例提供的运动意图确定方法的应用场景示意图；
23.图4为本技术实施例提供的运动意图确定方法的实现框架示意图；
24.图5为本技术实施例运动意图确定装置结构组成示意图；
25.图6为本技术实施例计算机设备的组成结构示意图。
具体实施方式
26.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本技术，但不用来限制本技术的范围。
27.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
28.在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使在一些实施例中描述的本技术实施例能够以除了在一些实施例中图示或描述的以外的顺序实施。
29.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
30.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
31.1)卷积神经网络(convolutional neural networks，cnn)：是一类包含卷积计算且具有深度结构的前馈神经网络；具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。
32.2)自主车辆(ego vehicle)：包含感知周围环境传感器的车辆。车辆坐标系固连在自主车辆上，其中，x轴为汽车前进的方向，y轴指向车辆前进方向的左侧，z轴垂直于地面向上，符合右手坐标系。坐标系原点位于后轴中点下方的大地上。
33.下面说明本技术实施例提供的运动意图确定的设备的示例性应用，本技术实施例提供的设备可以实施为具有图像采集功能的笔记本电脑，平板电脑或其他车载设备，也可
以实施为服务器。下面，将说明设备实施为终端或服务器时示例性应用。
34.该方法可以应用于计算机设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。
35.图1为本技术实施例运动意图确定方法的实现流程示意图，如图1所示，结合如图1所示步骤进行说明：
36.步骤s101，获取交通图像。
37.在一些实施例中，交通图像可以是任意道路采集的图像，可以是包括画面内容复杂的图像还可以是包括画面内容简单的图像。比如，在深夜采集的街道场景的图像，或者在白天采集的街道场景的图像等。该交通图像中可以包括车辆，其中，车辆包括：各种各样功能的车辆(如卡车、汽车、摩托车等)和各种轮数的车辆(如四轮车辆、两轮车辆等)等。下面不妨以轿车为例进行说明。比如，交通图像为在道路上，对轿车进行采集的图像。
38.步骤s102，基于所述交通图像，确定所述交通图像中的车辆的车灯信息和所述车辆的朝向信息。
39.在一些实施例中，将交通图像输入训练好的神经网络中，采用该网络中的全卷积网络对交通图像进行特征提取，得到图像特征；通过将该图像特征输入到神经网络的多个分类器中，识别该车辆的每一车灯的车灯信息，以及该车辆的朝向信息。车灯信息包括：车灯的显示状态和车灯在车上的位置。以车辆为普通轿车为例，该普通轿车的车灯包括：前照灯、雾灯、倒车灯、牌照灯、示廓灯、行车灯、转向灯、顶灯、高位刹车灯、远/近光灯、警示灯和行李箱灯等等。该普通轿车的车灯信息为车身包括的每一车灯的显示状态和位置。朝向信息为该车辆的车头朝向，用于表征该车辆的车辆朝向，包括：相对于采集图像的自车来说，车头朝前或车头朝后，即，车头朝前为车辆的尾部面对自车，这样采集到的交通图像中呈现的是车辆尾部，车头朝后为车辆的车头面对自车，这样采集到的交通图像中呈现的是车辆头部。朝向信息还包括车辆横向，比如，车辆的车头朝向道路左侧或者道路右侧，即车辆横在道路上。
40.步骤s103，基于所述车灯信息和所述朝向信息，确定所述车辆的运动意图。
41.在一些实施例中，通过将车辆的车灯显示状态与车头的朝向信息结合，判断该车辆上点亮的车灯所指示的运动方式。即该运动意图包括：车辆左转、右转、前进、后退或者刹车等。通过将交通图像输入到神经网络中对车灯信息进行分类的分类器，以及对车头朝向进行预测的分类器，得到多个车灯的分类器输出的分类结果和车辆朝向的分类器输出的分类结果；判断这多个分类器的输出结果之间是否相冲突，最后输出置信度较大的车灯信息和朝向信息。如此，通过综合考虑车灯信息和朝向信息，能够更加准确地预测车辆的运动意图。
42.在本技术实施例中，通过在交通图像中，确定车辆的车灯信息和朝向信息，将车灯信息与朝向信息相结合，判断该车辆是否要进行刹车或者转向等运动意图；如此，能够更加准确地分析出车辆的运动意图。
43.在一些实施例中，通过分析车辆的二分类朝向来确定转向灯是左转向灯还是右转向灯，进而确定车辆的运动意图，即上述步骤s102可以通过以下步骤s121至s123(图示未示出)实现：
44.步骤s121，基于所述交通图像，确定所述交通图像中所述车辆的点亮的目标车灯的位置信息。
45.这里，采用神经网络，检测交通图像中车辆的点亮的车灯。如果该车灯为转向灯，并确定该转向灯的检测框的坐标，从而得到目标转向灯的位置信息。
46.在一些可能的实现方式中，首先，在所述车灯信息中，确定点亮的所述目标车灯；这里，在车灯信息中，筛选出显示状态点亮的目标车灯。该目标车灯可以是车辆上的任意车灯。然后，在所述目标车灯为转向灯的情况下，基于所述朝向信息，确定所述转向灯的位置信息。这里，该朝向信息可以包括车头朝向，即车头朝前或者车头朝后。比如，对于同一车辆，车头朝前时，左转向灯在图像中的位置为左侧，车头朝后时，左转向灯在图像中的位置为右侧，这样，结合车头朝向，来判断转向灯信息中目标转向灯是左转向灯还是右转向灯。如果目标车灯不是转向灯，那么可以通过在交通图像中对该目标车灯以检测框的方式表示出来；该检测框的坐标即为目标车灯的位置信息。如此，通过考虑车头的朝向信息，能够准确预测出目标转向灯是左转向灯还是右转向灯。
47.步骤s122，基于所述交通图像，确定所述交通图像中的车辆的外观信息。
48.在一些实施例中，将单帧的交通图像输入到神经网络中，提取该车辆的外观信息；其中，外观信息包括：车辆在交通图像中呈现的画面；比如，交通图像是在车辆的后面采集到的，那么该外观信息为车辆尾部所对应的外观(包括：车辆后方的转向灯和高位刹车灯等)。
49.步骤s123，基于所述车辆的外观信息，确定所述车辆的车头的朝向信息。
50.在一些实施例中，通过对图像中呈现的车辆的画面内容进行分析，能够确定车头朝向，即确定出该车辆的车辆朝向是前进、后退还是横向行驶。
51.上述步骤s121至s123提供了一种确定车头朝向信息和目标车灯的位置信息的方式，这样采用单帧图像预测车辆的朝向信息，能够简化网络模型，降低处理延时。
52.在确定目标车灯的位置信息和车头的朝向信息之后，通过以下步骤s124确定车辆的运动意图。
53.步骤s124，基于所述车辆的目标车灯的位置信息和所述车辆的车头的朝向信息，确定所述车辆的运动意图。
54.这里，在车辆的朝向信息的基础上，结合点亮的目标转向灯，预测该车辆的转向，即目标转向。比如，目标转向灯为左转向灯，且车辆朝向为朝前，那么目标转向为前方的左转。如此，将目标车灯的位置信息与车辆的朝向信息相结合，能够更加准确地预测出车辆的转向。
55.在一些实施例中，在目标车灯为单个转向灯的情况下，通过分析该单个转向灯的位置信息和车头的朝向信息，即可预测车辆的运动意图，即上述步骤s124可以通过以下步骤实现：
56.第一步，基于所述单个转向灯的位置信息和所述车辆的车头的朝向信息，确定转向灯指示的转向信息。
57.在一些实施例中，单个转向灯的位置信息即为该单个转向灯在交通图像上所呈现的车辆中的位置；转向灯指示的转向信息可能是向左转、向右转或者是双闪等。在一个具体例子中，在交通图像中，车头朝前时，如果单个转向灯的位置信息为在图像中的位置为左
侧，说明该转向灯为左转向灯，进而确定转向灯指示的转向信息为左转。同样在车头朝后的情况下，如果单个转向灯的位置信息为在图像中的位置为左侧，说明该转向灯为右转向灯，进而确定转向灯指示的转向信息为右转。
58.第二步，根据所述转向信息，确定所述车辆的转向意图。
59.在一些实施例中，按照转向灯指示的转向信息可以得到该转向灯所指示的转向，进而可以预测车辆接下来的转向，即确定车辆的转向意图。
60.在本技术实施例中，通过分析单个转向灯的位置和车头的朝向能够准确得到该转向灯所指示的转向信息，进而能够精准预测车辆的转向意图。
61.在一些实施例中，在目标车灯为多个转向灯的情况下，通过分析车灯信息中是否包括刹车灯信息，可以分析车辆是否处于制动状态，即上述步骤s124可以通过以下过程实现：
62.响应于所述车灯信息中未包括刹车灯信息、且所述目标车灯为多个转向灯，确定所述车辆处于制动状态。
63.在一些实施例中，如果车灯信息中未包括刹车灯信息，说明在该车灯信息中未采集到刹车灯信息。
64.在一些可能的实现方式中，首先，在车灯信息中判断是否有刹车灯信息；然后，如果没有刹车灯信息，在所述车灯信息中，确定所述车辆的左右转向灯的显示状态。比如，卡车或者公交车没有顶灯，可以通过左右转向灯判断其刹车状态。响应于左右转向灯均点亮，确定车辆处于制动状态。即如果点亮的目标车灯为多个转向灯，即多个转向灯同时处于点亮状态，进而可预测出该车辆处于制动状态。如此，在车灯信息中未包括刹车灯信息的情况下，如果识别到多个转向灯同时处于点亮状态，那么可准确预测该车辆处于制动状态。
65.在其他实施例中，如果车灯信息中包括刹车灯信息，那么通过分析刹车灯信息的点灭状态，即可预测车辆是否处于制动状态。
66.在一些实施例中，通过识别该车辆的车型，将车型与目标车灯的位置信息以及车辆的朝向信息相结合，来判断车辆的转向，可以通过以下步骤实现：
67.第一步，基于所述交通图像，确定所述交通图像中的车辆的车型信息。
68.在一些实施例中，采用神经网络识别该车辆的车型。将交通图像的图像特征输入到车型分类器中，识别该车辆的车型，比如，该车辆为轿车、卡车或公交车等。
69.第二步，基于所述车灯信息、朝向信息和车型信息，确定所述车辆的运动意图。
70.在一些实施例中，将车型信息、车灯信息与朝向信息相结合，确定目标车灯是否为单个转向灯，如果是单个转向灯的情况，进一步具体是左转向灯还是右转向灯。比如，首先，基于车型信息能够确定该车灯的转向灯的外观以及位置，所以能够确定车灯信息中的目标车灯的位置信息是否为转向灯的位置信息；然后，如果确定出该目标车灯为单个转向灯，结合车辆的朝向信息，能够准确的预测到该车辆的转向灯为左转向灯还是右转向灯，进而能够准确得到车辆的转向灯所指示的转向信息，即预测到该车辆的运动意图。
71.在一些实施例中，为提高预测的车辆的运动意图的准确度，在确定所述车辆的运动意图时，确定所述车辆的运动意图的置信度，响应于所述朝向信息指示所述车辆为横向，降低所述运动意图的置信度。
72.在一些可能的实现方式中，如果朝向分类器识别到车辆朝向为横向，那么为提高
对车辆运动意图的预测准确度，在所述朝向信息为车辆横向的情况下，降低所述运动意图的置信度。这里，由于车辆倾斜时，不易区分车辆左右转，所以预测的运动意图的降低置信度。因为车辆横向时只能看到车辆一侧的车灯状态，可能出现多种情况，所以降低这种情况下预测到的置信度。
73.在一些实施例中，通过采用神经网络对交通图像中的车灯信息、车头的朝向信息以及车辆的运动意图进行识别；通过获取已训练的神经网络，将交通图像输入到该网络的多个分类器中，对车辆的每一车灯的显示状态以及车头朝向进行预测，进而预测车辆的运动意图。
74.在一些实施例中，所述神经网络中的第一分类器利用标注了车灯信息和朝向信息的样本图像训练得到，所述神经网络中的第二分类器利用标注了车辆的运动意图的样本图像训练得到。
75.在一些可能的实现方式中，第一分类器包括至少一个分类器，分别用于对样本车辆的每一车灯的车灯信息、车辆类型和朝向信息进行分类；比如，每一车灯的车灯信息、车辆类型和朝向信息分别是基于3个不同的分类器进行分类得到的，或者每一车灯的车灯信息、车辆类型和朝向信息是基于同一个分类器进行分类得到的。所述第二分类器用于对所述样本车辆的运动意图进行分类。将采集到的交通图像输入到神经网络中，通过采用该神经网络中的多个分类器分别对车辆的每一车灯的显示状态进行识别，从而得到该车辆的车灯信息；采用该网络中的朝向分类器对该车辆的车头朝向进行识别，得到车辆的车头的朝向信息。
76.在训练神经网络的过程中，使用小批量(mini-batch)对第二分类器进行训练，即采用两部分不同标注类型的数据对第二分类器进行训练。第二分类器包括以下至少之一：用于对车辆的基础运动意图进行分类的基础分类器、用于对车辆的扩展运动意图进行分类的扩展分类器，其中，所述基础分类器是基于标注了车辆的整体车灯状态的样本图像训练得到的；所述扩展分类器是基于标注了车辆的转向灯的车灯状态的样本图像训练得到的，所述基础运动意图和所述扩展运动意图均表征所述车辆的运动意图，且所述基础运动意图的置信度低于所述扩展运动意图的置信度。或者是，该基础运动意图为基于整体车灯状态粗略预测的车辆的运动意图，该扩展运动意图为基于车辆的转向灯的显示状态精确预测的车辆的运动意图。即，基础分类器的训练样本数据为标注了车辆上所有车灯的显示状态的数据；扩展分类器的训练样本数据为标注了左/右转向灯亮暗无的数据。
77.在第二分类器包括基础分类器的情况下，通过基于车辆的整体车灯的显示状态，粗略预测该车辆的基础运动意图；
78.在第二分类器包括扩展分类器的情况下，通过基于车辆的转向灯的显示状态，精确预测该车辆的扩展运动意图；
79.在第二分类器包括基础分类器和扩展分类器的情况下，首先，采用基础分类器基于车辆的整体车灯的显示状态，粗略预测该车辆的基础运动意图；在该基础运动意图的基础上，结合车辆的转向灯的显示状态，采用扩展分类器进一步更加精确地预测车辆的扩展运动意图。这样，训练基于整体车灯的显示状态的基础运动意图，和基于左/右转向灯的显示状态的扩展运动意图，将基础分类器和扩展分类器在训练过程中互相辅助，在训练的过程中网络先考虑整体车灯状态，再进一步考虑整体车灯中转向灯的转头，能够更加准确地
预测车辆的运动意图。
80.在一些可能的实现方式中，通过将交通图像输入到神经网络的第一跟垒砌中，至少识别所述车辆的顶灯信息和转向灯信息，以得到车辆的车灯信息。
81.这里，将交通图像进行特征提取之后，输入到第一分类器中；第一分类器中的左转向灯分类器、右转向灯分类器和顶灯分类器等，基于提取的图像特征对车灯的显示状态进行分类，从而得到左转向灯的显示状态、右转向灯的显示状态和顶灯的显示状态等。将第一分类器中的每一车灯分类器识别到的车灯显示状态和车灯位置，作为该车灯信息。如此，通过至少识别车辆的转向灯信息和顶灯信息，既能够减少识别的数据量，还能够为车辆运动意图的预测，提供丰富的依据。
82.在一些实施例中，通过利用所述神经网络，对交通图像进行特征提取，采用多个分类器基于提取的图像特征，预测车辆的车灯信息和朝向信息，即上述步骤s102可以通过图2所示的步骤实现，图2为本技术实施例提供的运动意图确定方法的另一实现流程示意图，结合图2所示的步骤进行以下说明：
83.步骤s201，利用所述神经网络的卷积层，确定所述交通图像的注意力掩模。
84.在一些实施例中，将交通图像输入到神经网络的全卷积网络，预测该图像的注意力掩模。
85.步骤s202，基于所述注意力掩模，确定所述交通图像的空间特征。
86.在一些实施例中，将交通图像与注意力掩模进行逐元素乘积，将该乘积输出到基于cnn中进行空间特征提取的得到空间特征。
87.步骤s203，将所述空间特征与所述交通图像的时间特征进行合并，得到所述交通图像的图像特征。
88.在一些实施例中，将提取到的空间特征输入到一种特殊的循环神经网络(recurrent neural network，rnn)，长短期记忆(long short-termmemory,lstm)中，与时间特征进行合并，将合并后的特征作为图像特征，以便于后续基于该特征识别车灯状态和车头朝向。
89.步骤s204，采用所述第一分类器，基于所述图像特征，确定所述车辆的车灯信息和所述车辆的朝向信息。
90.在一些实施例中，将所述图像特征分别输入所述第一分类器，至少得到所述车辆的每一车灯的预测车灯信息和所述车辆的预测朝向信息。将图像特征分别输入到每一个第一分类器中，进行车灯状态和车头朝向的预测。比如，第一分类器包括：对顶灯的显示状态进行分类的分类器、对左转向灯的显示状态进行分类的分类器、对右转向灯的显示状态进行分类的分类器、对车辆类型进行分类的分类器以及对车辆的车头朝向进行分类的分类器。第一分类器的分类结果包括车辆的每一车灯的显示状态、车辆类型和车头的朝向信息。在同一车灯的车灯信息的分类结果中，选择置信度大于或者等于置信度阈值的预测车灯信息，作为车辆的车灯信息；同样，选择分类结果中朝向信息的置信度大于置信度阈值的预测朝向信息，作为车辆的朝向信息。比如，关于左转向灯的分类结果包括：亮、暗和无；其中，亮的置信度大于置信度阈值，那么将左转向灯处于亮的状态作为该车辆的左转向灯的车灯信息。同理，关于朝向信息包括：朝前、朝后和横向；其中，朝向的置信度大于置信度阈值，那么将车头朝前作为该车辆的朝向信息。
91.在本技术实施例中，通过使用多任务学习，可以使用车辆朝向、车辆类型的分类器等辅助车灯状态分类的分类器；进而能够提高对车灯的显示状态进行预测的准确度。比如，使用朝向分类器帮助车灯模型判断左右，使用车辆类型分类器帮助车灯信息分类器判断车灯位置和车灯形状。
92.在一些实施例中，可以通过以下两种方式，从预测的多个运动意图中选择较优的运动意图，即上述步骤s103可以通过以下步骤实现：
93.方式一：通过分析用户需求，输出置信度较高的分类器的运动意图，即可以通过以下步骤预测更加准确的运动意图：
94.第一步，获取对所述车辆的运动意图进行预测的应用需求。
95.在一些实施例中，应用需求可以是用户自主设定的，比如，设定的对刹车误检最高次数或者对车辆预设转向的监督等。在一个具体例子中，应用需求可以是对右转车辆的误检次数小于5。
96.第二步，确定与所述应用需求匹配的置信度阈值。
97.在一些实施例中，基于该应用需求，设定置信度阈值。比如，如果应用需求为对右转车辆的误检次数小于5，可以设定置信度阈值为较大值(比如，设定置信度阈值为0.9)；如果应用需求为对右转车辆的误检次数小于20，可以设定置信度阈值为0.8等。
98.第三步，将置信度大于所述置信度阈值的运动意图作为所述车辆的确定运动意图。
99.在一些实施例中，在确定所述车辆的运动意图之后，将置信度大于所述置信度阈值的运动意图作为所述车辆的确定运动意图。预测的运动意图可以是左转、右转、前进、倒退或者刹车等；在这些预测的运动意图中，确定置信度大于应用需求匹配的置信度阈值的预测运动意图，作为车辆的运动意图。如此，按照应用需求设定置信度阈值，从而能够使得预测的运动意图更好地满足用户需求。
100.方式二：通过分析得到的多个分类结果之间是否有冲突，输出置信度较高的分类器的输出结果，即可以通过以下步骤预测更加准确的运动意图：
101.第一步，将所述车灯信息和所述朝向信息，输入所述第二分类器，所述第二分类器输出所述车辆的预测运动意图。
102.在一些实施例中，如果第二分类器为基础分类器，那么基础分类器将全部车灯信息作为一个整体，结合车辆朝向预测车辆的运动意图，得到该车辆整体的预测运动意图；如果第二分类器为扩展分类器，那么扩展分类器基于车灯信息中的转向灯的状态，结合朝向信息预测车辆的运动意图，得到该车辆的扩展运动意图。
103.第二步，响应于所述预测运动意图与所述第一分类器输出的分类结果不匹配，分别确定所述预测运动意图的第一置信度和所述分类结果的第二置信度。
104.在一些实施例中，预测运动意图与所述第一分类器输出的分类结果不匹配，为预测运动意图与所述第一分类器输出的分类结果相冲突。在一个具体例子中，第二分类器为基础分类器，预测运动意图为左转，第一分类中左转向灯的分类器输出为灭，右转向灯的分类器输出为亮，顶灯的分类器输出为灭；这样根据第一分类器输出的各个部分车灯亮灭状态，得出该车辆的运动意图为右转，这时出现多个分类器的输出结果冲突。在这种情况下，分别获取到发生冲突的预测运动意图的置信度，以及，分类结果的第二置信度。其中，分类
结果的第二置信度可以理解为基于该分类结果确定车辆运动意图的置信度，或者还可以理解为是该分类结果中分类结果整体的置信度。
105.第三步，基于所述预测运动意图的第一置信度和所述分类结果的第二置信度中较大置信度对应的预测结果，确定所述车辆的运动意图。
106.在一些实施例中，在第二分类器输出的预测运动意图和分类结果确定出的运动意图中，选择置信度最大的作为该车辆的运动意图。如此，在多个分类器的预测结果产生冲突时，选择置信度较大的作为最终的预测结果，能够更加准确地预测出车辆的运动意图。
107.下面，将说明本技术实施例在一个实际的应用场景中的示例性应用，以针对基于多任务学习和多阶段学习，确定车灯状态为例，进行说明。
108.高级驾驶辅助系统(advanced driving assistance system，adas)以及自动驾驶任务中为了判断他车意图和未来行驶轨迹，需要进行他车车灯状态的检测，以帮助自车做出碰撞预警和决策规划等任务。在相关技术中，adas产品在动态预测方面基本是空白，自动驾驶系统中也鲜有针对多种驾驶场景的车灯模型的动态预测。
109.在相关技术中，根据识别出的灯的点亮位置来确定哪个方向指示灯是向左转还是向右转是不够准确的，如图3所示，车辆的右转向灯，在图像31中的左前转向灯和图像32中的右后转向灯的上都亮。
110.随着行车灯和示宽灯的兴起，车灯呈现着复杂化的态势，仅根据左右两个整灯的亮暗情况已无法判断车辆是否在刹车或者转向。基于此，本技术实施例提供一种车灯状态的预测方法，利用深度学习进行车灯意图判断任务，可以在认知上分解为单灯的亮暗无状态表现出来的车辆意图和整体车灯的亮灭状态表现出来的车辆意图，两个层次，同时辅以车辆朝向和车辆类型的分类器。如此，辅助多任务和多层级的处理有益于车灯网络的学习，还能够大幅提高最终模型的推理精度。
111.在本技术实施例中，通过获取图片上表现出来的车灯点灭位置信息和车辆前进方向，预测车辆转向灯所表示的左右转。在一些实施例中，对于部分地区车辆转向灯与刹车灯位置颜色均不同的特征，本技术实施例提出一种车灯状态的预测方法，可以通过以下过程实现：
112.第一，利用多任务学习，使用车辆图片输入单帧模型进行端到端训练，同时输出朝向/车尾顶灯/左车灯/右车灯/车辆类型/左右转向灯，并进行单个车灯即时状态的判断。
113.在一些可能的实现方式中，由于车灯的位置和形状复杂多变，亮暗组合形式较多；因此，对每个灯都单独设置分类器，即判断左/右车灯、左/右转向灯和车尾顶灯的亮暗无状态分类。在此基础上，额外的信息可以辅助判断车灯的位置和形状类型，比如，车辆方向的分类器可以辅助判别左右车灯，车辆类型的分类器可以辅助判断车灯的形态。
114.第二，利用多层级学习，在模型学习到单个灯状态的基础上进一步判断刹车状态和转向意图。
115.这里，刹车状态和转向意图的判断有多个层次，根据多个单个车灯的状态推理得到车灯整体表现出来的转向意图和刹车意图。再联合左车灯状态/右车灯状态/顶灯状态判断整个车的意图。另外，车辆遮挡和运动也给单帧的判断带来了很大不确定性。
116.在一些实施例中，运动意图确定方法可以通过以下步骤实现：
117.第一步，使用车辆单帧输入，进行多任务训练，得到多个分类器，包括朝向/车辆类
型/顶灯状态/左车灯状态/右车灯状态。
118.在一些可能的实现方式中，可以通过图4所示的方式确定运动意图，如图4所示，图4为本技术实施例提供的运动意图确定方法的实现框架示意图，将车辆单帧图像400输入车辆检测器401中，以图像中的识别车辆；将识别到的车辆的检测框输入到cnn402中，进行特征提取，得到特征图403。特征图403的维度为7
×7×
2048。对该特征图403进行处理得到2048维的特征向量404。
119.第二步，在第一步的分类器的基础上，使用mini-batch的方式进行网络训练。
120.这里，在一个批量中，一半使用标注为左/右车灯整体(其中，整体指整灯：任何一个子灯(刹车灯/雾灯/转向灯)亮了都算亮)亮暗无的数据，另一半使用左/右转向灯亮暗无的数据。训练基于左右整灯状态的基础车辆意图和基于左/右转向灯的扩展车辆意图。
121.两组分类器在训练中互相辅助，其中，互相辅助指多任务学习中不同任务有相关性进行相互促进，而且相互促进的过程是在模型训练过程中自动完成的。在一些可能的实现方式中，网络模型可以先输入整灯状态，再集合整灯中转向灯的状态，最终输出车灯的车辆意图。这样，不仅最终结果会有提升，也还能够解决因为标注的迭代(比如，对没有标注各个灯状态的数据进行再次标注)而无法训练的问题。如此，使用多层级学习，在任务的难度设置上由浅至难，从单个车灯的状态的判断到整体刹车状态和转向意图的判断，符合自然的认知层级，利于模型学习；而且使用mini-batch的方式训练网络，能够很大程度上解决数据由于标注不同造成的训练困难，使得同一个模型获得不同标注信息下的多种功能，从而大大减小标注成本。
122.如图4所示，将提取到的特征向量404输入到多个全连接层(fc)进行分类；其中，全连接层451用于对车辆顶灯的亮、灭和无状态进行分类；全连接层452用于对车辆左转向灯的亮、灭和无状态进行分类；全连接层453用于对车辆右转向灯的亮、灭和无状态进行分类；全连接层454用于对车辆车辆朝向(比如，前进和后退)进行分类；全连接层455用于对车辆类型(比如，小汽车、卡车、公共汽车、出租车、急救车辆或其他车灯)进行分类；全连接层456用于针对车辆朝向为朝前的车辆，基于车辆左右整灯状态对基础车辆意图进行分类；全连接层457用于针对车辆朝向为朝后的车辆，基于车辆左右整灯状态对基础车辆意图进行分类；即，全连接层456和全连接层457训练基于左右整灯状态的基础车辆意图，适用于简单场景；全连接层458用于针对车辆朝向为朝前的车辆，基于车辆的左右转向灯对扩展车辆意图进行分类；全连接层459用于针对车辆朝向为朝后的车辆，基于车辆的左右转向灯对扩展车辆意图进行分类；即，全连接层458和全连接层459训练基于车辆的左右转向灯对扩展车辆意图，适用于复杂场景。将全连接层451至459形成的分类器的输出进行合并，得到车辆在多个类别下的概率分布。比如，车辆意图的概率车辆左转的概率车辆右转的概率和车辆朝向的概率
123.在一些实施例中，上述通过图4所示的方式确定运动意图仅为一种可行的实施方式，本技术实施例确定运动意图的方式不限于此；比如，还可以通过残差网络或深度神经网络等确定运动意图；这里不再一一赘述。
124.第三步，在第一步和第二步的基础上，能够方便地进行后处理和逻辑添加。比如，可以进行以下多种后处理和逻辑添加：
125.a、根据车辆的二分类朝向(front/back)判断是左灯还是右灯；
126.b、卡车/公交没有顶灯和行车灯，根据左右灯的亮暗无状态判断是否刹车或者双闪；
127.c、出租车的顶灯处一般有广告或者出租车标识灯，根据左右灯的时序状态判断刹车；
128.d、当多个分类器的预测结果产生冲突时，选择置信度最高的预测结果；或，
129.e、针对应用层预测中转向和刹车误检少的需求，最终输出置信度高于某个阈值的预测结果。如此，灵活的后处理使得训练方法的应用性更强，通过设置置信度阈值能够减少错误正样本。
130.第四步，对于训练过程进行补充。
131.在一些可能的实现方式中，第一步和第二步可以合为一步，直接使用mini-batch的方式进行训练。如果数据集的标签一致，可以不使用mini-batch，采用该数据集对网络训练进行一步训练得到已训练的网络模型。
132.在本技术实施例中，首先，获取安装于自车摄像机拍摄的图像，然后，基于该图像判断他车亮灯中的方向灯是左转还是右转，最后，基于此，使用图像中显示的他车的车灯信息和前进方向(前进/后退)，进一步判断该他车点灯中的方向灯是左转还是右转。如此，在判断左右转的意图时，将图像中显示的他车的车灯点灯位置信息与前进方向(front/back)信息相结合，能够加强判断车辆左右转的鲁棒性。
133.本技术实施例提供一种运动意图确定装置，图5为本技术实施例运动意图确定装置结构组成示意图，如图5所示，所述运动意图确定装置600包括：
134.图像获取模块601，用于获取交通图像；
135.信息确定模块602，用于基于所述交通图像，确定所述交通图像中的车辆的车灯信息和所述车辆的朝向信息；
136.意图确定模块603，用于基于所述车灯信息和所述朝向信息，确定所述车辆的运动意图。
137.在一些实施例中，所述信息确定模块602，包括：
138.位置信息确定子模块，用于基于所述交通图像，确定所述交通图像中所述车辆的点亮的目标车灯的位置信息；
139.外观信息确定子模块，用于基于所述交通图像，确定所述交通图像中的车辆的外观信息；
140.朝向信息确定子模块，用于基于所述车辆的外观信息，确定所述车辆的车头的朝向信息；
141.所述意图确定模块603，还用于：
142.基于所述车辆的目标车灯的位置信息和所述车辆的车头的朝向信息，确定所述车辆的运动意图。
143.在一些实施例中，所述目标车灯为单个转向灯，所述意图确定模块603，包括：
144.转向信息确定子模块，用于基于所述单个转向灯的位置信息和所述车辆的车头的朝向信息，确定转向灯指示的转向信息；
145.意图确定子模块，用于根据所述转向信息，确定所述车辆的转向意图。
146.在一些实施例中，所述意图确定模块603，包括：
147.制动状态确定子模块，用于响应于所述车灯信息中未包括刹车灯信息、且所述目标车灯为多个转向灯，确定所述车辆处于制动状态。
148.在一些实施例中，所述装置还包括：
149.车型信息确定模块，用于基于所述交通图像，确定所述交通图像中的车辆的车型信息；
150.所述意图确定模块603，还用于：
151.基于所述车灯信息、朝向信息和车型信息，确定所述车辆的运动意图。
152.在一些实施例中，在确定所述车辆的运动意图时，所述装置还包括：置信度确定模块，用于确定所述车辆的运动意图的置信度；
153.置信度调整模块，用于响应于所述朝向信息指示所述车辆为横向，降低所述运动意图的置信度。
154.在一些实施例中，所述装置还包括：
155.需求获取模块，用于获取对所述车辆的运动意图进行预测的应用需求；
156.置信度阈值匹配模块，用于确定与所述应用需求匹配的置信度阈值；
157.在确定所述车辆的运动意图之后，所述意图确定模块603，还用于：
158.将置信度大于所述置信度阈值的运动意图作为所述车辆的确定运动意图。
159.在一些实施例中，确定所述车灯信息、所述朝向信息和所述车辆的运动意图由神经网络执行；所述神经网络中的第一分类器利用标注了车灯信息和朝向信息的样本图像训练得到，所述神经网络中的第二分类器利用标注了车辆的运动意图的样本图像训练得到。
160.在一些实施例中，所述第二分类器包括以下至少之一：用于对车辆的基础运动意图进行分类的基础分类器、用于对车辆的扩展运动意图进行分类的扩展分类器，其中，所述基础分类器是基于标注了车辆的整体车灯状态的样本图像训练得到的；所述扩展分类器是基于标注了车辆的转向灯的车灯状态的样本图像训练得到的。
161.在一些实施例中，所述信息确定模块602，还用于利用所述神经网络，基于所述交通图像，确定所述交通图像中的车辆的车灯信息和所述车辆的朝向信息；所述信息确定模块602，包括：
162.掩模确定子模块，用于利用所述神经网络的卷积层，确定所述交通图像的注意力掩模；
163.空间特征确定子模块，用于基于所述注意力掩模，确定所述交通图像的空间特征；
164.特征合并子模块，用于将所述空间特征与所述交通图像的时间特征进行合并，得到所述交通图像的图像特征；
165.信息确定子模块，用于采用所述第一分类器，基于所述图像特征，确定所述车辆的车灯信息和所述车辆的朝向信息。
166.在一些实施例中，所述意图确定模块603，包括：
167.信息输入子模块，用于将所述车灯信息和所述朝向信息，输入所述第二分类器，所述第二分类器输出所述车辆的预测运动意图；
168.置信度确定子模块，用于响应于所述预测运动意图与所述第一分类器输出的分类结果不匹配，分别确定所述预测运动意图的第一置信度和所述分类结果的第二置信度；
169.置信度对比子模块，用于基于所述预测运动意图的第一置信度和所述分类结果的第二置信度中较大置信度对应的预测结果，确定所述车辆的运动意图。
170.需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
171.需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的运动意图确定方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、运动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
172.对应地，本技术实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本技术实施例提供的运动意图确定方法中的步骤。相应的，本技术实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的运动意图确定方法的步骤。相应的，本技术实施例提供一种计算机设备，图6为本技术实施例计算机设备的组成结构示意图，如图6所示，所述计算机设备700包括：一个处理器701、至少一个通信总线、通信接口702、至少一个外部通信接口和存储器703。其中，通信接口702配置为实现这些组件之间的连接通信。其中，通信接口702可以包括显示屏，外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器701，配置为执行存储器中图像处理程序，以实现上述实施例提供的运动意图确定方法的步骤。
173.以上运动意图确定装置、计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同相应方法实施例相似的技术描述和有益效果，限于篇幅，可案件上述方法实施例的记载，故在此不再赘述。对于本技术运动意图确定装置、计算机设备和存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
174.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
175.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
176.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
177.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。