交通灯状态识别方法、装置、车辆及存储介质与流程

1.本公开涉及自动驾驶领域，尤其涉及一种交通灯状态识别方法、装置、车辆及存储介质。


背景技术：

2.目前无人驾驶中的感知算法可以准确地识别到每帧图像中的交通灯状态，但是，通过对一段时间内交通灯状态的识别结果的统计发现，交通灯状态的识别结果的准确性依然较低，容易出现因为交通灯状态识别错误而造成违反交规行驶的情况，如此非常不利于提升车辆用户的体验。


技术实现要素：

3.为克服相关技术中存在的问题，本公开提供一种交通灯状态识别方法、装置、车辆及存储介质。
4.根据本公开实施例的第一方面，提供一种交通灯状态识别方法，应用于车辆，所述方法包括：
5.在确定所述车辆与前方交通灯所在位置之间的距离小于或者等于预设距离阈值的情况下，通过所述车辆上的图像采集装置采集预设时长内的多帧交通灯状态图像；
6.根据所述多帧交通灯状态图像确定所述预设时长内所述前方交通灯的状态时序信息，所述状态时序信息包括所述预设时长内，每个时间点对应的交通灯状态，所述交通灯状态包括红灯亮暗状态、黄灯亮暗状态以及绿灯亮暗状态中的至少一者；
7.采集当前时刻的目标交通灯图像，以及所述车辆的前方车辆的行驶状态信息；
8.根据所述状态时序信息、所述目标交通灯图像和所述行驶状态信息确定当前的目标交通灯状态。
9.可选地，所述根据所述多帧交通灯状态图像确定所述预设时长内所述前方交通灯的状态时序信息，包括：
10.识别每帧所述交通灯状态图像中的交通灯状态，以得到所述预设时长内每个图像采集时间点对应的交通灯状态；
11.根据所述预设时长内每个图像采集时间点对应的交通灯状态确定所述预设时长内的每个时间点对应的所述交通灯状态，以得到所述状态时序信息。
12.可选地，所述根据所述状态时序信息、所述目标交通灯图像和所述行驶状态信息确定当前的目标交通灯状态，包括：
13.将所述状态时序信息、所述目标交通灯图像和所述行驶状态信息输入第一预设识别模型，以获取所述第一预设识别模型输出的所述目标交通灯状态。
14.可选地，所述第一预设识别模型通过以下方式预先训练得到：
15.获取多个交通灯路口对应的多组历史样本数据，每组所述历史样本数据中包括一个所述交通灯路口在历史的所述预设时长内的状态时序信息、历史交通灯图像以及历史行
驶状态信息；
16.以所述多组历史样本数据为第一训练数据，对第一初始模型进行模型训练，以得到所述第一预设识别模型，所述第一训练数据中包括历史的所述预设时长之后的指定时长内的交通灯状态标注数据。
17.可选地，所述根据所述状态时序信息、所述目标交通灯图像和所述行驶状态信息确定当前的目标交通灯状态，包括：
18.将所述状态时序信息输入第二预设识别模型，以获取所述第二预设识别模型输出的所述预设时长之后的目标时间段内的预测状态时序信息；
19.根据所述预测状态时序信息确定当前时间点对应的第一交通灯信号状态；
20.获取所述目标交通灯图像中的第二交通灯信号状态；
21.根据前方车辆的所述行驶状态信息确定第三交通灯信号状态；
22.根据所述第一交通灯信号状态、所述第二交通灯信号状态以及所述第三交通灯信号状态确定所述目标交通灯状态。
23.可选地，所述根据所述第一交通灯信号状态、所述第二交通灯信号状态以及所述第三交通灯信号状态确定所述目标交通灯状态，包括：
24.获取所述第一交通灯信号状态、所述第二交通灯信号状态以及所述第三交通灯信号状态的目标权重；
25.通过所述目标权重根据所述第一交通灯信号状态、所述第二交通灯信号状态以及所述第三交通灯信号状态确定所述目标交通灯状态。
26.可选地，所述第二预设识别模型通过以下方式预先训练得到：
27.获取历史时间内多个交通灯路口对应的多个时序状态样本信息，所述时序状态样本信息包括的目标时间段内的状态标注数据；
28.以所述多个时序状态样本信息为第二训练数据，对第二初始模型进行模型训练，以得到所述第二预设识别模型。
29.据本公开实施例的第二方面，提供一种交通灯状态识别装置，应用于车辆，所述装置包括：
30.第一确定模块，被配置为在确定所述车辆与前方交通灯所在位置之间的距离小于或者等于预设距离阈值的情况下，通过所述车辆上的图像采集装置采集预设时长内的多帧交通灯状态图像；
31.第二确定模块，被配置为根据所述多帧交通灯状态图像确定所述预设时长内所述前方交通灯的状态时序信息，所述状态时序信息包括所述预设时长内，每个时间点对应的交通灯状态，所述交通灯状态包括红灯亮暗状态、黄灯亮暗状态以及绿灯亮暗状态中的至少一者；
32.获取模块，被配置为采集当前时刻的目标交通灯图像，以及所述车辆的前方车辆的行驶状态信息；
33.第三确定模块，被配置为根据所述状态时序信息、所述目标交通灯图像和所述行驶状态信息确定当前的目标交通灯状态。
34.可选地，所述第二确定模块，被配置为：
35.识别每帧所述交通灯状态图像中的交通灯状态，以得到所述预设时长内每个图像
采集时间点对应的交通灯状态；
36.根据所述预设时长内每个图像采集时间点对应的交通灯状态确定所述预设时长内的每个时间点对应的所述交通灯状态，以得到所述状态时序信息。
37.可选地，所述第三确定模块，被配置为：
38.将所述状态时序信息、所述目标交通灯图像和所述行驶状态信息输入第一预设识别模型，以获取所述第一预设识别模型输出的所述目标交通灯状态。
39.可选地，所述第一预设识别模型通过以下方式预先训练得到：
40.获取多个交通灯路口对应的多组历史样本数据，每组所述历史样本数据中包括一个所述交通灯路口在历史的所述预设时长内的状态时序信息、历史交通灯图像以及历史行驶状态信息；
41.以所述多组历史样本数据为第一训练数据，对第一初始模型进行模型训练，以得到所述第一预设识别模型，所述第一训练数据中包括历史的所述预设时长之后的指定时长内的交通灯状态标注数据。
42.可选地，所述第三确定模块，被配置为：
43.将所述状态时序信息输入第二预设识别模型，以获取所述第二预设识别模型输出的所述预设时长之后的目标时间段内的预测状态时序信息；
44.根据所述预测状态时序信息确定当前时间点对应的第一交通灯信号状态；
45.获取所述目标交通灯图像中的第二交通灯信号状态；
46.根据前方车辆的所述行驶状态信息确定第三交通灯信号状态；
47.根据所述第一交通灯信号状态、所述第二交通灯信号状态以及所述第三交通灯信号状态确定所述目标交通灯状态。
48.可选地，所述第三确定模块，被配置为：
49.获取所述第一交通灯信号状态、所述第二交通灯信号状态以及所述第三交通灯信号状态的目标权重；
50.通过所述目标权重根据所述第一交通灯信号状态、所述第二交通灯信号状态以及所述第三交通灯信号状态确定所述目标交通灯状态。
51.可选地，所述第二预设识别模型通过以下方式预先训练得到：
52.获取历史时间内多个交通灯路口对应的多个时序状态样本信息，所述时序状态样本信息包括的目标时间段内的状态标注数据；
53.以所述多个时序状态样本信息为第二训练数据，对第二初始模型进行模型训练，以得到所述第二预设识别模型。
54.根据本公开实施例的第三方面，提供一种交通灯状态识别车辆，包括：
55.处理器；
56.用于存储处理器可执行指令的存储器；
57.其中，所述处理器被配置为：
58.实现以上第一方面所述方法的步骤。
59.根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现以上第一方面所述方法的步骤。
60.本公开的实施例提供的技术方案可以包括以下有益效果：
61.能够通过所述车辆上的图像采集装置采集预设时长内的多帧交通灯状态图像；根据所述多帧交通灯状态图像确定所述预设时长内所述前方交通灯的状态时序信息，根据所述状态时序信息、当前时刻的目标交通灯图像和前方车辆的行驶状态信息确定当前的目标交通灯状态，能够有效提升交通灯状态识别结果的准确性，降低无人驾驶车辆违反交规行驶的概率，从而能够有效提升无人驾驶车辆的行车安全性能，有利于提升无人驾驶车辆的用户体验。
62.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
63.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
64.图1是本公开一示例性实施例示出的一种交通灯状态识别方法的流程图；
65.图2是本公开一示例性实施例示出的一种状态时序信息的示意图；
66.图3是根据本公开图1所示实施例示出的一种交通灯状态识别方法的流程图；
67.图4是本公开一示例性实施例示出的一种模型结构示意图；
68.图5是本公开一示例性实施例中示出的一种交通灯状态识别装置的框图；
69.图6是一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
70.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
71.需要说明的是，本技术中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
72.在详细介绍本公开的具体实施方式之前，首先对本公开的应用场景进行以下说明，本公开可以应用于车辆，尤其是无人驾驶车辆或者自动驾驶车辆，这里以无人驾驶车辆为例进行说明，目前的无人驾驶技术要求感知算法根据各传感器获取的数据分析周围环境，感知可以类比为人类的眼睛，目前感知算法对于确定的图像理解的很好，但是对于存在变化的场景理解能力有限，例如，交通灯红前后帧都是红灯可以判定当前为红灯场景，车要遵守交规，必须停在停止线以内不能运动，但是如果是黄灯闪烁，图像采集装置采集到的前后帧图像至少有一帧是黑灯，或者在交通灯交替的过程(例如红变黄，黄变绿，或者红变绿，绿变黄等)中也会出现黑灯情况，目前的无人驾驶车辆感知算法针对闪烁的交通灯，通常无法准确判断该交通灯状态，容易出现因为交通灯状态识别错误而造成违反交规行驶的现象，这也是目前交通灯状态的识别结果的准确性较低的原因之一，如此不仅不利于提升车辆的安全性能，也非常不利于提升车辆用户的体验。
73.为了解决以上技术问题，本公开提供一种交通灯状态识别方法、装置、车辆及存储
介质，该交通灯状态识别方法通过该车辆上的图像采集装置采集预设时长内的多帧交通灯状态图像；根据所述多帧交通灯状态图像确定该预设时长内该前方交通灯的状态时序信息，根据该状态时序信息、当前时刻的目标交通灯图像和前方车辆的行驶状态信息确定当前的目标交通灯状态，能够有效提升交通灯状态识别结果的准确性，降低无人驾驶车辆违反交规行驶的概率，从而能够有效提升无人驾驶车辆的行车安全性能，有利于提升无人驾驶车辆的用户体验。
74.下面结合具体实施例对本公开的技术方案进行详细阐述。
75.图1是本公开一示例性实施例示出的一种交通灯状态识别方法的流程图；如图1所示，该交通灯状态识别方法可以应用于车辆，包括：
76.步骤101，在确定该车辆与前方交通灯所在位置之间的距离小于或者等于预设距离阈值的情况下，通过该车辆上的图像采集装置采集预设时长内的多帧交通灯状态图像。
77.其中，该交通灯状态图像可以是交通灯状态视频中的图像，该图像采集装置可以包括车载摄像头。
78.示例的，在确定该车辆与前方交通灯所在位置之间的距离小于或者等于500米的情况下，获取15秒的交通灯状态视频，该交通灯状态视频中包括了多帧交通灯状态图像，每帧交通灯状态图像中均包括了能够体现交通灯状态的图像，该交通灯状态可以是，红灯亮暗状态、黄灯亮暗状态以及绿灯亮暗状态中的至少一者。
79.步骤102，根据所述多帧交通灯状态图像确定该预设时长内该前方交通灯的状态时序信息，该状态时序信息包括该预设时长内，每个时间点对应的交通灯状态。
80.其中，该交通灯状态包括红灯亮暗状态、黄灯亮暗状态以及绿灯亮暗状态中的至少一者，该预设时长可以是交通灯状态周期的三分之一或一半。
81.本步骤中，可以识别每帧该交通灯状态图像中的交通灯状态，以得到该预设时长内每个图像采集时间点对应的交通灯状态；根据该预设时长内每个图像采集时间点对应的交通灯状态确定该预设时长内的每个时间点对应的该交通灯状态，以得到该状态时序信息。
82.以上所述的根据该预设时长内每个图像采集时间点对应的交通灯状态确定该预设时长内的每个时间点对应的该交通灯状态的实施方式可以是，在相邻的两个图像采集时间点均为同一种交通灯状态(例如，均为红灯亮，绿灯和黄灯暗的状态)的情况下，则将该两个图像采集时间点对应的交通灯状态作为相邻的两个图像采集时间点之间每个时间点对应的交通灯状态。在相邻的两个图像采集时间点对应的交通灯状态不同(例如，前一个图像采集时间点的交通灯状态为红灯亮，绿灯和黄灯灭，后一个图像采集时间点的交通灯状态为黄灯亮，绿灯和红灯暗)的情况下，则确定该相邻两个图像采集时间点之间的中间时间点对应的交通灯状态为前一个图像采集时间点的交通灯状态与后一个图像采集时间点的交通灯状态的切换状态(例如红灯向黄灯切换的状态)，该中间时间点距离前后两个图像采集时间点的时长相同，从而得到该预设时长内的状态时序信息，该状态时序信息可以是如图2所示的状态时序图，图2是本公开一示例性实施例示出的一种状态时序信息的示意图。
83.需要说明的是，可以利用现有技术中的感知算法识别该交通灯状态图像中的交通灯状态，该感知算法可以是神经网络算法，也可以包括除神经网络算法以外的其他算法。
84.步骤103，采集当前时刻的目标交通灯图像，以及该车辆的前方车辆的行驶状态信
息。
85.其中，该目标交通灯图像为该车辆上的图像采集装置采集到的当前时刻的交通灯图像，该前方车辆为与该车辆的行驶方向相同，位于该车辆前方，且与该车辆处于同一车道的车辆，该行驶状态信息至少包括向前行驶的速度。
86.步骤104，根据该状态时序信息、该目标交通灯图像和该行驶状态信息确定当前的目标交通灯状态。
87.本步骤中，一种可能的实施方式为：将该状态时序信息、该目标交通灯图像和该行驶状态信息输入第一预设识别模型，以获取该第一预设识别模型输出的该目标交通灯状态。
88.其中，该第一预设识别模型通过以下方式预先训练得到：
89.获取多个交通灯路口对应的多组历史样本数据，每组该历史样本数据中包括一个该交通灯路口在历史的预设时长内的状态时序信息、历史交通灯图像以及历史行驶状态信息；以所述多组历史样本数据为第一训练数据，对第一初始模型进行模型训练，以得到该第一预设识别模型，该第一训练数据中包括历史的该预设时长之后的指定时长内的交通灯状态标注数据。
90.需要说明的是，该历史交通灯图像为车辆采集到的历史时刻的交通灯图像，例如该历史的预设时长内的状态时序信息为2021年1月2日15时1分20秒至2021年1月2日15时1分30秒的时序图，则该历史时刻的交通灯图像可以是2021年1月2日15时1分30秒之后目标时长(例如20分钟)内采集到的交通灯图像；该历史行驶状态信息为在历史时刻(例如采集历史交通灯图像的时刻，或距离采集历史交通灯图像时刻指定时长的时间)，采集历史交通灯图像的车辆对应的前方车辆的行驶状态信息。另外，还需说明的是，该第一初始模型可以是神经网络模型，也可以是现有技术中的其他机器学习模型。
91.另一种可能的实施方式可以包括图3所示步骤，图3是根据本公开图1所示实施例示出的一种交通灯状态识别方法的流程图；如图3所示：
92.步骤1041，将该状态时序信息输入第二预设识别模型，以获取该第二预设识别模型输出的该预设时长之后的目标时间段内的预测状态时序信息。
93.其中，该第二预设识别模型通过以下方式预先训练得到：
94.获取历史时间内多个交通灯路口对应的多个时序状态样本信息，该时序状态样本信息包括的目标时间段内的状态标注数据；以所述多个时序状态样本信息为第二训练数据，对第二初始模型进行模型训练，以得到该第二预设识别模型。
95.需要说明的是，该第二初始模型可以是transformer模型，如图4所示，图4是本公开一示例性实施例示出的一种模型结构示意图，如图4所示，该transformer模型可以包括encoder(编码器)和dncoder(解码器)，该transformer模型可以用于预测时间序列，该目标时间段内的状态标注数据可以包括目标时间段内每个时间点的交通灯状态标注数据。
96.步骤1042，根据该预测状态时序信息确定当前时间点对应的第一交通灯信号状态。
97.其中，该预测状态时序信息用于表征预设时长之后每个时间点的交通灯状态，在确定历史时间内的预设时长之后的预测状态时序信息之后，该预测状态时序信息包括了历史时间内的预设时长之后每个时间点的预测交通灯状态，当前时间点为预设时长之后多个
时间点中的一个，因此可以根据该预测状态时序信息中确定该当前时间点对应的第一交通信号状态。
98.示例地，以图2所示状态时序为例，若预设时长的时序状态信息为图中t2之前的部分，该预测状态时序信息为t2之后的部分，若当前时间点为t5，则可以从该预测状态时序信息中确定当前时间点t5对应的第一交通灯信号状态。
99.步骤1043，获取该目标交通灯图像中的第二交通灯信号状态。
100.本步骤中，可以通过图像识别算法识别该目标交通灯图像中的交通灯状态，即得到该第二交通灯信号状态。
101.步骤1044，根据前方车辆的该行驶状态信息确定第三交通灯信号状态。
102.本步骤中，可以在前方车辆的该行驶状态信息中的向前行驶速度大于预设速度阈值的情况下，确定该第三交通灯信号状态为绿灯亮，黄灯和红灯暗的状态，在前方车辆的该行驶状态信息中的向前行驶速度大于零但小于或者等于预设速度阈值的情况下，确定该第三交通灯信号状态为黄灯亮，绿灯和红灯暗的状态，在前方车辆的该行驶状态信息中的向前行驶速度为零的情况下，确定该第三交通灯信号状态为红灯亮，绿灯和黄灯暗的状态。
103.步骤1045，根据该第一交通灯信号状态、该第二交通灯信号状态以及该第三交通灯信号状态确定该目标交通灯状态。
104.本步骤中，可以获取该第一交通灯信号状态、该第二交通灯信号状态以及该第三交通灯信号状态的目标权重；通过该目标权重根据该第一交通灯信号状态、该第二交通灯信号状态以及该第三交通灯信号状态确定该目标交通灯状态。
105.示例地，若用1代表绿灯亮，红灯和黄灯暗的状态，用0表征红灯亮，黄灯和绿灯暗的状态，并用0表征黄灯亮，红灯和绿灯暗的状态；在获取到该第一交通灯信号状态的目标权重为q1、该第二交通灯信号状态的目标权重为q2、以及该第三交通灯信号状态的目标权重为q3，根据该q1、q2和q3对该第一交通灯信号状态、该第二交通灯信号状态以及该第三交通灯信号加权求和，从而得到加权求和的结果值，在该结果值大于或者等于预设阈值的情况下，确定该目标交通灯状态为绿灯亮，红灯和黄灯暗的状态，在该结果值小于预设阈值的情况下，确定该目标交通灯状态为非绿灯亮的状态，可能是红灯亮，黄灯和绿灯暗的状态，也可能是黄灯亮，红灯和绿灯暗的状态。
106.以上技术方案，通过该车辆上的图像采集装置采集预设时长内的多帧交通灯状态图像；根据所述多帧交通灯状态图像确定该预设时长内该前方交通灯的状态时序信息，根据该状态时序信息、当前时刻的目标交通灯图像和前方车辆的行驶状态信息确定当前的目标交通灯状态，能够有效提升交通灯状态识别结果的准确性，降低无人驾驶车辆违反交规行驶的概率，从而能够有效提升无人驾驶车辆的行车安全性能，有利于提升无人驾驶车辆的用户体验。
107.图5是本公开一示例性实施例中示出的一种交通灯状态识别装置的框图；如图5所示，交通灯状态识别装置应用于车辆，可以包括：
108.第一确定模块501，被配置为在确定该车辆与前方交通灯所在位置之间的距离小于或者等于预设距离阈值的情况下，通过该车辆上的图像采集装置采集预设时长内的多帧交通灯状态图像；
109.第二确定模块502，被配置为根据所述多帧交通灯状态图像确定该预设时长内该
前方交通灯的状态时序信息，该状态时序信息包括该预设时长内，每个时间点对应的交通灯状态，该交通灯状态包括红灯亮暗状态、黄灯亮暗状态以及绿灯亮暗状态中的至少一者；
110.获取模块503，被配置为采集当前时刻的目标交通灯图像，以及该车辆的前方车辆的行驶状态信息；
111.第三确定模块504，被配置为根据该状态时序信息、该目标交通灯图像和该行驶状态信息确定当前的目标交通灯状态。
112.以上技术方案，通过该车辆上的图像采集装置采集预设时长内的多帧交通灯状态图像；根据所述多帧交通灯状态图像确定该预设时长内该前方交通灯的状态时序信息，根据该状态时序信息、当前时刻的目标交通灯图像和前方车辆的行驶状态信息确定当前的目标交通灯状态，能够有效提升交通灯状态识别结果的准确性，降低无人驾驶车辆违反交规行驶的概率，从而能够有效提升无人驾驶车辆的行车安全性能，有利于提升无人驾驶车辆的用户体验。
113.可选地，该第二确定模块502，被配置为：
114.识别每帧该交通灯状态图像中的交通灯状态，以得到该预设时长内每个图像采集时间点对应的交通灯状态；
115.根据该预设时长内每个图像采集时间点对应的交通灯状态确定该预设时长内的每个时间点对应的该交通灯状态，以得到该状态时序信息。
116.可选地，该第三确定模块504，被配置为：
117.将该状态时序信息、该目标交通灯图像和该行驶状态信息输入第一预设识别模型，以获取该第一预设识别模型输出的该目标交通灯状态。
118.可选地，该第一预设识别模型通过以下方式预先训练得到：
119.获取多个交通灯路口对应的多组历史样本数据，每组该历史样本数据中包括一个该交通灯路口在历史的该预设时长内的状态时序信息、历史交通灯图像以及历史行驶状态信息；
120.以所述多组历史样本数据为第一训练数据，对第一初始模型进行模型训练，以得到该第一预设识别模型，该第一训练数据中包括历史的该预设时长之后的指定时长内的交通灯状态标注数据。
121.可选地，该第三确定模块504，被配置为：
122.将该状态时序信息输入第二预设识别模型，以获取该第二预设识别模型输出的该预设时长之后的目标时间段内的预测状态时序信息；
123.根据该预测状态时序信息确定当前时间点对应的第一交通灯信号状态；
124.获取该目标交通灯图像中的第二交通灯信号状态；
125.根据前方车辆的该行驶状态信息确定第三交通灯信号状态；
126.根据该第一交通灯信号状态、该第二交通灯信号状态以及该第三交通灯信号状态确定该目标交通灯状态。
127.可选地，该第三确定模块504，被配置为：
128.获取该第一交通灯信号状态、该第二交通灯信号状态以及该第三交通灯信号状态的目标权重；
129.通过该目标权重根据该第一交通灯信号状态、该第二交通灯信号状态以及该第三
交通灯信号状态确定该目标交通灯状态。
130.可选地，该第二预设识别模型通过以下方式预先训练得到：
131.获取历史时间内多个交通灯路口对应的多个时序状态样本信息，该时序状态样本信息包括的目标时间段内的状态标注数据；
132.以所述多个时序状态样本信息为第二训练数据，对第二初始模型进行模型训练，以得到该第二预设识别模型。
133.以上技术方案，通过该车辆上的图像采集装置采集预设时长内的多帧交通灯状态图像；根据所述多帧交通灯状态图像确定该预设时长内该前方交通灯的状态时序信息，根据该状态时序信息、当前时刻的目标交通灯图像和前方车辆的行驶状态信息确定当前的目标交通灯状态，能够有效提升交通灯状态识别结果的准确性，降低无人驾驶车辆违反交规行驶的概率，从而能够有效提升无人驾驶车辆的行车安全性能，有利于提升无人驾驶车辆的用户体验。
134.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
135.参阅图6，图6是一示例性实施例示出的一种车辆的功能框图示意图。车辆600可以被配置为完全或部分自动驾驶模式。例如，车辆600可以通过感知系统620获取其周围的环境信息，并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶，或者将分析结果呈现给用户以实现部分自动驾驶。
136.车辆600可包括各种子系统，例如，信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。可选的，车辆600可包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆600的每个子系统和部件可以通过有线或者无线的方式实现互连。
137.在一些实施例中，信息娱乐系统610可以包括通信系统611，娱乐系统612以及导航系统613。
138.通信系统611可以包括无线通信系统，无线通信系统可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统可使用3g蜂窝通信，例如cdma、evd0、gsm/gprs，或者4g蜂窝通信，例如lte。或者5g蜂窝通信。无线通信系统可利用wifi与无线局域网(wireless local area network，wlan)通信。在一些实施例中，无线通信系统可利用红外链路、蓝牙或zigbee与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统可包括一个或多个专用短程通信(dedicated short range communications，dsrc)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
139.娱乐系统612可以包括显示设备，麦克风和音响，用户可以基于娱乐系统在车内收听广播，播放音乐；或者将手机和车辆联通，在显示设备上实现手机的投屏，显示设备可以为触控式，用户可以通过触摸屏幕进行操作。
140.在一些情况下，可以通过麦克风获取用户的语音信号，并依据对用户的语音信号的分析实现用户对车辆600的某些控制，例如调节车内温度等。在另一些情况下，可以通过音响向用户播放音乐。
141.导航系统613可以包括由地图供应商所提供的地图服务，从而为车辆600提供行驶路线的导航，导航系统613可以和车辆的全球定位系统621、惯性测量单元622配合使用。地
图供应商所提供的地图服务可以为二维地图，也可以是高精地图。
142.感知系统620可包括感测关于车辆600周边的环境的信息的若干种传感器。例如，感知系统620可包括全球定位系统621(全球定位系统可以是gps系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，imu)622、激光雷达623、毫米波雷达624、超声雷达625以及摄像装置626。感知系统620还可包括被监视车辆600的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆600的安全操作的关键功能。
143.全球定位系统621用于估计车辆600的地理位置。
144.惯性测量单元622用于基于惯性加速度来感测车辆600的位姿变化。在一些实施例中，惯性测量单元622可以是加速度计和陀螺仪的组合。
145.激光雷达623利用激光来感测车辆600所位于的环境中的物体。在一些实施例中，激光雷达623可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。
146.毫米波雷达624利用无线电信号来感测车辆600的周边环境内的物体。在一些实施例中，除了感测物体以外，毫米波雷达624还可用于感测物体的速度和/或前进方向。
147.超声雷达625可以利用超声波信号来感测车辆600周围的物体。
148.摄像装置626用于捕捉车辆600的周边环境的图像信息。摄像装置626可以包括单目相机、双目相机、结构光相机以及全景相机等，摄像装置626获取的图像信息可以包括静态图像，也可以包括视频流信息。
149.决策控制系统630包括基于感知系统620所获取的信息进行分析决策的计算系统631，决策控制系统630还包括对车辆600的动力系统进行控制的整车控制器632，以及用于控制车辆600的转向系统633、油门634和制动系统635。
150.计算系统631可以操作来处理和分析由感知系统620所获取的各种信息以便识别车辆600周边环境中的目标、物体和/或特征。目标可以包括行人或者动物，物体和/或特征可包括交通信号、道路边界和障碍物。计算系统631可使用物体识别算法、运动中恢复结构(structure from motion，sfm)算法、视频跟踪等技术。在一些实施例中，计算系统631可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算系统631可以将所获取的各种信息进行分析并得出对车辆的控制策略。
151.整车控制器632可以用于对车辆的动力电池和引擎641进行协调控制，以提升车辆600的动力性能。
152.转向系统633可操作来调整车辆600的前进方向。例如在一个实施例中可以为方向盘系统。
153.油门634用于控制引擎641的操作速度并进而控制车辆600的速度。
154.制动系统635用于控制车辆600减速。制动系统635可使用摩擦力来减慢车轮644。在一些实施例中，制动系统635可将车轮644的动能转换为电流。制动系统635也可采取其他形式来减慢车轮644转速从而控制车辆600的速度。
155.驱动系统640可包括为车辆600提供动力运动的组件。在一个实施例中，驱动系统640可包括引擎641、能量源642、传动系统643和车轮644。引擎641可以是内燃机、电动机、空
气压缩引擎或其他类型的引擎组合，例如汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎641将能量源642转换成机械能量。
156.能量源642的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源642也可以为车辆600的其他系统提供能量。
157.传动系统643可以将来自引擎641的机械动力传送到车轮644。传动系统643可包括变速箱、差速器和驱动轴。在一个实施例中，传动系统643还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮644的一个或多个轴。
158.车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651，处理器651可以执行存储在例如存储器652这样的非暂态计算机可读介质中的指令653。在一些实施例中，计算平台650还可以是采用分布式方式控制车辆600的个体组件或子系统的多个计算设备。
159.处理器651可以是任何常规的处理器，诸如商业可获得的cpu。可替换地，处理器651还可以包括诸如图像处理器(graphic process unit，gpu)，现场可编程门阵列(field programmable gate array，fpga)、片上系统(sysem on chip，soc)、专用集成芯片(application specific integrated circuit，asic)或它们的组合。尽管图6功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件，但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，处理器只执行与特定于组件的功能相关的计算。
160.在本公开实施方式中，处理器651可以执行上述的交通灯状态识别方法。
161.在此处所描述的各个方面中，处理器651可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。
162.在一些实施例中，存储器652可包含指令653(例如，程序逻辑)，指令653可被处理器651执行来执行车辆600的各种功能。存储器652也可包含额外的指令，包括向信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
163.除了指令653以外，存储器652还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在车辆600在自主、半自主和/或手动模式中操作期间被车辆600和计算平台650使用。
164.计算平台650可基于从各种子系统(例如，驱动系统640、感知系统620和决策控制系统630)接收的输入来控制车辆600的功能。例如，计算平台650可利用来自决策控制系统630的输入以便控制转向系统633来避免由感知系统620检测到的障碍物。在一些实施例中，计算平台650可操作来对车辆600及其子系统的许多方面提供控制。
165.可选地，上述这些组件中的一个或多个可与车辆600分开安装或关联。例如，存储
器652可以部分或完全地与车辆600分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
166.可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图6不应理解为对本公开实施例的限制。
167.在道路行进的自动驾驶汽车，如上面的车辆600，可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定自动驾驶汽车所要调整的速度。
168.可选地，车辆600或者与车辆600相关联的感知和计算设备(例如计算系统631、计算平台650)可以基于所识别的物体的特性和周围环境的状态(例如，交通、雨、道路上的冰、等等)来预测识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆600能够基于预测的识别的物体的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如，加速、减速、或者停止)何种稳定状态。在这个过程中，也可以考虑其它因素来确定车辆600的速度，诸如，车辆600在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
169.除了提供调整自动驾驶汽车的速度的指令之外，计算设备还可以提供修改车辆600的转向角的指令，以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如，道路上的相邻车道中的车辆)的安全横向和纵向距离。
170.上述车辆600可以为各种类型的行驶工具，例如，轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等，本公开实施例不做特别的限定。
171.在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的交通灯状态识别方法的代码部分。
172.本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
173.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。