信号灯状态识别装置及识别方法、计算机程序、控制装置与流程

1.本发明涉及识别与图像中示出的车辆的信号灯的点亮或者熄灭有关的状态的信号灯状态识别装置、信号灯状态识别方法及信号灯状态识别用计算机程序、以及利用这样的信号灯状态识别装置的控制车辆的行驶的控制装置。


背景技术：

2.正在研究用于检测在诸如由摄像机得到的图像的传感器信息中示出的物体的技术。近年来，提出如下技术：为了检测物体，通过使用诸如所谓深度神经网络(以下简称为“dnn”)的机械学习手法，来提高检测精度。
3.另外，还提出如下技术：为了追踪图像中示出的物体，利用时间序列的多个图像或者根据这些图像得到的特征量作为神经网络的输入(参照例如专利文献1)。
4.例如，在专利文献1公开的物体追踪方法中，将时间序列地连续的2个以上的图像输入到神经网络。在该物体追踪方法中，比较这2个以上的图像各自的被神经网络抽出的特征量，对照类似性。而且，在该物体追踪方法中，根据其对照结果，作为识别结果输出与作为显示于时间序列中的前面的图像的追踪候选的1个以上的物体一致的、显示于相比于前面的图像在时间序列上靠后的图像的1个以上的物体的识别信息以及位置信息。另外，所使用的神经网络包括2个以上的具有1个以上的全连接层和0个以上的卷积层的相同构造，并在相同构造之间的对应的层中共用参数。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2018
‑
26108号公报


技术实现要素：

8.另外，为了控制为使车辆自动驾驶、或者对驾驶员驾驶车辆进行支援，推测该车辆周围的其他车辆的举动。这样，为了预测车辆的举动，与该车辆所具有的诸如转向灯或者刹车灯的信号灯是点亮或者是熄灭有关的信息是有用的。但是，在上述技术中，有时无法准确地识别与图像中示出的车辆的信号灯的点亮或者熄灭有关的状态。
9.因此，本发明的目的在于提供一种能够识别与图像中示出的车辆的信号灯的点亮或者熄灭有关的状态的信号灯状态识别装置。
10.根据一个实施方式，提供一种信号灯状态识别装置。该信号灯状态识别装置具有：物体检测部，通过将以时间序列的方式得到的一连串的图像输入到为了检测具有信号灯的车辆而预先学习的第1识别器，关于一连串的图像的各个图像，在该图像上检测包括车辆的物体区域；可信度计算部，通过将根据在一连串的图像的各个图像中检测的物体区域内的像素值求出的特征，按照时间序列依次输入到具有递归构造或者执行时间轴方向上的卷积运算的第2识别器，计算车辆的信号灯能够取的各个候选状态的可信度；以及状态识别部，根据紧前面的信号灯的状态、表示各个候选状态之间可否迁移的信息以及各个候选状态的
可信度，识别信号灯的状态。
11.在该信号灯状态识别装置中，优选：表示可否迁移的信息关于各个候选状态的每一个示出能够从该候选状态迁移的其他候选状态，状态识别部将各个候选状态中能够从紧前面的信号灯的状态迁移的候选状态中的、可信度最大的候选状态识别为信号灯的状态。
12.在该情况下，优选为信号灯的各个候选状态包括：信号灯开始点亮的点亮开始状态、信号灯结束点亮的点亮结束状态、信号灯为点亮中的点亮中状态以及信号灯为熄灭中的熄灭中状态。
13.另外，在该情况下，优选为第2识别器计算关于点亮开始状态的可信度、关于点亮结束状态的可信度以及关于稳定状态的可信度，该稳定状态表示是点亮中状态或者熄灭中状态。
14.进而，优选：表示可否迁移的信息表示能够从点亮开始状态向点亮开始状态自身、点亮中状态以及点亮结束状态中的任意状态迁移，在紧前面的信号灯的状态是点亮开始状态并且在点亮开始状态、点亮结束状态以及稳定状态中关于稳定状态的可信度最大的情况下，状态识别部将信号灯的状态识别为点亮中状态。
15.进而另外，优选：表示可否迁移的信息表示能够从点亮结束状态向点亮结束状态自身、熄灭中状态以及点亮开始状态中的任意状态迁移，在紧前面的信号灯的状态是点亮结束状态并且在点亮开始状态、点亮结束状态以及稳定状态中关于稳定状态的可信度最大的情况下，状态识别部将信号灯的状态识别为熄灭中状态。
16.或者，优选：表示可否迁移的信息关于各个候选状态的每一个示出从该候选状态向其他候选状态的迁移概率，状态识别部关于信号灯的各个候选状态的每一个，将从紧前面的信号灯的状态向该候选状态的迁移概率乘以关于该候选状态的可信度来计算校准可信度，将信号灯的各个候选状态中的校准可信度最大的候选状态识别为信号灯的状态。
17.根据本发明的另一方式，提供一种控制车辆的行驶的控制装置。该控制装置具有：物体检测部，通过将以时间序列的方式得到的一连串的图像输入到为了检测具有信号灯的其他车辆而预先学习的第1识别器，关于一连串的图像的各个图像，在该图像上检测包括其他车辆的物体区域；可信度计算部，通过将根据在一连串的图像的各个图像中检测的物体区域内的像素值求出的特征按照时间序列依次输入到具有递归构造或者执行时间轴方向上的卷积运算的第2识别器，计算其他车辆的信号灯能够取的各个候选状态的可信度；状态识别部，根据紧前面的其他车辆的信号灯的状态、表示信号灯的各个候选状态之间可否迁移的信息以及信号灯的各个候选状态的可信度，识别其他车辆的信号灯的状态；驾驶计划部，根据其他车辆的信号灯的状态，预测其他车辆行驶的轨迹，根据预测出的轨迹，以使车辆与其他车辆离开预定距离以上的方式设定车辆的预定行驶路径；以及车辆控制部，控制车辆以使车辆沿着预定行驶路径行驶。
18.根据本发明的另一方式，提供一种信号灯状态识别方法。该信号灯状态识别方法包括：通过将以时间序列的方式得到的一连串的图像输入到为了检测具有信号灯的车辆而预先学习的第1识别器，关于一连串的图像的各个图像，在该图像上检测包括车辆的物体区域，通过将根据在一连串的图像的各个图像中检测的物体区域内的像素值求出的特征按照时间序列依次输入到具有递归构造或者执行时间轴方向上的卷积运算的第2识别器，计算车辆的信号灯能够取的各个候选状态的可信度，根据紧前面的信号灯的状态、表示各个候
选状态之间可否迁移的信息以及各个候选状态的可信度，识别信号灯的状态。
19.根据本发明的又一方式，提供一种信号灯状态识别用计算机程序。该信号灯状态识别用计算机程序包括使计算机执行如下处理的命令：通过将以时间序列的方式得到的一连串的图像输入到为了检测具有信号灯的车辆而预先学习的第1识别器，关于一连串的图像的各个图像，在该图像上检测包括车辆的物体区域，通过将根据在一连串的图像的各个图像中检测的物体区域内的像素值求出的特征按照时间序列依次输入到具有递归构造或者执行时间轴方向上的卷积运算的第2识别器，计算车辆的信号灯能够取的各个候选状态的可信度，根据紧前面的信号灯的状态、表示各个候选状态之间可否迁移的信息以及各个候选状态的可信度，识别信号灯的状态。
20.本发明的信号灯状态识别装置起到能够识别与图像中示出的车辆的信号灯的点亮或者熄灭有关的状态的效果。
附图说明
21.图1是安装信号灯状态识别装置的车辆控制系统的概略结构图。
22.图2是作为信号灯状态识别装置的一个实施方式的电子控制装置的硬件结构图。
23.图3是与包括信号灯状态识别处理在内的车辆控制处理有关的、电子控制装置的处理器的功能框图。
24.图4是示出被用作第1识别器的dnn的结构的一个例子的图。
25.图5是示出选择作为信号灯状态识别的对象的车辆的一个例子的图。
26.图6是示出检测物体列表的一个例子的图。
27.图7是示出刹车灯的各个状态与获取用作训练数据的一连串的特征的组的期间之间的关系的一个例子的图。
28.图8是示出刹车灯的状态迁移的一个例子的图。
29.图9是包括信号灯状态识别处理的车辆控制处理的动作流程图。
30.图10是示出变形例的、刹车灯的状态迁移的一个例子的图。
31.(符号说明)
32.1：车辆控制系统；2：摄像机；3：电子控制装置(信号灯状态识别装置)；4：车内网络；10：车辆；21：通信接口；22：存储器；23：处理器；31：物体检测部；32：追踪部；33：可信度计算部；34：状态识别部；35：驾驶计划部；36：车辆控制部。
具体实施方式
33.以下，参照附图，说明信号灯状态识别装置、在信号灯状态识别装置中执行的信号灯状态识别方法以及信号灯状态识别用计算机程序。该信号灯状态识别装置识别与在以时间序列的方式得到的一连串的图像中示出的车辆的诸如刹车灯或者转向灯的信号灯的点亮或者熄灭有关的状态(以下有时简称为“信号灯的状态”)。为此，该信号灯状态识别装置通过对预先学习为检测车辆的第1识别器输入该一连串的图像，针对每个图像在该图像上检测包括车辆的区域(以下有时称为“物体区域”)。然后，该信号灯状态识别装置通过追踪从各图像检测出的车辆，将在各图像中示出相同车辆的物体区域彼此对应起来。另外，该信号灯状态识别装置通过将根据一连串的图像中的示出相同车辆的物体区域内的像素值求
出的特征，按照时间序列依次输入到具有递归构造或者能够执行时间轴方向的卷积运算的第2识别器，计算与该车辆的信号灯的点亮或者熄灭有关的多个能够取的状态(以下有时称为“候选状态”)的各个状态的可信度。然后，该信号灯状态识别装置将能够从紧前面的信号灯的状态迁移的2个以上的候选状态中的可信度最大的候选状态识别为该车辆的信号灯的状态。
34.例如，在车辆减速时或者车辆停车过程中，作为车辆的信号灯的一个例子的刹车灯点亮，另一方面，在车辆发动时或者车辆定速行驶时等刹车灯熄灭。这样，信号灯的点亮或者熄灭以时间序列的方式变化。但是，在示出车辆的信号灯的各个图像中，信号灯的亮灭的时间序列变化是未知的，所以难以从示出信号灯的各个图像高精度地识别信号灯点亮或者熄灭。因此，该信号灯状态识别装置通过将根据时间序列的一连串的图像的各个物体区域求出的特征输入到如上述的第2识别器，能够高精度地求出信号灯能够取的各个候选状态的可信度。进而，该信号灯状态识别装置关于各候选状态，根据可否从紧前面的信号灯的状态迁移到该候选状态和该候选状态的可信度，识别该车辆的信号灯的状态，从而，即使信号灯的点亮及熄灭的周期以及信号灯点亮的期间的长度不定，也能够高精度地识别信号灯的状态。
35.以下，说明将信号灯状态识别装置应用于车辆控制系统的例子。在该例子中，信号灯状态识别装置通过对由搭载于车辆的摄像机得到的时间序列的一连串的图像执行信号灯状态识别处理，检测在车辆的周围存在的其他车辆。然后，该信号灯状态识别装置识别设置于检测到的其他车辆的刹车灯的状态。进而，该信号灯状态识别装置识别作为车辆的信号灯的另一例子的转向灯的状态。此外，信号灯状态识别装置也可以应用于车辆控制系统以外。
36.图1是安装信号灯状态识别装置的车辆控制系统的概略结构图。另外，图2是作为信号灯状态识别装置的一个实施方式的电子控制装置的硬件结构图。在本实施方式中，搭载于车辆10并且控制车辆10的车辆控制系统1具有：用于对车辆10的周围进行拍摄的摄像机2、和作为信号灯状态识别装置的一个例子的电子控制装置(ecu)3。摄像机2和ecu3经由依照控制器局域网这样的标准的车内网络4连接为可通信。此外，车辆控制系统1也可以还具有用于存储在车辆10的自动驾驶控制中使用的地图的存储设备装置。进而，车辆控制系统1也可以具有lidar或者雷达这样的测距传感器、gps接收机这样的用于依照卫星测位系统对车辆10的自身位置进行定位的接收机、用于与其他设备进行无线通信的无线终端、以及用于探索车辆10的预定行驶路线的导航装置等。
37.摄像机2是作为用于检测存在于预定的探测范围内的物体的传感器的摄像部的一个例子，具有由ccd或者c
‑
mos等对可见光具有灵敏度的光电变换元件的阵列构成的二维检测器、和在该二维检测器上成像出作为拍摄对象的区域的图像的成像光学系统。而且，摄像机2以朝向车辆10的前方的方式，例如安装于车辆10的车室内。而且，摄像机2按照预定的拍摄周期(例如1/30秒～1/10秒)对车辆10的前方区域进行拍摄，生成拍摄有其前方区域的图像。由摄像机2得到的图像优选为彩色图像。此外，在车辆10中，也可以设置拍摄方向或者焦距不同的多个摄像机。
38.摄像机2每当生成图像，就将该生成的图像经由车内网络4输出到ecu3。
39.ecu3控制车辆10。在本实施方式中，ecu3控制车辆10，以使车辆10根据从由摄像机
2得到的时间序列的一连串的图像中检测的物体而自动驾驶。为此，ecu3具有通信接口21、存储器22以及处理器23。
40.通信接口21是通信部的一个例子，具有用于将ecu3连接到车内网络4的接口电路。即，通信接口21经由车内网络4与摄像机2连接。而且，通信接口21每当从摄像机2接收到图像时，将接收到的图像送到处理器23。
41.存储器22是存储部的一个例子，例如具有易失性的半导体存储器以及非易失性的半导体存储器。此外，在如后所述地处理器23具有多个运算单元的情况下，存储器22也可以针对每个运算单元而具有专用的存储器电路。而且，存储器22存储在由ecu3的处理器23执行的信号灯状态识别处理中使用的各种数据以及参数，例如：从摄像机2接收到的图像、用于确定在信号灯状态识别处理中利用的各识别器的各种参数、物体的每个种类的可信度阈值、表示信号灯能够取的各个状态之间可否迁移的可否迁移信息、以及和与信号灯的状态有关的可信度进行比较的阈值等。进而，存储器22将诸如示出与检测到的物体有关的信息的检测物体列表的、在信号灯状态识别处理的中途生成的各种数据存储一定期间。另外，存储器22也可以存储地图信息这样的在车辆10的行驶控制中利用的信息。
42.处理器23是控制部的一个例子，具有1个或者多个cpu(central processing unit，中央处理单元)及其周边电路。处理器23也可以还具有诸如逻辑运算单元、数值运算单元或者图形处理单元(graphics processing unit，gpu)的其他运算电路。而且，处理器23在车辆10行驶的期间，每当从摄像机2接收到图像时，对接收到的图像执行包括信号灯状态识别处理在内的车辆控制处理。然后，处理器23控制车辆10，以使车辆10根据检测出的车辆10的周围的物体而自动驾驶。
43.图3是与包括信号灯状态识别处理在内的车辆控制处理有关的、ecu3的处理器23的功能框图。处理器23具有物体检测部31、追踪部32、可信度计算部33、状态识别部34、驾驶计划部35以及车辆控制部36。处理器23具有的这些各部例如是通过在处理器23上动作的计算机程序实现的功能模块。或者，处理器23具有的这些各部也可以是设置于处理器23的专用的运算电路。另外，处理器23具有的这些各部中的物体检测部31、追踪部32、可信度计算部33以及状态识别部34执行信号灯状态识别处理。此外，在车辆10设置有多个摄像机的情况下，处理器23也可以针对每个摄像机，根据由该摄像机得到的图像执行信号灯状态识别处理。
44.物体检测部31每当从摄像机2接收到图像时，通过将接收到的最新的图像输入到物体检测用的第1识别器，检测该图像上的包括检测对象物体(包括车辆)的物体区域，并且确定该检测对象物体的种类。
45.在本实施方式中，物体检测部31利用dnn作为第1识别器，该dnn为了检测图像中示出的包括检测对象物体的物体区域、并且识别检测对象物体的种类而预先学习。物体检测部31利用的dnn例如能够为诸如single shot multibox detector(ssd)或者faster r
‑
cnn的、具有卷积神经网络(以下简称为“cnn”)型的架构的dnn。
46.图4是示出被用作第1识别器的dnn的结构的一个例子的图。dnn400具有设置于被输入图像的输入侧的主体部401、与主体部401相比设置于输出侧的位置检测部402以及种类推测部403。位置检测部402根据来自主体部401的输出，输出在图像上示出的检测对象物体的外接矩形作为物体区域。种类推测部403根据来自主体部401的输出，计算在由位置检
测部402检测出的物体区域中示出的检测对象物体的每个种类的可信度。此外，位置检测部402以及种类推测部403也可以一体形成。
47.主体部401例如能够为具有从输入侧朝向输出侧串联连接的多个层的cnn。在该多个层中包括2个以上的卷积层。进而，在主体部401具有的多个层中也可以包括针对1个或者针对多个卷积层设置的池化层。另外，在主体部401具有的多个层中也可以包括1个以上的全连接层。例如，主体部401能够为与ssd的基本层同样的结构。或者，主体部401也可以依照诸如vgg
‑
19、alexnet或者网中网(network
‑
in
‑
network)的其他cnn架构来构成。
48.主体部401在被输入图像时，通过针对该图像执行各层中的运算，输出根据该图像计算出的特征图像(feature map)。此外，主体部401也可以输出分辨率不同的多个特征图像。例如，主体部401也可以输出具有与输入的图像的分辨率相同的分辨率的特征图像、和比输入的图像的分辨率低的分辨率的1个以上的特征图像。
49.向位置检测部402以及种类推测部403分别输入从主体部401输出的特征图像。另外，位置检测部402以及种类推测部403各自能够为例如具有从输入侧朝向输出侧串联连接的多个层的cnn。关于位置检测部402以及种类推测部403的每一个，在cnn具有的多个层中可以包括2个以上的卷积层。另外，关于位置检测部402以及种类推测部403的每一个，在cnn具有的多个层中也可以包括针对1个或者针对多个卷积层设置的池化层。此外，位置检测部402以及种类推测部403也可以共用cnn具有的卷积层以及池化层。进而，关于位置检测部402以及种类推测部403的每一个，在多个层中也可以包括1个以上的全连接层。在该情况下，全连接层优选与各卷积层相比设置于输出侧。另外，来自各卷积层的输出也可以直接输入全连接层。另外，种类推测部403的输出层既可以为依照softmax函数(又称“归一化指数函数”)计算检测对象物体的各个种类的可信度的softmax层，也可以为依照sigmoid函数计算检测对象物体的各个种类的可信度的sigmoid层。
50.位置检测部402以及种类推测部403例如为了针对图像上的各种位置、各种尺寸以及各种纵横比的每个区域输出检测对象物体的各个种类的可信度而学习。因此，识别器400通过被输入图像，针对图像上的各种位置、各种尺寸以及各种纵横比的每个区域，输出检测对象物体的各个种类的可信度。然后，位置检测部402以及种类推测部403将任意种类的检测对象物体的可信度为预定可信度阈值以上的区域，检测为示出该种类的检测对象物体的物体区域。
51.在识别器400学习时利用的训练数据所包含的图像(训练图像)中，例如，对检测对象物体的种类(例如普通乘用车、大巴、卡车、两轮车等)和作为示出检测对象物体的物体区域的该检测对象物体的外接矩形附加标志。
52.识别器400使用如上述的大量的训练图像，例如依照诸如误差反向传播法的学习手法进行学习。处理器23通过利用这样学习后的识别器400，能够从图像中高精度地检测作为检测对象的物体。
53.此外，在检测对象物体中也可以包括车辆10的周围的其他车辆以外的、影响车辆10的行驶控制的物体。例如，这样的物体包括人、道路标识、信号灯、行车道划区线等道路标示以及道路上的其他物体等。在该情况下，第1识别器为了还检测这些物体而预先学习为即可。于是，物体检测部31通过将图像输入到该第1识别器，也能够检测出这些物体。
54.物体检测部31进而也可以通过执行non
‑
maximum suppression(nms)处理，在至少
部分重复的2个以上的物体区域中，从推测为示出同一物体的物体区域中选择一个物体区域。
55.物体检测部31将各物体区域的图像上的位置以及范围、和包含于该物体区域的物体的种类登记到检测物体列表。然后，物体检测部31将检测物体列表存储到存储器22。进而，物体检测部31关于各物体区域，将由第1识别器的主体部根据包含于该物体区域的各像素计算输出到可信度计并且算部33的特征图像，存储到存储器22。此外，输出到可信度计算部33的特征图像能够为具有与输入到第1识别器的图像的分辨率相同的分辨率的图像。另外，在通过第1识别器的主体部具有的池化层等计算具有比输入的图像的分辨率低的分辨率的特征图像的情况下，也可以将具有该低的分辨率的特征图像输出到可信度计算部33。进而，也可以将由第1识别器的主体部计算的、具有彼此不同的分辨率的多个特征图像输出到可信度计算部33。
56.追踪部32关于从最新的图像检测出的各个物体区域，将在该物体区域中示出的检测对象物体与参照检测物体列表从过去的图像中检测出的检测对象物体对应起来，追踪在该物体区域中示出的检测对象物体。进而，在追踪中的检测对象物体中追踪中的车辆多于预定数量(例如5～10)的情况下，追踪部32从这些追踪中的车辆中，将预定数量的车辆选择为作为信号灯状态识别的对象的车辆。
57.追踪部32例如通过对最新的图像中的关注的物体区域以及过去的图像中的物体区域应用诸如lucas
‑
kanade法的基于光流的追踪处理，追踪在该物体区域中示出的检测对象物体。因此，追踪部32例如通过对关注的物体区域应用诸如sift或者harris算子的用于抽出特征点的滤波器，从而从该物体区域抽出多个特征点。然后，追踪部32关于多个特征点的每一个，通过依照所应用的追踪手法确定过去的图像中的物体区域中的对应的点，计算光流即可。或者，追踪部32也可以通过对最新的图像中的关注的物体区域以及过去的图像中的物体区域应用其他追踪手法，来追踪在该物体区域中示出的检测对象物体，上述其他追踪手法被应用于从图像检测出的移动物体的追踪。
58.追踪部32将从最新的图像检测出的检测对象物体中的未与过去的图像中示出的检测对象物体对应起来的检测对象物体，作为新的追踪对象，分配与其他追踪中的检测对象物体不同的识别编号，将该分配的识别编号登记到检测物体列表。另一方面，追踪部32将从最新的图像检测出的检测对象物体中的与过去的图像中示出的检测对象物体对应起来的检测对象物体、即追踪中的检测对象物体，与和分配给该追踪中的检测对象物体的识别编号相同的识别编号对应起来。
59.如上所述，在存在多于预定数量的追踪中的车辆(以下有时简称为“追踪车辆”)情况下，追踪部32从追踪车辆中将预定数量的追踪车辆选择为作为信号灯状态识别的对象的车辆。
60.例如，越接近车辆10的追踪车辆，对车辆10的驾驶控制的影响越大，所以追踪部32从追踪车辆中的接近车辆10的一方开始依次选择预定数量的追踪车辆。例如，在图像上示出追踪车辆的物体区域越大，推测为从车辆10至该追踪车辆的距离越近。因此，例如，追踪部32从最新的图像上的物体区域的尺寸大的一方开始依次选择预定数量的追踪车辆。
61.或者，追踪部32也可以根据追踪车辆各自的物体区域的下端在图像上的位置，选择预定数量的追踪车辆。当追踪车辆在与车辆10行驶中的道路相同的道路上行驶的情况
下，图像上的示出该追踪车辆的物体区域的下端的位置被推测为该检测对象物体所处的路面上的位置。而且，检测对象物体越接近车辆10，从摄像机2向该检测对象物体所处的路面上的位置的方位越向下，所以图像上的物体区域的下端也越接近图像的下端。因此，物体区域的下端的位置越接近图像端，推测为从车辆10至该物体区域中示出的追踪车辆的距离越接近。因此，追踪部32也可以从各追踪车辆中选择预定数量的追踪车辆，选择时，在最新的图像中，从物体区域的下端接近图像的下端的一方开始依次选择。
62.或者，关于追踪车辆的每一个，追踪部32也可以根据示出该追踪车辆的物体区域的尺寸(例如横宽)与假设为与该追踪车辆相同种类的基准物体从车辆10离开预定距离时的基准尺寸之比，来推测从车辆10至该追踪车辆的距离。再或者，在车辆控制系统1具有lidar或者雷达这样的测距传感器(未图示)的情况下，也可以通过该测距传感器测量直至各追踪车辆的距离。在该情况下，例如，与图像上的示出追踪车辆的物体区域的重心对应的、与来自摄像机2的方位相当的来自测距传感器的方位的距离被测量为车辆10至该追踪车辆的距离。然后，追踪部32从推测或者测量出的距车辆10的距离近的一方开始依次选择预定数量的追踪车辆即可。
63.再或者，追踪部32也可以从各追踪车辆中选择按照行车道决定的数量的追踪车辆。例如，追踪部32选择在与车辆10行驶中的行车道相同的行车道上行驶中的追踪车辆中的、被推测为最接近车辆10的追踪车辆。进而，追踪部32从与车辆10行驶中的行车道左右邻接的各个行车道、以及与这些邻接行车道进一步邻接的行车道(即以车辆10行驶中的行车道为中心的左右各二个行车道)的每一条行车道，选择被推测为最接近车辆10的追踪车辆。在该情况下，例如，在物体检测部31从最新的图像中检测出行车道划区线的情况下、或者本地化处理部(未图示)从最新的图像中检测出行车道划区线的情况下，追踪部32根据行车道划区线和物体区域之间的位置关系，关于各个追踪车辆确定该追踪车辆行驶中的行车道即可。例如，关于关注的追踪车辆，追踪部32判定为该追踪车辆位于由位于包括该追踪车辆的物体区域的下端两侧的两个行车道划区线夹着的行车道上即可。另外，追踪部32通过针对每个行车道执行与上述追踪车辆的选择同样的处理，选择在该行车道行驶中的追踪车辆中的最接近车辆10的追踪车辆即可。此外，追踪部32也可以针对每个行车道从接近车辆10的一方开始依次选择二台以上的追踪车辆。
64.图5是示出作为信号灯状态识别的对象的车辆的选择的一个例子的图。在图像500中，拍摄有多台车辆，各车辆被检测为检测对象物体。在与车辆10行驶中的行车道的右侧邻接的行车道上行驶的各车辆中，示出车辆501的物体区域最大，推测为最接近车辆10。因此，车辆501被选择为作为信号灯状态识别的对象的物体。然后，根据包括车辆501的物体区域511的各像素值求出的特征被用于识别关于车辆501的信号灯状态。
65.同样地，在与车辆10行驶中的行车道相同的行车道上行驶的各车辆中，示出车辆502的物体区域最大，推测为最接近车辆10。因此，车辆502被选择为作为信号灯状态识别的对象的物体。然后，根据包括车辆502的物体区域512的各像素值求出的特征被用于识别关于车辆502的信号灯状态。
66.根据变形例，追踪部32也可以将所有追踪车辆都选择为作为信号灯状态识别的对象的物体。
67.追踪部32将作为信号灯状态识别的对象的追踪车辆的识别编号通知给可信度计
算部33。另外，追踪部32根据关于信号灯状态识别的对象的判定结果，更新检测物体列表中的、表示作为信号灯状态识别的对象的物体的索引的值。
68.可信度计算部33关于各追踪车辆中的、作为信号灯状态识别的对象的追踪车辆的各个追踪车辆，将根据包括该追踪车辆的物体区域内的像素值求出的特征输入到执行时间轴方向的卷积运算的第2识别器，计算关于追踪车辆的信号灯能够取的各个状态的可信度。
69.在本实施方式中，可信度计算部33关于左右各自的转向灯，计算该转向灯的状态是闪烁状态的可信度。进而，可信度计算部33计算刹车灯的状态是点亮开始状态的可信度、是点亮中状态的可信度、是点亮结束状态的可信度以及是熄灭中的可信度。此外，点亮开始状态是在最近的预定期间内此前一直熄灭的刹车灯点亮了的状态、即从熄灭切换到点亮的状态。另外，点亮结束状态是在最近的预定期间内此前一直点亮的刹车灯熄灭了的状态、即从点亮切换到熄灭的状态。进而，点亮中状态是在最近的预定期间中刹车灯持续点亮的状态。并且，熄灭中状态是在最近的预定期间刹车灯持续熄灭的状态。此外，预定期间例如是第2识别器进行时间轴方向的卷积运算的期间。
70.在可信度计算部33中，例如，作为根据示出作为信号灯状态识别的对象的追踪车辆的物体区域内的像素值求出的特征，能够利用通过第1识别器的主体部计算的特征图像中的、包含于该物体区域的特征。由此，不仅是作为信号灯状态识别的对象的追踪车辆自身的特征，而且该追踪车辆周围的环境的特征也能够用于信号灯的状态识别。在本实施方式中，第2识别器在关于信号灯能够取的各个状态计算可信度时，还能够考虑由作为信号灯状态识别的对象的追踪车辆与其他车辆的相对位置关系带来的影响、例如诸如作为信号灯状态识别的对象的追踪车辆的转向灯等的一部分被其他车辆遮挡的状况。例如，在特征图像的分辨率与输入到第1识别器的图像的分辨率相同的情况下，与该图像上的物体区域对应的、特征图像上的区域内包含的各特征为根据物体区域内的像素值求出的特征。另外，在特征图像的分辨率低于输入到第1识别器的图像的分辨率的情况下，根据特征图像的分辨率相对输入的图像的分辨率之比而校正物体区域的坐标之后的位置以及范围，成为与物体区域对应的特征图像上的区域。而且，包含于该特征图像上的区域的各特征为根据物体区域内的像素值求出的特征。例如，输入的图像上的物体区域的左上端位置以及右上端位置分别是(tlx，tly)以及(brx，bry)，对输入的图像进行1/n(n是2以上的整数)的小型化，计算特征图像。在该情况下，图像上的与物体区域对应的特征图像上的区域的左上端位置以及右下端位置分别为(tlx/n，tly/n)以及(brx/n，bry/n)。
71.根据变形例，可信度计算部33也可以将输入到第1识别器的图像上的示出作为信号灯状态识别的对象的追踪车辆的物体区域内的各像素的值本身，作为输入到第2识别器的、根据示出作为信号灯状态识别的对象的追踪车辆的物体区域内的像素值求出的特征。或者，可信度计算部33也可以将对该物体区域内的各像素进行诸如卷积运算的预定的滤波处理而得到的值，作为输入到第2识别器的、根据示出作为信号灯状态识别的对象的追踪车辆的物体区域内的像素值求出的特征。
72.可信度计算部33通过关于各物体区域对抽出的特征进行下采样或者上采样，尺寸调整为预定的尺寸(例如32
×
32)。由此，即使在追踪车辆的追踪途中车辆10与该追踪车辆之间的相对距离变化、从而图像上的追踪车辆的尺寸变化，第2识别器也将输入的特征作为恒定的尺寸对待，所以第2识别器的结构得到简化。
73.图6是示出检测物体列表的一个例子的图。在检测物体列表600中，关于追踪中的检测对象物体的每一个储存：表示该物体是否为信号灯状态识别对象的索引、对该物体分配的识别编号、表示存储有与该物体有关的信息的存储器22的地址的指针以及利用状态识别部34识别信号灯的状态的次数(即，对应的物体区域内的特征被输入第2识别器的次数)。进而，在检测物体列表600中，关于追踪中的检测对象物体的每一个储存表示物体区域的位置及范围的信息(未图示)以及表示检测对象物体的种类的信息(未图示)等。另外，在利用关于各检测对象物体的指针表示的存储器22上的储存区域601中，存储根据最近的预定期间内的时间序列的一连串的图像的各个物体区域求出的被输入到第2识别器的特征以及最新的信号灯的状态的识别结果。
74.针对作为信号灯状态识别的对象的追踪车辆的每一个，可信度计算部33关于最近的预定期间中包含的时间序列的一连串的图像，将根据包括该追踪车辆的物体区域内的像素值求出的特征按照时间序列依次输入到执行时间轴方向的卷积运算的第2识别器，从而计算该追踪车辆的信号灯能够取的各个状态的可信度。
75.此外，预定期间的长度优选为与转向灯的闪烁周期相同的程度。其原因为，一般，在转向灯点亮的情况下，转向灯以预先决定的闪烁周期反复点亮和熄灭。因此，通过将根据具有该闪烁周期以上的长度的期间中的各图像得到的特征输入到第2识别器，第2识别器能够高精度地计算关于转向灯的状态的可信度。另一方面，预定期间越长，输入到第2识别器的特征的数量越增加，利用第2识别器执行的运算量也增加。所以，为了利用第2识别器执行运算而要求的硬件资源的量也增加。这样，根据要求的硬件资源的观点，预定期间越短越优选。由此，如上所述，预定期间的长度优选为与转向灯的闪烁周期相同的程度。但是，在ecu3的硬件资源有富余的情况下，预定期间的长度也可以比转向灯的闪烁周期长。在该情况下，例如，在第2识别器的设计以及学习时，以使所要求的硬件资源与信号灯的状态的识别精度的折中为最佳的方式，设定预定期间的长度即可。
76.在可信度计算部33中，作为执行时间轴方向的卷积运算的第2识别器，能够使用具有cnn型的架构的神经网络。在该情况下，第2识别器例如具有一个以上的卷积层(以下称为“时间特征卷积层”)，该卷积层对从紧前面的层输出的特征图像沿时间轴方向执行卷积运算。各个时间特征卷积层的时间轴方向的内核尺寸例如被设定成通过经由所有时间特征卷积层，在包括一次输入的多个特征的整个上述预定期间进行卷积运算。时间特征卷积层例如既可以关于时间轴方向以及空间方向的任意方向都执行卷积运算(以下称为“三维卷积运算”)、或者也可以仅关于时间轴方向执行卷积运算(以下称为“时间维度卷积运算”)。进而，时间特征卷积层还可以关于信道方向也执行卷积运算或者全连接运算。另外，在第2识别器具有多个时间特征卷积层的情况下，也可以该多个时间特征卷积层中的某一个层执行三维卷积运算，并该多个时间特征卷积层的其他层执行时间维度卷积运算。进而，第2识别器也可以具有一个以上的在时间轴方向上不执行卷积运算而关于空间方向执行卷积运算的卷积层(以下称为“空间特征卷积层”)。该空间特征卷积层也可以关于信道方向执行卷积运算或者全连接运算。在第2识别器具有1个以上的空间特征卷积层的情况下，空间特征卷积层和时间特征卷积层的顺序可以是任意的顺序。例如，既可以从输入侧向输出侧，按照空间特征卷积层、时间特征卷积层的顺序依次设置各卷积层，或者，也可以是与此相反的顺序。进而，也可以交替设置空间特征卷积层和时间特征卷积层。进而，第2识别器也可以具有
1个以上的池化层。另外，第2识别器也可以具有1个以上的活性化层以及1个以上的全连接层。在第2识别器的输出层中，例如，作为激活函数，使用sigmoid函数或者softmax函数。而且，第2识别器的输出层关于左右各自的转向灯输出该转向灯的状态是闪烁状态的可信度，作为该转向灯的状态的1分类的分类结果。另外，在第2识别器的输出层中，作为刹车灯的状态的4分类的分类结果，输出刹车灯的状态是点亮开始状态的可信度、是点亮中状态的可信度、是点亮结束状态的可信度、以及是熄灭中的可信度。在输出层将sigmoid函数用作激活函数的情况下，关于各个状态，将作为sigmoid函数的输出值的0～1之间的值计算为可信度。
77.作为在第2识别器的学习中使用的、与转向灯的状态有关的训练数据，例如，使用根据在整个上述预定期间得到的时间序列的一连串的图像的各个图像中示出的包括车辆的物体区域得到的特征的组、和表示与该特征的组对应的转向灯的状态(闪烁状态或者熄灭状态)的标签的组合。通过利用大量的这样的训练数据，依照误差反向传播法对第2识别器进行学习，第2识别器能够高精度地计算转向灯能够取的各个状态的可信度。
78.另一方面，在第2识别器的学习中使用的、与刹车灯的状态有关的训练数据也能够为与和上述转向灯的状态有关的训练数据同样的数据。但是，关于刹车灯，刹车灯的状态根据驾驶员是否踩刹车而变化，特别是，刹车灯点亮的期间的长度也不定。因此，作为与刹车灯的点亮开始状态或者点亮结束状态有关的训练数据，在获取一连串的特征的组的期间中使用包括刹车灯从熄灭切换到点亮的定时或者从点亮切换到熄灭的定时的数据。
79.图7是示出刹车灯的各个状态与获取用作训练数据的一连串的特征的组的期间的关系的一个例子的图。在图7中，横轴表示时间。另外，波形701表示刹车灯点亮或者熄灭。在该例子中，刹车灯在时刻t1从熄灭切换到点亮，另一方面，在时刻t2从点亮切换到熄灭。因此，在时刻t1前后的期间p1(即第2识别器进行时间轴方向的卷积运算的期间的2倍长度的期间)中，刹车灯的状态为点亮开始状态，在时刻t2前后的期间p3(即第2识别器进行时间轴方向的卷积运算的期间的2倍长度的期间)中，刹车灯的状态为点亮结束状态。然后，在时刻t1至时刻t2的期间，刹车灯持续点亮，所以在期间p1与期间p3之间的期间p2中，刹车灯的状态为点亮中状态。进而，在时刻t1以前或者时刻t2以后，刹车灯持续熄灭，所以在期间p1以前或者期间p3以后的期间p4中，刹车灯的状态为熄灭中状态。因此，作为被附加点亮开始状态的标签的训练数据，利用从期间t1内的一连串的图像的各个物体区域得到的特征，该期间t1包括时刻t1、并且为与第2识别器进行时间轴方向的卷积运算的期间相同的长度。同样地，作为被附加点亮结束状态的标签的训练数据，利用从期间t2内的一连串的图像的各个物体区域得到的特征，该期间t2包括时刻t2、并且为与第2识别器进行时间轴方向的卷积运算的期间相同的长度。另外，作为被附加点亮中状态的标签的训练数据，利用从包含于期间p2、并且与第2识别器进行时间轴方向的卷积运算的期间相同的长度的期间内的一连串的图像的各个物体区域得到的特征即可。同样地，作为被附加熄灭中状态的标签的训练数据，利用从包含于期间p4、并且与第2识别器进行时间轴方向的卷积运算的期间相同的长度的期间内的一连串的图像的各个物体区域得到的特征即可。
80.第2识别器处理包含于物体区域的特征即可，所以相比于第1识别器，输入层以及中间层的尺寸小也没有问题，并且，诸如权重系数的用于规定第2识别器的参数数量少也没有问题。因此，第2识别器相比于第1识别器，运算量更少，能够减小针对处理器23的运算负
荷。进而，第2识别器的学习所需的运算量也被削减。此外，在第1识别器以及第2识别器被分别构成为神经网络的情况下，也可以使用共用的训练数据，通过误差反向传播法使这些神经网络一体地学习。
81.另外，可信度计算部33也可以例如使用循环神经网络(recurrent neural network，rnn)、长短时间记忆(long short term memory，lstm)或者门控循环单元(gated recurrent unit，gru)这样的具有递归构造的神经网络作为第2识别器。在这样的具有递归构造的神经网络中，根据上次之前输入的数据计算出的运算结果被保持为内部状态，每当输入新的数据时，也参照保持为内部状态的运算结果，所以将沿着时间轴方向的追踪车辆的信号灯的外观上的变化用于计算该信号灯的状态的可信度。因此，可信度计算部33通过使用具有递归构造的神经网络作为第2识别器，能够高精度地计算追踪车辆的信号灯的状态的可信度。此外，即使在作为第2识别器使用具有递归构造的神经网络的情况下，第2识别器也使用与上述训练数据同样的训练数据进行学习即可。
82.在该情况下，关于各追踪车辆中的、作为信号灯状态识别的对象的追踪车辆的每一个，每当从摄像机2得到图像时，可信度计算部33将根据包括该追踪车辆的物体区域内的像素值求出的特征输入到第2识别器即可。由此，可信度计算部33能够计算追踪车辆的信号灯能够取的各个状态的可信度。
83.可信度计算部33关于作为信号灯状态识别的对象的追踪车辆的每一个，将各信号灯(左右各自的转向灯以及刹车灯)的每一个能够取的各个状态的可信度输出给状态识别部34。
84.状态识别部34关于作为信号灯状态识别的对象的追踪车辆的每一个，每当从可信度计算部33接收到各信号灯的每一个能够取的各个状态的可信度时，根据该可信度来识别各信号灯的状态。
85.在本实施方式中，关于左右各自的转向灯，求出闪烁状态的可信度。因此，在所关注的追踪车辆的左边的转向灯的闪烁状态的可信度为预定的阈值以上的情况下，状态识别部34识别为该追踪车辆的左边的转向灯的状态是闪烁状态。另一方面，在所关注的追踪车辆的左边的转向灯的闪烁状态的可信度小于预定的阈值的情况下，状态识别部34识别为该追踪车辆的左边的转向灯的状态是熄灭状态。状态识别部34针对所关注的追踪车辆的右边的转向灯也同样地，根据该转向灯的闪烁状态的可信度是否为预定的阈值以上来识别该转向灯的状态即可。
86.另一方面，关于刹车灯，如上所述，刹车灯点亮的期间的长度根据状况而变化。因此，在从表示刹车灯的时间序列的一连串的图像的各个图像得到的特征的时间序列的变化中无时间上的周期性。而且，在从刹车灯开始点亮或者熄灭经过一段时间以后，无刹车灯的外观变化的状态继续，所以根据状况，有时难以识别刹车灯的状态。例如，在如夜间车辆的尾灯点亮的状况下、或者周围的环境光在刹车灯的周边反射而看起来刹车灯发光的状况下，在从刹车灯点亮或者熄灭经过一段时间以后，可能难以识别出刹车灯点亮还是熄灭。因此，有时从第2识别器输出的、刹车灯能够取的各个状态的可信度的精度就不够高了。
87.另一方面，在刹车灯点亮的定时或者熄灭的定时的前后，从示出刹车灯的时间序列的一连串的图像的各个物体区域得到的特征的组能够示出刹车灯的外观的变化。因此，在刹车灯点亮的定时或者熄灭的定时的前后，从第2识别器输出的、刹车灯能够取的各个状
态的可信度的精度足够高。
88.因此，状态识别部34根据紧前面的刹车灯的状态、可否迁移信息以及刹车灯能够取的各个候选状态的可信度来识别刹车灯的状态。在本实施方式中，状态识别部34参照存储于存储器22的可否迁移信息，确定能够从紧前面的刹车灯的状态迁移的2个以上的能够取的状态(即候选状态)。然后，状态识别部34将确定出的候选状态中的、由第2识别器计算的可信度最大的候选状态识别为刹车灯的最新的状态。
89.图8是示出刹车灯的状态迁移的一个例子的图。在图8所示的状态迁移图800中，各个块表示刹车灯能够取的状态，各个箭头表示可否迁移信息中示出的容许的状态迁移。如状态迁移图800所示，作为刹车灯能够取的状态，有点亮开始状态801、点亮中状态802、点亮结束状态803以及熄灭中状态804这4个状态。而且，从点亮开始状态801出发，不会出现刹车灯不从点亮切换到熄灭就持续刹车灯的熄灭的情况，所以刹车灯的状态只可能迁移到无状态变化(即保持点亮开始状态801)、点亮中状态802以及点亮结束状态803的某一个。另外，从点亮中状态802出发，不会出现刹车灯不从点亮切换到熄灭而刹车灯持续熄灭或者再点亮的情况，所以刹车灯的状态只可能迁移到无状态变化(即保持点亮中状态802)、或者点亮结束状态803。进而，从点亮结束状态803出发，不会出现刹车灯不从熄灭切换到点亮而刹车灯持续点亮，所以刹车灯的状态只可能迁移到无状态变化(即保持点亮结束状态803)、熄灭中状态804以及点亮开始状态801中的某一个。而且，从熄灭中状态804出发，不会出现刹车灯不从熄灭切换到点亮而刹车灯持续点亮或者再熄灭，所以刹车灯的状态只可能迁移到无状态变化(即保持熄灭中状态804)、或者点亮开始状态801中的某一个。
90.例如，关于关注的追踪车辆，在紧前面的刹车灯的状态是点亮开始状态的情况下，状态识别部34将点亮开始状态、点亮中状态以及点亮结束状态中的与最高的可信度对应的状态识别为刹车灯的状态。因此，即使假设在本次得到的刹车灯的各个候选状态的可信度中的、熄灭中状态的可信度最高的情况下，也不会将刹车灯的状态识别为熄灭中状态。
91.另外，例如，关于关注的追踪车辆，在紧前面的刹车灯的状态是熄灭中状态的情况下，状态识别部34将熄灭中状态以及点亮开始状态中的与最高的可信度对应的状态识别为刹车灯的状态。因此，即使假设在本次得到的刹车灯的各个候选状态的可信度中的、点亮中状态的可信度或者点亮结束状态的可信度最高的情况下，也不会将刹车灯的状态识别为点亮中状态或者点亮结束状态。如这些例子所述，误辨识刹车灯的状态得到抑制。
92.根据变形例，从刹车灯的各个候选状态可否向其他候选状态的每一个迁移，也可以利用进行该候选状态间迁移的概率(以下简称为“迁移概率”)表示。在该情况下，作为可否迁移信息，将各候选状态间的迁移概率预先存储到存储器22。在该情况下，状态识别部34关于刹车灯能够取的各个候选状态，对该候选状态的可信度乘以从紧前面的刹车灯的状态向该候选状态的迁移概率，来计算校准可信度。然后，状态识别部34将刹车灯能够取的各个候选状态中的校准可信度最大的候选状态识别为刹车灯的最新的状态即可。
93.在该情况下，状态识别部34也可以根据车辆10的周围的状况或者所关注的追踪车辆的周围的状况，动态地变更各候选状态间的迁移概率。例如，在车辆10具有测距传感器的情况下，状态识别部34也可以根据由测距传感器测量的直至关注的追踪车辆的距离的变化，判定关注的追踪车辆是否减速。或者，在诸如测距传感器是雷达的情况那样测距传感器自身能够测量所关注的追踪车辆的速度的情况下，状态识别部34也可以根据由测距传感器
测量出的速度的测量结果，判定关注的追踪车辆是否减速。此外，包括所关注的追踪车辆的物体区域的图像上的位置与从摄像机2向该追踪车辆的方位一对一地对应，并且摄像机2和测距传感器的位置关系已知，所以状态识别部34能够根据包括关注的追踪车辆的物体区域的图像上的位置，推测从测距传感器向所关注的追踪车辆的方位。因此，状态识别部34可以将该推测出的方位处的测距传感器的测量结果用作直至关注的追踪车辆的距离或者速度。而且，在关注的追踪车辆未减速的情况下，由于关注的追踪车辆踩刹车的可能性低，所以状态识别部34也可以使向点亮开始状态以及点亮中状态迁移的迁移概率降低、或者使向点亮结束状态或者熄灭中状态迁移的迁移概率提高。
94.另外，状态识别部34也可以根据由物体检测部31得到的物体检测的结果，判定在关注的追踪车辆的前方是否存在其他车辆。而且，在关注的追踪车辆的前方存在其他车辆的情况下，关注的追踪车辆有可能踩刹车，所以状态识别部34也可以使向点亮开始状态以及点亮中状态迁移的迁移概率提高、或者使向点亮结束状态或者熄灭中状态迁移的迁移概率降低。
95.进而，也可以由ecu3根据经由无线终端接收到的交通信息等动态地变更各候选状态间的迁移概率。例如，越接近在交通上示出的进行行车道管制的地点或者拥堵地点，车辆10的周围的其他车辆踩刹车的可能性变得越高。因此，由gps接收机等定位出的车辆10的当前位置越接近进行行车道管制的地点或者拥堵地点，状态识别部34也可以关于所有追踪车辆，使向点亮开始状态以及点亮中状态迁移的迁移概率越提高、或者使向点亮结束状态或者熄灭中状态迁移的迁移概率越降低。
96.根据其他变形例，关于所关注的追踪车辆，状态识别部34也可以根据在最近的一定期间中，每当得到图像时计算的刹车灯能够取的各个候选状态的可信度和刹车灯能够取的各个候选状态间的迁移概率，对刹车灯的状态最大似然推测。在该情况下，状态识别部34依照可利用于对象的状态随着时间经过而变化的情况的各种最大似然推测手法中的任意手法，推测刹车灯的状态即可。
97.状态识别部34将作为信号灯状态识别的对象的各个追踪车辆的信号灯状态识别结果登记到检测物体列表，并且通知给驾驶计划部35。
98.驾驶计划部35参照检测物体列表，以防止车辆10和存在于车辆10的周围的物体碰撞的方式，生成车辆10的1个以上的预定行驶路径(轨迹)。预定行驶路径例如被表示为从当前时刻到未来预定时间的各时刻的、车辆10的目标位置的集合。例如，驾驶计划部35参照检测物体列表，使用将摄像机2安装到车辆10的安装位置等信息执行视点变换处理，从而将检测物体列表中的物体的图像内坐标变换为鸟瞰图像上的坐标(鸟瞰坐标)。然后，驾驶计划部35针对一连串的鸟瞰坐标执行使用kalman filter或者particle filter等的追踪处理，追踪检测物体列表中登记的物体，根据通过该追踪结果得到的轨迹，推测物体未来各个预定时间的预测轨迹。此时，驾驶计划部35将车辆的信号灯状态识别结果用于预测轨迹的推测。例如，在关注的车辆的左边的转向灯的状态是闪烁状态的情况下，该车辆向左侧变更行车道或者左拐的可能性高。因此，关于该车辆，驾驶计划部35推测向左侧变更行车道或者左拐的预测轨迹。另外，在关注的车辆的刹车灯的状态是点亮开始状态的情况下或者是点亮中状态的情况下，该车辆减速的可能性高。因此，关于该车辆，驾驶计划部35推测诸如比当前时间点减速的预测轨迹。进而，在关注的车辆的左右各自的转向灯的状态都是熄灭状态、
并且刹车灯的状态是点亮结束状态或者熄灭中状态的情况下，该车辆不减速而直行的可能性高。因此，关于该车辆，驾驶计划部35推测诸如不减速而直行的预测轨迹。
99.驾驶计划部35根据追踪中的各物体的预测轨迹和车辆10的位置、速度以及姿势，以关于任意物体使到之后预定时间的追踪中的各个物体与车辆10之间的距离的预测值都为预定距离以上的方式，生成车辆10的预定行驶路径。此外，驾驶计划部35例如能够根据从搭载于车辆10的gps接收机(未图示)得到的表示车辆10的当前位置的当前位置信息，推测车辆10的位置、速度以及姿势。或者，也可以由本地化处理部(未图示)每当通过摄像机2得到图像时，从该图像检测车辆10的左右的行车道划区线，并对检测的行车道划区线和存储于存储器22的地图信息进行匹配，从而推测车辆10的位置、速度以及姿势。进而，驾驶计划部35例如也可以参照车辆10的当前位置信息和存储于存储器22的地图信息，确认车辆10可行驶的行车道的数量。而且，在车辆10可行驶的行车道存在多个的情况下，驾驶计划部35也可以以变更车辆10行驶的行车道的方式生成预定行驶路径。
100.此外，驾驶计划部35也可以生成多个预定行驶路径。在该情况下，驾驶计划部35也可以选择多个预定行驶路径中的、车辆10的加速度的绝对值的总和为最小的路径。
101.驾驶计划部35将生成的预定行驶路径通知给车辆控制部36。
102.车辆控制部36控制车辆10的各部，以使车辆10沿着被通知的预定行驶路径行驶。例如，车辆控制部36依照被通知的预定行驶路径以及由车速传感器(未图示)测量的车辆10的当前的车速，求出车辆10的加速度，以成为该加速度的方式设定油门踏板开度或者刹车量。然后，车辆控制部36依照设定的油门踏板开度求出燃料喷射量，将与该燃料喷射量对应的控制信号输出给车辆10的引擎的燃料喷射装置。或者，车辆控制部36将与设定的刹车量对应的控制信号输出给车辆10的刹车器。
103.进而，车辆控制部36在为了使车辆10沿着预定行驶路径行驶而变更车辆10的前进道路的情况下，依照该预定行驶路径求出车辆10的操舵角，将与该操舵角对应的控制信号输出给控制车辆10的操舵轮的致动器(未图示)。
104.图9是由处理器23执行的包括信号灯状态识别处理在内的车辆控制处理的动作流程图。处理器23每当从摄像机2接收到图像时，依照图9所示的动作流程图，执行车辆控制处理。此外，在以下所示的动作流程图中，步骤s101～s107的处理与信号灯状态识别处理对应。
105.处理器23的物体检测部31将从摄像机2得到的最新的图像输入给第1识别器，检测在该图像中示出的检测对象物体(包括车辆)。即，物体检测部31在图像上检测包括检测对象物体的物体区域(步骤s101)。进而，物体检测部31识别该检测对象物体的种类。然后，物体检测部31将检测的物体登记到检测物体列表。
106.处理器23的追踪部32关于最新的图像中的包括检测对象物体的物体区域的每一个，根据该物体区域和过去的图像中的物体区域，追踪最新的图像中的、在该物体区域中示出的检测对象物体(步骤s102)。进而，追踪部32从追踪中的检测对象物体中，将预定数量的车辆选择为作为信号灯状态识别的对象的追踪车辆(步骤s103)。
107.处理器23的可信度计算部33关于作为信号灯状态识别的对象的追踪车辆的每一个，抽出根据示出该追踪车辆的物体区域内的像素值求出的特征(步骤s104)。然后，可信度计算部33关于作为信号灯状态识别的对象的追踪车辆的每一个，将抽出的特征输入到第2
识别器，从而计算该追踪车辆的左右的转向灯能够取的各个状态以及刹车灯能够取的各个候选状态的可信度(步骤s105)。
108.处理器23的状态识别部34关于作为信号灯状态识别的对象的追踪车辆的每一个，根据关于左右的转向灯能够取的各个候选状态得到的可信度，识别该转向灯各自的状态(步骤s106)。
109.另外，状态识别部34关于作为信号灯状态识别的对象的追踪车辆各自的刹车灯，将从紧前面的状态能够迁移的候选状态中的可信度最大的候选状态识别为该追踪车辆的刹车灯的最新的状态(步骤s107)。
110.处理器23的驾驶计划部35关于各追踪车辆，参照信号灯状态识别结果求出该追踪车辆的预测轨迹，以与各追踪车辆的预测轨迹为预定的距离以上的方式，生成车辆10的预定行驶路径(步骤s108)。进而，驾驶计划部35参照检测物体列表，以与登记于检测物体列表的追踪车辆以外的各检测对象物体的预测轨迹也为预定的距离以上的方式，生成车辆10的预定行驶路径即可。然后，处理器23的车辆控制部36以使车辆10沿着预定行驶路径行驶的方式，控制车辆10(步骤s109)。然后，处理器23结束车辆控制处理。
111.如以上说明的那样，该信号灯状态识别装置通过将以时间序列的方式得到的一连串的图像分别输入到第1识别器，从一连串的图像的每一个中检测包括车辆的物体区域，并且追踪该车辆。另外，该信号灯状态识别装置关于追踪中的车辆，将根据物体区域内的像素值求出的特征输入到具有递归构造或者执行时间轴方向的卷积运算的第2识别器，从而计算该车辆的信号灯能够取的各个候选状态的可信度。然后，该信号灯状态识别装置根据与可否从该车辆的紧前面的信号灯的状态向各个候选状态迁移有关的信息、和各个候选状态的可信度，识别该车辆的信号灯的状态。由此，即使信号灯的点亮及熄灭的周期、以及信号灯点亮中的期间的长度不定，该信号灯状态识别装置也能够高精度地识别与信号灯的点亮或者熄灭有关的状态。
112.进而，该信号灯状态识别装置利用从各个图像中检测物体的第1识别器，从时间序列的一连串的图像的每一个中抽出输入到第2识别器的特征，所以相比于将图像整体输入到具有递归构造或者执行时间轴方向的卷积运算的识别器来识别信号灯的状态，作为整体能够削减运算量。另外，在第1识别器的学习中使用的图像是静止图像即可，另一方面，在第2识别器的学习中需要运动图像，但包含于该运动图像的各个图像的尺寸可以小于在第1识别器的学习中利用的图像的尺寸。因此，该信号灯状态识别装置能够削减各识别器的学习所需的成本(例如训练图像的标注所需的成本、训练图像的收集所需的成本等)，并且削减各识别器的学习所需的运算量以及运算时间。
113.根据变形例，可信度计算部33使用的第2识别器也可以关于刹车灯的状态，以示出点亮开始状态、点亮结束状态以及表示刹车灯是点亮中或者熄灭中的稳定状态这3分类的分类结果的方式预先学习。在该情况下，第2识别器的输出层利用sigmoid函数或者softmax函数作为激活函数，输出这3个状态的每个状态的可信度。例如，在将sigmoid函数用作激活函数的情况下，第2识别器的输出层关于点亮开始状态、点亮结束状态以及稳定状态的每一个，输出具有0～1之间的任意的值的可信度。
114.在该情况下，关于刹车灯的状态，状态识别部34也与上述实施方式同样地根据紧前面的刹车灯的状态、状态间的迁移的可能性以及由第2识别器计算的可信度识别刹车灯
的状态即可。
115.图10是示出该变形例所涉及的刹车灯的状态迁移的一个例子的图。在图10所示的状态迁移图1000中，各个块表示刹车灯能够取的候选状态，各个箭头表示在可否迁移信息中示出的容许的状态迁移。如状态迁移图1000所示，作为刹车灯能够取的候选状态，有点亮开始状态1001、点亮中状态1002、点亮结束状态1003以及熄灭中状态1004这4个状态。另外，点亮中状态1002以及熄灭中状态1004包含于由第2识别器识别的、作为与刹车灯的状态有关的3个类的分类中的一个分类的稳定状态1005。
116.与上述实施方式同样地，从点亮开始状态1001出发，刹车灯的状态只能够迁移到无状态变化(即保持点亮开始状态1001)、点亮中状态1002以及点亮结束状态1003中的某一个。因此，关于关注的追踪车辆，在紧前面的刹车灯的状态是点亮开始状态1001的情况下，状态识别部34将刹车灯的最新的状态识别为关于点亮开始状态1001、点亮结束状态1003以及稳定状态1005的每一个由第2识别器得到的可信度中的最高的状态。其中，在稳定状态1005的可信度最高的情况下，状态识别部34将刹车灯的最新的状态识别为包含于稳定状态1005的两个状态(点亮中状态1002以及熄灭中状态1004)中的点亮中状态1002。
117.另外，从点亮中状态1002出发，刹车灯的状态只能够迁移到无状态变化(即保持点亮中状态1002)、或者点亮结束状态1003。因此，关于关注的追踪车辆，在紧前面的刹车灯的状态是点亮中状态1002的情况下，状态识别部34将刹车灯的最新的状态识别为点亮结束状态1003以及稳定状态1005中的由第2识别器得到的可信度高的一方的状态。其中，在稳定状态1005的可信度比点亮结束状态1003的可信度高的情况下，状态识别部34将刹车灯的最新的状态识别为包含于稳定状态1005的两个状态(点亮中状态1002以及熄灭中状态1004)中的点亮中状态1002。
118.进而，从点亮结束状态1003出发，刹车灯的状态只能够迁移到无状态变化(即保持点亮结束状态1003)、熄灭中状态1004以及点亮开始状态1001中的某一个。因此，关于关注的追踪车辆，在紧前面的刹车灯的状态是点亮结束状态1003的情况下，状态识别部34将刹车灯的最新的状态识别为关于点亮开始状态1001、点亮结束状态1003以及稳定状态1005的每一个由第2识别器得到的可信度中的最高的状态。其中，在稳定状态1005的可信度最高的情况下，状态识别部34将刹车灯的最新的状态识别为包含于稳定状态1005的两个状态(点亮中状态1002以及熄灭中状态1004)中的熄灭中状态1004。
119.另外，从熄灭中状态1004出发，刹车灯的状态只能够迁移到无状态变化(即保持熄灭中状态1004)、或者点亮开始状态1001。因此，关于关注的追踪车辆，在紧前面的刹车灯的状态是熄灭中状态1004的情况下，状态识别部34将刹车灯的最新的状态识别为点亮开始状态1001以及稳定状态1005中的由第2识别器得到的可信度高的一方的状态。但是，在稳定状态1005的可信度比点亮开始状态1001的可信度高的情况下，状态识别部34将刹车灯的最新的状态识别为包含于稳定状态1005的两个状态(点亮中状态1002以及熄灭中状态1004)中的熄灭中状态1004。
120.根据该变形例，能够将对于第2识别器来说可能难以识别的两个候选状态(点亮中状态以及熄灭中状态)作为一个状态来使第2识别器学习，所以第2识别器能够更准确地求出刹车灯能够取的各个候选状态的可信度。
121.此外，即使在该变形例中，也可以对刹车灯能够取的各个候选状态的每一个设定
向其他候选状态的每一个的迁移概率，作为可否迁移信息。然后，状态识别部34关于刹车灯能够取的各个候选状态，对该候选状态的可信度乘以从紧前面的刹车灯的状态向该候选状态的迁移概率，从而校准可信度。然后，状态识别部34也可以将刹车灯能够取的各个候选状态中的校正后的可信度最高的候选状态识别为刹车灯的最新的状态。另外，即使在该情况下，状态识别部34也可以根据车辆10的周围的状况或者关注的追踪车辆的周围的状况，动态地变更各候选状态间的迁移概率。进而，状态识别部34也可以与上述实施方式同样地，关于关注的追踪车辆，根据在最近的一定期间中每当得到图像时计算的刹车灯能够取的各个候选状态的可信度、和刹车灯能够取的各个候选状态间的迁移概率，对刹车灯的状态进行最大似然推测。
122.另外，一般，在车辆中，在从踩刹车的状态释放刹车后，立即再次踩刹车的可能性低。即，刹车灯一旦熄灭之后立即点亮的可能性低。因此，在上述实施方式或者变形例中，在关注的追踪车辆的紧前面的刹车灯的状态是点亮结束状态的情况下，状态识别部34也可以将刹车灯的状态识别为熄灭中状态以及点亮结束状态中的由第2识别器得到的可信度高的一方的状态。另外，也可以在作为可否迁移信息设定候选状态间的迁移概率的情况下，设定为从点亮结束状态向点亮开始状态的迁移概率比从点亮结束状态向熄灭中状态的迁移概率以及维持点亮结束状态的迁移概率低。
123.在上述实施方式或者变形例中，也可以在进行第2识别器学习时参照可否迁移信息。而且，在该可否迁移信息中，也可以根据是否容许从取得紧前面的图像时的、刹车灯能够取的各个候选状态中的可信度最大的候选状态(以下称为“前一候选状态”)向取得最新的图像时的、刹车灯能够取的各个候选状态中的可信度最大的候选状态(以下称为“下一候选状态”)的迁移，来调整学习的成本函数。例如，也可以以使不容许从前一候选状态向下一候选状态的迁移时的成本函数的值大于容许从前一候选状态向下一候选状态的迁移时的成本函数的值的方式，调整成本函数。由此，第2识别器被构成为能够更准确地计算刹车灯能够取的各个状态的可信度。
124.另外，根据其他变形例，关于关注的追踪车辆，可信度计算部33也可以还计算危险指示灯或者警光灯(例如搭载于巡逻车、消防车或者救护车的被用于告知紧急状态的信号灯)的状态的可信度。在该情况下，第2识别器以还输出危险指示灯能够取的状态(闪烁状态或者熄灭状态)的可信度、或者警光灯(旋转点亮状态或者熄灭状态)的可信度的方式预先学习即可。
125.在危险指示灯为闪烁状态的情况下，与转向灯同样地，危险指示灯以一定的周期反复闪烁。同样地，在警光灯为旋转点亮状态的情况下，警光灯使内置的发光元件以一定的旋转周期旋转。因此，状态识别部34能够与转向灯的状态的识别同样地识别危险指示灯以及警光灯的状态。即，关于关注的追踪车辆，在危险指示灯的闪烁状态的可信度是预定的阈值以上的情况下，状态识别部34识别为危险指示灯的状态是闪烁状态，另一方面，在危险指示灯的闪烁状态的可信度小于预定的阈值的情况下，状态识别部34识别为危险指示灯的状态是熄灭状态。同样地，关于关注的追踪车辆，在警光灯的旋转点亮状态的可信度是预定的阈值以上的情况下，状态识别部34识别为警光灯的状态是旋转点亮状态，另一方面，在警光灯的旋转点亮状态的可信度小于预定的阈值的情况下，状态识别部34识别为警光灯的状态是熄灭状态。
126.根据又一其他变形例，物体检测部31也可以利用dnn以外的识别器，从图像检测检测对象物体。例如，物体检测部31也可以将支持向量机(svm)用作第1识别器，该支持向量机(svm)以将根据在图像上设定的窗口计算的特征量(例如hog)作为输入，输出在该窗口中示出作为检测对象的物体的可信度的方式预先学习。物体检测部31在以各种方式变更在图像上设定的窗口的位置、尺寸以及纵横比的同时，根据该窗口计算特征量并将计算出的特征量输入到svm，从而求出该窗口的可信度。然后，物体检测部31判定为在关于某个种类的检测对象物体可信度为预定的可信度阈值以上的窗口中示出该检测对象物体，并且，将该窗口作为物体区域即可。此外，svm也可以按照作为检测对象的物体的种类来准备。在该情况下，物体检测部31通过关于各窗口，将根据该窗口计算的特征量输入到各个svm，从而按照物体的种类计算可信度即可。在该情况下，被输入到状态识别部34的第3识别器的物体区域的特征，能够作为诸如从判定为示出检测对象物体的窗口(即物体区域)抽出、并输入到svm的hog的特征量。
127.另外，上述实施方式或者变形例的、用于实现信号灯状态识别装置的处理器23的各部分功能的计算机程序也可以以记录到诸如半导体存储器、磁记录介质或者光记录介质的计算机可读取的可搬性的记录介质的形式来提供。
128.如以上所述，本领域技术人员能够在本发明的范围内，匹配实施的方式而进行各种变更。