控制装置、移动体、控制方法以及存储介质与流程

1.本发明涉及控制装置、移动体、控制方法以及存储介质。


背景技术：

2.在专利文献1中公开了如下技术：根据车速来切换相机中的信号识别或通过无线通信获取的信号识别中的任意一方的识别结果并显示于车内的显示器。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2009-61871号公报


技术实现要素：

6.发明所要解决的课题
7.然而，由于道路侧方的街道树木的影响而覆盖信号灯的一部分等行驶的道路的周边环境、降雪等天气条件，可能产生在相机(拍摄部)拍摄到的图像中无法准确地识别信号灯的显示的情况。另外，也可能产生根据通信状态而无法经由无线通信获取识别结果的情况。
8.本发明鉴于上述的课题，提供一种能够基于拍摄部的识别结果以及通信部通过通信接收到的显示信息的比较来决定信号灯的显示的技术。
9.用于解决课题的手段
10.本发明的一个方式所涉及的控制装置搭载于移动体，将由拍摄所述移动体的外界的拍摄部拍摄到的图像所包含的信号灯的显示显示于显示部，其中，
11.所述控制装置具备：
12.识别部，其根据所述图像识别信号灯的显示；
13.通信部，其通过无线通信接收所述信号灯的显示信息；以及
14.控制部，其基于由所述识别部识别出的所述信号灯的显示和由所述通信部接收到的所述显示信息来决定所述信号灯的显示，并将决定出的所述信号灯的显示显示于所述显示部，
15.所述控制部具备：
16.点亮颜色决定部，其将由所述识别部识别出的所述信号灯的点亮颜色与从基于所述无线通信的所述显示信息获取到的所述信号灯的点亮颜色进行比较，按照基于所述比较的结果的预定的优先顺序来决定在所述显示部中显示的所述信号灯的点亮颜色；以及
17.行进方向决定部，其将由所述识别部识别出的所述信号灯的行进方向的指示与从基于所述无线通信的所述显示信息获取到的所述信号灯的行进方向的指示进行比较，将所述比较的结果一致的行进方向的指示决定为显示于所述显示部的行进方向的指示。
18.本发明的另一方式所涉及的移动体具备控制装置，该控制装置将由拍摄外界的拍摄部拍摄到的图像所包含的信号灯的显示显示于显示部，其中，
19.所述控制装置具备：
20.识别部，其根据所述图像识别信号灯的显示；
21.通信部，其通过无线通信接收所述信号灯的显示信息；以及
22.控制部，其基于由所述识别部识别出的所述信号灯的显示和由所述通信部接收到的所述显示信息来决定所述信号灯的显示，并将决定出的所述信号灯的显示显示于所述显示部，
23.所述控制部具备：
24.点亮颜色决定部，其将由所述识别部识别出的所述信号灯的点亮颜色与从基于所述无线通信的所述显示信息获取到的所述信号灯的点亮颜色进行比较，按照基于所述比较的结果的预定的优先顺序来决定在所述显示部中显示的所述信号灯的点亮颜色；以及
25.行进方向决定部，其将由所述识别部识别出的所述信号灯的行进方向的指示与从基于所述无线通信的所述显示信息获取到的所述信号灯的行进方向的指示进行比较，将所述比较的结果一致的行进方向的指示决定为显示于所述显示部的行进方向的指示。
26.本发明的另一方式的控制方法是一种控制装置的控制方法，该控制装置搭载于移动体，将由拍摄所述移动体的外界的拍摄部拍摄到的图像所包含的信号灯的显示显示于显示部，其中，
27.所述控制方法具有：
28.识别步骤，在该识别步骤中，识别部根据所述图像识别信号灯的显示；
29.通信步骤，在该通信步骤中，通信部通过无线通信接收所述信号灯的显示信息；以及
30.控制步骤，在该控制步骤中，控制部基于在所述识别步骤中识别出的所述信号灯的显示和在所述通信步骤中接收到的所述显示信息来决定所述信号灯的显示，并将决定出的所述信号灯的显示显示于所述显示部，
31.在所述控制步骤中具有：
32.点亮颜色决定步骤，在该点亮颜色决定步骤中，将在所述识别步骤中识别出的所述信号灯的点亮颜色与从基于所述无线通信的所述显示信息获取到的所述信号灯的点亮颜色进行比较，按照基于所述比较的结果的预定的优先顺序来决定在所述显示部中显示的所述信号灯的点亮颜色；以及
33.行进方向决定步骤，在该行进方向决定步骤中，将在所述识别步骤中识别出的所述信号灯的行进方向的指示与从基于所述无线通信的所述显示信息获取到的所述信号灯的行进方向的指示进行比较，将所述比较的结果一致的行进方向的指示决定为显示于所述显示部的行进方向的指示。
34.本发明的另一方式所涉及的存储介质存储有使计算机执行控制装置的控制方法的各步骤的程序，该控制装置搭载于移动体，将由拍摄所述移动体的外界的拍摄部拍摄到的图像所包含的信号灯的显示显示于显示部，其中，
35.所述控制方法具有：
36.识别步骤，在该识别步骤中，识别部根据所述图像识别信号灯的显示；
37.通信步骤，在该通信步骤中，通信部通过无线通信接收所述信号灯的显示信息；以及
38.控制步骤，在该控制步骤中，控制部基于在所述识别步骤中识别出的所述信号灯的显示和在所述通信步骤中接收到的所述显示信息来决定所述信号灯的显示，并将决定出的所述信号灯的显示显示于所述显示部，
39.在所述控制步骤中具有：
40.点亮颜色决定步骤，在该点亮颜色决定步骤中，将在所述识别步骤中识别出的所述信号灯的点亮颜色与从基于所述无线通信的所述显示信息获取到的所述信号灯的点亮颜色进行比较，按照基于所述比较的结果的预定的优先顺序来决定在所述显示部中显示的所述信号灯的点亮颜色；以及
41.行进方向决定步骤，在该行进方向决定步骤中，将在所述识别步骤中识别出的所述信号灯的行进方向的指示与从基于所述无线通信的所述显示信息获取到的所述信号灯的行进方向的指示进行比较，将所述比较的结果一致的行进方向的指示决定为显示于所述显示部的行进方向的指示。
42.发明效果
43.根据本发明，能够基于拍摄部的识别结果以及通信部通过通信接收到的显示信息的比较来决定信号灯的显示。
附图说明
44.图1是例示控制装置的基本结构的框图。
45.图2是表示将控制装置的功能结构设置于车辆的结构例的框图。
46.图3a是说明由第一实施方式的控制装置进行的处理的流程的图。
47.图3b是说明与优先决定处理相关的控制装置的处理的流程的图。
48.图3c是说明由第二实施方式所涉及的控制装置进行的处理的流程的图。
49.图4是示意性地表示车辆行驶的道路的图。
50.图5是示意性地表示多个信号灯的显示的整合处理的图。
51.图6是示意性地表示信号灯的显示的识别结果与显示信息的比较处理以及信号灯的显示的决定处理的图。
52.图7是表示与信号灯的点亮颜色相关的预定的优先顺序的设定例的图。
53.图8是说明信号灯的行进方向的指示的决定例的图。
54.图9是示意性地表示整合信号显示与地图信息的比较处理的图。
55.图10是示意性地表示中间阶段的信号灯的显示与显示信息的比较处理以及信号灯的显示的决定处理的图。
56.附图标记说明
57.22、23：ecu(识别部)；
58.24c、25a：通信装置(通信部)；
59.28：ecu(控制部)。
具体实施方式
60.以下，参照附图对实施方式进行详细说明。此外，以下的实施方式并非对权利要求书所涉及的发明进行限定，另外，在实施方式中说明的特征的组合未必全部都是发明所必
须的。也可以对实施方式中说明的多个特征中的两个以上的特征任意地进行组合。另外，对相同或者同样的构成标注相同的附图标记，并省略重复的说明。
61.[第一实施方式]
[0062]
在第一实施方式中，移动体包括车辆，在以下的说明中，作为移动体而对车辆的示例进行说明，并对向车辆乘员(驾驶员)提示(显示)信息的结构进行说明。图1是例示对车辆1进行控制的控制装置2的基本结构的框图。控制装置2包括负责处理的处理部c1、存储器c2、能够与网络上的服务器和外部设备进行通信的通信部c3等。传感器s例如包括多个雷达s1、以及多个光学雷达s2(light detectionand ranging(lidar：光学雷达))、陀螺仪传感器s3、gps传感器s4、车速传感器s5等。传感器s以及相机cam作为获取与包含存在于本车辆的周围的物体、标识的目标物、车辆的位置信息相关的外界信息的外界传感器而发挥功能。传感器s以及相机cam(外界传感器)获取车辆的信息以及车辆周边的各种信息，并将获取到的信息输入至控制装置2。
[0063]
控制装置2对从雷达s1、光学雷达s2以及相机cam输入的信息进行图像处理，提取存在于车辆的周围的目标物(对象)，解析在车辆的周围配置有什么样的目标物，并监视目标物。例如，能够识别位于车辆正在行驶的道路的前方的信号灯的显示。
[0064]
控制装置2作为基于提取出的目标物(对象)的信息、以及从传感器s以及相机cam输入的信息来进行车辆的自动驾驶控制的车辆控制装置以及将信号灯的显示等目标物(对象)的信息显示于显示部的显示控制装置而发挥功能。显示控制装置搭载于移动体(车辆)，将由对移动体(车辆)的外界进行拍摄的相机cam(拍摄部)拍摄到的图像所包含的信号灯的显示显示于显示部。另外，控制装置2作为具有将本车辆的当前位置映射到地图上并且进行到目的地为止的路线引导等的导航功能的装置而发挥功能。这些装置、设备例如经由can(controller area network)等通信介质以能够相互进行数据通信的方式连接而构成。
[0065]
另外，陀螺仪传感器s3检测车辆的旋转运动、姿态，控制装置2能够基于陀螺仪传感器s3的检测结果、由车速传感器s5检测出的车速等来判定车辆的行进方向。另外，控制装置2能够基于gps传感器s4的检测结果，获取地图信息中的车辆的当前位置(位置信息)、车辆(本车辆)正在行驶的车道数、道路形状、路线中的车道减少或车道增加、施工、故障车等的存在等道路信息。控制装置2能够基于车辆的周边环境的信息使多个控制状态阶段性地进行状态转换，从而控制车辆的自动驾驶行驶。即，控制装置2使用传感器s以及相机cam的信息来获取车辆的周边环境的信息，并基于周边环境的信息，使车辆的控制状态转换，从而控制车辆的自动驾驶行驶。
[0066]
在车辆上进行图1所示的控制装置2的处理的情况下，可以将控制装置2例如配置在对传感器s、相机cam的信息进行处理的识别处理系统、图像处理系统的ecu内，也可以配置在对通信装置、显示装置、输入输出装置进行控制的ecu内，还可以配置在进行车辆的驱动控制的ecu、自动驾驶用的ecu内。
[0067]
例如，如以下说明的图2那样，也可以使控制装置2的功能分散于雷达用、光学雷达用、相机用的ecu22和ecu23、通信控制用的ecu24和ecu25、输入输出装置用的ecu28、以及自动驾驶用的ecu20等为了控制车辆1而设置的多个ecu。
[0068]
图2是表示将作为控制装置而发挥功能的控制装置2(图1)设置于车辆1的结构例的框图。在图2中，以俯视图和侧视图表示车辆1的概要。作为一个例子，车辆1是轿车型的四
轮乘用车。
[0069]
图2的控制装置2控制车辆1的各部分。控制装置2包括通过车内网络可通信地连接的多个ecu20～ecu29。各ecu(electronic control unit：电子控制单元)包括以cpu为代表的处理器、半导体存储器等存储设备、与外部设备的接口等。在存储设备中存储处理器执行的程序、处理器在处理中使用的数据等。各ecu也可以具备多个处理器、存储设备以及接口等。例如，ecu20具备处理器20a和存储器20b。处理器20a执行存储于存储器20b的程序所包含的命令，由此执行ecu20的处理。取而代之，ecu20也可以具备用于执行ecu20的处理的asic等专用的集成电路。对于其他ecu也是同样的。
[0070]
以下，对各ecu20～ecu29所负责的功能等进行说明。此外，关于ecu的数量、所负责的功能，能够对车辆1进行适当设计，能够与本实施方式相比进行细分化或者整合。
[0071]
ecu20执行与本实施方式的车辆1(本车辆)的自动驾驶相关的车辆控制。在自动驾驶中，自动控制车辆1的转向、车道变更、加速减速。关于与自动驾驶相关的具体的控制相关的处理，在后面详细说明。
[0072]
ecu21控制电动动力转向装置3。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转向操作)而对前轮进行转向的机构。另外，电动动力转向装置3包括发挥用于辅助转向操作或者使前轮自动转向的驱动力的马达、检测转向角的传感器等。在车辆1的驾驶状态为自动驾驶的情况下，ecu21与来自ecu20的指示对应地自动控制电动动力转向装置3，控制车辆1的行进方向。
[0073]
ecu22以及ecu23进行检测车辆的周围状况的检测单元41～检测单元43的控制以及检测结果的信息处理。检测单元41是与图1的相机cam对应的结构，是通过拍摄来检测车辆1的前方的物体的拍摄设备(以下，有时表述为相机41)。在本实施方式的情况下，相机41以能够拍摄车辆1的前方的方式在车辆1的车顶前部安装于前窗的车厢内侧。通过相机41拍摄到的图像的解析(图像处理)，能够提取位于车辆1的前方的信号灯等目标物的轮廓、信号灯的显示、道路上的车道的划分线(白线等)。
[0074]
检测单元42(光学雷达检测部)是light detection and ranging(lidar：光学雷达)(以下，有时表述为光学雷达42)，利用光来检测车辆1的周围的目标物，或者对与目标物之间的距离进行测距。检测单元42(光学雷达42)是与图1的光学雷达s2对应的结构。在本实施方式的情况下，光学雷达42设置有5个，在车辆1的前部的各角部各设置有1个，在后部中央各设置有1个，在后部各侧方各设置有1个。
[0075]
检测单元43(雷达检测部)是毫米波雷达(以下，有时表述为雷达43)，通过电波来检测车辆1的周围的目标物，或者对与目标物的距离进行测距。检测单元43(雷达43)是与图1的雷达s1对应的结构。在本实施方式的情况下，雷达43设置有5个，在车辆1的前部中央设置有1个，在前部各角部各设置有1个，在后部各角部各设置有一个。
[0076]
ecu22进行一方的相机41、各光学雷达42的控制以及检测结果的信息处理。ecu23进行另一方的相机41、各雷达43的控制以及检测结果的信息处理。通过具备两组检测车辆的周围状况的装置，能够提高检测结果的可靠性，另外，通过具备相机、光学雷达、雷达这样的种类不同的检测单元，能够多方面地进行车辆的周边环境的解析。在本实施方式中，ecu22以及ecu23作为识别部而发挥功能，根据由相机41(拍摄部)拍摄到的图像来识别信号灯的显示。在此，在信号灯的显示中包含信号灯的点亮颜色(红、绿、黄)和箭头显示所示的
信号灯的行进方向的指示。
[0077]
ecu24进行陀螺仪传感器5、gps传感器24b、通信装置24c的控制以及检测结果或通信结果的信息处理。陀螺仪传感器5检测车辆1的旋转运动。能够根据陀螺仪传感器5的检测结果、车轮速度等来判定车辆1的行进方向。gps传感器24b检测车辆1的当前位置。通信装置24c与提供地图信息、交通信息的服务器进行无线通信，获取这些信息。通信装置24c例如与vics(vehicle information and communication system)(注册商标)等监视道路的交通状况的系统的信息提供用服务器进行无线通信，获取表示本车辆m正在行驶的道路、预定行驶的道路的交通状况的交通信息。交通信息中包含所设定的路线上的拥堵信息、用于通过拥堵地点的所需时间信息、故障车/施工信息、速度限制/车道限制信息等交通障碍信息。另外，通信装置24c通过无线通信获取保持信号灯的显示信息(点亮颜色、信号灯的行进方式)的地图信息。通信装置24c通过无线通信，获取至少保持表示箭头信号的方向的信号灯的行进方向的显示信息的地图信息作为信号灯的显示信息，并保存于存储设备。
[0078]
ecu24能够访问在存储设备中构建的地图信息的数据库24a，ecu24进行从当前地到目的地的路线搜索等。数据库24a能够配置在网络上，通信装置24c能够访问网络上的数据库24a来获取信息。陀螺仪传感器5、gps传感器24b分别是与图1的陀螺仪传感器s3、gps传感器s4对应的结构。
[0079]
ecu25具备能够与车与车间通信、路与车间通信、或者智能手机等信息处理装置进行通信的通信装置25a。例如，通信装置25a能够与周边的其他车辆进行无线通信，进行车辆间的信息交换，或者通过与外部的信息处理装置等的无线通信进行信息交换。通信装置25a以及通信装置24c是与图1的通信部c3对应的结构。在本实施方式中，通信装置25a以及通信装置24c作为通信部而发挥功能，通过无线通信接收信号灯的显示信息。
[0080]
ecu26控制动力装置6。动力装置6是输出使车辆1的驱动轮旋转的驱动力的机构，例如包括发动机和变速器。此外，动力装置6的结构不限于该例，包括以电动机为动力源的电动汽车、兼具发动机及电动机的混合动力汽车等。其中，电动汽车例如使用由充电电池、氢燃料电池、金属燃料电池、醇类燃料电池等电池放出的电力来驱动。
[0081]
ecu26例如与由设置于加速踏板7a的操作检测传感器7a检测到的驾驶员的驾驶操作(油门操作或者加速操作)对应地控制发动机的输出，或者基于车速传感器7c(图1的车速传感器s5)检测到的车速等信息来切换变速器的变速挡。在车辆1的驾驶状态为自动驾驶的情况下，ecu26与来自ecu20的指示对应地自动控制动力装置6，控制车辆1的加速减速。
[0082]
ecu27控制包括方向指示器8(方向指示灯)的照明器(前照灯、尾灯等)。在图1的例子的情况下，方向指示器8设置于车辆1的前部、车门后视镜以及后部。
[0083]
ecu28进行输入输出装置9的控制。输入输出装置9进行针对包括驾驶员在内的乘员的信息的输出和来自乘员的信息的输入的受理。声音输出装置91通过声音向乘员报告信息。显示装置92通过图像的显示向驾驶员报告信息。显示装置92例如配置于驾驶席以及副驾驶席的正面，构成作为人机接口而发挥功能的触摸面板式的仪表板等。在本实施方式中，ecu28作为控制部而发挥功能，基于由识别部(ecu22、ecu23)识别出的信号灯的显示和由通信部(通信装置24c、25a)接收到的显示信息来决定信号灯的显示，并将该决定出的信号灯的显示显示于显示装置92(显示部)。
[0084]
在由ecu24搜索到的从当前地到目的地的路线上，ecu28进行将从车辆1(本车辆)
的位置信息和地图信息获取到的、包含车辆1当前行驶的多个车道的道路信息显示于显示装置92的显示控制。另外，ecu28控制声音输出装置91以及显示装置92，将声音、地图显示以及基于声音的引导信息提供给驾驶员。
[0085]
此外，在此，例示了声音和显示，但也可以通过振动、光来报告信息。另外，也可以组合声音、显示、振动或者光中的多个来报告信息。并且，也可以根据应通知的信息的等级(例如紧急度)，使组合不同，或者使通知方式不同。
[0086]
输入装置93配置于驾驶员能够操作的位置，包括输入针对车辆1的指示的开关组以及输入乘员的声音的声音输入装置。
[0087]
ecu29控制制动装置10、驻车制动器(未图示)。制动装置10例如是盘式制动装置，设置于车辆1的各车轮，通过对车轮的旋转施加阻力而使车辆1减速或停止。ecu29例如与由设置于制动踏板7b的操作检测传感器7b检测到的驾驶员的驾驶操作(制动操作)对应地控制制动装置10的工作。在车辆1的驾驶状态为自动驾驶的情况下，ecu29与来自ecu20的指示对应地自动控制制动装置10，控制车辆1的减速以及停止。制动装置10、驻车制动器也能够为了维持车辆1的停止状态而工作。另外，在动力装置6的变速器具备驻车锁定机构的情况下，也能够为了维持车辆1的停止状态而使其工作。
[0088]
(处理的概要)
[0089]
接着，对控制装置2执行的处理的概要进行说明。图4是示意性地表示车辆1行驶的道路的图。如图4所示，车辆1正在能够直行或者左转的车道ln1上向箭头440的方向行驶。与车道ln1相邻的车道ln2是右转专用车道，车道ln3是对向车道，其他车辆431、432能够相对于箭头440向相反方向行驶。
[0090]
第一交叉路口410以及第二交叉路口420位于车辆1的前方。第一交叉路口410是相对于车辆1的行驶位置最近的位置的交叉路口，第二交叉路口420是从第一交叉路口410分离有距离l1的位置的交叉路口。
[0091]
在第一交叉路口410设置有第一信号灯411，在具有“红”、“黄”以及“绿”的点亮显示部的第一信号灯411设置有通过箭头信号表示行进方向的指示的箭头信号部412、413。在图4所示的显示例中，第一信号灯411的点亮颜色为“红”(阴影显示)，表示右转的指示的箭头信号部412的箭头信号为点亮的状态。另外，表示直行的指示的箭头信号部413的箭头信号为熄灭的状态(非点亮状态)。通过表示右转的指示的箭头信号部412的点亮显示，其他车辆415处于从车道ln2在第一交叉路口410右转的状态。
[0092]
在第二交叉路口420设置有第二信号灯421，在具有“红”、“黄”以及“绿”的点亮显示部的第二信号灯421设置有通过箭头信号表示行进方向的指示的箭头信号部422、423。在图4所示的显示例中，第二信号灯421的点亮颜色为“红”(阴影显示)，表示右转的指示的箭头信号部422的箭头信号为熄灭的状态(非点亮状态)。另外，表示直行的指示的箭头信号部423的箭头信号为点亮的状态。通过表示直行指示的箭头信号部423的点亮显示，其他车辆425处于从车道ln1在第二交叉路口420直行的状态。
[0093]
此外，在本实施方式中，作为各信号灯的点亮颜色例示说明了“红”的情况，但在本实施方式中的控制装置2的处理中，点亮颜色并不限定于“红”，在“黄”以及“绿”的点亮颜色中也是同样的。另外，作为箭头信号的显示例，示出了右转和直行的显示例，但即使是左转的箭头信号的显示，控制装置2也能够同样地进行处理。
[0094]
在相对于第一交叉路口410的位置为近前的距离l2的位置配置有外部通信装置414，在相对于第二交叉路口420的位置为近前的距离l3的位置配置有外部通信装置424。外部通信装置414、424例如构成为使用了信标方式或通过面向移动电话的通信标准而标准化的移动用的通信网络的蜂窝方式的外部通信装置。外部通信装置414、424具有基于v2x(vehicle to everything)的通信功能，外部通信装置414、424与控制信号灯(第一信号灯411、第二信号灯421)的显示的信号控制系统进行通信，将从信号控制系统接收到的信号灯的显示信息发布到移动体。外部通信装置414、424配置于车道(ln1、ln2)的上方，在移动体在外部通信装置414、424的下方行驶时，移动体的通信部(通信装置24c、25a)能够接收从外部通信装置414、424发送的信号灯的显示信息。
[0095]
移动体的通信部(通信装置24c、25a)在外部通信装置414、424的下方行驶时，一并接收信号灯的显示信息。例如，在信号灯的显示信息中至少包含以下的信息。
[0096]
第一信号灯411：当前的点亮颜色“红”[0097]
箭头信号的显示状态(右转点亮、直行非点亮)
[0098]
下一点亮信号“绿”、变更预定时间(t1秒后)
[0099]
第二信号灯421：当前的点亮颜色“红”[0100]
箭头信号的显示状态(右转非点亮、直行点亮)
[0101]
下一点亮信号“绿”、变更预定时间(t2秒后)。
[0102]
控制信号灯的显示的信号控制系统有时为了实现交通的顺畅化而配合交叉路口的拥挤状况来变更信号灯的显示(点亮颜色、行进方向的指示)的控制时机。蜂窝方式的外部通信装置即使在变更了信号灯的显示信息的情况下，也能够实时地进行变更后的信号灯的显示信息的通信。
[0103]
另一方面，在信标方式的外部通信装置的情况下，例如，移动体的通信部(通信装置24c、25a)从外部通信装置414接收到的显示信息在从下一个外部通信装置424接收到变更后的信号灯的显示信息之前不被更新。在本实施方式中，从在外部通信装置的下方行驶的时刻起的预定时间(基准时间)设为从信标方式或者蜂窝方式的外部通信装置414、424接收到的信号灯的显示信息能够维持准确的信息的时间。
[0104]
(处理流程)
[0105]
接着，对控制装置2执行的处理流程进行说明。图3a是说明控制装置2的处理的流程的图，图5～图6是示意性地表示ecu28决定信号灯的显示的内部处理的图。
[0106]
在图3a的s301中，相机41(cam)拍摄移动体(车辆)的外界。在s302中，识别部(ecu22、ecu23)识别由相机41(cam)拍摄到的图像(拍摄图像)所包含的信号灯的显示。识别部(ecu22、ecu23)通过对拍摄图像实施图像处理，能够提取拍摄图像所包含的信号灯，并识别信号灯的显示。
[0107]
在s303中，识别部(ecu22、ecu23)判定是否获取到多个显示作为信号灯的显示。在未获取多个显示的情况下(s303～否)，识别部(ecu22、ecu23)使处理进入s305。另一方面，在通过s303的判定处理判定为获取了多个显示的情况下(s303～“是”)，识别部(ecu22、ecu23)使处理进入s304。
[0108]
在s304中，识别部(ecu22、ecu23)对多个信号灯的显示进行整合。多个信号灯的显示例如在如图4所示那样第一交叉路口410、第二交叉路口420连续那样的道路构造中，在由
相机41拍摄第一信号灯411的显示和第二信号灯421的显示的情况下可能产生。图5是示意性地表示多个信号灯的显示的整合处理的图。第一信号灯的显示510是基于第一信号灯411的显示(图4)而识别出的显示，第二信号灯的显示520是基于第二信号灯421的显示(图4)而识别出的显示。
[0109]
信号灯的显示的整合处理是显示部分的相加，识别部(ecu22、ecu23)获取将第一信号灯的显示510中的右转的箭头信号的显示与第二信号灯的显示520中的直行的箭头信号的显示相加而得到的整合信号显示530。点亮颜色是在第一信号灯的显示510以及第二信号灯的显示520中共通的“红”，识别部(ecu22、ecu23)获取点亮颜色“红”的整合信号显示530。
[0110]
在图5所示的例子中，示出了点亮颜色一致的情况，但并不限定于该显示例。作为点亮颜色不同的情况，例如在第一信号灯的显示510中的点亮颜色为“绿”、第二信号灯的显示520中的点亮颜色为“红”的情况下，识别部(ecu22、ecu23)能够获取将这些点亮颜色相加后的点亮颜色(“红”、“绿”)的整合信号显示530。
[0111]
说明返回至图3a，在s305中，通信部(通信装置24c、25a)通过无线通信从外部通信装置414、424接收信号灯的显示信息。
[0112]
在s306中，ecu28(控制部)进行信号灯的显示的识别结果(s302、s304)与显示信息(s305)的比较。
[0113]
然后，在s307中，ecu28(控制部)基于s306的比较结果来决定信号灯的显示。ecu28(控制部)基于位置信息获取部(ecu24、陀螺仪传感器5、gps传感器24b)获取到的移动体的位置信息来确定移动体的行驶位置。ecu28(控制部)决定由识别部(ecu22、ecu23)识别出的信号灯的行进方向的指示中的、与相对于行驶位置最近的位置的交叉路口相关的信号灯的显示。
[0114]
在此，图6是示意性地表示信号灯的显示的识别结果与通过通信接收到的显示信息610、620的比较处理(s306)以及信号灯的显示的决定处理(s307)的图。图6的st61是示意性地表示基于显示信息610的比较处理及信号灯的显示的决定处理的图。在此，显示信息610表示点亮颜色为红、行进方向的指示为右转的显示状态。
[0115]
另外，图6的st62是示意性地表示基于显示信息620的比较处理以及信号灯的显示的决定处理的图，显示信息620的点亮颜色为红，行进方向的指示表示直行的显示状态。
[0116]
在本实施方式中，ecu28(控制部)作为功能结构，能够作为点亮颜色决定部以及行进方向决定部而发挥功能。在此，点亮颜色决定部对由识别部(ecu22、ecu23)识别出的信号灯的点亮颜色与从基于通信装置24c的无线通信的显示信息获取到的信号灯的点亮颜色进行比较，按照基于比较的结果的预定的优先顺序来决定显示于显示部的信号灯的点亮颜色。
[0117]
另外，行进方向决定部对由识别部(ecu22、ecu23)识别出的信号灯的行进方向的指示与从基于通信装置24c的无线通信的显示信息获取到的信号灯的行进方向的指示进行比较，将比较的结果一致的行进方向的指示决定为显示于显示部的行进方向的指示。
[0118]
(点亮颜色的决定)
[0119]
图7是表示与信号灯的点亮颜色相关的预定的优先顺序的设定例的图，点亮颜色决定部按照基于比较的结果的预定的优先顺序(图7)来决定显示于显示部的信号灯的点亮
颜色。图7所示的预定的优先顺序是例示性的，对作为点亮颜色的“绿”、“红”的例子进行了说明，但也可以不除去“黄”，而设定包含三个颜色的预定的优先顺序。
[0120]
在图7所示的优先顺序的设定例中，在由识别部(ecu22、ecu23)识别出的显示颜色701与通信部(通信装置24c)接收到的显示信息702一致的情况下(710、750)，点亮颜色决定部将两者一致的点亮颜色决定为显示于显示部的信号灯的点亮颜色。在该情况下，点亮颜色决定部基于接收到的显示信息，将到当前的点亮颜色被变更为止的剩余时间与点亮颜色一起决定。
[0121]
在优先顺序的设定例中，在由识别部(ecu22、ecu23)识别出的显示颜色701与通信部接收到的显示信息702不一致的情况下(720、740)，点亮颜色决定部为了防止红灯时的交叉路口进入，将点亮颜色“红”决定为显示于显示部的信号灯的点亮颜色。
[0122]
在无法获取成为比较对象的信息等、相机41的状态与控制装置2的状态无法获取匹配的情况下(730、760、770)，对识别出的显示颜色701以及显示信息702设定表示未定信息的“未知”。在对识别出的显示颜色701以及显示信息702中的至少任一方设定未定信息(“未知”)的情况下，点亮颜色决定部按照预定的优先顺序，基于能够获取的信息来决定显示于显示部的信号灯的点亮颜色。例如，在无法从通信部接收显示信息702而在显示信息702中设定有未定信息(“未知”)的情况下(730、760)，点亮颜色决定部基于由识别部(ecu22、ecu23)识别出的显示颜色来决定显示于显示部的信号灯的点亮颜色。
[0123]
关于信号灯的点亮颜色，在图6的决定处理的例子(st61、st62)中，整合信号显示530与显示信息610的点亮颜色(红)一致，点亮颜色决定部按照基于比较的结果的预定的优先顺序(图7的750)，将一致的点亮颜色(红)决定为显示于显示部的信号灯的点亮颜色。
[0124]
(行进方向的决定)
[0125]
行进方向决定部将由识别部(ecu22、ecu23)识别出的信号灯的行进方向的指示中的、与从基于无线通信的显示信息获取到的所述信号灯的行进方向的指示不一致的行进方向的指示排除。即，行进方向决定部将由识别部(ecu22、ecu23)识别出的信号灯的行进方向的指示中的、与从基于无线通信的显示信息获取到的信号灯的行进方向的指示一致的信号灯的行进方向的指示决定为显示于显示部的行进方向的指示。
[0126]
识别部(ecu22、ecu23)在获取到由相机41拍摄到的图像所包含的多个信号灯的显示的情况下，将整合了多个信号灯的显示的整合信号显示530识别为信号灯的显示(图5)。行进方向决定部将整合信号显示530与基于无线通信的显示信息(610、620)的比较结果一致的行进方向的指示决定为显示于显示部的行进方向的指示。
[0127]
图8是表示信号灯的行进方向的指示的决定例的图，行进方向决定部将由识别部(ecu22、ecu23)识别出的箭头信号801(信号灯的行进方向的指示)与从基于通信装置24c的无线通信的显示信息802获取到的信号灯的行进方向的指示进行比较，将比较的结果一致的行进方向的指示决定为显示于显示部的行进方向的指示。
[0128]
如图8所示，在由识别部(ecu22、ecu23)识别出的箭头信号801与通信部(通信装置24c)接收到的显示信息802一致的情况下(810、840)，行进方向决定部将比较的结果一致的行进方向的指示决定为显示于显示部的行进方向的指示(803)。在该情况下，行进方向决定部基于接收到的显示信息802，将变更当前的箭头信号的显示的剩余时间与行进方向的指示(箭头信号的方向)一起决定。另外，在比较的结果不一致的情况下(820、830)，行进方向
决定部决定为没有行进方向的指示(803)。
[0129]
关于箭头信号，在图6的决定处理的例子(st61)中，通过识别出的箭头信号(直行、右转)与通信部(通信装置24c、25a)接收到的显示信息(右转)两者的比较，行进方向决定部将比较的结果一致的行进方向的指示(右转)决定为显示于显示部的行进方向的指示。
[0130]
另外，在图6的决定处理的例子(st62)中，通过识别出的箭头信号(直行、右转)与通信部(通信装置24c、25a)接收到的显示信息(直行)两者的比较，行进方向决定部将比较的结果一致的行进方向的指示(直行)决定为显示于显示部的行进方向的指示。
[0131]
在通信部(通信装置24c、25a)通过与配置于移动体行驶的车道的上方的外部通信装置414、424的无线通信而接收信号灯的显示信息的情况下，从外部通信装置414、424除了发送配置于行进方向的信号灯的点亮颜色、行进方向指示之外，还发送它们的最低点亮时间和最高点亮时间。例如，存在点亮颜色为绿色，以最低点亮时间0秒、最高点亮时间10秒进行通信的情况。在该情况下，虽然基于通信的信号灯信息的获取成功，但存在显示的对象的信号灯在0秒后变化为黄色点亮的可能性，作为信号灯的点亮预测信息，可能产生变得不可靠的情况。
[0132]
因此，如本实施方式那样，通过在将通信部获取的信号灯信息与由拍摄部识别出的信号灯的显示的信息进行比较之后决定要显示的信号灯的显示，能够进行高精度的显示。另外，在比较时，也可以考虑最低点亮时间来设定基准时间。即，也可以是，在信号灯的显示发生变化的最低基准时间比推定为移动体进入交叉路口的时间长的情况下，使通信部获取的信号灯信息优先，另一方面，在最低基准时间比推定的时间短的情况下，比较通信部与拍摄部的信息。
[0133]
(变形例)
[0134]
在第一实施方式中，对点亮颜色决定部以及行进方向决定部的基本处理进行了说明。在本例中，对ecu28(控制部)通过在从外部通信装置414、424接收到显示信息的时刻起的基准时间内优先使用从外部通信装置414、424接收到的信息来决定信号灯的显示(点亮颜色、行进方向的指示)的处理(优先决定处理)进行说明。并且，ecu28(控制部)在经过基准时间后，以解除优先决定处理的设定并返回到第一实施方式中说明的基本处理的方式变更设定。在本例中说明的优先决定处理例如是在图3a的s305中执行的处理。图3b是说明与优先决定处理相关的控制装置2的处理的流程的图。
[0135]
在图3b的s310中，通信部(通信装置24c、25a)通过无线通信从外部通信装置414、424接收信号灯的显示信息。
[0136]
在s311中，ecu28(控制部)基于接收到的显示信息，决定与相对于行驶位置最近的位置的交叉路口相关的信号灯的显示。
[0137]
在本步骤中，点亮颜色决定部在从接收到显示信息起的基准时间内，与基于比较的结果的预定的优先顺序(图7)无关地，基于从显示信息获取到的信号灯的点亮颜色，决定显示于显示部的信号灯的点亮颜色(点亮颜色的优先决定处理)。另外，行进方向决定部在从接收到显示信息起的基准时间内与比较的结果无关地，基于从显示信息获取到的信号灯的行进方向的指示，决定显示于显示部的行进方向的指示(行进方向的指示的优先决定处理)。
[0138]
在s312中，ecu28(控制部)基于显示信息的接收并基于内部时钟而开始时间的计
测。
[0139]
在s313中，ecu28(控制部)判定计测出的时间是否经过了基准时间，在未经过基准时间的情况下(s313～否)，使处理返回至s311，反复执行同样的处理。另一方面，在s313的判定中，在经过了基准时间的情况下(s313～是)，ecu28(控制部)使处理进入到s314。
[0140]
在s314中，ecu28(控制部)解除在s311中进行的优先决定处理的设定。点亮颜色决定部在经过基准时间后，与点亮颜色的优先决定处理无关地，按照基于比较的结果的预定的优先顺序(图7)来决定显示于显示部的信号灯的点亮颜色。另外，行进方向决定部在经过基准时间后，与行进方向的指示的优先决定处理无关地，将比较的结果一致的行进方向的指示决定为显示于显示部的行进方向的指示。
[0141]
[第二实施方式]
[0142]
在第一实施方式中，对基于由识别部(ecu22、ecu23)识别出的信号灯的显示和由通信部(通信装置24c、25a)接收到的显示信息来决定信号灯的显示的结构进行了说明。在第二实施方式中，进一步对组合保持信号灯的行进方向的显示信息的地图信息来决定信号灯的显示的结构进行说明。控制装置2的结构与在第一实施方式中说明的图1、图2相同。
[0143]
图3c是说明由第二实施方式所涉及的控制装置进行的处理的流程的图。在图3c中，s301～s305、s306、s307的处理与在第一实施方式中说明的处理相同，省略重复的说明，以下对不同的步骤的处理进行说明。
[0144]
在s304的整合处理之后，在图3c的s308中，通信部(通信装置24c、25a)通过无线通信获取保持信号灯的显示信息(点亮颜色、信号灯的行进方向)的地图信息。地图信息作为信号灯的显示信息至少保持表示箭头信号的方向的显示信息。此外，地图信息的获取不限于无线通信，控制装置2也可以在存储设备等中预先具备至少保持表示箭头信号的方向的信号灯的行进方向的显示信息的地图信息作为信号灯的显示信息。
[0145]
在s309中，ecu28(控制部)进行在s304中获取到的整合信号显示530与地图信息(s308)的比较。
[0146]
图9是示意性地表示整合信号显示530(s304)与地图信息910(s308)的比较处理的图。在地图信息所保持的各种信息中，图9所示的地图信息910表示与相对于移动体的行驶位置最近的位置的交叉路口相关的信号灯的显示信息。地图信息910作为信号灯的显示信息，表示具有表示三个颜色(“红”、“黄”以及“绿”)的显示部的有无的点亮显示部、和作为行进方向的指示的右转的箭头信号部。在点亮显示部的信息中，不包含与当前点亮的点亮颜色相关的颜色的限定信息。
[0147]
ecu28(控制部)基于比较处理，获取中间阶段的信号灯的显示920。在整合信号显示530与地图信息910的比较处理中，无法进行点亮颜色的限定，因此ecu28(控制部)将整合信号显示530中的点亮颜色的显示(红)设定为中间阶段的信号灯的显示920。
[0148]
另外，关于箭头信号，行进方向决定部将由识别部(ecu22、ecu23)识别出的信号灯的行进方向的指示(例如，直行、右转)中的、关于距行驶位置最近的位置的交叉路口的、与地图信息910所保持的显示信息(右转)一致的信号灯的行进方向的指示决定(设定)为显示于显示部的行进方向的指示。
[0149]
即，行进方向决定部将与保持于地图信息910的显示信息不一致的信号灯的行进方向的指示(直行)除外，将剩余的信号灯的行进方向的指示(右转)决定(设定)为显示于显
示部的行进方向的指示。本步骤中的决定是中间阶段的决定，最终的信号灯的显示基于以下的s310、s307的处理来进行。
[0150]
在s310中，ecu28(控制部)进行中间阶段的信号灯的显示920(s309)与显示信息(s305)的比较。
[0151]
然后，在s307中，ecu28(控制部)基于s306的比较结果来决定信号灯的显示。ecu28(控制部)基于位置信息获取部(ecu24、陀螺仪传感器5、gps传感器24b)获取到的移动体的位置信息，确定移动体的行驶位置，ecu28(控制部)基于中间阶段的信号灯的显示920(s309)与显示信息(s305)的比较，决定与相对于行驶位置最近的位置的交叉路口相关的信号灯的显示。
[0152]
在此，图10是示意性地表示中间阶段的信号灯的显示920与通过通信接收到的显示信息1010、1020的比较处理(s310)以及信号灯的显示的决定处理(s307)的图。图10的st101是示意性地表示基于显示信息1010的比较处理及信号灯的显示的决定处理的图。在此，显示信息1010表示点亮颜色为红、行进方向的指示为右转的显示状态。
[0153]
另外，图10的st102是示意性地表示基于显示信息1020的比较处理以及信号灯的显示的决定处理的图，显示信息1020的点亮颜色为红，行进方向的指示表示直行的显示状态。
[0154]
关于信号灯的点亮颜色，在图10的决定处理的例子(st101、st102)中，中间阶段的信号灯的显示920与显示信息1010的点亮颜色(红)一致，点亮颜色决定部按照基于比较的结果的预定的优先顺序(图7的750)，将一致的点亮颜色(红)决定为显示于显示部的信号灯的点亮颜色。
[0155]
关于箭头信号，在图10的决定处理的例子(st101)中，通过中间阶段的信号灯的显示920的箭头信号(右转)与通信部(通信装置24c、25a)接收到的显示信息1010(右转)两者的比较，行进方向决定部将比较的结果一致的行进方向的指示(右转)决定为显示于显示部的行进方向的指示。
[0156]
另外，在图10的决定处理的例子(st102)中，通过中间阶段的信号灯的显示920的箭头信号(右转)与通信部(通信装置24c、25a)接收到的显示信息1020(直行)两者的比较，箭头信号的指示方向不一致，行进方向决定部决定为没有行进方向的指示。
[0157]
(变形例)
[0158]
在通信部(通信装置24c、25a)无法获取基于无线通信的显示信息以及地图信息的情况下，识别部(ecu22、ecu23)即使在获取了由相机41拍摄到的图像所包含的多个信号灯的显示的情况下，也不进行多个信号灯的显示的整合，而决定通过针对图像的图像处理而识别出的多个信号灯的显示中的、信号灯的显示的识别精度高的一方的信号灯的显示。识别部能够基于从图像提取出的信号灯的图像的分辨率、像素值等图像处理的结果的比较来决定识别精度高的一方的信号灯的显示。此时，控制部(ecu28)的点亮颜色决定部基于由识别部决定的信号灯的显示来决定信号灯的点亮颜色，行进方向决定部基于由识别部决定的信号灯的显示来决定显示于显示部的行进方向的指示。
[0159]
另外，也可以是，在识别部(ecu22、ecu23)无法基于由相机41拍摄到的图像来识别信号灯而仅通过无线通信获取到显示信息的情况下，点亮颜色决定部以及行进方向决定部基于通过无线通信获取到的显示信息来决定信号灯的显示，控制部(ecu28)将决定出的信
号灯的显示显示于显示部。
[0160]
(实施方式及变形例的总结)
[0161]
上述实施方式至少公开以下的控制装置、具有控制装置的移动体(车辆)、控制方法以及程序。
[0162]
结构1.上述实施方式的控制装置搭载于移动体(1)，将由拍摄所述移动体的外界的拍摄部(41)拍摄到的图像所包含的信号灯的显示显示于显示部(92)，其中，
[0163]
控制装置(2)具备：
[0164]
识别部(22、23)，其根据所述图像识别信号灯的显示；
[0165]
通信部(24c、25a)，其通过无线通信接收所述信号灯的显示信息；以及
[0166]
控制部(28)，其基于由所述识别部识别出的所述信号灯的显示和由所述通信部接收到的所述显示信息来决定所述信号灯的显示，并将决定出的所述信号灯的显示显示于所述显示部，
[0167]
所述控制部(28)具备：
[0168]
点亮颜色决定部，其将由所述识别部识别出的所述信号灯的点亮颜色与从基于所述无线通信的所述显示信息获取到的所述信号灯的点亮颜色进行比较，按照基于所述比较的结果的预定的优先顺序来决定在所述显示部中显示的所述信号灯的点亮颜色；以及
[0169]
行进方向决定部，其将由所述识别部识别出的所述信号灯的行进方向的指示与从基于所述无线通信的所述显示信息获取到的所述信号灯的行进方向的指示进行比较，将所述比较的结果一致的行进方向的指示决定为显示于所述显示部的行进方向的指示。
[0170]
根据结构1的控制装置，能够基于拍摄部的识别结果以及通信部通过通信接收到的显示信息的比较来决定信号灯的显示。
[0171]
结构2.在上述实施方式的控制装置中，所述控制部(28)基于位置信息获取部获取到的所述移动体的位置信息来确定所述移动体的行驶位置，
[0172]
所述控制装置具备地图信息作为所述信号灯的显示信息，该地图信息至少保持对箭头信号的方向进行表示的信号灯的行进方向的显示信息，
[0173]
所述行进方向决定部还将由所述识别部识别出的所述信号灯的行进方向的指示中的、关于距所述行驶位置最近的位置的交叉路口的、与所述地图信息所保持的所述显示信息一致的所述信号灯的行进方向的指示决定为显示于所述显示部的行进方向的指示。
[0174]
结构3.在上述实施方式的控制装置中，所述行进方向决定部构成为，
[0175]
将由所述识别部识别出的所述信号灯的行进方向的指示中的、与从基于所述无线通信的所述显示信息获取到的所述信号灯的行进方向的指示不一致的行进方向的指示排除，并且，
[0176]
将与所述地图信息所保持的所述显示信息不一致的所述信号灯的行进方向的指示排除，
[0177]
将剩余的所述信号灯的行进方向的指示决定为显示于所述显示部的行进方向的指示。
[0178]
结构4.在上述实施方式的控制装置中，所述行进方向决定部构成为，
[0179]
将由所述识别部识别出的所述信号灯的行进方向的指示中的、与从基于所述无线通信的所述显示信息获取到的所述信号灯的行进方向的指示一致且与所述地图信息所保
持的所述显示信息一致的所述信号灯的行进方向的指示决定为显示于所述显示部的行进方向的指示。
[0180]
根据结构2～4的控制装置，能够基于拍摄部的识别结果以及通信部通过通信接收到的显示信息与地图信息的比较来决定信号灯的显示。
[0181]
结构5.在上述实施方式的控制装置中，在获取了所述图像所包含的多个信号灯的显示的情况下，所述识别部(22、23)将对所述多个信号灯的显示进行整合后的整合信号显示识别为所述信号灯的显示，
[0182]
所述行进方向决定部将所述整合信号显示与基于所述无线通信的所述显示信息两者的比较的结果一致的行进方向的指示决定为显示于所述显示部的行进方向的指示。
[0183]
根据结构5的控制装置，在获取了拍摄到的图像所包含的多个信号灯的显示的情况下，能够获取将多个信号灯的显示整合后的显示(整合信号显示)作为比较的对象，能够基于使用了整合信号显示的比较处理的结果比较来决定信号灯的显示。
[0184]
结构6.在上述实施方式的控制装置中，所述通信部(24c、25a)关于配置在距所述行驶位置最近的位置的交叉路口的信号灯，通过与配置在所述移动体行驶的车道的上方的外部通信装置(414、424)的无线通信来接收所述信号灯的显示信息，
[0185]
所述外部通信装置与控制所述信号灯的显示的信号控制系统进行通信，发布从所述信号控制系统接收到的所述信号灯的显示信息。
[0186]
根据结构6的控制装置，移动体的通信部能够通过与外部通信装置的通信来接收信号灯的显示信息，通过使用接收到的显示信息，能够基于拍摄部的识别结果以及通信部通过通信接收到的显示信息的比较来决定信号灯的显示。
[0187]
结构7.在上述实施方式的控制装置中，在所述通信部(24c、25a)从所述外部通信装置(414、424)接收到所述信号灯的显示信息的情况下，
[0188]
所述点亮颜色决定部在从接收到所述显示信息起的基准时间内，与基于所述比较的结果的预定的优先顺序无关地，基于从所述显示信息获取到的所述信号灯的点亮颜色，决定在所述显示部中显示的所述信号灯的点亮颜色，
[0189]
所述行进方向决定部在从接收到所述显示信息起的基准时间内，与所述比较的结果无关地，基于从所述显示信息获取到的所述信号灯的行进方向的指示，决定显示于所述显示部的行进方向的指示。
[0190]
结构8.在上述实施方式的控制装置中，所述点亮颜色决定部在经过所述基准时间后，按照基于所述比较的结果的预定的优先顺序来决定在所述显示部中显示的所述信号灯的点亮颜色，
[0191]
所述行进方向决定部在经过所述基准时间后，将所述比较的结果一致的行进方向的指示决定为显示于所述显示部的行进方向的指示。
[0192]
根据结构7以及结构8的控制装置，即使在信号控制系统根据交叉路口的拥挤状况而变更了信号灯的显示的控制时机的情况下，也能够通过在经过能够针对显示信息维持准确的信息的基准时间前后切换比较处理，来降低控制时机的变更所带来的影响，从而高精度地决定信号灯的显示。
[0193]
结构9.在上述实施方式的控制装置中，在所述通信部(24c、25a)无法获取基于所述无线通信的所述显示信息以及所述地图信息的情况下，
[0194]
所述识别部(22、23)即使在获取了所述图像所包含的多个信号灯的显示的情况下，也不进行所述多个信号灯的显示的整合，
[0195]
所述识别部(22、23)决定在通过对所述图像的图像处理而识别出的该多个信号灯的显示中的、所述信号灯的显示的识别精度高的一方的信号灯的显示，
[0196]
所述点亮颜色决定部基于由所述识别部决定的所述信号灯的显示来决定所述信号灯的点亮颜色，
[0197]
所述行进方向决定部基于由所述识别部决定的所述信号灯的显示来决定显示于所述显示部的行进方向的指示。
[0198]
根据结构9的控制装置，在无法获取在比较处理中使用的显示信息以及地图信息的情况下，能够基于由识别部决定的识别精度高的一方的信号灯的显示来决定信号灯的显示。
[0199]
结构10.上述实施方式的移动体具有结构1至结构9中的任一个结构所记载的控制装置(2)。
[0200]
根据结构10的移动体，能够提供具有结构1至结构9中的任一个结构所记载的控制装置的移动体。
[0201]
结构11.上述实施方式的控制方法是控制装置(2)的控制方法，该控制装置(2)搭载于移动体(1)，将由拍摄所述移动体的外界的拍摄部(41)拍摄到的图像所包含的信号灯的显示显示于显示部，其中，
[0202]
所述控制方法具有：
[0203]
识别步骤(s302)，在该识别步骤(s302)中，识别部(22、23)根据所述图像识别信号灯的显示；
[0204]
通信步骤(s305)，在该通信步骤(s305)中，通信部(24c、25a)通过无线通信接收所述信号灯的显示信息；以及
[0205]
控制步骤(s306、s307)，在该控制步骤(s306、s307)中，控制部基于在所述识别步骤中识别出的所述信号灯的显示和在所述通信步骤中接收到的所述显示信息来决定所述信号灯的显示，并将决定出的所述信号灯的显示显示于所述显示部，
[0206]
在所述控制步骤中具有：
[0207]
点亮颜色决定步骤，在该点亮颜色决定步骤中，将在所述识别步骤中识别出的所述信号灯的点亮颜色与从基于所述无线通信的所述显示信息获取到的所述信号灯的点亮颜色进行比较，按照基于所述比较的结果的预定的优先顺序来决定在所述显示部中显示的所述信号灯的点亮颜色；以及
[0208]
行进方向决定步骤，在该行进方向决定步骤中，将在所述识别步骤中识别出的所述信号灯的行进方向的指示与从基于所述无线通信的所述显示信息获取到的所述信号灯的行进方向的指示进行比较，将所述比较的结果一致的行进方向的指示决定为显示于所述显示部的行进方向的指示。
[0209]
根据结构11的控制方法，能够基于拍摄部的识别结果以及通信部通过通信接收到的显示信息的比较来决定信号灯的显示。
[0210]
结构12.在上述的实施方式的程序中，使计算机执行结构11所记载的控制方法的各步骤。
[0211]
根据该结构，能够提供使计算机执行上述的控制方法的各步骤的程序。
[0212]
(其他实施方式)
[0213]
本发明还能够将实现上述实施方式的功能的程序经由网络或存储介质提供给控制移动体的系统或控制装置，该系统或控制装置的计算机中的1个以上的处理器读出程序，执行控制装置的处理。
[0214]
本发明并不限定于上述的实施方式，能够在发明的主旨的范围内进行各种变形、变更。