摄像装置和车辆控制系统的制作方法

1.本发明涉及摄像装置和车辆控制系统。


背景技术：

2.近年来，以创建安全的道路交通社会为目标，推动了自动驾驶系统的发展。在自动驾驶系统中，在自动驾驶期间作为人眼的摄像装置是必不可少的。例如，自动驾驶系统除了配备有获取拍摄的图像信息的摄像装置之外，还配备有使用诸如毫米波、激光和超声波等雷达波来检测物体的检测装置(专利文献1)。
3.通过将获取拍摄的图像信息的摄像装置与使用例如雷达波获取物体检测信息的检测装置结合使用，可以检测主车辆周围物体，例如，行人、障碍物、交通灯、在主车辆前面、旁边和后面行驶的车辆等。
4.引用文献列表
5.专利文献
6.专利文献1：jp 2019-021013 a


技术实现要素：

7.发明要解决的技术问题
8.尽管在上述传统技术中可以通过结合使用检测装置和摄像装置来检测主车辆周围物体，但是除了安装获取拍摄的图像信息的摄像装置之外，还需要安装获取物体检测信息的检测装置，这导致车辆控制系统的零件数量和价格的增加。
9.因此，本发明的目的在于提供一种能够单独获取拍摄的图像信息和物体检测信息的摄像装置以及包括该摄像装置的车辆控制系统。
10.解决技术问题的技术方案
11.实现上述目的的本发明的摄像装置包括：
12.像素阵列部，其配置有包括光电转换单元的像素；
13.用于摄像的图像处理单元，其基于从像素阵列部的各像素输出的像素信号获取拍摄的图像信息；以及
14.物体识别处理单元，其基于从所述像素阵列部的各像素输出的所述像素信号获取物体识别信息。
15.此外，实现上述目的的本发明的第一车辆控制系统包括：
16.摄像装置，其中，
17.所述摄像装置包括：
18.像素阵列部，其配置有包括光电转换单元的像素，
19.用于摄像的图像处理单元，其基于从所述像素阵列部的各像素输出的像素信号获取拍摄的图像信息，以及
20.物体识别处理单元，其基于从所述像素阵列部的各像素输出的所述像素信号获取
物体识别信息。
21.此外，实现上述目的的本发明的第二车辆控制系统包括：
22.摄像装置，
23.图像信号处理单元，其对从所述摄像装置输出的像素信号进行处理；以及
24.信号处理单元，其对由所述图像信号处理单元处理后的信号进行处理；其中，
25.所述摄像装置包括：
26.像素阵列部，其配置有包括光电转换单元的像素；以及
27.读取电路，其从所述像素阵列部的多个像素读取信号；
28.所述图像信号处理单元包括：
29.用于摄像的图像处理单元，其基于从所述摄像装置输出的所述像素信号获取拍摄的图像信息；和
30.物体识别处理单元，其基于从所述摄像装置输出的所述像素信号获取物体识别信息；并且
31.所述信号处理单元基于由所述物体识别处理单元获取的所述物体识别信息获取关于配备有所述摄像装置的主车辆与所述主车辆周围物体之间距离的信息，并且
32.当所述主车辆与周围物体之间距离小于预设阈值时，判定所述主车辆处于危险驾驶状态，并且通过所述用于拍摄的图像处理单元获取所拍摄的图像信息。
附图说明
33.图1是示出了根据本发明实施方案的摄像装置的系统构造的示例的框图。
34.图2是示出了像素电路构造的示例的电路图。
35.图3是用于说明像素电路操作的示例的时序图。
36.图4是示出了根据本发明第一实施方案的车辆控制系统的系统构造的示例的框图。
37.图5a、图5b和图5c是示出了滤色器阵列的颜色布置的示例的图。
38.图6是示出了根据本发明第二实施方案的车辆控制系统的系统构造的示例的框图。
39.图7是示出了根据本发明第三实施方案的车辆控制系统的系统构造的示例的框图。
40.图8是示出了根据本发明第四实施方案的车辆控制系统的系统构造的示例的框图。
41.图9是示出了安全驾驶状态的示例的示意图。
42.图10是示出了危险驾驶状态的具体示例(1)的示意图。
43.图11是示出了危险驾驶状态的具体示例(2)的示意图。
44.图12是示出了危险驾驶状态的具体示例(3)的示意图。
45.图13是示出了在自动驾驶期间车辆控制系统的一系列控制步骤的示例的流程图。
46.图14是从主车辆上方观察车辆进入存在多个车辆或物体的场所时的状态的鸟瞰图。
47.图15a是示出了当相邻车辆超越主车辆时主车辆与相邻车辆的位置关系的示意
图，并且图15b是示出了当主车辆超越相邻车辆时该两车辆的位置关系的示意图。
48.图16是示出了作为可以应用根据本发明技术的移动体控制系统的示例的车辆控制系统的示意性构造示例的框图。
49.图17是示出了摄像单元的安装位置的示例的图。
具体实施方案
50.下文中，将参照附图详细说明用于执行本发明的技术的形式(下文中，称为“实施方案”)。本发明的技术不限于这些实施方案。在以下说明中，相同的附图标记将用于相同的元件或具有相同功能的元件，并且将省略多余的说明。将按以下顺序进行说明。
51.1.本发明的摄像装置和车辆控制系统的概述说明
52.2.根据本发明实施方案的摄像装置
53.2-1.摄像装置的系统构造示例
54.2-2.像素的电路构造示例
55.2-3.像素的电路操作示例
56.3.根据本发明第一实施方案的车辆控制系统
57.4.根据本发明第二实施方案的车辆控制系统
58.5.根据本发明第三实施方案的车辆控制系统
59.6.根据本发明第四实施方案的车辆控制系统
60.6-1.示例1(自动驾驶期间车辆控制系统的控制示例)
61.6-2.示例2(自动驾驶期间车辆控制系统的一系列控制步骤)
62.6-3.示例3(存在多个车辆或物体的地方的控制示例)
63.6-4.示例4(邻车超越主车辆时的控制示例)
64.6-5.示例5(主车辆超越邻车时的控制示例)
65.7.变形例
66.8.根据本发明技术的应用示例(移动体示例)
67.9.本发明可采用的构造
68.《本发明的摄像装置和第一车辆控制系统和第二车辆控制系统的概述说明》
69.在本发明的摄像装置和车辆控制系统中，可以采用在像素阵列部中设置包括无色滤光器的滤色器阵列的构造。这里，期望采用其中用于摄像的图像处理单元使用应用深度学习的神经网络来进行图像处理并且输出拍摄的图像信息的构造。
70.在包括上述期望构造的本发明的摄像装置以及第一车辆控制系统和第二车辆控制系统中，可以采用其中物体识别处理单元使用应用深度学习的神经网络来进行物体识别并且输出物体识别信息的构造。
71.此外，在包括上述期望构造的本发明的摄像装置以及第一车辆控制系统和第二车辆控制系统中，可以采用其中像素阵列部的各像素具有多个光电转换单元的构造，所述多个光电转换单元具有不同的灵敏度。期望采用如下构造：多个光电转换单元由具有相对大光接收面积的光电转换单元和具有相对小光接收面积的光电转换单元构成。
72.此外，在包括上述期望构造的本发明的第一车辆控制系统和第二车辆控制系统中，除了包括摄像装置之外，还可以采用包括激光扫描仪、毫米波雷达和超声波传感器中的
至少一者的构造。
73.此外，在包括上述期望构造的本发明的第一车辆控制系统和第二车辆控制系统中，可以采用如下构造：从激光扫描仪、毫米波雷达和超声波传感器中的至少一者和像素阵列部向用于摄像的图像处理单元和物体识别处理单元输入模拟数据。这里，可以采用这样的构造，其中物体识别处理单元包括：前级电路单元，其基于模拟数据使用应用深度学习的神经网络来进行物体检测；和后级电路单元，其根据前级电路单元的输出数据使用应用深度学习的神经网络进行物体识别。
74.此外，在包括上述期望构造的本发明的第一车辆控制系统和第二车辆控制系统中，可以采用其中图像信号处理单元包括在摄像装置中的构造。
75.在包括上述期望构造的本发明的第二车辆控制系统中，可以采用这样的构造，其中物体识别处理单元基于从摄像装置、激光扫描仪、毫米波雷达和超声波传感器中的至少一者输入的信号获取关于主车辆与主车辆周围物体之间的距离的信息。
76.此外，在包括上述期望构造的本发明的第二车辆控制系统中，可以采用这样的构造，其中信号处理单元将其中主车辆与主车辆周围物体之间距离小于预定阈值的情况判定作为危险驾驶状态，通过用于摄像的图像处理单元获取拍摄的图像，并且执行使显示装置显示所拍摄的图像的处理或使存储单元存储所拍摄的图像的处理。
77.《根据本发明实施方案的摄像装置》
78.【摄像装置的系统构造示例】
79.在本发明的实施方案中，将为一种x-y地址型摄像装置的互补金属氧化物半导体(cmos)图像传感器作为摄像装置的示例进行说明。cmos图像传感器是通过应用或部分地使用cmos工艺制造的图像传感器。
80.图1是示出了根据本发明实施方案的摄像装置的系统构造示例的框图。如图1所示，根据本实施方案的摄像装置10包括像素阵列部11、行控制单元12、读取电路单元13、图像信号处理单元14、存储单元15以及摄像控制单元16。
81.像素阵列部11以这种方式构造：以矩阵形式二维地布置包括光电转换单元的像素20，该光电转换单元根据入射光量产生光电荷量。在像素阵列部11中，对于m行n列的像素阵列，在行方向上针对各像素行布置像素控制线31(311～31m)。像素控制线31的一端连接至行控制单元12的对应于一个像素行的输出端。在图1中，像素控制线31(311至31m)被示为一根线，但是像素控制线不限于一根。在像素阵列部11中列方向上还针对各像素列布置垂直信号线32(321至32n)。
82.行控制单元12是由移位寄存器、地址解码器等构成的像素驱动单元，并且例如对所有像素同时地或以像素行为单位驱动像素阵列部11的各像素20。虽然未图示行控制单元12的具体构造，但是它具有读取扫描系统和清除扫描系统并且根据这些扫描系统的驱动进行批量扫描和批量传输。
83.读取扫描系统例如以像素行为单位选择性地扫描像素阵列部11的各像素20，以便从像素20读取信号。在行驱动(卷帘快门操作)的情况下，对于清除，在读取扫描系统执行读取扫描的读取行的读取扫描之前，执行与快门速度相对应的时间的清除扫描。此外，在全局曝光(全局快门操作)的情况下，在批量传输之前执行与快门速度相对应的时间的批量扫描。
84.通过该清除，从读取行的像素20的光电转换单元清除了不必要的电荷。然后，通过扫除(复位)不必要的电荷来执行所谓的电子快门操作。这里，电子快门操作是指丢弃光电转换单元的光电荷然后开始新的曝光(开始光电荷的累积)的操作。
85.通过读取扫描系统的读取操作读取的信号对应于前一次读取操作或电子快门操作之后入射的光量。在行驱动的情况下，从前一次读取操作的读时序或电子快门操作的清除时序到当前读取操作的读取时序的时段是像素20的光电荷累积时段(曝光时段)。在全局曝光的情况下，从批量清除到批量传输的时段是累积时段(曝光时段)。
86.通过各条垂直信号线32(321至32n)将从由行控制单元12选择的像素行的各像素20输出的像素信号提供给读取电路单元13。读取电路单元13由电连接至垂直信号线32的恒定电流源、将从像素20输出的模拟像素信号转换为数字像素信号的模数转换器(adc)等组成，并且例如，是针对各像素列提供的列读取电路单元。
87.作为读取电路单元13的模数转换器，例如，可以使用作为基准信号比较型模数转换器的示例的单斜率型模数转换器。然而，模数转换器不限于单斜率型模数转换器，并且可以使用串行比较型模数转换器、delta-sigma调制型(δσ调制型)模数转换器等。
88.图像信号处理单元14例如具有运算处理功能，并且对通过读取电路单元13从像素阵列部11的各像素20读取的像素信号执行预定的信号处理。例如，图像信号处理单元14构造为包括用于摄像的图像处理单元141和物体识别处理单元142。
89.在图像信号处理单元14中，用于摄像的图像处理单元141获取关于由摄像装置10拍摄的图像的信息(即，基于通过读取电路单元13从像素阵列部11的各像素20输出的像素信号的拍摄的图像信息)，并且输出所拍摄的图像信息。
90.物体识别处理单元142获取基于通过读取电路单元13从像素阵列部11的各像素20输出的像素信号通过对摄像装置10拍摄的物体进行识别处理所获得的信息(即，物体识别信息)，并且输出该物体识别信息。这里，假定例如在稍后将述的车辆控制系统中安装并使用摄像装置10，可以将行人、障碍物、交通灯、在主车辆之前、之后或旁边行驶的车辆等例示为物体。
91.物体识别处理单元142可以使用例如已知的模式识别或应用深度学习称为神经网络(dnn：深度神经网络)的机器学习对摄像装置10拍摄的物体进行物体识别。更具体地，例如，在模式识别中，可以通过将作为教师数据的物体的特征点与摄像装置10拍摄的物体图像的特征点进行比较来执行物体识别。
92.在上述模式识别中用作教师数据的物体的特征点等信息预先存储在存储单元15中。此外，将存储在存储单元15中的诸如物体的特征点等信息与摄像装置10拍摄的物体图像的特征点进行比较并且在物体识别处理单元142的物体识别期间，并将存储在存储单元15中的诸如物体的特征点等信息用作在执行模式识别时的教师数据。
93.摄像控制单元16是向行控制单元12、读取电路单元13、图像信号处理单元14等供给各种时序信号和时钟信号以控制整个摄像装置10的系统控制单元，并且例如，包括基准信号生成单元161和时钟生成单元162。
94.当读取电路单元13中的模数转换器是单斜率型模数转换器时，基准信号生成单元161生成在模数转换器中使用的基准信号。可以使用例如数模转换器等来构造基准信号生成单元161。
95.时钟生成单元162生成行控制单元12、读取电路单元13、图像信号处理单元14等使用的时钟信号。可以使用例如锁相环(pll)电路等来构造时钟生成单元162。
96.【像素的电路构造示例】
97.图2是示出了像素20的电路构造示例的电路图。像素20包括具有不同灵敏度的多个光电转换单元，例如，两个光电转换单元，并且具有其中例如光电二极管用作所述两个光电转换单元的构造。
98.像素20包括具有不同灵敏度的光电二极管21l和光电二极管21s。例如，光电二极管21l具有相对高的灵敏度并且形成为具有相对大光接收面积。例如，光电二极管21s具有相对低的灵敏度并且形成为具有相对小光接收面积。
99.高灵敏度光电二极管21l和低灵敏度光电二极管21s具有连接至低电位电源(例如，地)的阳极电极，根据接收的光量将接收的光光电转换成光电荷(这里是光电子)，并且积累光电荷。
100.像素20除了包括光电二极管21l和光电二极管21s之外，还具有包括两个传输晶体管22
_1
和22
_2
、浮动扩散单元23、复位晶体管24、连接晶体管25、放大晶体管26、选择晶体管27以及像素内电容元件28的电路构造。
101.这里，例如，将n沟道mos场效应晶体管(fet)用作传输晶体管22
_1
和传输晶体管22
_2
、复位晶体管24、连接晶体管25、放大晶体管26和选择晶体管27。然而，这里所示的晶体管导电类型的组合仅仅是示例并且对这些组合没有限制。
102.一个传输晶体管22
_1
连接在高灵敏度光电二极管21l的阴极电极和浮动扩散单元23之间。从行控制单元12向传输晶体管22
_1
的栅极电极施加其中高电平(例如，电平v
dd
)有效的传输信号tgl。
103.另一传输晶体管22
_2
连接在低灵敏度光电二极管21s的阴极电极和复位晶体管24与连接晶体管25之间的连接点n之间。从行控制单元12向传输晶体管22
_2
的栅极电极施加其中高电平(例如，电平v
dd
)有效的传输信号fcg。
104.浮动扩散单元23是将电荷转换为电压的电荷-电压转换单元。
105.复位晶体管24连接在电源电压v
dd
的电源线和连接点n之间。从行控制单元12向复位晶体管24的栅极电极施加其中高电平(例如，电平v
dd
)有效的复位信号rst。
106.连接晶体管25连接在连接点n和浮动扩散单元23之间。从行控制单元12向连接晶体管25的栅极电极施加其中高电平(例如，电平v
dd
)有效的连接信号fdg。
107.在放大晶体管26中，栅极电极连接至浮动扩散单元23并且漏极电极连接至电源电压v
dd
的电源线。
108.选择晶体管27连接在放大晶体管26的源极电极和垂直信号线32之间。从行控制单元12向选择晶体管27的栅极电极施加其中高电平(例如，电平v
dd
)有效的选择信号sel。
109.像素内电容元件28连接在电源电压v
dd
的电源线和低灵敏度光电二极管21s的阴极电极之间，并且存储由低灵敏度光电二极管21s光电转换的电荷。
110.如上所述，像素20包括具有不同灵敏度的两个光电二极管21l和21s。因此，无论环境具有低照度还是高照度，像素20以矩阵形式配置的根据本实施方案的摄像装置10都能够拍摄良好的图像。
111.【像素的电路操作示例】
112.接下来，将参照图3的时序图说明具有上述电路构造的像素20的电路操作的示例。图3的时序图示出了选择信号sel、连接信号fdg、复位信号rst、传输信号fcg和传输信号tgl之间的时序关系。
113.在图3的时序图中，在时间t0变为有效的水平同步信号xsh是用于在一个水平周期中同步一个像素行的像素20的操作的信号。此外，在图3的时序图中，光电二极管由“pd”表示。
114.当包括预定像素20的像素行变为快门行时，在像素行被驱动的一个水平周期的时刻t
11
，连接信号fdg和复位信号rst变为高电平，并且连接晶体管25和复位晶体管24变为导通状态。因此，浮动扩散单元23经由连接晶体管25和复位晶体管24电连接至电源电压v
dd
的电源线，并且浮动扩散单元23中累积的电荷被释放至电源电压v
dd
的电源线。
115.接下来，在时刻t
12
，传输信号tgl和传输信号fcg变为高电平，并且传输晶体管22
_1
和传输晶体管22
_2
变为导通状态。因此，高灵敏度光电二极管21l和低灵敏度光电二极管21s中累积的电荷经由处于导通状态的连接晶体管25和复位晶体管24也释放至电源电压v
dd
的电源线。然后，开始与高灵敏度光电二极管21l和低灵敏度光电二极管21s中光电转换有关的电荷累积。
116.然后，在时刻t
13
，复位信号rst变为低电平，然后在时刻t
14
，传输信号fcg变为低电平，然后在时刻t
15
，连接信号fdg变为低电平。在快门行中，选择信号sel始终处于低电平状态。
117.接着，行控制单元12选择包括预定像素20的像素行作为读取行时，在时刻t
21
，选择信号sel变为高电平，并且选择晶体管27变为导通状态。因此，放大晶体管26通过选择晶体管27连接至垂直信号线32。
118.在与选择信号sel相同的时刻t
21
，连接信号fdg变为高电平，并且连接晶体管25成为导通状态，因此浮动扩散单元23电连接至复位晶体管24。在该状态下，在时刻t
22
，复位信号rst以脉冲形状变为高电平，并且复位晶体管24变为导通状态，因此浮动扩散部23复位了。
119.接着，在时刻t
23
，传输信号fcg变为高电平，并且传输晶体管22
_2
变为导通状态，因此在低灵敏度光电二极管21s中进行光电转换并且累积在像素内电容元件28的电荷通过传输晶体管22
_2
和连接晶体管25传送至浮动扩散单元23。然后，对应于由低灵敏度光电二极管21s光电转换的电荷的数据电平被读取作为低灵敏度光电二极管21s的d相(低灵敏度pd d相)。
120.在读取低灵敏度光电二极管21s的d相之后，在时刻t
24
，复位信号rst以脉冲形状变为高电平，并且复位晶体管24变为导通状态。因此，通过处于导通状态的复位晶体管24和连接晶体管25将浮动扩散单元23复位。然后，此时的浮动扩散单元23的复位电平被读取为低灵敏度光电二极管21s的p相(低灵敏度pd p相)。
121.然后，在时刻t
25
，传输信号fcg变为低电平，并且传输晶体管22
_2
变为截止状态，然后，时刻t
26
，复位信号rst以脉冲形状变为高电平，并且复位晶体管24变为导通状态。因此，通过处于导通状态的复位晶体管24和连接晶体管25将浮动扩散单元23复位。然后，浮动扩散单元23此时的复位电平被读取为高灵敏度光电二极管21l的p相(高灵敏度pd p相)。
122.然后，在时刻t
27
，传输信号tgl以脉冲形状变为高电平，并且传输晶体管22
_1
变为
导通状态，因此由高灵敏度光电二极管21l光电转换的电荷被传输至浮动扩散单元23。然后，与高灵敏度光电二极管21l光电转换的电荷对应的数据电平被读取为高灵敏度光电二极管21l的d相(高灵敏度pd d相)。
123.此外，在行控制单元12未选择的非选择行中，水平同步信号xsh、选择信号sel、连接信号fdg、复位信号rst、传输信号fcg和传输信号tgl全部始终处于低电平状态。
124.顺便提及地，在诸如cmos图像传感器等摄像装置10中，例如，在像素20的复位操作期间执行使用相关双采样(cds)的噪声消除处理以便去除噪声。对于该cds处理，例如，如上所述，从像素20读取复位电平(p相)和数据电平(d相)。
125.根据上述像素20的电路操作，像素20可以从低灵敏度光电二极管21s读取像素信号并且从高灵敏度光电二极管21l读取像素信号。因此，其中像素20以矩阵形式布置的摄像装置10可以通过在高灵敏度光电二极管21l的像素信号不饱和的曝光环境中使用光电二极管21l的像素信号并且在高灵敏度光电二极管21l的像素信号饱和的曝光环境中使用低灵敏度光电二极管21s的像素信号来构建宽动态图像。
126.上述本实施方案的摄像装置10是包括作为图像信号处理单元14的功能单元的用于摄像的图像处理单元141和物体识别处理单元142的传感器，并且能够单独(即，使用一个摄像装置10)获取拍摄的图像信息和物体识别信息。
127.这里，假设在将本实施方案的摄像装置10安装在例如后述的车辆控制系统上使用的情况下，摄像装置10能够单独检测并识别主车辆周围物体(例如行人，障碍物，交通灯，主车辆前面、后面或旁边行驶的车辆等)作为事件。
128.尽管在上述实施方案中已经例示了作为图像信号处理单元14的功能单元的用于摄像的图像处理单元141和物体识别处理单元142设置在摄像装置主体10a内部的系统构造，但是，也可以采用将用于摄像的图像处理单元141和物体识别处理单元142设置为例如摄像装置主体10a外部的处理单元的系统构造。在这种情况下，根据本实施方案的摄像装置10可以包括摄像装置主体10a、设置在摄像装置主体10a外部的用于摄像的图像处理单元141和物体识别处理单元142。
129.下文中，将说明配备有根据本发明实施方案的摄像装置10的车辆控制系统的具体实施方案。
130.《根据本发明第一实施方案的车辆控制系统》
131.图4是示出了根据本发明第一实施方案的车辆控制系统的系统构造示例的框图。
132.如图4所示，根据第一实施方案的车辆控制系统100a使用根据本发明上述实施方案的摄像装置10作为安装在车辆上的摄像装置，以获取关于车辆外部的信息。这同样适用于稍后将述的第二实施方案至第四实施方案。根据第一实施方案的车辆控制系统100a除了包括摄像装置10之外，还包括应用处理器40、位置传感器50、用户接口60、地图数据库70、无线收发器80等。应用处理器40是在应用处理器40处理后对信号进行处理的信号处理单元的示例。
133.根据第一实施方案的车辆控制系统100a的摄像装置10例如配备有图5a所示的rccye滤色器、图5b所示的rccb滤色器等作为主要用于获取视频的颜色数据的滤色器阵列。
134.这里，r(红色)表示透射红色波长区域的光的滤色器，c(无色)表示无色滤色器，ye(黄色)表示透射黄色波长区域的光的滤色器，并且b(蓝色)表示透射蓝色波长区域的光的
滤色器。然而，包括无色(c)滤色器的滤色器阵列不限于rccye滤色器和rccb滤色器，并且可以是rccc滤色器等。
135.图5a所示的rccye滤色器和图5b所示的rccb滤色器包括两个无色(c)滤色器和一个红光(r)滤色器，因此具有更高的灵敏度，并且具有即使在与明亮的月夜相对应的低照度下能够对远处的障碍物、行人等进行摄像，并且根据红光的强度来区分汽车的白色前灯、红色尾灯等的优点。
136.另一方面，图5a所示的rccye滤色器和图5b所示的rccb滤色器具有比图5c所示的rgb(g表示透射绿色波长范围内的光的滤色器)拜耳阵列滤色器更低的颜色再现性。
137.因此，摄像装置10的用于摄像的图像处理单元141使用对图像处理应用深度学习的神经网络(dnn)来执行图像处理。通过在用于摄像的图像处理单元141中通过dnn处理执行图像处理，可以输出具有高颜色再现性的拍摄图像。在应用处理器40的控制下，将具有高颜色再现性的拍摄图像显示在用户接口60的显示装置61上。
138.如上所述，摄像装置10的物体识别处理单元142通过使用dnn处理例如将作为教师数据的物体的特征点与摄像装置10摄像的物体图像的特征点进行比较，针对摄像装置10摄像的物体进行物体识别并且输出物体识别信息。物体识别信息和从用于摄像的图像处理单元141输出的拍摄的图像信息一起被提供给应用处理器40。
139.位置传感器50例如是全球定位系统(gps)，测量主车辆的当前位置，并且计算和获得当前位置的经度/纬度信息。位置传感器50将通过计算获得的当前位置的经度/纬度信息提供给摄像装置10和应用处理器40。
140.除了由位置传感器50提供的当前位置的经度/纬度信息之外，来自地图数据库70的地图信息和从无线收发器80接收到的信息也被提供给应用处理器40。应用处理器40还提供有来自用户接口60中设置的驾驶员监视器62的信息。驾驶员监视器62是设置用于监视驾驶员并且防止驾驶员睡着或看向一边的装置。
141.例如，动态地图存储在地图数据库70中。这里，动态地图是其中组合了大量时刻变化的动态信息和静态信息的数字地图。可以示例交通管制、施工信息、事故、交通堵塞、行人、信号信息等作为时刻变化的动态信息。可以示例高精度的三维位置信息，例如，路面信息、车道信息、三维结构等作为静态信息。
142.通过使用用于车辆控制系统100a的自动驾驶的动态地图，应用处理器40可以预先识别出现在路上的弯道和道路的起伏。因此，在自动驾驶中，能够使汽车有余量的加速/减速，并且根据预先识别的状况在适当的时机操作方向盘。
143.根据具有上述构造的第一实施方案的车辆控制系统100a，将具有比rgb拜耳阵列滤色器的颜色再现性更低的颜色再现性的rccye滤色器或rccb滤色器设置为滤色器阵列，但是通过执行根据dnn处理的图像处理，可以输出具有高颜色再现性的拍摄的图像。此外，由于rccye滤色器和rccb滤色器都包括c滤色器和r滤色器，因此它们具有高灵敏度，并且即使在低照度下也能够对远处的障碍物、行人等进行摄像，并且根据红光的强度来区分汽车的白色前灯、红色尾灯等。
144.《根据本发明第二实施方案的车辆控制系统》
145.图6是示出了根据本发明第二实施方案的车辆控制系统的系统构造示例的框图。
146.根据第二实施方案的车辆控制系统100b的摄像装置10例如配备有图5c所示的rgb
拜耳阵列滤色器作为滤色器阵列。rgb bayer阵列滤色器在颜色再现性方面优于图5a所示的rccye滤色器和图5b所示的rccb滤色器。因此，不必使用dnn处理作为摄像装置10的用于摄像的图像处理单元141的图像处理，并且可以使用与一般摄像装置相同的图像处理。
147.根据具有上述构造的第二实施方案的车辆控制系统100b，尽管与安装rccye滤色器、rccb滤色器等的情况相比，由于安装了rgb拜耳阵列滤色器作为滤色器阵列，降低了灵敏度，但是由于不需要通过dnn处理来执行图像处理，因此可以简化用于摄像的图像处理单元141的构造。
148.《根据本发明第三实施方案的车辆控制系统》
149.图7是示出了根据本发明第三实施方案的车辆控制系统的系统构造示例的框图。
150.如图7所示，根据第三实施方案的车辆控制系统100c具有这样的系统构造：其中包括用于摄像的图像处理单元141和物体识别处理单元142的图像信号处理单元14作为处理单元设置在摄像装置100的外部。然而，与根据第一实施方案的车辆控制系统100a的情况一样，也可以采用将包括用于摄像的图像处理单元141和物体识别处理单元142的图像信号处理单元14包括在摄像装置10中的系统构造。
151.根据第三实施方案的车辆控制系统100c例如配备有图5b所示的rccb滤色器作为滤色器阵列。如上所述，图5b所示的rccb滤色器具有比图5c所示的rgb拜耳阵列滤色器低的颜色再现性。因此，与根据第一实施方案的车辆控制系统100a的情况一样，通过使用dnn处理作为用于摄像的图像处理单元141的图像处理，根据第三实施方案的车辆控制系统100c能够输出具有更高颜色再现性的图像。
152.在根据第三实施方案的车辆控制系统100c中，作为信号处理单元的示例的应用处理器40基于由物体识别处理单元142获取的物体识别信息，获取关于配备有摄像装置10的主车辆与主车辆周围物体(例如，另一车辆)之间距离的信息。然后，当主车辆与主车辆周围物体之间距离小于预定阈值时，应用处理器40判定主车辆处于危险驾驶状态，并且通过用于摄像的图像处理单元141获取拍摄的图像信息。
153.根据第三实施方案的车辆控制系统100c除了包括摄像装置10之外，还包括激光扫描仪110、毫米波雷达120和超声波传感器130作为用于检测主车辆周围信息的传感器。尽管这里示出了包括激光扫描仪110、毫米波雷达120和超声波传感器130全部的构造，但是也可以采用其中包括激光扫描仪110、毫米波雷达120和超声波传感器130中至少一者的系统构造。
154.作为激光扫描仪110，例如，可以使用激光雷达(光探测和测距，激光摄像探测和测距)装置。激光雷达装置是测量发射脉冲光的激光辐射的散射光，并且特别地测量到远距离处出现的物体的距离的传感器。
155.毫米波雷达120是使用具有短波长的无线电波来检测诸如到测量目标的距离等位置信息和水平角以及相对速度的传感器。超声波传感器130是利用超声波的反射来测量到物体的距离的传感器。
156.根据第三实施方案的车辆控制系统100c，其除了包括摄像装置10之外，还包括激光扫描仪110、毫米波雷达120、超声波传感器130作为用于检测主车辆周围信息的传感器，可以获得更多的周围信息，因此与仅使用摄像装置10的情况相比，能够提高物体的检测精度和识别精度。
157.根据具有上述构造的第三实施方案的车辆控制系统100c，尽管将颜色再现性低于rgb拜耳阵列滤色器的rccb滤色器安装作为滤色器阵列，但是通过根据dnn处理执行图像处理，可以输出具有高颜色再现性的拍摄的图像。此外，即使在低照度下也能够以高灵敏度对远处的障碍物、行人等进行摄像，并且通过安装rccb滤色器来区分汽车的白色前灯、红色尾灯等。此外，除了包括摄像装置10之外，还可以通过包括激光扫描仪110、毫米波雷达120和超声波传感器130来提高物体的识别精度，以获取更多的周围信息，从而能够进行更安全和更可靠的车辆控制。
158.《根据本发明第四实施方案的车辆控制系统》
159.图8是示出了根据本发明第四实施方案的车辆控制系统的系统构造示例的框图。
160.与根据第三实施方案的车辆控制系统100c的情况一样，根据第四实施方案的车辆控制系统100d也具有这样的系统构造：其中包括用于摄像的图像处理单元141和物体识别处理单元142的信号处理单元14作为处理单元设置在摄像装置100的外部。然而，与根据第一实施方案的车辆控制系统100a的情况一样，也可以采用将包括用于摄像的图像处理单元141和物体识别处理单元142的图像信号处理单元14包括在摄像装置10中的系统构造。
161.此外，根据第三实施方案的车辆控制系统100c还具有例如图5b所示的rccb滤色器作为滤色器阵列。摄像装置10可以设置有图像处理单元，该图像处理单元对发送到用于摄像的外部图像处理单元141的图像信号执行诸如闪烁抑制处理等预处理。预处理可以是使用深度学习的信号处理。
162.此外，根据第四实施方案的车辆控制系统100d与根据第三实施方案的车辆控制系统100c的相同之处在于：前者除了包括摄像装置10之外，还包括激光扫描仪110、毫米波雷达120和超声波传感器130作为用于检测与主车辆周围相关的信息的传感器。然而，根据第四实施方案的车辆控制系统100d与根据第三实施方案的车辆控制系统100c的不同之处在于：在前者的情况下，从摄像装置10、激光扫描仪110、毫米波雷达120和超声波传感器130向图像信号处理单元14输入处理之前的原始数据(即，模拟数据)，而在后者的情况中输入处理后的数据。
163.尽管示出了根据第四实施方案的车辆控制系统100d包括激光扫描仪110、毫米波雷达120和超声波传感器130全部的系统构造，但是也可以采用车辆控制系统100d包括激光扫描仪110、毫米波雷达120和超声波传感器130中至少一者的系统构造。
164.在图像信号处理单元14中，用于摄像的图像处理单元141通过对来自摄像装置10的通过rccb滤色器的摄像信号执行根据dnn处理的图像处理来提高颜色再现性，然后将摄像信号输出至应用处理器40作为拍摄的图像信息。
165.根据第四实施方案的车辆控制系统100d的物体识别处理单元142包括作为前级电路单元的物体检测电路单元142
_1
和作为后级电路单元的物体识别电路单元142
_2
。
166.前级的物体检测电路单元142
_1
接收来自摄像装置10、激光扫描仪110、毫米波雷达120和超声波传感器130的模拟数据作为输入，基于模拟数据根据dnn处理检测物体，并且将指示已检测到物体的数据作为处理后的数据提供给后级的物体识别电路单元142
_2
。
167.后级的物体识别电路单元142
_2
根据dnn处理对前级的物体检测电路单元142
_1
检测到的物体进行物体识别，并且将识别结果作为物体识别信息输出至应用处理器40。
168.在根据第四实施方案的车辆控制系统100d中，物体识别处理单元142基于从激光
扫描仪110、毫米波雷达120和超声波传感器130中至少一者输入的信号获取主车辆和主车辆周围物体(例如，另一车辆)之间距离的信息。
169.作为信号处理单元示例的应用处理器40将主车辆与主车辆周围物体之间距离小于预定阈值的情况判定为危险驾驶状态，并且通过用于摄像的图像处理单元141获取拍摄的图像信息。此外，应用处理器40将主车辆与主车辆周围物体之间距离小于预定阈值的情况判定为危险驾驶状态，通过用于拍摄的图像处理单元141获取拍摄的图像，并且例如，在内置存储单元中执行存储拍摄的图像的处理。
170.如上所述，在根据第四实施方案的车辆控制系统100d中，物体检测电路单元142
_1
使用原始数据(即，模拟数据)来检测物体的存在与否，然后如果物体存在，则物体识别电路单元142
_2
进行识别物体的处理。以这种方式，与根据处理后的数据(例如，数字数据)进行物体检测的情况相比，通过根据模拟数据先进行物体检测，能够更早地进行物体检测和物体识别。因此，在车辆控制中能够更快地反应出物体识别结果。
171.上述根据第一实施方案的车辆控制系统100a、根据第二实施方案的车辆控制系统100b、根据第三实施方案的车辆控制系统100c或根据第四实施方案的车辆控制系统100d可以用作后述的车辆控制系统7000(参照图16)的示例。此外，如图17所示，在应用于后述的车辆控制系统7000时，摄像装置10安装在车辆7900的预定位置，并且用作摄像单元7910、摄像单元7912、摄像单元7914、摄像单元7916、摄像单元7918，并且激光扫描仪110、毫米波雷达120和超声波传感器130安装在车辆7900的预定位置处，并且用作车外信息检测单元7920、车外信息检测单元7922、车外信息检测单元7924、车外信息检测单元7926、车外信息检测单元7928和车外信息检测单元7930。
172.在下文中，将说明根据第四实施方案的车辆控制系统100d的系统控制的具体示例，该车辆控制系统除了包括摄像装置10之外，还包括激光扫描仪110、毫米波雷达120和超声波传感器130。下面，为了简化说明，假定将安装在车辆7900的预定位置作为摄像单元7910、摄像单元7912、摄像单元7914、摄像单元7916和摄像单元7918的根据上述实施方案的摄像装置10简称为“相机”。
173.[示例1]
[0174]
示例1是自动驾驶期间车辆控制系统的控制示例。在稍后将述的驱动系统控制单元7100(参照图16)的控制下进行自动驾驶的控制。
[0175]
图9示出了安全驾驶状态的示例。这里例示的安全驾驶状态是其中另一车辆y在与主车辆x行驶的车道相邻的车道上在主车辆x前方超过危险距离处行驶的驾驶状态，并且在横向方向和纵向方向(驱动方向)上确保了安全距离。在这样的驾驶状态下，仅启动物体识别处理单元142，以仅执行主车辆x周围物体的识别，所谓的感测。然而，也可以基于用户(驾驶员)的操作在车辆的显示器上显示由安装在主车辆x中的任意相机拍摄的图像。
[0176]
在全自动驾驶系统中，通过摄像装置10的摄像(摄像)不是必需的，因此例如，它可以用作发生事故时在行车记录仪中进行保存的替代物，并且可以与根据摄像的显示同时执行，或者可以交替执行它们。
[0177]
图10、图11和图12示出了危险驾驶状态的具体示例(1、2、3)。
[0178]
图10所示的危险驾驶状态是其他车辆y正穿过主车辆x正在行驶的车道的旁边的车道，并且特别地，在横向方向上没有确保安全距离的驾驶状态。图11所示的危险驾驶状态
是其他车辆y在紧邻车道的危险距离内行驶，并且当其他车辆y改变车道时可能发生事故的驾驶状态。图12所示的危险驾驶状态是其他车辆y在主车辆x行驶的车道的危险距离内行驶，并且在横向方向和纵向方向上均未确保安全距离的行驶状态。
[0179]
在上述危险驾驶状态(即，在横向方向和/或纵向方向(驾驶方向)上与其他车辆y的距离是危险的)的情况下，例如，设置在车辆前方的相机开始摄像处理，并且进行用于摄像的图像处理单元141的摄像和物体识别处理单元142的感测。然后，在车辆的显示器上显示拍摄的图像。
[0180]
关于车辆周围环境的感测，如图6所示，通过使用相机(即，摄像装置10)的感测系统进行恒定感测。此外，如图7所示，可以根据诸如激光扫描仪110、毫米波雷达120和超声波传感器130等多个传感器的融合系统对车辆周围环境进行恒定地检测。此外，通过该感测，感测到主车辆x和主车辆x周围物体(例如，另一车辆y)之间的距离，并且作为信号处理单元的示例的应用处理器40判定该距离是危险的还是安全的。
[0181]
此外，基于激光扫描仪110、毫米波雷达120、超声波传感器130等的测量结果，执行控制使得在横向方向上与其他车辆y的距离保持为安全距离，或者执行控制使得在驾驶方向上保持安全距离。此时，还可以在车辆的显示器上显示警告或从自动驾驶切换到驾驶员驾驶。
[0182]
[示例2]
[0183]
示例2是车辆控制系统在自动驾驶期间的一系列控制步骤。将参照图13的流程图说明在上述安全驾驶状态和危险驾驶状态下的车辆控制系统的一系列控制步骤(控制方法)。假设在稍后将述的驱动系统控制单元7100(下文中，简称为“控制单元”)的控制下执行这里例示的一系列控制。控制单元对应于作为信号处理单元示例的应用处理器40。
[0184]
控制单元开始自动驾驶(步骤s11)，确定在横向方向上是否保持安全距离(步骤s12)，然后确定在纵向方向(行驶方向)上是否保持安全距离(步骤s13)。如果在横向和纵向上保持了安全距离(s12和s13中为是)，则控制单元仅启动物体识别处理单元142以设置感测模式(步骤s14)并且识别主车辆x周围物体(步骤s15)。
[0185]
接下来，控制单元判断自动驾驶是否结束(步骤s16)，如果自动驾驶结束(s16中为是)，则结束自动驾驶期间的车辆控制系统的一系列控制，并且如果自动驾驶没有结束(s16中为否)，则返回步骤s12。
[0186]
如果在步骤s12中主车辆x和其他车辆y之间的横向距离小于预设阈值，则控制单元判定在横向方向上没有保持安全距离并且主车辆x处于危险状态(s12中为否)。此外，如果在步骤s13中主车辆x和其他车辆y之间的纵向距离小于预设阈值，则控制单元判定在纵向方向上没有保持安全距离并且主车辆处于危险状态(s13中为否)。
[0187]
当判定当前状态是危险状态(s12中为否/s13中为否)时，控制单元启动相机(例如，安装在车辆前部的相机)，该相机对未保持安全距离的车辆进行摄像(步骤s17)。然后，控制单元通过用于摄像的图像处理单元141进行摄像处理(步骤s18)，然后通过物体识别处理单元142进行感测处理(步骤s19)。
[0188]
接下来，控制单元在车辆的显示器上显示拍摄的图像(步骤s20)，然后基于物体识别处理单元142的感测结果和激光扫描仪110、毫米波雷达120、超声波传感器130等的测量结果控制车辆(步骤s21)。在该车辆控制中，进行控制使得与其他车辆y的横向距离保持为
安全距离，或者进行控制以使得在纵向方向上保持安全距离。在车辆控制之后，处理返回到步骤s12。
[0189]
[示例3]
[0190]
示例3是在诸如停车场等存在多辆汽车或物体的地方的控制示例。
[0191]
如图14所示，当激光扫描仪110、毫米波雷达120、超声波传感器130等检测到车辆(主车辆x)已经进入诸如停车场等存在多辆车辆或物体的地方时，启动安装在车辆的前部、后部、侧面等处的相机以进行物体识别。此外，基于来自这些相机的信号进行摄像，并且在车辆的显示器上显示通过周围视图系统从主车辆x的上方看到的鸟瞰图。
[0192]
通过在车辆的显示器上显示鸟瞰图，可以辅助驾驶员在停车期间的操作或检测行人和障碍物并且将检测结果通知驾驶员。
[0193]
[示例4]
[0194]
示例4是当相邻车辆超越主车辆时的控制示例。图15a示出了当相邻车辆超越主车辆时，主车辆x和相邻车辆y之间的位置关系。
[0195]
当摄像装置10、激光扫描仪110、毫米波雷达120、超声波传感器130等检测到相邻车辆y超越主车辆x时，通过安装在车辆侧面的相机进行摄像，并且在车辆的显示器上显示拍摄的图像。然后，当相邻车辆y进入主车辆前部相机的视角时，显示器上显示的图像逐渐切换为前部相机拍摄的图像。然后，在确定主车辆x与已经超越主车辆x的前车y之间保持了安全距离时，结束摄像。
[0196]
此外，当在横向方向上检测到与相邻车辆y的不安全距离并且相邻车辆y超越主车辆x时，可以开始通过安装在车辆侧面等的相机的摄像。
[0197]
[示例5]
[0198]
示例5是当主车辆超越相邻车辆时的控制示例。图15b示出了当主车辆x超越相邻车辆y时，主车辆x和相邻车辆y之间的位置关系。
[0199]
当主车辆x决定超越相邻车辆y时，通过安装在车辆侧面的相机进行摄像，并且在车辆的显示器上显示拍摄的图像。然后，当相邻车辆y进入安装在车辆后部的相机的视角时，显示器上显示的图像逐渐切换为后部相机拍摄的图像。然后，当主车辆x与主车辆x后方的被超越的车辆y之间保持了安全距离时，结束摄像。
[0200]
此外，当在横向方向上检测到与相邻车辆y的不安全距离并且主车辆x超越相邻车辆y时，可以开始通过安装在车辆侧面等的相机的摄像。
[0201]
《变形例》
[0202]
尽管上面已经基于优选实施方案说明了根据本发明的技术，但是根据本发明的技术不限于这些实施方案。上述实施方案中所述的光接收装置和测距装置的构造和结构是示例并且可以适当地变形。
[0203]
《根据本发明的技术的应用示例》
[0204]
根据本发明的技术可以应用于各种产品。下面将说明更具体的应用示例。例如，根据本发明的技术可以实现为安装在诸如汽车、电动车、混合动力汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机)等任意类型的移动体上的距离测量装置。
[0205]
[移动体]
[0206]
图16是示出了作为可以应用根据本发明的技术的移动体控制系统的示例的车辆控制系统7000的示意性构造示例的框图。车辆控制系统7000包括通过通信网络7010连接的多个电子控制单元。在图16所示的示例中，车辆控制系统7000包括：驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。用于连接这些多个控制单元的通信网络7010可以是基于诸如控制器局域网(can)、本地互连网络(lin)、局域网(lan)或flexray(注册商标)等任何标准的车载通信网络。
[0207]
各控制单元包括：根据各种程序进行运算处理的微型计算机；存储由微型计算机执行的程序、用于各种运算操作的参数等的存储单元；以及驱动各种控制目标装置的驱动电路。各控制单元包括通过通信网络7010与其他控制单元进行通信的网络i/f，并且包括通过有线通信或无线通信与车辆内部或外部的设备、传感器等进行通信的通信i/f。在图14中，示出了微型计算机7610、通用通信i/f 7620、专用通信i/f 7630、定位单元7640、信标接收单元7650、车内设备i/f 7660、音频/图像输出单元7670、车载网络i/f 7680和存储单元7690作为集成控制单元7600的功能性构造。其他控制单元还包括微型计算机、通信i/f、存储器单位等。
[0208]
驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100用作如下装置的控制装置：诸如内燃机或驱动马达等用于产生车辆驱动力的驱动力产生装置、将驱动力传递到车轮的驱动力传递机构、调整车辆转向角的转向机构、产生车辆制动力的制动装置等。驱动系统控制单元7100可以具有用作诸如防抱死制动系统(abs)、电子稳定控制(esc)等控制装置的功能。
[0209]
车辆状态检测单元7110连接至驱动系统控制单元7100。例如，车辆状态检测单元7110包括检测车身的轴向旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器、用于检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、车轮转速等的传感器中的至少一者。驱动系统控制单元7100使用从车辆状态检测单元7110输入的信号进行运算处理，以控制内燃机、驱动马达、电动助力转向装置、制动装置等。
[0210]
车身系统控制单元7200根据各种程序控制安装在车身中的各种装置的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、倒车灯、刹车灯、转向灯和雾灯等各种灯的控制装置。在这种情况下，从替代钥匙的移动装置发送的无线电波或者各种开关的信号可以输入到车身系统控制单元7200。车身系统控制单元7200接收无线电波或者信号的输入，并且控制车辆的门锁装置、电动车窗装置、车灯等。
[0211]
电池控制单元7300根据各种程序控制作为驱动马达的电源的蓄电池7310。例如，向电池控制单元7300输入来自包括蓄电池7310的电池装置的电池温度、电池输出电压或电池的剩余容量等信息。电池控制单元7300使用该信号进行运算处理，并且执行蓄电池7310的温度调节控制或者电池装置中装备的冷却装置的控制等。
[0212]
车外信息检测单元7400检测其上安装有车辆控制系统7000的车辆的外部信息。例如，摄像单元7410和车外信息探测器7420中至少一者连接至车外信息检测单元7400。摄像单元7410包括飞行时间(tof)相机、立体相机、单目相机、红外相机和其他相机中的至少一者。例如，车外信息探测器7420包括检测当前天气或大气现象的环境传感器或者检测其上
安装有车辆控制系统7000的车辆周围的其他车辆、障碍物、行人等的周围环境信息检测传感器中的至少一者。
[0213]
环境传感器例如可以是检测下雨天气的雨滴传感器、检测雾的雾传感器、检测日照程度的阳光传感器和检测降雪的雪传感器中的至少一种。周围环境信息检测传感器可以是超声波传感器、雷达装置以及光检测和测距或激光摄像检测和测距(lidar)装置中的至少一种。摄像单元7410和车外信息探测器7420可以被设置为独立的传感器或装置，或者可以被设置为集成了多个传感器或装置的装置。
[0214]
这里，图17示出了摄像单元7410和车外信息探测器7420的安装位置的示例。摄像单元7910、摄像单元7912、摄像单元7914、摄像单元7916和摄像单元7918例如设置在车辆7900的前鼻、侧视镜、后保险杠、后门和车厢挡风玻璃的上部中的至少一处。包括在前鼻处的摄像单元7910和包括在车厢挡风玻璃上部的摄像单元7918主要获取车辆7900的前方的图像。包括在侧视镜中的摄像单元7912和摄像单元7914主要获取车辆7900的侧面的图像。包括在后保险杠或后门中的摄像单元7916主要获取车辆7900的后方的图像。包括在车厢挡风玻璃上部的摄像单元7918主要用于前方车辆、行人、障碍物、交通灯、交通标志、车道等检测。
[0215]
在图17中，示出了各个摄像单元7910、摄像单元7912、摄像单元7914和摄像单元7916的摄像范围的示例。摄像范围a示出了设置在前鼻处的摄像单元7910的摄像范围，摄像范围b和摄像范围c示出了设置在侧视镜上的摄像单元7912和摄像单元7914的摄像范围，并且摄像范围d示出了设置在后保险杠或后门上的摄像单元7916的摄像范围。例如，当叠加由摄像单元7910、摄像单元7912、摄像单元7914和摄像单元7916拍摄的图像数据时可以获得从上方查看的车辆7900的鸟瞰图。
[0216]
设置在车辆7900的前部、后部、侧面、角部和车厢挡风玻璃上部的车外信息探测器7920、车外信息探测器7922、车外信息探测器7924、车外信息探测器7926、车外信息探测器7928和车外信息探测器7930例如可以是超声波传感器或雷达装置。设置在车辆7900的前鼻、后保险杠、后门和车厢挡风玻璃上部的车外信息探测器7920、车外信息探测器7926、车外信息探测器7930例如可以是激光雷达装置。这些车外信息探测器7920至7930主要用于前方车辆、行人、障碍物等的检测。
[0217]
再次参照图16继续说明。车外信息检测单元7400使摄像单元7410拍摄车辆外部的图像并且接收所拍摄的图像数据。此外，车外信息检测单元7400从连接的车外信息探测器7420接收检测信息。当车外信息探测器7420是超声波传感器、雷达装置或lidar装置时，车外信息检测单元7400发送超声波、电磁波等，并且接收关于接收到的反射波的信息。车外信息检测单元7400可以基于接收到的信息对人、车辆、障碍物、标志、路面上的字符等进行物体检测处理或距离检测处理。车外信息检测单元7400可以基于接收到的信息执行用于识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于接收到的信息计算到车外物体的距离。
[0218]
此外，车外信息检测单元7400可以基于接收到的图像数据，进行用于识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理或距离检测处理。车外信息检测单元7400可以对接收到的图像数据进行诸如失真校正或对齐等处理，并且合成由不同摄像单元7410拍摄的图像数据以生成鸟瞰图或全景图。车外信息检测单元7400可以使用由不同摄像
单元7410拍摄的图像数据来执行视点转换处理。
[0219]
车内信息检测单元7500检测车辆内部的信息。例如，检测驾驶员状态的驾驶员状态检测单元7510连接至车内信息检测单元7500。驾驶员状态检测单元7510可以包括对驾驶员进行摄像的相机、检测驾驶员生物信息的生物传感器、收集车厢内声音的麦克风等。生物传感器例如设置在座椅表面或方向盘上等，并且检测坐在座椅上的乘客或握住方向盘的驾驶员的生物信息。车内信息检测单元7500可以基于从驾驶员状态检测单元7510输入的检测信息来计算驾驶员的疲劳程度或注意力集中程度，或者确定驾驶员是否打瞌睡。车内信息检测单元7500可以对收集的音频信号进行噪声消除处理等。
[0220]
集成控制单元7600根据各种程序控制车辆控制系统7000的全部操作。输入单元7800连接至集成控制单元7600。输入单元7800由诸如触摸面板、按钮、麦克风、开关或操纵杆等可以由乘客操作输入的装置实现。可以向集成控制单元7600输入通过识别由麦克风输入的语音获得的数据。输入单元7800例如可以是使用红外线或其他无线电波的遥控装置，或者可以是与车辆控制系统7000的操作相对应的诸如移动电话或个人数字助理(pda)等外部连接装置。输入单元7800例如可以是相机。在这种情况下，乘客可以通过手势输入信息。或者，可以输入通过检测乘客佩戴的可穿戴装置的运动而获得的数据。此外，输入单元7800可以包括例如基于由乘客等使用上述输入单元7800输入的信息产生输入信号的输入控制电路等，并且将输入信号输出至集成控制单元7600。乘客等操作输入单元7800以向车辆控制系统7000输入各种类型的数据，或者命令车辆控制系统7000执行处理操作。
[0221]
存储单元7690可以包括存储由微型计算机执行的各种程序的只读存储器(rom)、以及存储各种参数、计算结果、传感器值等的随机存取存储器(ram)。可以由诸如硬盘驱动器(hdd)等磁存储装置、半导体存储装置、光存储装置或光磁存储装置等来实现存储单元7690。
[0222]
通用通信i/f 7620是调解与外部环境7750中的各种装置的通信的通用通信i/f。在通用通信i/f 7620中，可以安装诸如全球移动通讯系统(gsm：注册商标)等蜂窝通信协议、wimax(注册商标)、长期演进(lte：注册商标)或lte-advanced(lte-a)或其他诸如无线lan(也称为wi-fi(注册商标))或蓝牙(注册商标)等无线通信协议。通用通信i/f 7620例如可以通过基站或接入点连接至出现在外部网络(例如，互联网、云网络或业务专用网络)上的设备(例如，应用服务器或控制服务器)。使用点对点(p2p)技术，通用通信i/f 7620例如可以连接至车辆周围的终端(例如，驾驶员、行人或商店的终端，或机器类型通信(mtc)终端)。
[0223]
专用通信i/f 7630是支持设计用于车辆的通信协议的通信i/f。专用通信i/f 7630例如可以实现作为下层的ieee802.11p和上层的ieee1609的组合的车辆环境的无线接入(wave)等标准协议、专用短程通信(dsrc)，或者蜂窝通信协议。专用通信i/f 7630通常执行v2x通信，该v2x通信具有包括车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信和车辆到行人通信中的一个以上的概念。
[0224]
定位单元7640接收例如来自gnss卫星的全球导航卫星系统(gnss)信号(例如，来自gps卫星的全球定位系统(gps)信号)，并且执行定位以生成包括车辆的纬度、经度和高度的位置信息。定位单元7640可以通过与无线接入点交换信号来明确当前位置，或者可以从诸如具有定位功能的移动电话、phs或智能手机等终端获取位置信息。
[0225]
信标接收单元7650接收从安装在道路上的无线电台发送的无线电波或电磁波，并且获取诸如当前位置、交通堵塞、道路封闭或所需时间等信息。可以在上述专用通信i/f 7630中包括信标接收单元7650的功能。
[0226]
车内设备i/f 7660是调解微型计算机7610和车辆中存在的各种车内设备7760之间的连接的通信接口。车内设备i/f 7660可以使用诸如无线lan、蓝牙(注册商标)、近场通信(nfc)或无线usb(wusb)等的无线通信协议来建立无线连接。车内设备i/f 7660可以通过连接终端(未图示)(和必要时通过电缆)建立通用串行总线(usb)、高清多媒体接口(hdmi：注册商标)、移动高清链路(mhl)等有线连接。车内设备7760例如可以包括乘客的移动设备或可穿戴设备和携带在或附接至车辆的信息设备中的至少一者。此外，车内设备7760可以包括搜索到任意目的地的路线的导航装置。车内设备i/f 7660与车内设备7760交换控制信号或数据信号。
[0227]
车载网络i/f 7680是调解微型计算机7610和通信网络7010之间的通信的接口。车载网络i/f 7680遵照通信网络7010支持的预定协议发送和接收信号等。
[0228]
集成控制单元7600的微型计算机7610基于通过通用通信i/f 7620、专用通信i/f 7630、定位单元7640、信标接收单元7650、车内设备i/f 7660和车载网络i/f 7680中的至少一者获取的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610基于所获取的车辆内部和外部的信息计算驱动力产生装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行实现高级驾驶员辅助系统(adas)的功能的协同控制，adas功能包括车辆的碰撞避免或冲击减缓、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警告和车辆偏离车道警告等。微型计算机7610可以基于获得的车辆的周围环境信息，通过控制驱动力产生装置、转向机构或制动装置等进行协调控制，以执行无论驾驶员如何操作车辆都会自主行驶的自动驾驶等。
[0229]
基于经由通用通信i/f 7620、专用通信i/f 7630、定位单元7640、信标接收单元7650、车内设备i/f 7660和车载网络i/f 7680中的至少一者获取的信息，微型计算机7610可以生成车辆与诸如周围环境结构或人等物体之间的三维距离信息，并且可以产生包括车辆当前位置的周围环境信息的本地地图信息。基于获取的信息，微型计算机7610可以预测诸如车辆碰撞、行人接近或进入交通封闭道路等危险并且可以产生警告信号。警告信号例如可以是用于产生警告声音或打开警告灯的信号。
[0230]
音频/图像输出单元7670将音频或图像的至少一者的输出信号发送至能够在视觉上或听觉上向车辆的乘客或车辆外部通知信息的输出装置。在图16的示例中，作为输出装置示出了音频扬声器7710、显示单元7720和仪表板7730。显示单元7720可以包括车载显示器和平视显示器中的至少一者。显示单元7720可以具有增强现实(ar)显示功能。输出装置不仅可以是这些设备还可以是诸如耳机、诸如乘客佩戴的眼镜型显示器等可穿戴装置、投影仪或灯。当输出装置是显示装置时，显示装置以诸如文本、图像、表格和图表等各种格式可视地显示由微型计算机7610执行的各种处理获得的结果或从其他控制单元接收的信息。当输出装置是音频输出装置时，音频输出装置将由再现的音频数据、声学数据等形成的音频信号转换成模拟信号，并且听觉地输出模拟信号。
[0231]
在图16所示的示例中，通过通信网络7010连接的至少两个控制单元可以集成为一个控制单元。或者，各控制单元可以由多个控制单元构成。此外，车辆控制系统7000可以包
括其他控制单元(未图示)。此外，在以上说明中，其他控制单元可以具有任一控制单元的一些或全部功能。即，只要经由通信网络7010发送和接收信息，就可以由任一控制单元执行预定的运算处理。类似地，连接至任一控制单元的传感器或装置可以连接至另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
[0232]
上面已经说明了应用根据本发明的技术的车辆控制系统的示例。根据本发明的技术可以将根据本发明的摄像装置的技术应用于例如上述构成要素中的摄像单元7910、摄像单元7912、摄像单元7914、摄像单元7916和摄像单元7918。本发明的摄像装置可以单独(使用一个摄像装置)获取拍摄的图像信息和物体检测信息，并且不需要额外地设置用于获取物体检测信息的传感器，因此能够简化车辆控制系统的构造，并且降低成本。
[0233]
《本发明可采用的构造》
[0234]
本发明还可以如下所述进行构造。
[0235]
《《摄像装置》》
[0236]
[a-1]一种摄像装置，包括：像素阵列部，其配置有包括光电转换单元的像素；
[0237]
用于摄像的图像处理单元，其基于从所述像素阵列部的各像素输出的像素信号获取拍摄的图像信息；以及
[0238]
物体识别处理单元，其基于从所述像素阵列部的各像素输出的所述像素信号获取物体识别信息。
[0239]
[a-2]根据[a-1]所述的摄像装置，其中，在所述像素阵列部中设置有包括无色滤色器的滤色器阵列。
[0240]
[a-3]根据[a-2]所述的摄像装置，其中，所述用于摄像的图像处理单元使用应用深度学习的神经网络来进行图像处理并且输出所拍摄的图像信息。
[0241]
[a-4]根据[a-1]至[a-3]中任一项所述的摄像装置，其中，所述物体识别处理单元使用应用深度学习的神经网络来进行物体识别并且输出该物体识别信息。
[0242]
[a-5]根据[a-1]至[a-4]中任一项所述的摄像装置，其中，所述像素阵列部的各像素包括具有不同灵敏度的多个光电转换单元。
[0243]
[a-6]根据[a-6]所述的摄像装置，其中，所述多个光电转换单元包括具有相对大光接收面积的光电转换单元和具有相对小光接收面积的光电转换单元。
[0244]
《《b.第一车辆控制系统》》
[0245]
[b-1]一种包括摄像装置的车辆控制系统，其中，
[0246]
所述摄像装置包括：
[0247]
像素阵列部，其配置有包括光电转换单元的像素；
[0248]
用于摄像的图像处理单元，其基于从所述像素阵列部的各像素输出的像素信号获取拍摄的图像信息；以及
[0249]
物体识别处理单元，其基于从所述像素阵列部的各像素输出的所述像素信号获取物体识别信息。
[0250]
[b-2]根据[b-1]所述的车辆控制系统，其中，在所述像素阵列部中设置有包括无色滤色器的滤色器阵列。
[0251]
[b-3]根据[b-2]所述的车辆控制系统，其中，所述用于摄像的图像处理单元使用应用深度学习的神经网络来进行图像处理并且输出所拍摄的图像信息。
[0252]
[b-4]根据[b-1]至[b-3]中任一项所述的车辆控制系统，其中，所述物体识别处理单元使用应用深度学习的神经网络来进行物体识别并且输出该物体识别信息。
[0253]
[b-5]根据[b-1]至[b-4]中任一项所述的车辆控制系统，其中，所述像素阵列部的各像素包括具有不同灵敏度的多个光电转换单元。
[0254]
[b-6]根据[b-6]所述的车辆控制系统，其中，所述多个光电转换单元包括具有相对大光接收面积的光电转换单元和具有相对小光接收面积的光电转换单元。
[0255]
[b-7]根据[b-1]至[b-6]中任一项所述的车辆控制系统，除了包括所述摄像装置之外，还包括激光扫描仪、毫米波雷达和超声波传感器中的至少一者。
[0256]
[b-8]根据[b-8]所述的车辆控制系统，其中，从所述像素阵列部、所述激光扫描仪、所述毫米波雷达和所述超声波传感器中的至少一者向所述用于摄像的图像处理单元和所述物体识别处理单元输入模拟数据；并且
[0257]
所述物体识别处理单元包括：
[0258]
前级电路单元，其基于所述模拟数据使用应用深度学习的神经网络进行物体检测；和
[0259]
后级电路单元，其基于所述前级电路单元的输出数据使用应用深度学习的神经网络进行物体识别。
[0260]
《《c.第二车辆控制系统》》
[0261]
[c-1]一种车辆控制系统，包括摄像装置；
[0262]
图像信号处理单元，其对从所述摄像装置输出的像素信号进行处理；以及
[0263]
信号处理单元，其对由所述图像信号处理单元处理后的信号进行处理；其中，
[0264]
所述摄像装置包括：
[0265]
像素阵列部，其配置有包括光电转换单元的像素；以及
[0266]
读取电路，其从所述像素阵列部的多个像素读取信号；
[0267]
所述图像信号处理单元包括：
[0268]
用于摄像的图像处理单元，其基于从所述摄像装置输出的所述像素信号获取拍摄的图像信息；和
[0269]
物体识别处理单元，其基于从所述摄像装置输出的所述像素信号获取物体识别信息；并且
[0270]
所述信号处理单元基于由所述物体识别处理单元获取的所述物体识别信息获取关于配备有所述摄像装置的主车辆与所述主车辆周围的物体之间距离的信息，当所述主车辆与周围物体之间距离小于预设阈值时，判定所述主车辆处于危险驾驶状态，并且通过所述用于摄像的图像处理单元获取所拍摄的图像信息。
[0271]
[c-2]根据[c-1]所述的车辆控制系统，其中，在所述像素阵列部中设置有包括无色滤色器的滤色器阵列。
[0272]
[c-3]根据[c-2]所述的车辆控制系统，其中，所述用于摄像的图像处理单元使用应用深度学习的神经网络来进行图像处理并且输出所拍摄的图像信息。
[0273]
[c-4]根据[c-1]至[c-3]中任一项所述的车辆控制系统，其中，所述物体识别处理单元使用应用深度学习的神经网络来进行物体识别并且输出该物体识别信息。
[0274]
[c-5]根据[c-1]至[c-4]中任一项所述的车辆控制系统，其中，所述像素阵列部的
各像素包括具有不同灵敏度的多个光电转换单元。
[0275]
[c-6]根据[c-6]所述的车辆控制系统，其中，所述多个光电转换单元包括具有相对大光接收面积的光电转换单元和具有相对小光接收面积的光电转换单元。
[0276]
[c-7]根据[c-1]至[c-6]中任一项所述的车辆控制系统，除了包括所述摄像装置之外，还有包括激光扫描仪、毫米波雷达和超声波传感器中的至少一者。
[0277]
[c-8]根据[c-7]所述的车辆控制系统，其中，
[0278]
从所述像素阵列部、所述激光扫描仪、所述毫米波雷达和所述超声波传感器中的至少一者向所述用于摄像的图像处理单元和所述物体识别处理单元输入模拟数据；并且
[0279]
所述物体识别处理单元包括：
[0280]
前级电路单元，其基于所述模拟数据使用应用深度学习的神经网络进行物体检测；和
[0281]
后级电路单元，其基于所述前级电路单元的输出数据使用应用深度学习的所述神经网络进行物体识别。
[0282]
[c-9]根据[c-1]至[c-6]中任一项所述的车辆控制系统，其中，在所述摄像装置中包括所述图像信号处理单元。
[0283]
[c-10]根据[c-7]所述的车辆控制系统，其中，所述物体识别处理单元基于从所述摄像装置、所述激光扫描仪、所述毫米波雷达和所述超声波传感器中至少一者输入的信号获取关于主车辆和所述主车辆周围的物体之间距离的信息。
[0284]
[c-11]根据[c-10]所述的车辆控制系统，其中，当所述主车辆与所述主车辆周围的物体之间距离小于预设阈值时，所述信号处理单元确定所述主车辆处于危险驾驶状态下，通过所述用于摄像的图像处理单元获取拍摄的图像并且使显示装置显示所拍摄的图像。
[0285]
[c-12]根据[c-10]所述的车辆控制系统，其中，当所述主车辆与所述主车辆周围的物体之间距离小于预设阈值时，所述信号处理单元判定所述主车辆处于危险驾驶状态下，通过所述用于摄像的图像处理单元获取拍摄的图像并且使存储单元存储所拍摄的图像。
[0286]
附图标记列表
[0287]
10 摄像装置
[0288]
11 像素阵列部
[0289]
12 行控制单元
[0290]
13 读取电路单元
[0291]
14 图像信号处理单元
[0292]
15 存储单元
[0293]
16 摄像控制单元
[0294]
20 像素
[0295]
21l 高灵敏度光电二极管
[0296]
21s 低灵敏度光电二极管
[0297]
22
_1
、22
_2 传输晶体管
[0298]
23 浮动扩散单元
[0299]
24 复位晶体管
[0300]
25 连接晶体管
[0301]
26 放大晶体管
[0302]
27 选择晶体管
[0303]
28 像素内电容元件
[0304]
31 (311～31m)像素控制线
[0305]
32 (321～32n)垂直信号线
[0306]
40 应用处理器
[0307]
50 位置传感器
[0308]
60 用户接口
[0309]
70 地图数据库
[0310]
80 无线收发器
[0311]
100a 根据第一实施方案的车辆控制系统
[0312]
100b 根据第二实施方案的车辆控制系统
[0313]
100c 根据第三实施方案的车辆控制系统
[0314]
100d 根据第四实施方案的车辆控制系统
[0315]
110 激光扫描仪
[0316]
120 毫米波雷达
[0317]
130 超声波传感器
[0318]
141 用于摄像的图像处理单元
[0319]
142 物体识别处理单元。