拍摄系统、行驶支援系统以及程序的制作方法

1.本发明的一个方式涉及一种神经网络及使用该神经网络的拍摄系统。此外，本发明的一个方式涉及一种使用神经网络的电子设备。此外，本发明的一个方式涉及一种使用神经网络的车辆。此外，本发明的一个方式涉及一种从使用固态拍摄元件获取的黑白图像利用图像处理技术获取彩色图像的拍摄系统。此外，本发明的一个方式涉及一种利用该拍摄系统的影像监视系统、警备系统、安全信息提供系统或行驶支援系统。
2.此外，本发明的一个方式不限定于上述技术领域。本说明书等所公开的发明的一个方式涉及一种物体、方法或制造方法。此外，本发明的一个方式涉及一种工序(process)、机器(machine)、产品(manufacture)或者组合物(composition of matter)。因此，具体而言，作为本说明书等所公开的本发明的一个方式的技术领域的一个例子，可以举出半导体装置、显示装置、发光装置、蓄电装置、存储装置、电子设备、照明装置、输入装置、输入输出装置、它们的驱动方法或者它们的制造方法。本发明的一个方式涉及一种车辆或设置在车辆中的车辆电子设备。
3.注意，在本说明书等中，半导体装置是指能够通过利用半导体特性而工作的所有装置。晶体管、半导体电路为半导体装置的一个方式。此外，存储装置、显示装置、拍摄装置、电子设备有时包括半导体装置。
4.此外，本发明的一个方式涉及一种使用神经网络的程序。
5.此外，本发明的一个方式涉及一种驾驶系统，其中如汽车等车辆能够自由切换安全支援驾驶状态、半自动驾驶状态和自动驾驶状态。


背景技术：

6.使用形成在衬底上的氧化物半导体薄膜构成晶体管的技术受到关注。例如，专利文献1公开了将包括氧化物半导体的关态电流(off-state current)极低的晶体管用于像素电路的拍摄装置。
7.此外，专利文献2公开了对拍摄装置赋予运算功能的技术。
8.[先行技术文献]
[0009]
[专利文献]
[0010]
[专利文献1]日本专利申请公开第2011-119711号公报
[0011]
[专利文献2]日本专利申请公开第2016-123087号公报


技术实现要素：

[0012]
发明所要解决的技术问题
[0013]
随着技术的发展，在包括cmos图像传感器等固态拍摄元件的拍摄装置中，能够容易拍摄高质量图像。下一代拍摄装置被要求具有智能性更高的功能。
[0014]
本发明的一个方式的目的之一是提供一种能够进行图像处理的拍摄装置。此外，本发明的一个方式的目的之一是提供一种能够进行高速工作的拍摄装置。此外，本发明的
一个方式的目的之一是提供一种低功耗拍摄装置。此外，本发明的一个方式的目的之一是提供一种高可靠性拍摄装置。此外，本发明的一个方式的目的之一是提供一种新颖拍摄装置等。此外，本发明的一个方式的目的之一是提供一种上述拍摄装置的驱动方法。此外，本发明的一个方式的目的之一是提供一种新颖半导体装置等。
[0015]
此外，本发明的一个方式的目的之一是提供一种适用于半自动驾驶车辆的行驶支援系统及车辆用电子设备。
[0016]
注意，上述目的的记载不妨碍其他目的的存在。本发明的一个方式并不一定需要实现所有上述目的。上述目的以外的目的是可以从说明书、附图、权利要求书等的记载中自然得知并衍生出来的。
[0017]
解决技术问题的手段
[0018]
以黑白图像进行拍摄且彩色化的技术特别适合夜间拍摄。例如，夜间缺乏光，而且颜色也与白天不同。此外，在需要以红外线进行拍摄的黑暗环境下，当以红外线进行拍摄时，得到单色图像。此外，在以红外线进行拍摄的情况下，反射红外线的材料和吸收红外线的材料的亮度有很大不同，从而在它们配置在相同位置的情况下也有看起来就像反射红外线的材料位于近处而吸收红外线的材料位于远处等有关深度的问题。
[0019]
假设在黑暗环境下进行驾驶。当迎面开来的汽车闪灯时，周围的可见度下降。尤其是，人眼因瞳孔变小而看不见周围。因此，通过使用能够任意设定曝光的拍摄装置辅助图像显示，更容易确保周围的安全。优选的是，该图像的可见度优良。
[0020]
优选对这种图像进行分段(segmentaion)处理以使人或汽车彩色化且强调显示，但是因为远处的图像小且信息量少，所以精确度降低。尤其是在应用于车载设备的情况下，图像有时因振动等而变得模糊。尤其是在应用于车载摄像头的情况下，车速越快越需要远处信息。
[0021]
车速越快驾驶员的视角越窄，这与为了执行安全驾驶而需要广视角的事实产生矛盾。此外，为了确保广视角而将车速设定为低速是不实用的。无论低速还是高速都能够执行安全驾驶的环境被需求。
[0022]
通过将车速设定为高速，驾驶员的视角变窄，但是为了辅助驾驶员而使用摄像头自动拍摄要关注部分来为驾驶员显示该部分，由此提高车辆行驶时的安全性。
[0023]
另一方面，也可以通过调节摄像头的镜头进行放大，但是正在驾驶的驾驶员难以进行如放大、缩小等光学系统的调节，也难以为了驾驶员改变镜头的焦点而设置用来改变镜头的方向或拍摄方向的机构。此外，即使利用长焦镜头拍摄远处部分也有时因行驶时的振动而看不见目标物。人们希望以不依靠驾驶员也不改变摄像头的焦点距离或方向的方式自动抽出重要部分来显示该部分。重要部分例如是指在远处道路上移动的车辆或行人等存在的区域。
[0024]
在驾驶车辆时，精确显示要关注区域来减轻驾驶员的负担的行驶支援系统被需求。此外，当要关注区域位于远处时放大该区域的显示系统也被需求。
[0025]
本说明书所公开的发明的结构是一种行驶支援系统，该行驶支援系统包括能够拍摄车辆行驶方向的第一黑白图像的拍摄装置、用来进行分段处理的第一神经网络、用来进行深度推定处理的第二神经网络、根据分段处理及深度推定处理而判断第一黑白图像的截取部分的中心的判断部、用来只对所截取的第二黑白图像进行彩色化处理的第三神经网络
以及用来放大显示被进行了彩色化处理的第二黑白图像的显示装置。
[0026]
在上述结构中，因为将行驶支援系统应用于车载设备，所以优选使用已学习的多个神经网络，并且优选包括储存用来使该神经网络运作的程序的一个或多个存储部。通过在车内安装一个以上的处理器，使这些神经网络运作。
[0027]
此外，行驶支援系统包括使安装有拍摄装置的车辆行驶的步骤、使拍摄装置以黑白图像拍摄在行驶的车辆前方的步骤、对包含远处区域的黑白图像进行分段处理来至少推理天空、汽车以及道路的区域的步骤、对包含远处区域的黑白图像进行深度推定处理来推理特定远处区域的步骤、根据分段处理及深度推定处理而判断黑白图像的截取部分的中心的步骤、抽出以中心为中央部的矩形区域并输入所抽出的数据来进行超分辨率处理的步骤、输入超分辨率处理的输出结果来进行以高精确度强调显示包含在远处区域中的目标物的彩色化处理的步骤以及放大显示被进行了彩色化处理的远处区域的步骤。注意，特定远处区域是指在行驶方向上至少包含道路端部的区域。
[0028]
此外，除了上述步骤以外，还可以包括测量车辆行驶速度的步骤。可以根据车辆行驶速度而改变要截取的图像尺寸。例如，以黑白图像的截取部分的中心为中央部的矩形区域的尺寸也可以取决于车辆行驶速度。与车辆速度慢的情况相比，在车辆速度快的情况下增加截取面积。由此，可以补充伴随车辆行驶速度提高而变窄的驾驶员视野。
[0029]
一个以上的处理器进行一种处理，其中读出并执行包括上述步骤中的任一个或全部的程序即可。用来使计算机执行各步骤的程序预先被记录在存储部中。此外，不局限于处理器，而也可以由实现用来执行上述步骤中的任一个或全部的功能的电路(例如fpga电路、asic电路)执行。
[0030]
在上述结构中，使用第一神经网络处理进行分段处理，使用第二神经网络处理进行深度推定处理，使用第三神经网络处理进行超分辨率处理，并且使用第四神经网络处理进行彩色化处理。作为分段处理的学习用导师数据集，使用mscoco、cityscapes等。此外，作为深度推定处理的学习用导师数据集，可以使用kitti等。对超分辨率处理的学习用导师数据集没有特别的限制，既可使用照片又可使用插图。作为彩色化处理的学习用导师数据集，只要为彩色数据就没有特别的限制，可以加工使用imagenet、行车记录仪已拍摄的彩色图像。
[0031]
作为上述行驶支援系统，具体而言，通过减少彩色信息，在所拍摄的信息量已减少的状态下进行神经网络处理，并且为了进一步减少数据量而截取远处区域，只使远处区域彩色化来放大显示。通过减少彩色信息来减少数据量，也可以容易进行神经网络处理中的运算处理。此外，如果能够减少数据量，就可以实现能够执行神经网络处理的硬件的小型化。不具有滤光片的拍摄装置不减少彩色信息，也不发生由滤光片造成的光减少，易于确保到达受光传感器的光量，由此动态范围得到扩大。
[0032]
此外，具有本说明书所公开的拍摄系统及行驶支援系统的装置或车辆也可以被称为图像生成装置。图像生成装置对不具有滤光片的拍摄装置所拍摄的较宽动态范围的黑白图像的一部分选择性地进行彩色化处理来放大显示。
[0033]
此外，经彩色化处理而被着色的图像在很多情况下呈不自然的颜色，由此强调显示该图像，对驾驶员来说是易于识别的图像。
[0034]
此外，不具有滤光片的拍摄装置不仅可以单独使用，也可以与具有滤光片的拍摄
装置、如立体摄影机、声纳、多焦点多眼摄像头系统、lidar、毫米波雷达、红外线传感器(tof方式)等其他环境识别单元组合而构成行驶支援系统。tof方式的距离测量仪由光源和光检出器(传感器或摄像头)构成。在该tof方式中使用的摄像头被称为飞行时间摄像头，也被称为tof摄像头。tof摄像头可以根据照射到物体的光的反射光的飞行时间而得到从发射光的光源至物体的距离信息。
[0035]
发明效果
[0036]
通过使用多个神经网络，可以放大要关注区域来给驾驶员显示。主要可以显示辅助驾驶员的图像。
[0037]
此外，在光量不足的环境、傍晚时间段、夜间时间段、早晨时间段、通过较长隧道时等中，可以给驾驶员显示车辆行驶方向上的远处区域的高清彩色，由此具有特别显著的效果。
附图说明
[0038]
图1是示出本发明的一个方式的流程图的一个例子的图。
[0039]
图2是示出本发明的一个方式的流程图的一个例子的图。
[0040]
图3是示出本发明的一个方式的流程图的一个例子的图。
[0041]
图4是示出本发明的一个方式的方框图。
[0042]
图5是示出本发明的一个方式的方框图。
[0043]
图6是示出拍摄部的结构例子的方框图。
[0044]
图7是示出像素块200及电路201的结构例子的图。
[0045]
图8是示出像素的结构例子的图。
[0046]
图9a至图9c是示出过滤器的图。
[0047]
图10a是示出像素的结构例子的图。图10b至图10d是示出光电转换器件的结构例子的图。
[0048]
图11是示出拍摄装置的结构例子的截面图。
[0049]
图12a至图12c是示出晶体管的结构例子的截面图。
[0050]
图13是示出拍摄装置的结构例子的截面图。
[0051]
图14是示出拍摄装置的结构例子的截面图。
[0052]
图15a1至图15a3是示出收纳拍摄装置的封装的立体图，图15b1至图15b3是示出模块的立体图。
[0053]
图16a是示出车辆外观的图，图16b是示出从车辆内看的车辆前方的驾驶员视野的示意图。
[0054]
图17是可以应用本发明的一个方式的拍摄系统的应用产品的一个例子。
具体实施方式
[0055]
以下参照附图对本发明的实施方式进行详细说明。注意，本发明不局限于下面说明，所属技术领域的普通技术人员可以很容易地理解一个事实就是其方式及详细内容可以被变换为各种各样的形式。此外，本发明不应该被解释为仅局限在以下所示的实施方式所记载的内容中。
[0056]
(实施方式1)
[0057]
在本实施方式中，图1示出一种行驶支援系统的流程的一个例子，其中从使用安装在车内的固态拍摄元件获取的黑白影像中选择性地抽出驾驶员要关注的远处区域，使其一部分彩色化并进行放大来给驾驶员显示影像。
[0058]
在能够拍摄车辆行驶方向(包含远处区域)的汽车的一部分(发动机罩、车内、顶盖等)上设置具有包括固态拍摄元件的硬件结构的拍摄系统，启动该系统，由此开始连续拍摄。
[0059]
车载硬件具有主要由一个以上的处理器控制各步骤的工作的结构。在进行神经网络处理的情况下，需要具有足以储存学习数据的存储器等存储部和足以进行运算处理的硬件。存储部是指可以安装在车辆上的小型大容量存储装置(例如，ssd或硬盘)。通过执行小型大容量存储装置所储存的程序，可以实现图1所示的流程中的处理。
[0060]
首先，开始获取数据(s1)。
[0061]
使用不具有滤光片的固态拍摄元件获取黑白图像数据(s2)。有时在行列方向上排列的多个固态拍摄元件也被称为像素阵列。此外，在图1的左侧，示出刚结束步骤s2之后的拍摄影像的显示例子21。注意，显示例子21是为了便于说明而示出的，在实际上不示出显示例子21。在实际上示出被转换为信号格式(jpeg(注册商标)等)的黑白图像数据。
[0062]
接着，抽出作为所拍摄的图像数据的一部分的远处区域，并进行截取(s3)。车辆行驶方向上的远处区域是驾驶员在如傍晚、晚上或早晨等黑暗状态下驾驶时最难以识别的区域。与具有滤光片的固态拍摄元件相比，不具有滤光片的固态拍摄元件能够拍摄较宽动态范围的影像，由此可以将远处区域中的物体作为影像来识别。
[0063]
在本实施方式中，选择性地抽出车辆行驶方向上的远处区域。作为抽出方法，使用深度推理或使用测量深度的深度传感器模块(tof摄像头等)获取的数据特定部分。在使用深度推理的情况下，进行神经网络处理。作为在步骤s3中抽出远处区域的例子，图1示出由虚线围绕的区域作为远处区域22。通过在步骤s3中进行截取，可以减少所使用的数据量。
[0064]
此外，在步骤s3中，也可以使用车速表的数据决定要截取的图像尺寸。车速表为能够补充来自gps和glonass卫星的信号的装置。通过利用gps等，可以测量在行驶的车辆的速度、位置或行驶距离。
[0065]
接着，将数据减少到只有远处区域22的数据(s4)。在步骤s4中，删除在步骤s3中截取的数据以外的数据。此外，原始数据也可以保存在专用存储装置中。
[0066]
然后，对只有远处区域22的数据进行彩色化推理(s5)。在本实施方式中，以在步骤s4中减少的数据为输入数据，使用cpu等进行卷积处理，推理轮廓或颜色等，并且进行彩色化。
[0067]
此外，在由软件执行黑白图像的彩色化时，也可以利用将构成软件的程序组装于硬件的计算机、网络或记录介质安装程序等。安装记录在计算机可读记录介质如cd-rom(compact disk read only memory)等中的程序，执行使黑白图像彩色化的程序。由程序进行的处理不局限于按顺序或时间序列的处理，例如也可以为并行处理。
[0068]
此外，执行用来进行用于深度推理或彩色化推理等的神经网络处理的推理用程序的软件的程序可以使用python、go、perl、ruby、prolog、visual basic、c、c 、swift、java(注册商标)、.net等各种编程语言编写。此外，应用程序可以使用chainer(可在python中利
用)、caffe(可在python及c 中利用)、tensorflow(可在c、c 及python中利用)等框架编写。例如，lstm的算法使用python编写，并使用cpu(central processor unit：中央处理器)或gpu(graphics processing unit：图形处理器)。此外，有时将cpu和gpu统合为一个的芯片称为apu(accelerated processing unit：加速处理单元)，也可以使用该apu芯片。此外，还可以使用组装有ai系统的ic(也称为推理芯片)。组装有ai系统的ic有时被称为进行神经网络运算的电路(微处理器)。
[0069]
在本实施方式中，因为在车辆内部进行推理，所以使用预先学习的特征量(彩色化用weight)。通过在存储装置中储存已学习的特征量来进行运算，可以实现与不使用预先学习的特征量的情况等同的水平的数据输出。因为使用预先减少的数据，所以运算处理的负担被减轻。此外，图1示出彩色化后的显示例子作为彩色化图像23。
[0070]
如此得到的彩色化图像23根据使用不具有滤光片的拍摄元件获取的较宽动态范围的黑白图像，由此可以得到一种彩色化图像数据，该数据不能由光量少的现有的具有滤光片的拍摄元件识别。
[0071]
最后，将彩色化图像23作为强调图像24放大显示在显示装置的显示部上(s6)。所放大的图像也可以说是强调图像，但是在本实施方式中，还进行彩色化推理实现彩色化，以得到虽与自然颜色相似但不同于实际影像的图像，由此可以制作强调图像。此外，对步骤s6与步骤s5的执行顺序没有限制，因为即使该顺序颠倒也得到同一结果。
[0072]
反复进行上述强调图像的获取。通过反复进行该获取，也可以实时只将远处区域作为强调图像来显示。
[0073]
上述行驶支援系统明确实现较暗环境下的拍摄，由此可以将驾驶员要关注的区域作为强调图像提供给驾驶员。借助于上述行驶支援系统，可以防止特别是在傍晚、夜间等的照明少的黑暗环境下发生的事故。
[0074]
此外，在上述行驶支援系统中，通过组合拍摄车辆周围的摄像头或雷达与进行图像处理等的ecu(electronic control unit：电子控制单元)，可以应用于能够进行半自动驾驶的车辆或能够进行全自动驾驶的车辆。使用电动机的车辆包括多个ecu，由ecu进行引擎控制等。ecu包括微型计算机。ecu与设置在电动车辆中的can(controller area network：控制器域网)连接。can是作为车内lan使用的串行通信标准之一。作为ecu，使用cpu或gpu。例如，作为安装在电动车辆上的多个摄像头(行车记录仪用摄像头、后方摄像头等)之一，可以使用不具有滤光片的固态拍摄元件，抽出所得到的黑白图像的一部分，通过can在ecu中进行推理来制作彩色化图像，并且放大该图像，以在车内的显示装置的显示部上显示强调图像。
[0075]
此外，在本实施方式中，在作为选择性地抽出远处区域的方法使用测量深度的深度传感器模块(tof摄像头等)的数据特定要抽出的部分的情况下，在彩色化推理中进行一次神经网络处理。在此情况下，因为只进行一次神经网络处理，所以运算处理的规模较小，从而具有cpu的负担减少的优点。
[0076]
此外，在作为选择性地抽出远处区域的方法使用深度推理的情况下，在深度推理中进行第一神经网络处理，且在彩色化推理中进行第二神经网络处理。在此情况下，也可以不设置测量深度的深度传感器模块。此外，虽然进行两次神经网络处理，但是通过减少用来进行彩色化的神经网络处理的输入数据，减轻运算的负担。
[0077]
(实施方式2)
[0078]
在本实施方式中，示出与实施方式1不同的远处区域的抽出方法的例子。除此以外，与实施方式1相同的部分较多，由此在此省略详细说明。
[0079]
图2示出行驶支援系统的流程的一个例子。此外，使用同一符号表示与实施方式1的图1所示的流程图相同的步骤。
[0080]
首先，开始获取数据(s1)。
[0081]
使用不具有滤光片的固态拍摄元件获取黑白图像数据(s2)。
[0082]
接着，为了选择作为所拍摄的图像数据的一部分的远处区域，使用黑白图像数据进行深度推理(s21a)。此外，还使用黑白图像数据进行分段化推理(21b)。
[0083]
关于深度推理，在实施方式1中示出一个例子。在本实施方式中，因为在车辆内部进行推理，所以使用预先学习的特征量(深度用weight)。
[0084]
分段化推理也被称为分段。此外，分段是指识别输入图像的各像素所表现的物体的处理。分段也被称为语义分段(semantic segmentation)。通过进行神经网络处理，执行生成用于图像分析的多个图像分段的软件。具体而言，通过使用图像处理及卷积神经网络(cnn：convolutional neural network)之一的u-net或fcrn(fully convolutional residual networks：全卷积残差网络)等，根据已学习的内容进行分段。此外，分段的标签按照vehicle(汽车)、sky(天空)、plant(植物)、ground(地面)、human(人)、building(建筑物)等区别。此外，在本实施方式中，因为在车辆内部进行推理，所以使用预先学习的特征量(分段化用weight)。
[0085]
步骤s21a和步骤s21b既可依次进行又可并行进行。
[0086]
接着，着眼于通过分段化推理得到的天空和道路的区域，在分段图像内抽出天空和道路间的距离(天空下端部与道路上端部的间隔)最短的道路上端部的坐标。这是因为如下缘故：如图1的显示例子21所示，行驶车道的顶端部周围相当于图像内的天空和道路的间隔最短的部分。
[0087]
在分段图像内天空和道路间的距离最短的道路上的坐标个数不局限于一个而有时为多个。
[0088]
当在分段图像内天空和道路间的距离最短的道路上的坐标个数为多个的情况下，选择最远处的坐标(s22)。
[0089]
从在步骤s21b中获取的ground区域中抽出作为步骤21a的结果的该区域的深度图像内的最大深度部分。通过特定黑白图像内的行驶车道顶端部，可以决定后面截取的远处区域的中心部分。
[0090]
接着，将数据减少到只有远处区域的数据(s23)。
[0091]
然后，对只有远处区域的数据进行彩色化推理(s24)。在本实施方式中，因为在车辆内部进行推理，所以使用预先学习的特征量(彩色化用weight)。
[0092]
最后，将彩色化图像作为强调图像放大显示在显示装置的显示部上(s25)。
[0093]
反复进行上述强调图像的获取。
[0094]
在本实施方式中，作为选择性地抽出远处区域的方法，在深度推理中进行第一神经网络处理，在分段化推理中进行第二神经网络处理，并且在彩色化推理中进行第三神经网络处理。这些推理都使用预先学习的特征量，由此可以在车辆内部进行运算。
[0095]
本实施方式可以与实施方式1自由地组合。
[0096]
(实施方式3)
[0097]
在本实施方式中，示出与实施方式2不同的远处区域的抽出方法的例子。除此以外，与实施方式1或2相同的部分较多，由此在此省略详细说明。
[0098]
图3示出行驶支援系统的流程的一个例子。此外，使用同一符号表示与实施方式1的图1及实施方式2的图2所示的流程相同的步骤。
[0099]
使用不具有滤光片的固态拍摄元件获取黑白图像数据(s2)。
[0100]
接着，为了选择作为所拍摄的图像数据的一部分的远处区域，使用黑白图像数据进行深度推理(s21a)。此外，还使用黑白图像数据进行分段化推理(21b)。
[0101]
接着，选择远处区域(s22)。
[0102]
此外，获取车速数据(s26)。车速表为能够补充来自gps和glonass卫星的信号的装置。通过利用gps等，可以测量在行驶的车辆的速度、位置或行驶距离。此外，作为车速数据，也可以使用常规车速表获取的数值。此外，对步骤s26的时序没有特别的限制，可以为开始获取数据至步骤s22的期间的任意时序。
[0103]
接着，决定截取远处区域的尺寸(s27)。根据在步骤s26中获取的车速表的数据而决定要截取的尺寸。例如，与车速慢的情况相比，在车速快的情况下截取较宽范围。
[0104]
接着，将数据减少到只有远处区域的数据(s28)。
[0105]
然后，对只有远处区域的数据进行超分辨率化推理(s29)。超分辨率处理是指以低分辨率图像生成高分辨率图像的图像处理。此外，也可以反复进行多次超分辨率处理。为了制作用来辨别颜色边界的学习模型，作为导师数据不仅使用彩色照片图像也混合彩色插图(动画)图像，由此可以得到颜色边界明确的彩色化图像数据。因此，作为学习时的导师数据，优选混合插图(动画)图像，并算出作为神经网络处理的权重系数的超分辨率化用weight。在本实施方式中，因为在车辆内部进行推理，所以使用预先学习的特征量(超分辨率化用weight)。
[0106]
接着，进行彩色化推理(s30)。在本实施方式中，因为在车辆内部进行推理，所以使用预先学习的特征量(彩色化用weight)。
[0107]
在进行超分辨率化推理后进行彩色化推理的顺序也很重要，优选使用黑白图像数据进行运算，并且作为最后的图像处理进行彩色化。黑白图像数据的数据量比具有彩色信息的图像数据的数据量少，由此可以减轻运算装置的处理能力的负担。
[0108]
最后，将彩色化图像作为强调图像放大显示在显示装置的显示部上(s31)。
[0109]
反复进行上述强调图像的获取。
[0110]
在本实施方式中，作为选择性地抽出远处区域的方法，在深度推理中进行第一神经网络处理，在分段化推理中进行第二神经网络处理，在超分辨率化推理中进行第三神经网络处理，并且在彩色化推理中进行第四神经网络处理。这些推理都使用预先学习的特征量，由此可以在车辆内部进行运算。在车速快的情况下，放大较宽范围的区域并进行超分辨率化，由此可以实现清晰的强调显示。
[0111]
本实施方式可以与实施方式1或2自由地组合。
[0112]
(实施方式4)
[0113]
在本实施方式中，示出执行实施方式2的流程的行驶支援系统31的方框图的一个
例子。图4是行驶支援系统31的方框图，以下参照该方框图进行说明。
[0114]
数据获取装置10是包括固态拍摄元件11及存储部14的半导体芯片，而不具有滤光片。数据获取装置10包括如镜头等光学系统。此外，光学系统只要具有已知成像特性就可以具有任意结构，对此没有特别的限制。
[0115]
例如，作为数据获取装置10，也可以将背面照射型cmos图像传感器芯片、dram芯片以及逻辑电路芯片层叠为一个半导体芯片。此外，也可以将背面照射型cmos图像传感器芯片和包括模拟数字转换电路的逻辑电路芯片层叠为一个半导体芯片，在此情况下，存储部14为sram。此外，这些芯片可以通过已知贴合技术被层叠而电连接。
[0116]
存储部14是储存被转换后的数字数据的电路，并具有在将数据输入到神经网络部16a、16b、16c之前储存该数据的结构，但是不局限于该结构。
[0117]
神经网络部16a、16b、16c可以使用微控制器进行软件运算而实现。微控制器是将计算机系统组装到一个集成电路(ic)上而成的。在运算规模或要处理的数据较大时，也可以组合多个ic而构成神经网络部16a、16b、16c。学习装置至少包括这些多个ic。此外，在使用安装有linux(注册商标)的微控制器的情况下可以使用自由软件，因此可以缩减构成神经网络部16a、16b、16c的总成本，所以是优选的。此外，不局限于linux(注册商标)，也可以使用其他os(操作系统)。
[0118]
以下示出图4所示的神经网络部16a、16b、16c的学习。在本实施方式中，预先学习，利用权重进行神经网络处理。学习用导师数据也可以储存在存储部18a、18b、18c中来适当学习。
[0119]
在实施方式2中，根据神经网络部16a、16b的输出结果只选出远处区域来减少数据。数据抽出部17也可以说是只选出远处区域来减少数据的数据控制部。将在数据抽出部17中抽出的数据输入到神经网络部16c来进行彩色化。
[0120]
从神经网络部16c输出的数据具有只涉及远处区域的目标物的轮廓及颜色信息，并被输入到显示装置15。显示装置15具有显示部19，并根据能够表现的灰度级数或屏幕尺寸而形成包括放大显示的影像显示信号。
[0121]
此外，也可以以同车人的便携式信息终端(智能手机等)为显示装置15，并以便携式信息终端的显示部为显示部19。在此情况下，需要在车上安装用来将神经网络部16c的输出发送到同车人的便携式信息终端的信息收发部。当然，不局限于同车人，也可以将驾驶员的便携式信息终端(智能手机等)设置在发动机罩等上来使驾驶员看到该影像。
[0122]
借助于上述行驶支援系统31，可以防止特别是在傍晚、夜间等的照明少的黑暗环境下发生的事故。
[0123]
本实施方式可以与实施方式1、实施方式2或实施方式3自由地组合。
[0124]
(实施方式5)
[0125]
在本实施方式中，示出改变实施方式4的一部分的变形例子。此外，使用同一符号表示与实施方式4相同的部分来进行说明。因为存储部14的后级结构与实施方式4相同，所以在此省略说明。
[0126]
参照图5所示的方框图说明拍摄系统41的结构的一个例子。
[0127]
数据获取装置10是包括固态拍摄元件11及模拟运算电路12的半导体芯片，而不具有滤光片。数据获取装置10包括如镜头等光学系统。此外，光学系统只要具有已知成像特性
就可以具有任意结构，没有特别的限制。
[0128]
此外，作为模拟运算电路12，可以使用形成在由硅衬底形成的固态拍摄元件的硅芯片上的由金属氧化物形成的晶体管(以下称为os晶体管)等。
[0129]
a/d电路13(也称为a/d转换器)表示模拟数字转换电路，将从数据获取装置10输出的模拟数据转换成数字数据。此外，也可以根据需要而在数据获取装置10与a/d电路13之间放大电路，以在将模拟数据转换成数字数据之前放大模拟信号。
[0130]
存储部14是储存被转换后的数字数据的电路，并具有在将数据输入到神经网络部16a、16b、16c之前储存该数据的结构，但是不局限于该结构。虽然受从数据获取装置输出的数据量或图像处理装置的数据处理能力的影响，但是如果是小规模数据就可以不需将数据储存在存储部14中而将来自a/d电路13的输出直接输入到神经网络部16a、16b、16c。
[0131]
在本实施方式中，可以使用图5所示的模拟运算电路预先进行在神经网络部16a、16b、16c之间共同进行的运算的一部分。通过使用图5所示的拍摄系统41，可以减少在神经网络部16a、16b、16c中进行的运算次数。
[0132]
本实施方式可以与实施方式1、实施方式2、实施方式3或实施方式4自由地组合。
[0133]
(实施方式6)
[0134]
在本实施方式中，以下说明以数据获取装置10为拍摄系统41的部分构成要素的结构例子。图6是说明拍摄系统41的方框图。
[0135]
《摄像部的结构例子》
[0136]
拍摄系统41包括像素阵列300、电路201、电路301、电路302、电路303、电路304、电路305及电路306。注意，电路201及电路301至电路306不局限于由单个电路构成，有时由多个电路的组合构成。或者，也可以统合上述任意多个电路。此外，也可以连接上述以外的电路。
[0137]
像素阵列300具有摄像功能及运算功能。电路201、电路301具有运算功能。电路302具有运算功能或数据转换功能。电路303、电路304、电路306具有选择功能。电路303通过布线424与像素块200电连接。电路304通过布线423与像素块200电连接。电路305具有对像素提供积和运算用电位的功能。具有选择功能的电路可以使用移位寄存器或译码器等。电路306通过布线413与像素块200电连接。此外，电路301、电路302也可以设置在外部。
[0138]
像素阵列300包括多个像素块200。像素块200如图7所示包括配置为矩阵状的多个像素400，各像素400通过布线412与电路201电连接。注意，电路201也可以设置在像素块200内。
[0139]
此外，像素400与相邻的像素400通过晶体管450(晶体管450a至450f)电连接。将在后面说明晶体管450的功能。
[0140]
像素400可以获取图像数据，并可以生成将图像数据与权重系数相加而得的数据。注意，图7中作为一个例子示出像素块200所具有的像素数为3
×
3，但是不局限于此。例如，可以为2
×
2、4
×
4等。或者，水平方向与垂直方向的像素数也可以不同。此外，也可以使相邻的像素共用部分像素。图7示出在像素400之间设置10个晶体管450(晶体管450a至450j)的例子，但是也可以增加晶体管450的个数。此外，也可以从晶体管450g至450j排除几个晶体管450来删除并联路径。晶体管450g至450j各自与作为栅极的布线413g至413j连接。
[0141]
像素块200及电路201可以被用作积和运算电路。
[0142]
如图8所示，像素400可以包括光电转换器件401、晶体管402、晶体管403、晶体管404、晶体管405、晶体管406及电容器407。
[0143]
光电转换器件401的一个电极与晶体管402的源极和漏极中的一个电连接。晶体管402的源极和漏极中的另一个与晶体管403的源极和漏极中的一个、晶体管404的栅极及电容器407的一个电极电连接。晶体管404的源极和漏极中的一个与晶体管405的源极和漏极中的一个电连接。电容器407的另一个电极与晶体管406的源极和漏极中的一个电连接。
[0144]
光电转换器件401的另一个电极与布线414电连接。晶体管403的源极和漏极中的另一个与布线415电连接。晶体管405的源极和漏极中的另一个与布线412电连接。晶体管404的源极和漏极中的另一个与gnd布线等电连接。晶体管406的源极和漏极中的另一个与布线411电连接。电容器407的另一个电极与布线417电连接。
[0145]
晶体管402的栅极与布线421电连接。晶体管403的栅极与布线422电连接。晶体管405的栅极与布线423电连接。晶体管406的栅极与布线424电连接。
[0146]
在此，将晶体管402的源极和漏极中的另一个、晶体管403的源极和漏极中的一个、电容器407的一个电极及晶体管404的栅极电连接的点记作节点fd。此外，将电容器407的另一个电极及晶体管406的源极和漏极中的一个电连接的点记作节点fdw。
[0147]
布线414、布线415可以被用作电源线。例如，布线414可以被用作高电位电源线，布线415可以被用作低电位电源线。布线421、布线422、布线423、布线424可以被用作控制各晶体管的导通的信号线。布线411可以被用作对像素400提供相当于权重系数的电位的布线。布线412可以被用作使像素400与电路201电连接的布线。布线417可以被用作通过晶体管450使该像素的电容器407的另一个电极与其他像素的电容器407的另一个电极电连接的布线(参照图7)。
[0148]
此外，布线412也可以与放大电路或增益可调电路电连接。
[0149]
作为光电转换器件401可以使用光电二极管。对光电二极管的类型没有限制，可以使用光电转换层中含有硅的si光电二极管及光电转换层含有有机光导电膜的有机光电二极管等。注意，当想要提高低照度时的光检测灵敏度时，优选使用雪崩光电二极管。
[0150]
晶体管402可以具有控制节点fd的电位的功能。晶体管403可以具有使节点fd的电位初始化的功能。晶体管404可以具有根据节点fd的电位控制流过电路201的电流的功能。晶体管405可以具有选择像素的功能。晶体管406可以具有对节点fdw提供相当于权重系数的电位的功能。
[0151]
在作为光电转换器件401使用雪崩光电二极管时有时施加高电压，作为与光电转换器件401连接的晶体管优选使用高耐压的晶体管。作为该高耐压的晶体管，例如可以使用在沟道形成区域中使用金属氧化物的晶体管(以下称为os晶体管)等。具体而言，作为晶体管402，优选使用os晶体管。
[0152]
此外，os晶体管还具有关态电流极低的特性。通过作为晶体管402、晶体管403、晶体管406使用os晶体管，可以使节点fd及节点fdw能够保持电荷的期间极长。因此，可以采用在所有的像素中同时进行电荷储存工作的全局快门方式而无需采用复杂的电路结构或工作方式。此外，也可以在将图像数据保持在节点fd的同时进行用该图像数据的多次运算。
[0153]
另一方面，有时优选晶体管404的放大特性良好。此外，晶体管406有时优选使用能够高速工作的迁移率高的晶体管。由此，作为晶体管404、晶体管406可以使用将硅用于沟道
形成区域的晶体管(以下称为si晶体管)。
[0154]
注意，不局限于上述，也可以任意组合os晶体管及si晶体管而使用。此外，也可以作为所有晶体管都使用os晶体管。或者，所有晶体管也都可以使用si晶体管。作为si晶体管，可以举出含有非晶硅的晶体管、含有结晶硅(微晶硅、低温多晶硅、单晶硅)的晶体管等。
[0155]
像素400中的节点fd的电位根据将由布线415提供的复位电位以及因光电转换器件401的光电转换而生成的电位(图像数据)相加而得的电位决定。或者，由布线411提供的相当于权重系数的电位被电容耦合而决定。因此，相当于将图像数据与任意权重系数相加而得到的数据的电流可以流过晶体管405。
[0156]
注意，以上是像素400的电路结构的一个例子，在采用其他电路结构的情况下也可以进行光电转换工作。
[0157]
如图7所示，各像素400通过布线412彼此电连接。电路201可以利用各像素400的晶体管404中流过的电流之和进行运算。
[0158]
电路201包括电容器202、晶体管203、晶体管204、晶体管205、晶体管206和电阻器207。
[0159]
电容器202的一个电极与晶体管203的源极和漏极中的一个电连接。晶体管203的源极和漏极中的一个与晶体管204的栅极电连接。晶体管204的源极和漏极中的一个与晶体管205的源极和漏极中的一个电连接。晶体管205的源极和漏极中的一个与晶体管206的源极和漏极中的一个电连接。电阻器207的一个电极与电容器202的另一个电极电连接。
[0160]
电容器202的另一个电极与布线412电连接。晶体管203的源极和漏极中的另一个与布线218电连接。晶体管204的源极和漏极中的另一个与布线219电连接。晶体管205的源极和漏极中的另一个与gnd布线等基准电源线电连接。晶体管206的源极和漏极中的另一个与布线212电连接。电阻器207的另一个电极与布线217电连接。
[0161]
布线217、218、219可以被用作电源线。例如，布线218可以被用作提供读出专用电位的布线。布线217、219可以被用作高电位电源线。布线213、215、216可以被用作控制各晶体管的导通的信号线。布线212为输出线，例如，可以与图6所示的电路301电连接。
[0162]
晶体管203可以具有将布线211的电位复位到布线218的电位的功能。布线211是与电容器202的一个电极、晶体管203的源极和漏极中的一个及晶体管204的栅极连接的布线。晶体管204、205可以具有作为源极跟随器电路的功能。晶体管206可以具有控制读出的功能。此外，电路201也可以被用作相关双采样电路(cds电路)，也可以换用具有该功能的其他结构的电路。
[0163]
在本发明的一个方式中，去除图像数据(x)与权重系数(w)的积以外的偏置成分，提取想要的wx。wx可以利用同一像素的进行了摄像的数据、没有进行摄像的数据以及分别对其加权的数据来算出。
[0164]
进行了摄像时流过像素400的电流(i
p
)总和为kσ(x-v
th
)2，加权时流过像素400的电流(i
p
)总和为kσ(w x-v
th
)2。此外，没有进行摄像时流过像素400的电流(i
ref
)总和为kσ(0-v
th
)2，加权时流过像素400的电流(i
ref
)总和为kσ(w-v
th
)2。在此，k为常数，v
th
为晶体管405的阈值电压。
[0165]
首先，算出进行了摄像的数据与对该数据进行了加权的数据之差分(数据a)。即，kσ((x-v
th
)
2-(w x-v
th
)2)＝kσ(-w
2-2w
·
x 2w
·vth
)。
[0166]
接着，算出没有进行摄像的数据与对该数据进行了加权的数据之差分(数据b)。即，kσ((0-v
th
)
2-(w-v
th
)2)＝kσ(-w2 2w
·vth
)。
[0167]
然后，获取数据a与数据b的差分。即，kσ(-w
2-2w
·
x 2w
·vth-(-w2 2w
·vth
))＝kσ(-2w
·
x)。也就是说，可以去除图像数据(x)与权重系数(w)的积以外的偏置成分。
[0168]
电路201可以读出数据a及数据b。数据a与数据b的差分运算例如可以利用电路301进行。
[0169]
在此，提供给像素块200整体的权重被用作滤波器。作为该滤波器，例如可以使用卷积神经网络(cnn)的卷积滤波器。或者，可以使用边缘提取滤波器等图像处理滤波器。作为边缘提取滤波器的一个例子，例如可以举出图9a所示的拉普拉斯滤波器、图9b所示的prewitt滤波器、图9c所示的sobel滤波器等。
[0170]
当像素块200中的像素400的数量为3
×
3时，可以将上述边缘提取滤波器的要素作为权重分配给各像素400而供应。如上所述，为了计算出数据a及数据b，可以使用进行了摄像的数据、没有进行摄像的数据以及分别对其加权的数据。在此，进行了摄像的数据、没有进行摄像的数据是没有加权的数据，可以将其换称为对所有的像素400附加了权重0的数据。
[0171]
在图9a至图9c中例示出的边缘提取滤波器是滤波器的要素(权重：δw)之和(σδw/n，n是要素的数量)为0的滤波器。因此，只要进行获取σδw/n的工作而不重新进行从其他电路提供δw＝0的工作，就可以获取将所有的像素400与相当于δw＝0的值相加的数据。
[0172]
该工作相当于使设置在像素400间的晶体管450(晶体管450a至450f)导通的工作(参照图7)。通过使晶体管450导通，各像素400的节点fdw都通过布线417短路。此时，再次分配储存在各像素400的节点fdw中的电荷，在使用图9a至图9c所例示出的边缘提取滤波器的情况下，节点fdw的电位(δw)为0或几乎0。因此，可以获取相加相当于δw＝0的值的数据。
[0173]
注意，当通过从像素阵列300的外侧的电路提供电荷来改写权重(δw)时，由于距离较长的布线411的电容等而改写的完成需要一些时间。另一方面，像素块200是微小的区域，布线417的距离较短，其电容也小。因此，在储存在像素块200中的节点fdw的电荷的再次分配工作中，可以高速地改写权重(δw)。
[0174]
在图7所示的像素块200中，示出晶体管450a至450f分别与互不相同的栅极线(布线413a至413f)电连接的结构。在该结构中，可以独立地控制晶体管450a至450f的导通，可以选择性地进行获取σδw/n的工作。
[0175]
例如，当使用图9b或图9c等所示的滤波器时，有初始被提供δw＝0的像素。在以σδw/n＝0为前提的情况下，可以将被提供了δw＝0的像素从作为和的对象的像素排除。在排除该像素时，不需要提供用来使晶体管450a至450f的一部分工作的电位，因此可以抑制功耗。
[0176]
电路201输出的积和运算结果的数据依次输入到电路301。电路301除了具有进行之前所述的数据a与数据b的差分的运算功能之外还可以具有各种各样的运算功能。例如，电路301可以采用与电路201同样的结构。或者，软件处理也可以替代电路301的功能。
[0177]
此外，电路301也可以包括进行激活函数运算的电路。该电路例如可以使用比较器电路。比较器电路将对被输入的数据与设定的阈值进行比较的结果以二值数据的形式输出。也就是说，像素块200及电路301可以被用作神经网络的部分要素。
[0178]
电路301输出的数据被依次输入到电路302。电路302例如可以具有包括锁存电路及移位寄存器等的结构。通过采用该结构，可以进行并串转换，并可以将并行被输入的数据作为串行数据输出到布线311。
[0179]
[像素的结构例子]
[0180]
图10a是示出像素400的结构例子的图。像素400可以采用层561及层563的叠层结构。
[0181]
层561包括光电转换器件401。光电转换器件401如图10b所示可以包括层565a和层565b。注意，根据情况也可以将层称为区域。
[0182]
图10b所示的光电转换器件401是pn结型光电二极管，例如可以将p型半导体用于层565a，可以将n型半导体用于层565b。或者，可以将n型半导体用于层565a，可以将p型半导体用于层565b。
[0183]
上述pn结型光电二极管典型地可以使用单晶硅形成。
[0184]
此外，层561中的光电转换器件401可以如图10c所示地采用层566a、层566b、层566c和层566d的叠层。图10c所示的光电转换器件401是雪崩光电二极管的一个例子，层566a、层566d相当于电极，层566b、566c相当于光电转换部。
[0185]
层566a优选为低电阻金属层等。例如，可以使用铝、钛、钨、钽、银或其叠层。
[0186]
层566d优选使用对可见光具有高透光性的导电层。例如，可以使用铟氧化物、锡氧化物、锌氧化物、铟锡氧化物、镓锌氧化物、铟镓锌氧化物或石墨烯等。此外，可以省略层566d。
[0187]
光电转换部的层566b、566c例如可以具有将硒类材料作为光电转换层的pn结型光电二极管的结构。优选的是，作为层566b使用p型半导体的硒类材料，作为层566c使用n型半导体的镓氧化物等。
[0188]
使用硒类材料的光电转换器件具有对可见光具有高外部量子效率的特性。该光电转换器件可以利用雪崩倍增而增加相对于入射光的量的电子放大量。此外，硒类材料具有高光吸收系数，所以例如可以以薄膜制造光电转换层，因此使用硒类材料从制造的观点来看有利。硒类材料的薄膜可以通过真空蒸镀法或溅射法等形成。
[0189]
作为硒类材料，可以使用单晶硒或多晶硒等结晶硒、非晶硒、铜、铟、硒的化合物(cis)或者铜、铟、镓、硒的化合物(cigs)等。
[0190]
n型半导体优选由带隙宽且对可见光具有透光性的材料形成。例如，可以使用锌氧化物、镓氧化物、铟氧化物、锡氧化物或者上述物质混在一起的氧化物等。此外，这些材料也具有空穴注入阻挡层的功能，可以减少暗电流。
[0191]
此外，层561中的光电转换器件401可以如图10d所示地采用层567a、层567b、层567c、层567d和层567e的叠层。图10d所示的光电转换器件401是有机光导电膜的一个例子，层567a为下部电极，层567e是具有透光性的上部电极，层567b、567c、567d相当于光电转换部。
[0192]
光电转换部的层567b和层567d中的一个可以为空穴传输层。层567b和层567d中的另一个可以为电子传输层。此外，层567c可以为光电转换层。
[0193]
作为空穴传输层，例如可以使用氧化钼等。作为电子传输层，例如可以使用c
60
、c
70
等富勒烯或其衍生物等。
[0194]
作为光电转换层，可以使用n型有机半导体和p型有机半导体的混合层(本体异质结结构)。
[0195]
图10a所示的层563例如包括硅衬底。在该硅衬底中设置si晶体管等。可以使用该si晶体管形成像素400。此外，可以形成图6所示的电路201及电路301至电路306。
[0196]
接着，参照截面图对摄像装置的叠层结构进行说明。注意，以下所示的绝缘层及导电层等构成要素只是一个例子，也可以含有其他的构成要素。或者，也可以省略以下所示的构成要素的一部分。此外，以下所示的叠层结构可以根据需要利用贴合工序、抛光工序等形成。
[0197]
具有图11所示的结构的摄像装置包括层560、层561及层563。在图11中，作为设置在层563中的构成要素示出晶体管402及晶体管403，但是也可以将晶体管404至晶体管406等其他构成要素也可以设置在层563中。
[0198]
层563中设置有硅衬底632、绝缘层633、绝缘层634、绝缘层635及绝缘层637。此外，设置有导电层636。
[0199]
绝缘层634、绝缘层635及绝缘层637被用作层间绝缘膜及平坦化膜。绝缘层633被用作保护膜。导电层636与图8所示的布线414电连接。
[0200]
作为层间绝缘膜及平坦化膜，例如可以使用氧化硅膜等无机绝缘膜、丙烯酸树脂、聚酰亚胺树脂等有机绝缘膜。作为保护膜，例如可以使用氮化硅膜、氧化硅膜、氧化铝膜等。
[0201]
作为导电层，适当地选择选自铝、铬、铜、银、金、铂、钽、镍、钛、钼、钨、铪、钒、铌、锰、镁、锆、铍、铟、钌、铱、锶和镧等中的金属元素、以上述金属元素为成分的合金或者组合上述金属元素的合金等而使用即可。该导电体既可以为单层又可以为由不同材料构成的多个层。
[0202]
图11所示的si晶体管是在硅衬底中具有沟道形成区域的鳍型晶体管。图12a示出沟道宽度方向的截面(图11的层563的a1-a2截面)。此外，si晶体管也可以是图12b所示的平面型晶体管。
[0203]
或者，如图12c所示，也可以采用包括硅薄膜的半导体层545的晶体管。例如，半导体层545可以使用在硅衬底632上的绝缘层546上形成的单晶硅(soi(silicon on insulator：绝缘体上硅))。
[0204]
层561设置有光电转换器件401。光电转换器件401可以形成在层563上。在图11中，示出作为光电转换器件401将图10d所示的有机光导电膜用作光电转换层的结构。这里，层567a为阴极，层567e为阳极。
[0205]
层561中设置有绝缘层651、652、653、654及导电层655。
[0206]
绝缘层651、653、654用作层间绝缘膜及平坦化膜。此外，绝缘层654以覆盖光电转换器件401的端部的方式设置而具有防止层567e和层567a之间发生短路的功能。绝缘层652用作元件分离层。元件分离层优选使用有机绝缘膜等。
[0207]
相当于光电转换器件401的阴极的层567a与层563中的晶体管402的源极和漏极中的一个电连接。相当于光电转换器件401的阳极的层567e通过导电层655与设置在层563中的导电层636电连接。
[0208]
层560形成在层561上。层560包括遮光层671及微透镜阵列673。
[0209]
遮光层671可以抑制光进入相邻的像素中。作为遮光层671可以使用铝、钨等的金
属层。此外，也可以层叠该金属层与具有作为反射防止膜的功能的介电膜。
[0210]
在光电转换器件401上设置微透镜阵列673。透过微透镜阵列673所包括的各透镜的光照射到正下方的光电转换器件401。通过设置微透镜阵列673，可以将所集聚的光入射到光电转换器件401，所以可以高效地进行光电转换。微透镜阵列673优选由对摄像对象的波长的光具有高透光性的树脂或玻璃等形成。
[0211]
图13是图11所示的叠层结构的变形例子，层561中的光电转换器件401的结构以及层563的部分结构不同。在图13所示的结构中，层561与层563间也有贴合面。
[0212]
层561包括光电转换器件401、绝缘层661、662、664、665及导电层685、686。
[0213]
光电转换器件401是形成在硅衬底上的pn结型光电二极管，包括相当于p型区域的层565b及相当于n型区域的层565a。光电转换器件401是嵌入式光电二极管，通过设置在层565a的表面一侧(取出电流侧)的较薄的p型区域(层565b的一部分)抑制暗电流，从而减少噪声。
[0214]
绝缘层661以及导电层685、686用作贴合层。绝缘层662用作层间绝缘膜及平坦化膜。绝缘层664用作元件分离层。绝缘层665具有抑制载流子的流出的功能。
[0215]
硅衬底中设置有使像素分离的槽，绝缘层665设置在硅衬底顶面及该槽中。通过设置绝缘层665可以抑制光电转换器件401内产生的载流子流入到相邻的像素。此外，绝缘层665还具有抑制杂散光的侵入的功能。因此，利用绝缘层665可以抑制混色。此外，也可以在硅衬底的顶面与绝缘层665之间设置反射防止膜。
[0216]
元件分离层可以利用locos(local oxidation of silicon：硅局部氧化)法形成。或者，也可以利用sti(shallow trench isolation：浅沟槽隔离)法等形成。绝缘层665例如可以使用氧化硅、氮化硅等无机绝缘膜、聚酰亚胺树脂、丙烯酸树脂等有机绝缘膜。此外，绝缘层665也可以采用多层结构。此外，也可以不设置元件分离层。
[0217]
光电转换器件401的层565a(n型区域，相当于阴极)与导电层685电连接。层565b(p型区域，相当于阳极)与导电层686电连接。导电层685、686具有嵌入绝缘层661中的区域。此外，绝缘层661及导电层685、686的表面以高度一致的方式被平坦化。
[0218]
在层563中绝缘层637上形成有绝缘层638。此外，形成有与晶体管402的源极和漏极中的一个电连接的导电层683及与导电层636电连接的导电层684。
[0219]
绝缘层638及导电层683、684用作贴合层。导电层683、684具有嵌入绝缘层638中的区域。此外，绝缘层638及导电层683、684的表面以高度一致的方式被平坦化。
[0220]
在此，导电层683及导电层685优选使用主要成分同一的金属元素形成，导电层684及导电层686优选使用主要成分同一的金属元素形成。此外，绝缘层638及绝缘层661的主要成分优选同一。
[0221]
例如，作为导电层683至686可以使用cu、al、sn、zn、w、ag、pt或au等。从接合的容易性的观点来看，特别优选使用cu、al、w或au。此外，绝缘层638、661可以使用氧化硅、氧氮化硅、氮氧化硅、氮化硅、氮化钛等。
[0222]
换言之，优选的是，作为导电层683至导电层686使用上述金属材料中的相同金属材料。此外，优选的是，作为绝缘层638及绝缘层661使用上述绝缘材料中的相同绝缘材料。通过采用上述结构，可以进行以层563和层561的边界为接合位置的贴合。
[0223]
注意，导电层683至导电层686也可以具有多个层的多层结构，此时表面层(接合
面)使用相同金属材料即可。此外，绝缘层638及绝缘层661也可以具有多个层的多层结构，此时表面层(接合面)使用相同绝缘材料即可。
[0224]
通过进行该贴合，可以使导电层683与导电层685电连接，并且可以使导电层684与导电层686电连接。此外，可以以足够的机械强度使绝缘层661及绝缘层638连接。
[0225]
当接合金属层时，可以利用表面活化接合法。在该方法中，通过溅射处理等去除表面的氧化膜及杂质吸附层等并使清洁化且活化了的表面接触而接合。或者，可以利用并用温度及压力使表面接合的扩散接合法等。上述方法都可以发生原子级的结合，因此可以获得电上和机械上都优异的接合。
[0226]
此外，当接合绝缘层时，可以利用亲水性接合法等。在该方法中，在通过抛光等获得高平坦性之后，使利用氧等离子体等进行过亲水性处理的表面接触而暂时接合，利用热处理进行脱水，由此进行正式接合。亲水性接合法也发生原子级的结合，因此可以获得机械上优异的接合。
[0227]
在贴合层563与层561的情况下，由于在各接合面金属层与绝缘层是混在一起的，所以，例如，组合表面活化接合法及亲水性接合法即可。
[0228]
例如，可以采用在进行抛光之后使表面清洁化，对金属层的表面进行防氧处理，然后进行亲水性处理来进行接合的方法等。此外，也可以作为金属层的表面使用au等难氧化性金属，进行亲水性处理。此外，也可以使用上述以外的接合方法。
[0229]
通过上述贴合可以使层563中的构成要素与层561中的构成要素电连接。
[0230]
图14是图13所示的叠层结构的变形例子，层561及层563的部分结构不同。
[0231]
该变形例子具有将像素400中的晶体管402设置在层561中的结构。在层561中，被绝缘层663覆盖的晶体管402使用si晶体管形成。晶体管402的源极和漏极中的一个与光电转换器件401的一个电极直接连接。此外，晶体管402的源极和漏极中的另一个与节点fd电连接。
[0232]
在图14所示的摄像装置中，层563设置有构成摄像装置的晶体管中的至少排除晶体管402的晶体管。在图14中，作为设置在层563中的构成要素，示出晶体管404及晶体管405，但是在层563中也可以设置晶体管403及晶体管406等其他构成要素。此外，在图14所示的摄像装置的层563中，设置有绝缘层635和绝缘层637之间的绝缘层647。绝缘层647被用作层间绝缘膜及平坦化膜。
[0233]
(实施方式7)
[0234]
在本实施方式中，以下说明收纳摄像部，即所谓的图像传感器芯片的封装。
[0235]
图15a1是收纳图像传感器芯片的封装的顶面一侧的外观立体图。该封装包括固定图像传感器芯片452(参照图15a3)的封装衬底410、玻璃盖板420及贴合它们的粘合剂430等。
[0236]
图15a2是该封装的底面一侧的外观立体图。在封装的底面包括以焊球为凸块440的bga(ball grid array：球栅阵列)。注意，不局限于bga，也可以包括lga(land grid array：地栅阵列)或pga(pin grid array：针栅阵列)等。
[0237]
图15a3是省略玻璃盖板420及粘合剂430的一部分而图示的封装的立体图。在封装衬底410上形成电极焊盘460，电极焊盘460与凸块440通过通孔电连接。电极焊盘460通过图像传感器芯片452与引线470电连接。
[0238]
此外，图15b1是将图像传感器芯片收纳在透镜一体型封装内的摄像头模块的顶面一侧的外观立体图。该摄像头模块包括固定图像传感器芯片451(图15b3)的封装衬底431、透镜盖432及透镜435等。此外，在封装衬底431及图像传感器芯片451之间设置有用作摄像装置的驱动电路及信号转换电路等的ic芯片490(图15b3)，具有sip(system in package：系统封装)的结构。
[0239]
图15b2是该摄像头模块的底面一侧的外观立体图。封装衬底431的底面及侧面具有设置有安装用连接盘441的qfn(quad flat no-lead package：四侧无引脚扁平封装)的结构。注意，该结构是一个例子，也可以设置qfp(quad flat package：四侧引脚扁平封装)或上述bga。
[0240]
图15b3是省略透镜盖432及透镜435的一部分而图示的模块的立体图。连接盘441与电极焊盘461电连接，电极焊盘461通过导线471与图像传感器芯片451或ic芯片490电连接。
[0241]
通过将图像传感器芯片收纳于上述方式的封装中，可以容易实现安装于印刷电路板等，将图像传感器芯片安装在各种半导体装置及电子设备中。
[0242]
本实施方式可以与其他实施方式的记载适当地组合。
[0243]
(实施方式8)
[0244]
通过使用采用上述实施方式的行驶支援系统，提供一种适合半自动驾驶车辆的行驶支援装置。
[0245]
在日本国内，关于汽车等车辆的行驶支援系统，自动驾驶等级被定义为1级至4级的四个等级。1级是指实现加速、转向和制动中的任一个的自动化，被称为安全驾驶辅助系统。2级是指同时实现加速、转向和制动中的多个操作的自动化，被称为准自动行驶系统(也称为半自动驾驶)。3级是指实现加速、转向和制动的全部的自动化，只在应急时驾驶员应对，这也被称为准自动行驶系统(也称为半自动驾驶)。4级是指实现加速、转向和制动的全部的自动化，被称为驾驶员几乎不参与的完全自动驾驶。
[0246]
在本说明书中，主要以2级或3级的半自动驾驶为前提提出新颖结构或新颖行驶支援系统。
[0247]
为了根据从各种摄像头或传感器获取的情况给驾驶员显示危险警告，需要确保与摄像头数量或传感器数量相应的显示区域面积。
[0248]
图16a是车辆120的外观图。在图16a中，示出前方用图像传感器114a及左侧用图像传感器114l的设置位置的一个例子。此外，图16b是示出从车辆内看的车辆前方的驾驶员视野的示意图。驾驶员视野上方有挡风玻璃110，视野下方有包括显示屏的显示装置111。
[0249]
驾驶员视野上方有挡风玻璃110，挡风玻璃110夹在立柱112间。虽然图16a示出将前方用图像传感器114a设置在接近驾驶员的视线的位置上的例子，但是不局限于此，也可以将前方用图像传感器14a设置在前格栅或前保险杠上。此外，在本实施方式中，作为例子示出右侧驾驶的车辆但是不局限于此，在是左侧驾驶的车辆的情况下，只要根据驾驶员的位置进行设置即可。
[0250]
优选作为这些图像传感器中的至少一个采用在实施方式7中示出的图像传感器芯片。
[0251]
驾驶员主要看显示装置111进行加速、转向和制动，还通过挡风玻璃确认车外情况
来辅助。作为显示装置111使用液晶显示装置、el(电致发光)显示装置、micro led(发光二极管)显示装置中的任一个，即可。在此，将一边尺寸超过1mm的led芯片称为macro led，将一边尺寸大于100μm且为1mm以下的led芯片称为mini led，将一边尺寸为100μm以下的led芯片称为micro led。作为用于像素的led元件，尤其优选使用micro led。通过使用micro led，可以实现清晰度极高的显示装置。显示装置111的清晰度越高越好。显示装置111的像素密度可以为100ppi以上且5000ppi以下，优选为200ppi以上且2000ppi以下。
[0252]
例如，在显示装置的显示屏的中央部111a上显示从设置在车身外前部的摄像装置获取的图像。此外，用显示屏的一部分111b、111c进行速度、预测的可行驶距离、异常警告显示等仪表显示。此外，在显示屏的左下部111l上显示车外左侧的影像，在显示屏的右下部111r上显示车外右侧的影像。
[0253]
显示屏的左下部111l及显示屏的右下部111r实现侧视镜(也称为门镜)的电子化，可以消除在车外大大突出的侧视镜突出部。
[0254]
也可以采用如下结构：通过采用可进行触摸输入操作的显示装置111的显示屏，进行影像的一部分的放大、缩小或者显示位置的变更、显示区域的面积扩大等。
[0255]
显示装置111的显示屏的图像通过将来自多个摄像装置或传感器的数据合成来生成，因此使用gpu等图像信号处理装置生成。
[0256]
通过使用实施方式1所示的行驶支援系统，可以获取较宽动态范围的黑白图像数据，然后只抽出远处区域来进行推理而彩色化，由此可以在显示装置111上放大输出被强调显示的图像。
[0257]
通过适当地使用ai，驾驶员主要看显示装置的显示图像，即利用图像传感器及ai的图像操作车辆，可以以看挡风玻璃前方的动作为辅助动作。与只依赖于驾驶员的眼睛驾驶的情况相比，看利用ai的图像操作车辆会更加安全。此外，驾驶员可以在获得安全感的同时操作车辆。
[0258]
可以将显示装置111用于大型车辆、中型车辆、小型车辆等各种车辆的驾驶座周边(也称为驾驶舱部)。此外，还可以将显示装置用于飞机、船舶等交通工具的驾驶座周边。
[0259]
此外，在本实施方式中示出将前方用图像传感器114a设置在挡风玻璃下方的例子，但是不局限于此，也可以将图17所示的摄像头设置在引擎盖上或车内后视镜附近。
[0260]
图17的摄像头也可以被称为行车记录仪，包括外壳961、镜头962以及支撑部963等。通过在支撑部963上贴上双面胶带等，可以将摄像头设置于挡风玻璃、引擎盖或后视镜支撑部等。
[0261]
在图17的摄像头中配置有图像传感器，由此可以将行驶影像储存在摄像头内部或车载存储装置中。
[0262]
本实施方式可以与其他实施方式的记载自由地组合。
[0263]
[符号说明]
[0264]
10：数据获取装置、11：固态拍摄元件、12：模拟运算电路、13：a/d电路、14：存储部、15：显示装置、16a：神经网络部、16b：神经网络部、16c：神经网络部、17：数据抽出部、18a：存储部、18b：存储部、18c：存储部、19：显示部、21：显示例子、22：远处区域、23：彩色化图像、24：强调图像、31：行驶支援系统、41：拍摄系统、110：挡风玻璃、111：显示装置、111a：中央部、111b：一部分、111c：一部分、111l：左下部、111r：右下部、112：立柱、114a：前方用图像传
感器、114l：左侧方用图像传感器、120：车辆、200：像素块、201：电路、202：电容器、203：晶体管、204：晶体管、205：晶体管、206：晶体管、207：电阻器、211：布线、212：布线、213：布线、215：布线、216：布线、217：布线、218：布线、219：布线、300：像素阵列、301：电路、302：电路、303：电路、304：电路、305：电路、306：电路、311：布线、400：像素、401：光电转换器件、402：晶体管、403：晶体管、404：晶体管、405：晶体管、406：晶体管、407：电容器、410：封装衬底、411：布线、412：布线、413：布线、413a：布线、413b：布线、413c：布线、413d：布线、413e：布线、413f：布线、413g：布线、413h：布线、413i：布线、413j：布线、414：布线、415：布线、417：布线、420：玻璃盖板、421：布线、422：布线、423：布线、424：布线、430：粘合剂、431：封装衬底、432：透镜盖、435：透镜、440：凸块、441：连接盘、450：晶体管、450a：晶体管、450b：晶体管、450c：晶体管、450d：晶体管、450e：晶体管、450f：晶体管、450g：晶体管、450h：晶体管、450i：晶体管、450j：晶体管、451：图像传感器芯片、452：图像传感器芯片、460：电极焊盘、461：电极焊盘、470：布线、471：布线、490：ic芯片、545：半导体层、546：绝缘层、560：层、561：层、563：层、565a：层、565b：层、566a：层、566b：层、566c：层、566d：层、567a：层、567b：层、567c：层、567d：层、567e：层、632：硅衬底、633：绝缘层、634：绝缘层、635：绝缘层、636：导电层、637：绝缘层、638：绝缘层、647：绝缘层、651：绝缘层、652：绝缘层、653：绝缘层、654：绝缘层、655：导电层、661：绝缘层、662：绝缘层、664：绝缘层、665：绝缘层、671：遮光层、673：微型透镜阵列、683：导电层、684：导电层、685：导电层、686：导电层、961：框体、962：镜头、963：支撑部。