成像设备、显示设备以及成像系统的制作方法

1.本技术涉及成像设备、显示设备和成像系统，更特别地，涉及适于用于形成车辆的电子侧视镜的成像设备、显示设备和成像系统。


背景技术：

2.最近，配备电子侧视镜而不是传统侧视镜的车辆已变得普遍。电子侧视镜是一种系统，其中相机拍摄与由传统侧视镜反射的范围相似的范围的图像，并将获得的图像显示在安装在车辆中的监视器上(例如，参见专利文献1和2)。
3.引文列表
4.专利文献
5.专利文献1：日本专利申请公开号2012-113605
6.专利文献2:jp 2016-523204 w


技术实现要素：

7.本发明要解决的问题
8.在专利文献1和2中，相机安装在与传统车门镜的安装位置类似的位置处，并且相机从车身外部地向右和向左突出。因此，与传统的车门镜一样，相机可能妨碍通过狭窄的地方，或者可能因接触等而损坏。
9.在为了解决此问题而将相机安装在车辆内部的情况下，必须相对于车辆侧窗斜地安装相机，以便拍摄与侧视镜的范围相似的范围的图像。在这种情况下，在相机透镜和侧窗之间形成空间。因此，可能发生侧窗上的反射。
10.另一方面，如果使相机透镜靠近侧窗以防止反射，则成像方向指向车辆侧向，这使得难以拍摄车辆斜后方的视野。
11.本技术是针对这种情况而提出的，旨在增加用于电子侧视镜的成像装置的安装自由度。
12.针对问题的解决方案
13.根据本技术的第一方面的成像设备包括：多个像素，所述多个像素接收在既不通过成像透镜也不通过针孔之后从对象进入的入射光，并且每个像素输出指示根据入射光的入射角调制的输出像素值的检测信号。成像设备被附接到车辆，使得光接收表面朝向车辆的一侧，并且指示所述多个像素关于入射光的入射角的方向性的入射角方向性的重心的平均值从像素的中心沿一个方向偏离。
14.根据本技术的第二方面的显示设备在车辆内被设置在驾驶员前方的左斜侧或右斜侧，并且包括：排列多个显示元件的显示表面；以及多个像素，所述多个像素被设置在显示表面上，接收在既不通过成像透镜也不通过针孔之后从对象进入的入射光，并且每个像素输出指示根据入射光的入射角调制的输出像素值的检测信号。
15.根据本技术第三方面的成像系统包括：成像设备，所述成像设备包括多个像素，所
述多个像素接收在既不通过成像透镜也不通过针孔之后从对象进入的入射光，并且每个像素输出指示根据入射光的入射角调制的输出像素值的检测信号，成像设备被附接到车辆，使得光接收表面朝向车辆的一侧，其中指示所述多个像素关于入射光的入射角的方向性的入射角方向性的重心的平均值从像素的中心沿一个方向偏离；以及显示单元，所述显示单元显示从基于所述多个像素的检测信号的检测图像恢复的恢复图像。
16.在本技术的第一方面中，在偏离车辆的侧方的方向上执行成像。
17.在本技术的第二方面中，通过设置在显示表面上的多个显示元件来显示图像，并且设置在显示表面上的多个像素接收在既不通过成像透镜也不通过针孔之后从对象进入的入射光。每个像素输出指示根据入射光的入射角调制的输出像素值的检测信号。
18.在本技术的第三方面中，在从车辆的侧方的偏置方向上执行成像，并且显示从作为成像结果获得的检测图像恢复的恢复图像。
附图说明
19.图1是示出根据本技术的车载系统的示例配置的框图。
20.图2是示出图1所示车载系统的成像单元的示例配置的框图。
21.图3是用于说明图2所示的成像设备中的成像原理的图。
22.图4是示出图2所示的成像设备的像素阵列单元的示例配置的图。
23.图5是用于说明图2所示的成像设备的第一示例配置的图。
24.图6是用于说明图2所示的成像设备的第二示例配置的图。
25.图7是用于说明入射角方向性的生成原理的图。
26.图8是用于说明使用片上透镜的入射角方向性的变化的图。
27.图9是用于说明窄视场像素和宽视场像素之间的关系的图。
28.图10是用于说明窄视场像素和宽视场像素之间的关系的图。
29.图11是用于说明窄视场像素和宽视场像素之间的关系的图。
30.图12是用于说明窄视场像素和宽视场像素之间的图像质量差异的图。
31.图13是用于说明窄视场像素和宽视场像素之间的图像质量差异的图。
32.图14是用于说明具有多个视场的像素的示例组合的图。
33.图15是示出图1所示的车载系统的驾驶员识别单元的示例配置的框图。
34.图16是示出相机模块的示例硬件配置的图。
35.图17是示出相机模块、显示单元和成像单元的安装示例的图。
36.图18是示出用于附接相机模块的示例方法的图。
37.图19是示出图2所示的成像设备的像素阵列单元的第一实施例的图。
38.图20是示出图19所示的像素的遮光图案的示例的图。
39.图21是用于说明电子侧视镜显示控制处理的第一实施例的流程图。
40.图22是用于说明电子侧视镜显示控制处理的第二实施例的流程图。
41.图23是用于说明用于改变电子侧视镜的显示范围的方法的图。
42.图24是用于说明用于改变电子侧视镜的显示范围的方法的图。
43.图25是用于说明用于改变电子侧视镜的显示范围的方法的图。
44.图26是用于说明用于改变电子侧视镜的显示范围的方法的图。
45.图27是用于说明用于改变电子侧视镜的显示范围的方法的图。
46.图28是示出警告显示的示例的图。
47.图29是示出图2所示的成像设备的像素阵列单元的第二实施例的图。
48.图30是示出图29所示的像素的遮光图案的示例的图。
49.图31是用于说明用于改变成像范围的方法的图。
50.图32是用于说明用于改变成像范围的方法的图。
51.图33是用于说明电子侧视镜显示控制处理的第二实施例的流程图。
52.图34是示出相机模块的示例安装的图。
53.图35是示出相机模块和显示单元的安装示例的图。
54.图36是示出显示单元的修改的图。
55.图37是示出在微型led显示器中设置成像设备的示例的图。
56.图38是示出在微型led显示器中设置成像设备的示例的图。
57.图39是示出成像设备的修改的图。
58.图40是示出成像设备的修改的图。
59.图41是示出成像设备的修改的图。
60.图42是示出成像设备的修改的图。
61.图43是示出成像设备的修改的图。
具体实施方式
62.以下是参考附图对本技术的优选实施例的详细描述。注意，在本说明书和附图中，具有基本相同功能配置的部件由相同的附图标记表示，并且将不对其进行重复解释。
63.此外，将按照以下顺序进行解释。
64.1.第一实施例
65.2.第二实施例
66.3.修改
67.4.其他方面
68.《《1.第一实施例》》
69.参考图1至28，首先描述本技术的第一实施例。
70.《车载系统11的示例配置》
71.图1是示出根据本技术的车载系统11的示例配置的框图。
72.车载系统11是设置在车辆中并执行电子侧视镜控制等的系统。车载系统11包括相机模块21l、相机模块21r、通信单元22、驾驶员识别单元23、警报控制单元24、显示单元25l、显示单元25r、显示控制单元26和控制单元27。相机模块21l、相机模块21r、通信单元22、驾驶员识别单元23、警报控制单元24、显示控制单元26和控制单元27通过总线b1彼此连接。
73.注意，在下面的描述中，为了便于解释，将不提及车载系统11的每个组件经由总线b1执行数据发送/接收等的情况下的总线b1。例如，控制单元27通过总线b1向通信单元22提供数据的情况将简单地描述为控制单元27向通信单元22提供数据的情况。
74.如下文所述，相机模块21l对车辆的左侧和后侧执行诸如成像和图像识别之类的处理。相机模块21l包括成像单元41l、相机ecu 42l和微控制单元(mcu)43l。
75.如下文所述，成像单元41l包括既不使用成像透镜也不使用针孔的无透镜相机(llc)。成像单元41l拍摄车辆的左侧和后侧的图像，并恢复根据获得的检测图像形成目标对象的图像的恢复图像，如下文所述。成像单元41l向相机ecu 42l提供恢复图像(以下称为左侧图像)，作为通过感测车辆的左侧和后侧而获得的感测图像。
76.相机ecu 42l例如对左侧图像执行图像质量调整处理，例如增益调整、白平衡调整、高动态范围(hdr)处理和交通信号闪烁校正处理。注意，图像质量调整处理不一定由相机ecu 42l执行，而是可以在成像单元41l内部执行。
77.相机ecu 42l还对左侧图像执行对象识别处理，并检测在车辆的左侧和后侧的危险对象(例如，行人、自行车、摩托车或车辆等)。相机ecu 42l向mcu 43l提供左侧图像和指示危险对象检测结果的数据。
78.mcu 43l将从相机ecu 42l提供的数据转换为通信格式的数据，并将数据输出到总线b1。mcu 43l还将从总线b1接收的数据转换为用于相机ecu 42l的格式的数据，并将该数据提供给相机ecu 42l。
79.如下文所述，相机模块21r对车辆的右侧和后侧执行诸如成像和图像识别之类的处理。相机模块21r包括成像单元41r、相机ecu 42r和微控制单元(mcu)43r。
80.成像单元41r包括既不使用成像透镜也不使用针孔的无透镜相机(llc)，如下文所述。成像单元41r拍摄车辆右侧和后侧的图像，并恢复根据获得的检测图像形成目标对象的图像的恢复图像，如下文所述。成像单元41r向相机ecu 42r提供恢复图像(以下称为右侧图像)，作为通过感测车辆的右侧和后侧而获得的感测图像。
81.相机ecu 42r例如对右侧图像执行图像质量调整处理，例如增益调整、白平衡调整、高动态范围(hdr)处理和交通信号闪烁校正处理。注意，图像质量调整处理不一定由相机ecu 42r执行，而是可以在成像单元41r内部执行。
82.相机ecu 42r还对右侧图像执行对象识别处理，并检测在车辆的右侧和后侧的危险对象(例如，行人、自行车、摩托车或车辆等)。相机ecu 42r向mcu 43r提供右侧图像和指示危险对象检测结果的数据。
83.mcu 43r将从相机ecu 42r提供的数据转换为通信格式的数据，并将该数据输出到总线b1。mcu 43r还将从总线b1接收的数据转换为用于相机ecu 42r的格式的数据，并将该数据提供给相机ecu 42r。
84.注意，在不需要区分的情况下，相机模块21l和相机模块21r在下文中将被简单地称为相机模块21。在不需要区分的情况下，以下将成像单元41l和成像单元41r简单地称为成像单元41。在不需要区分的情况下，相机ecu 42l和相机ecu 42r在下文中将被简单地称为相机ecu 42。在不需要区分的情况下，mcu 43l和mcu 43r在下文中将被简单地称为mcu 43。在下文中，在不需要区分的情况下，左侧图像和右侧图像将被简单地称为侧图像。
85.相反，在需要区分相机模块21l的各个组件和相机模块21r的各个组件的情况下，将字母“l”附加到相机模块21l的每个组件的附图标记，并且将字母“r”附加到相机模块21r的每个组件的附图标记。
86.例如，通信单元22通过诸如车辆到车辆通信、车辆到行人通信以及道路到车辆通信之类的各种无线通信，往返于附近车辆、行人携带的便携式终端设备、路边设备以及外部服务器发送/接收信息。
87.驾驶员识别单元23识别驾驶车辆的驾驶员的状态(或监视驾驶员)，并将表示识别结果的数据输出到总线b1。
88.警告控制单元24基于由相机ecu 42l执行的检测在车辆左侧和后侧的危险对象的检测的结果，进行在左侧图像上叠加促使关注危险对象的警告显示的处理。警报控制单元24将叠加警告显示的左侧图像输出到总线b1。同样，警告控制单元24基于由相机ecu 42r执行的检测在车辆右侧和后侧的危险对象的检测的结果，进行在右侧图像上叠加促使关注危险对象的警告显示的处理。警报控制单元24将叠加警告显示的右侧图像输出到总线b1。
89.注意，在没有检测到任何危险对象的情况下，警报控制单元24将左侧图像和右侧图像输出到总线b1，而不在其上叠加任何警告显示。
90.显示单元25l由例如诸如有机el显示器或液晶显示器之类的显示器形成，并且显示左侧图像。
91.显示单元25r由例如诸如有机el显示器或液晶显示器之类的显示器形成，并且显示右侧图像。
92.注意，在不需要区分的情况下，显示单元25l和显示单元25r在下文中将被简单地称为显示单元25。
93.显示控制单元26控制由显示单元25l和显示单元25r执行的显示处理。例如，显示控制单元26控制由显示单元25l显示的左侧图像的显示范围。此外，例如，显示控制单元26通过控制由显示单元25显示的在其上叠加警告显示的左侧图像的显示来控制警告显示的显示。同样，显示控制单元26控制例如由显示单元25r显示的右侧图像的显示范围。此外，显示控制单元26通过控制由显示单元25显示的在其上叠加警告显示的右侧图像的显示来控制警告显示的显示。
94.控制单元27包括各种处理器，例如，以控制车载系统11的每个组件并执行各种处理。
95.《成像单元41的示例配置》
96.图2是示出相机模块21的成像单元41的示例配置的框图。
97.成像单元41包括成像设备121、恢复单元122、控制单元123、存储单元124和通信单元125。此外，恢复单元122、控制单元123、存储单元124和通信单元125构成执行信号处理、对成像单元41的控制等的信号处理控制单元111。注意，成像单元41不包括任何成像透镜(无成像透镜)。
98.此外，成像设备121、恢复单元122、控制单元123、存储单元124和通信单元125经由总线b2彼此连接，并且经由总线b2发送/接收数据等。注意，在下面的描述中，为了便于解释，将不提及成像单元41的每个组件经由总线b2执行数据发送/接收等的情况下的总线b2。例如，通信单元125经由总线b2向控制单元123提供数据的情况将被描述为通信单元125向控制单元123提供数据的情况。
99.成像设备121是其中每个像素的检测灵敏度具有入射角方向性的成像设备，并且将包括指示与入射光量相对应的检测信号电平的检测信号的图像输出到恢复单元122或总线b2。具有入射角方向性的每个像素的检测灵敏度意味着与进入每个像素的入射光的入射角相对应的光接收灵敏度特性随每个像素而变化。然而，所有像素的光接收灵敏度特性不一定完全不同，并且一些像素的光接收灵敏度特性可能相同。
100.更具体地说，成像设备121可以具有例如类似于诸如互补金属氧化物半导体(cmos)图像传感器之类的一般成像设备的基本结构。然而，构成成像设备121的像素阵列单元的每个像素的配置不同于一般成像设备的配置，并且例如是具有入射角方向性的配置，如稍后参考图4到6所述。此外，成像设备121具有随每个像素中入射光的入射角而变化(改变)的光接收灵敏度，并且具有关于每个像素中入射光的入射角的入射角方向性。
101.这里，所有对象是一组点光源，例如，从每个点光源向所有方向发射光。例如，图3左上角的对象的对象表面102由点光源pa到pc形成，并且点光源pa到pc分别向周围发射光强a到c的多个光束。此外，在下面的描述中，成像设备121包括在位置pa到pc处的具有不同入射角方向性的像素(以下称为像素pa到pc)。
102.在这种情况下，如图3的左上角所示，使从同一点光源发射的具有相同光强的光束进入成像设备121的各个像素。例如，使从点光源pa发射的光强a的光束进入成像设备121的各个像素pa到pc。然而，使从同一点光源发射的光束以不同的入射角进入各个像素。例如，使来自点光源pa的光束以不同的入射角进入各个像素pa到pc。
103.另一方面，由于像素pa到pc的入射角方向性彼此不同，因此在各个像素中以不同的灵敏度检测从同一点光源发射的相同光强的光束。结果，在各个像素中以不同的检测信号电平检测相同光强的光束。例如，关于来自点光源pa的光强a的光束的检测信号电平在各个像素pa到pc中具有不同的值。
104.此外，通过将光束的光强乘以指示关于光束的入射角的光接收灵敏度(其为入射角方向性)的系数来确定每个像素关于来自每个点光源的光束的光接收灵敏度电平。例如，通过将点光源pa的光束的光强a乘以指示像素pa关于进入像素pa的光束的入射角的入射角方向性的系数来确定像素pa关于来自点光源pa的光束的检测信号电平。
105.因此，像素pc、pb和pa的检测信号电平da、db和dc分别由下面所示的等式(1)到(3)表示。
106.da＝α1
×
a β1
×
b γ1
×
c...(1)
107.db＝α2
×
a β2
×
b γ2
×
c...(2)
108.dc＝α3
×
a β3
×
b γ3
×
c...(3)
109.这里，系数α1是表示像素pc关于从点光源pa到像素pc的光束的入射角的入射角方向性的系数，并且根据入射角来设置。此外，α1
×
a表示像素pc关于来自点光源pa的光束的检测信号电平。
110.系数β1是表示像素pc关于从点光源pb到像素pc的光束的入射角的入射角方向性的系数，并且根据入射角设置。此外，β1
×
b表示像素pc关于来自点光源pb的光束的检测信号电平。
111.系数γ1是表示像素pc关于从点光源pc到像素pc的光束的入射角的入射角方向性的系数，并且根据入射角设置。此外，γ1
×
c表示像素pc关于来自点光源pc的光束的检测信号电平。
112.如上所述，通过像素pc中来自点光源pa、pb和pc的光束的各个光强a、b和c与表示取决于各自的入射角的入射角方向性的系数α1、β1和γ1的乘积之和来确定像素pa的检测信号电平da。
113.类似地，通过像素pb中来自点光源pa、pb和pc的光束的各个光强a、b和c与表示取
决于各自的入射角的入射角方向性的系数α2、β2和γ2的乘积之和来确定像素pb的检测信号电平db，如等式(2)所示。此外，通过像素pa中来自点光源pa、pb和pc的光束的各个光强a、b和c与表示取决于各自的入射角的入射角方向性的系数α2、β2和γ2的乘积之和来确定像素pc的检测信号电平dc，如等式(3)所示。
114.然而，像素pa、pb和pc的检测信号电平da、db和dc分别与从点光源pa、pb和pc发射的光束的光强a、b和c混合，如等式(1)至(3)所示。因此，如图3的右上角所示，成像设备121中的检测信号电平不同于对象表面102上的每个点光源的光强。因此，由成像设备121获得的图像不同于其中形成对象表面102的图像的图像。
115.同时，通过创建由等式(1)至(3)形成的联立等式并求解所创建的联立等式，确定各个点光源pa至pc的光束的光强a至c。然后，根据点光源pa到pc的布局(相对位置)排列具有对应于所获得的光强a到c的像素值的像素，以便恢复其中形成对象表面102的图像的恢复图像，如图3的右下角所示。
116.以这种方式，可以获得在每个像素中具有入射角方向性而不需要任何成像透镜和任何针孔的成像设备121。
117.在下面的描述中，形成联立等式的每个等式的系数集(例如系数α1、β1和γ1)将被称为系数集。在下面的描述中，由对应于联立等式中包括的多个等式的多个系数集(例如，α1、β1和γ1的系数集、α2、β2和γ2的系数集、α3、β3和γ3的系数集)形成的组将被称为系数集组。
118.这里，如果从对象表面102到成像设备121的光接收表面的对象距离改变，则从对象表面102上的各个点光源到成像设备121的光束的入射角改变，因此，对于每个对象距离需要不同的系数集组。
119.因此，在成像单元41中，预先准备用于从成像设备121到对象表面的各个距离(对象距离)的系数集组，通过切换用于每个对象距离的系数集组来创建联立等式，并且求解所创建的联立等式。因此，可以基于一个检测图像获得各种对象距离处的对象表面的恢复图像。例如，在检测图像被拍摄并记录一次之后，根据到对象表面的距离来切换系数集组，并且恢复恢复图像，以便可以生成在所需对象距离处的对象表面的恢复图像。
120.此外，即使在相同对象距离处的对象表面102上，如果要设定的点光源的数量和布局不同，则从各个点光源到成像设备121的光束的入射角也不同。因此，在某些情况下，在相同对象距离处的对象表面102可能需要多个系数集组。此外，需要设定每个像素121a的入射角方向性，以便可以确保上述联立等式的独立性。
121.此外，要由成像设备121输出的图像是由检测信号形成的图像，其中如图3的右上角所示未形成对象的图像，因此，对象不能被视觉识别。也就是说，由从成像设备121输出的检测信号形成的检测图像是一组像素信号，但也是用户不能从中视觉地识别对象(对象在视觉上不可识别)的图像。
122.有鉴于此，由检测信号形成的图像(其中如图3的右上角所示未形成对象的图像)或由成像设备121拍摄的图像在下文中将被称为检测图像。
123.注意，所有像素不需要具有彼此不同的入射角方向性，而是一些像素可以具有相同的入射角方向性。
124.返回参考图2，例如，恢复单元122从存储单元124获取对应于与图3中的成像设备
121到对象表面102(与恢复图像相对应的对象表面)的距离相对应的对象距离，并且对应于上述系数α1至α3、β1至β3和γ1至γ3的系数集组。恢复单元122还使用从成像设备121输出的检测图像的每个像素的检测信号电平和获取的系数集组，创建由上述等式(1)到(3)表示的联立等式。然后，恢复单元122求解所创建的联立等式，以获得构成形成如图3右下角所示的对象的图像的图像的各个像素的像素值。因此，从检测图像恢复用户能够从中视觉识别对象(视觉可识别对象)的图像。
125.从检测图像恢复的图像将被称为恢复图像。然而，在成像设备121仅对可见波长带外的光(例如紫外线)具有灵敏度的情况下，恢复图像不是如在正常图像中那样可以从中识别出对象的图像，但是在这种情况下也被称为恢复图像。
126.此外，作为其中形成了对象的图像的图像并且是尚未经受诸如去马赛克之类的颜色分离或同步处理的图像的恢复图像在下文中将被称为原始(raw)图像，并且由成像设备121拍摄的检测图像将被区分为符合滤色器阵列的图像，而不是原始图像。
127.注意，成像设备121的像素数量和构成恢复图像的像素数量不一定相同。
128.此外，恢复单元122根据需要对恢复图像执行去马赛克、γ校正、白平衡调整、到预定压缩格式的转换等。然后，恢复单元122将恢复图像输出到总线b2。
129.控制单元123包括例如用于控制成像单元41的每个组件并执行各种处理的各种处理器。
130.存储单元124包括诸如只读存储器(rom)、随机存取存储器(ram)和闪存之类的一个或多个存储设备，并且存储例如要在成像单元41的处理中使用的程序、数据等。存储单元124例如将对应于上述系数α1到α3、β1到β3、γ1到γ3的系数集组与各种对象距离相关联，并且存储系数集组。更具体地说，存储单元124例如针对每个对象距离处的每个对象表面102存储包括成像设备121的各个像素121a关于设置在对象表面102上的各个点光源的系数的系数集组。
131.通信单元125通过预定的通信方法与相机ecu 42l通信。
132.《成像设备121的第一示例配置》
133.接下来，参考图4和5描述图2所示的成像单元41的成像设备121的第一示例配置。
134.图4示出了成像设备121的像素阵列单元的一部分的正视图。注意，图4示出了像素阵列单元中的像素数量为6
×
6的示例情况。然而，像素阵列单元中的像素数量不限于此。此外，图4所示的像素阵列单元的示例配置用于解释成像设备121的第一示例配置，并且稍后将描述像素阵列单元的实际示例配置。
135.在图4所示的成像设备121中，为每个像素121a设置作为调制元件之一的遮光膜121b，以覆盖光电二极管的光接收区域(光接收表面)的一部分，并且根据入射角对进入每个像素121a的入射光进行光学调制。然后在每个像素121a的不同区域中设置遮光膜121b，例如，关于入射光的入射角的光接收灵敏度随每个像素121a而变化，并且每个像素121a具有不同的入射角方向性。
136.例如，在像素121a-1和像素121a-2中，光电二极管的光接收区域被遮光膜121b-1和遮光膜121b-2遮光的范围不同(至少遮光区域(位置)或遮光面积不同)。具体来说，在像素121a-1中，设置遮光膜121b-1，以便将光电二极管的光接收区域的左侧部分的一部分遮光预定宽度。另一方面，在像素121a-2中，设置遮光膜121b-2，以便将光接收区域的右侧部
分的一部分遮光预定宽度。注意，遮光膜121b-1将光电二极管的光接收区域遮光的宽度和遮光膜121b-2将光电二极管的光接收区域遮光的宽度可以不同或者可以相同。类似地，在其他像素121a中，在像素阵列单元中随机地布置遮光膜121b，以便对于每个像素对光接收区域中的不同区域进行遮光。
137.图5的顶部是成像设备121的第一示例配置的侧截面图，图5的中间部分是成像设备121的第一示例配置的俯视图。图5顶部的侧截面图也是图5中间部分的a-b截面。此外，图5的底部示出了成像设备121的示例电路配置。
138.在图5的顶部中的成像设备121中，入射光从该图的上侧朝向下侧进入。相邻像素121a-1和121a-2是所谓的背照型，具有设置为图中的最底层的布线层z12和设置在其上的光电转换层z11。
139.注意，在下面的描述中，在不需要相互区分像素121a-1和121a-2的情况下，将省略每个附图标记末尾的数字，并且将像素简单地称为像素121a。在下面的描述中，对于本说明书中的其他组件，附图标记末尾的数字和字母也可以省略。
140.此外，图5示出了构成成像设备121的像素阵列单元的像素中的仅两个的侧视图和俯视图，当然还设置了更多像素121a，但在附图中未示出。
141.像素121a-1和121a-2还分别包括作为光电转换层z11中的光电转换元件的光电二极管121e-1和121e-2。此外，在光电二极管121e-1和121e-2上，片上透镜121c-1和121c-2以及滤色器121d-1和121d-2从顶部按此顺序堆叠。
142.片上透镜121c-1和121c-2将入射光聚光到光电二极管121e-1和121e-2上。
143.滤色器121d-1和121d-2是例如透射特定波长(例如红色、绿色、蓝色、红外或白色)的光的滤光器。注意，在白色的情况下，滤色器121d-1和121d-2可以是透明滤色器，也可以不设置。
144.在像素121a-1和121a-2的光电转换层z11中，例如，在各个像素之间的边界处形成遮光膜121g-1至121g-3，并且其防止入射光l进入相邻像素并引起串扰，如图5所示。
145.此外，如图5的顶部和中部所示，从上方看，遮光膜121b-1和121b-2将光接收表面s的一部分遮光。在像素121a-1和121a-2中的光电二极管121e-1和121e-2的光接收表面s上，通过遮光膜121b-1和121b-2对不同区域进行遮光，从而为每个像素独立地设定不同的入射角方向性。然而，在成像设备121的所有像素121a中，要被遮光的区域不需要不同，并且可以存在其中相同区域被遮光的一些像素121a。
146.注意，如图5的顶部所示，遮光膜121b-1和遮光膜121g-1彼此连接，并且当从侧面观看时以l形布置。类似地，遮光膜121b-2和遮光膜121g-2彼此连接，并且当从侧面观看时以l形布置。此外，遮光膜121b-1、遮光膜121b-2和遮光膜121g-1至121g-3由金属形成，并且例如由钨(w)、铝(al)或铝和铜(cu)的合金形成。此外，在与半导体处理中形成布线的处理相同的处理中，可以使用与布线相同的金属同时形成遮光膜121b-1、遮光膜121b-2和遮光膜121g-1至121g-3。
147.注意，取决于位置，遮光膜121b-1、遮光膜121b-2和遮光膜121g-1至121g-3的厚度可以不同。
148.此外，如图5的底部所示，像素121a包括光电二极管161(对应于光电二极管121e)、传输晶体管162、浮动扩散(fd)单元163、选择晶体管164、放大晶体管165和复位晶体管166，
并且经由垂直信号线167连接到电流源168。
149.光电二极管161的阳极电极接地，并且光电二极管161的阴极电极经由传输晶体管162连接到放大晶体管165的栅电极。
150.根据传输信号tg驱动传输晶体管162。例如，当提供给传输晶体管162的栅电极的传输信号tg切换到高电平时，传输晶体管162导通。结果，光电二极管161中累积的电荷经由传输晶体管162传输到fd单元163。
151.fd单元163是具有电荷容量c1的浮动扩散区域，并且设置在传输晶体管162和放大晶体管165之间，并且临时累积从光电二极管161经由传输晶体管162传输的电荷。fd单元163是将电荷转换为电压的电荷检测单元，并且在放大晶体管165处将fd单元163中累积的电荷转换为电压。
152.选择晶体管164根据选择信号sel被驱动。当提供给选择晶体管164的栅电极的选择信号sel被切换到高电平时，选择晶体管164接通，以连接放大晶体管165和垂直信号线167。
153.放大晶体管165用作源极跟随器(其为读出通过在光电二极管161处执行的光电转换获得的信号的读出电路)的输入单元，并且将与fd单元163中累积的电荷相对应的电平的检测信号(像素信号)输出至垂直信号线167。即，放大晶体管165的漏极端子连接到电源vdd，其源极端子经由选择晶体管164连接到垂直信号线167，以与连接到垂直信号线167的一端的电流源168一起形成源极跟随器。检测信号的值(输出像素值)根据来自对象的入射光的入射角而被调制，并且具有随入射角变化的特性(方向性)(或具有入射角方向性)。
154.复位晶体管166根据复位信号rst被驱动。例如，当提供给复位晶体管166的栅电极的复位信号rst被切换到高电平时，fd单元163中累积的电荷被释放到电源vdd，从而fd单元163被复位。
155.注意，每个像素121a的遮光膜121b的形状不限于图4所示的示例，而是可以具有任何适当的形状。例如，可以采用图4中在水平方向上延伸的形状、在垂直方向和水平方向上延伸的l形状、具有矩形开口的形状等。
156.《成像设备121的第二示例配置》
157.图6是示出成像设备121的第二示例配置的图。图6的顶部示出了作为第二示例配置的成像设备121的像素121a的侧截面图，图6的中间部分示出了成像设备121的俯视图。图6顶部的侧截面图也是图6的中间部分的a-b截面。此外，图6的底部示出了成像设备121的示例电路配置。
158.图6中的成像设备121的配置与图5中的成像设备121的配置的不同之处在于，在一个像素121a中形成四个光电二极管121f-1至121f-4，并且在将光电二极管121f-1至121f-4彼此分离的区域中形成遮光膜121g。即，在图6中的成像设备121中，从上面看，遮光膜121g形成为十字形。注意，与图5中所示的组件相同的组件由与图5中的组件相同的附图标记表示，并且在此不对其进行详细说明。
159.在图6中的成像设备121中，光电二极管121f-1至121f-4被遮光膜121g隔开，从而防止光电二极管121f-1至121f-4之间发生电和光串扰。即，与图5中的成像设备121的遮光膜121g类似，图6中的遮光膜121g用于防止串扰，而不是用于提供入射角方向性。
160.此外，在图6中的成像设备121中，在四个光电二极管121f-1到121f-4之间共用一
个fd单元163。图6的底部示出了示例电路配置，其中在四个光电二极管121f-1到121f-4之间共用一个fd单元163。注意，对于图6的底部，这里不对与图5的底部所示的组件相同的组件进行说明。
161.图6的底部所示的电路配置与图5的底部所示的电路配置的不同之处在于，设置光电二极管161-1至161-4(对应于图6的顶部的光电二极管121f-1至121f-4)和传输晶体管162-1至162-4以代替光电二极管161(对应于图5顶部中的光电二极管121e)和传输晶体管162，并且fd单元163被共用。
162.通过这种配置，在光电二极管121f-1到121f-4中累积的电荷被传输到公共fd单元163，该公共fd单元163具有设置在光电二极管121f-1到121f-4与放大晶体管165的栅电极之间的连接部分中的预定容量。然后，与fd单元163中保持的电荷水平相对应的信号被读取为检测信号(像素信号)。
163.因此，可以使得在光电二极管121f-1到121f-4中累积的电荷以各种组合选择性地贡献给像素121a的输出或检测信号。也就是说，可以从光电二极管121f-1到121f-4中的每一个独立地读取电荷，并且使对输出有贡献的光电二极管121f-1到121f-4(或者光电二极管121f-1到121f-4对输出的贡献度)彼此不同。因此，可以获得不同的入射角方向性。
164.例如，光电二极管121f-1和光电二极管121f-3中的电荷被传输到fd单元163，并且通过读取相应电荷而获得的信号被相加，从而可以获得水平方向上的入射角方向性。类似地，光电二极管121f-1和光电二极管121f-2中的电荷被传输到fd单元163，并且通过读取相应电荷而获得的信号被相加，从而可以获得垂直方向上的入射角方向性。
165.此外，基于从四个光电二极管121f-1至121f-4独立地选择性地读出的电荷而获得的信号是对应于检测图像的一个像素的检测信号。
166.注意，例如，每个光电二极管121f(中的电荷)对检测信号的贡献不仅取决于是否将每个光电二极管121f中的电荷(检测值)传输到fd单元163，而且取决于使用电子快门功能等在传输到fd单元163之前对光电二极管121f中累积的电荷的复位。例如，如果光电二极管121f中的电荷在紧接在传输到fd单元163之前被复位，则光电二极管121f根本不对检测信号有贡献。另一方面，在复位光电二极管121f中的电荷和将电荷传输到fd单元163之间容许时间，使得光电二极管121f部分地对检测信号有贡献。
167.如上所述，在图6中的成像设备121的情况下，在四个光电二极管121f-1到121f-4之间改变要用于检测信号的组合，以便可以为每个像素提供不同的入射角方向性。此外，从图6中的成像设备121的每个像素121a输出的检测信号具有根据来自对象的入射光的入射角调制的值(输出像素值)，并且具有随入射角变化的特性(方向性)(具有入射角方向性)。
168.注意，在图6中的成像设备121中，入射光进入所有光电二极管121f-1到121f-4而不被光学调制。因此，检测信号不是通过光学调制而获得的信号。同时，对检测信号没有贡献的光电二极管121f在下文中将也称为对像素或其输出没有贡献的光电二极管121f。
169.此外，图6示出了其中像素(像素121a)的光接收表面被分割为四个相等区域并且每个具有相同大小的光接收表面的光电二极管121f被布置在相应区域中的示例，或者其中光电二极管被分割为四个相等部分的示例。然而，可以适当地设置光电二极管的分割数量和分割位置。
170.例如，光电二极管不一定被分成相等的部分，并且光电二极管的分割位置可以随
每个像素而变化。因此，例如，即使使多个像素中处于相同位置的光电二极管121f对输出有贡献，入射角方向性也在像素之间变化。此外，分割的数目例如在像素之间变化，以便可以更自由地设置入射角方向性。此外，例如，可以使分割数量和分割位置两者在像素之间变化。
171.此外，图5中的成像设备121和图6中的成像设备121两者具有其中每个像素可以具有独立设置的入射角方向性的配置。注意，在图5中的成像设备121中，每个像素的入射角方向性在制造时由遮光膜121b设置。另一方面，在图6中的成像设备121中，在制造时设置每个像素的光电二极管的分割数量和分割位置，但是，可以在使用时(例如，在成像时)设置每个像素的入射角方向性(光电二极管的对输出有贡献的组合)。注意，在图5中的成像设备121和图6中的成像设备121两者中，并非所有像素一定需要具有入射角方向性。
172.注意，对于图5中的成像设备121，每个像素121a的遮光膜121b的形状在下文中将被称为遮光图案。同时，对于图6中的成像设备121，光电二极管121f的对每个像素121a中的输出没有贡献的区域的形状在下文中将被称为遮光图案。
173.《成像设备121的基本特性等》
174.接下来，参考图7至14描述成像设备121的基本特性等。
175.《产生入射角方向性的原理》
176.成像设备121的每个像素的入射角方向性例如通过图7所示的原理生成。注意，图7的左上部分和右上部分是用于解释在图5所示的成像设备121中生成入射角方向性的原理的图。图7的左下部分和右下部分是用于解释在图6所示的成像设备121中生成入射角方向性的原理的图。
177.图7的左上部分和右上部分中的每个像素包括一个光电二极管121e。另一方面，图7的左下部分和右下部分中的每个像素包括两个光电二极管121f。注意，为了便于解释，这里示出了其中一个像素包括两个光电二极管121f的示例。然而，包括在一个像素中的光电二极管121f的数量可以不是两个。
178.在图7的左上部分所示的像素中，形成遮光膜121b-11，以遮蔽光电二极管121e-11的光接收表面的右半部分。同时，在图7的右上部分所示的像素中，形成遮光膜121b-12，以遮蔽光电二极管121e-12的光接收表面的左半部分。注意，图中的每个点划线是穿过光电二极管121e的光接收表面在水平方向上的中心并且垂直于光接收表面的辅助线。
179.例如，在图7的左上部分所示的像素中，未被遮光膜121b-11遮光的光电二极管121e-11的左半区域容易接收来自右上角的入射光，该入射光与图中的点划线形成入射角θ1。另一方面，未被遮光膜121b-11遮光的光电二极管121e-11的左半区域几乎接收不到与图中的点划线形成入射角θ2的来自左上角的入射光。因此，图7的左上部分中所示的像素具有入射角方向性，该入射角方向性具有对来自图中右上角的入射光的高光接收灵敏度和对来自左上角的入射光的低光接收灵敏度。
180.同时，在图7的右上部分所示的像素中，例如，被遮光膜121b-12遮光的光电二极管121e-12的左半区域几乎接收不到来自右上角的形成入射角θ1的入射光。另一方面，未被遮光膜121b-12遮光的光电二极管121e-12的右半区域容易接收来自左上角的入射光，该入射光与点划线形成入射角θ2。因此，图7的右上部分中所示的像素具有入射角方向性，该入射角方向性具有对来自图中右上角的入射光的低光接收灵敏度和对来自左上角的入射光的
高光接收灵敏度。
181.此外，在图7的左下部分所示的像素中，在图中的右侧和左侧设置光电二极管121f-11和121f-12，并且读取检测信号之一。因此，像素具有入射角方向性，没有任何遮光膜121b。
182.具体地，在图7的左下部分中所示的像素中，仅读出在图中左侧设置的光电二极管121f-11的信号。因此，可以获得与图7的左上部分所示的像素的入射角方向性相似的入射角方向性。即，来自右上角的与图中的点划线形成入射角θ1的入射光进入光电二极管121f-11，并且从光电二极管121f-11读出与接收光量相对应的信号。因此，该入射光对从该像素输出的检测信号有贡献。另一方面，来自左上角的与图中的点划线形成入射角θ2的入射光进入光电二极管121f-12，但不从光电二极管121f-12读出它。因此，该入射光对从该像素输出的检测信号没有贡献。
183.类似地，在如图7的右下部分所示的像素中包括两个光电二极管121f-13和121f-14的情况下，仅读出图中右侧设置的光电二极管121f-14的信号，从而可以获得与图7的右上部分中所示的像素的入射角方向性相似的入射角方向性。即，形成入射角θ1的来自右上角的入射光进入光电二极管121f-13，但是不从光电二极管121f-13读出任何信号。因此，该入射光对从该像素输出的检测信号没有贡献。另一方面，形成入射角θ2的来自左上角的入射光进入光电二极管121f-14，并且从光电二极管121f-14读出与接收光量相对应的信号。因此，该入射光对从该像素输出的检测信号有贡献。
184.注意，在图7的顶部所示的每个像素中，在上述示例中，在像素(的光电二极管121e的光接收表面)的在水平方向上的中心位置处分割遮光区域和未遮光区域。但是，这些区域可以在某个其他位置处分割。同时，在图7的底部所示的每个像素中，在上述示例中，在像素在水平方向上的中心位置处分割两个光电二极管121f。然而，两个光电二极管可以在某个其他位置处被分割。当以上述方式改变遮光区域或光电二极管121f被分割的位置时，可以产生不同的入射角方向性。
185.《包括片上透镜的配置中的入射角方向性》
186.接下来，参考图8描述包括片上透镜121c的配置中的入射角方向性。
187.图8的顶部的图形示出了图8的中间和底部所示的像素的入射角方向性。注意，横轴表示入射角θ，纵轴表示检测信号电平。注意，在入射光的方向与图8的中间部分的左侧的点划线一致的情况下，入射角θ为0度，在图8的中间部分左侧的入射角θ21侧是正方向，在图8的中间部分右侧的入射角θ22的一侧为负方向。因此，从右上角进入片上透镜121c的入射光的入射角大于从左上角进入的入射光的入射角。即，当入射光的行进方向向左倾斜较大时(或入射角θ在正方向上增大)，入射角θ较大，当入射光的行进方向向右倾斜较大(或入射角θ在负方向上增大)时，入射角θ较小。
188.同时，图8的中左部分所示的像素是通过向图7的左上部分所示的像素添加将入射光聚光的片上透镜121c-11和透射预定波长的光的滤色器121d-11而获得的。也就是说，在该像素中，片上透镜121c-11、滤色器121d-11、遮光膜121b-11和光电二极管121e-11从图中上方起从光的入射方向按此顺序堆叠。
189.同样，图8的中右图部分所示的像素、图8的左下部分所示的像素和图8的右下部分所示的像素是通过向图7的右上部分所示的像素、图7的左下部分所示的像素和图7的右下
部分所示的像素分别添加片上透镜121c-11和滤色器121d-11或者片上透镜121c-12和滤色器121d-12而获得的。在图8的中左部分所示的像素中，如图8顶部的实线波形所示，光电二极管121e-11的检测信号电平(光接收灵敏度)随入射光的入射角θ而变化。即，当入射角θ(即入射光相对于图中的点划线形成的角度)更大时(或当入射角θ在正方向上更大时(或在图中向右倾斜时))，光在不设置遮光膜121b-11的区域中被聚集，因此，光电二极管121e-11的检测信号电平变得更高。相反，当入射光的入射角θ较小时(或当入射角θ在负方向上较大时(当在图中向左倾斜时))，光在设置遮光膜121b-11的区域中被聚集，并且相应地，光电二极管121e-11的检测信号电平变得更低。
190.此外，在图8的中右部分所示的像素中，如图8顶部的虚线波形所示，光电二极管121e-12的检测信号电平(光接收灵敏度)随入射光的入射角θ而变化。具体来说，当入射光的入射角θ更大时(或当入射角θ在正方向上更大时)，光在设置遮光膜121b-12的区域中被聚光，并且相应地，光电二极管121e-12的检测信号电平变得更低。相反，当入射光的入射角θ较小时(或当入射角θ在负方向上较大时)，光在不设置遮光膜121b-12的区域中被聚光，并且相应地，光电二极管121e-12的检测信号电平变得更高。
191.图8顶部所示的实线和虚线波形可以随遮光膜121b的区域而变化。因此，取决于遮光膜121b的区域，可以生成随各个像素变化的不同入射角方向性。
192.如上所述，入射角方向性是取决于入射角θ的每个像素的光接收灵敏度的特性，但也可以说，这是取决于图8的中间部分中的每个像素中的入射角θ的遮光值的特性。即，遮光膜121b以高水平阻挡特定方向上的入射光，但不能充分阻挡来自其他方向的入射光。如图8顶部所示，由该遮光引起的电平变化产生随入射角θ变化的检测信号电平。因此，当在每个像素中可以按最高水平阻挡光的方向被定义为每个像素的遮光方向时，彼此具有不同入射角方向性的各个像素意味着彼此具有不同遮光方向的各个像素。
193.此外，在图8的左下部分所示的像素中，仅使用图的左侧部分中的光电二极管121f-11的信号，从而可以获得与图8的左中部分所示的像素相似的入射角方向性，如图7的左下部分所示的像素那样。也就是说，当入射光的入射角θ变得更大时(或者当入射角θ在正方向上变得更大时)，光在要从中读取信号的光电二极管121f-11的区域中被聚光，并且相应地，检测信号电平变得更高。相反，当入射光的入射角θ较小时(或当入射角θ在负方向上较大时)，光在不从其读取信号的光电二极管121f-12的区域中被聚光，并且相应地，检测信号电平变低。
194.此外，同样地，在图8的右下部分所示的像素中，仅使用图的右侧部分中的光电二极管121f-14的信号，从而可以获得与图8的中间右侧部分所示的像素相似的入射角方向性，如图7的右下部分所示的像素那样。也就是说，当入射光的入射角θ更大时(或者当入射角θ在正方向上更大时)，光在对输出(检测信号)没有贡献的光电二极管121f-13的区域中被聚光，并且相应地，每个像素的检测信号的电平变低。相反，当入射光的入射角θ较小时(或当入射角θ在负方向上较大时)，光在对输出(检测信号)有贡献的光电二极管121f-14的区域中被聚光，并且相应地，每个像素中的检测信号的电平变高。
195.这里，像素121a的入射角方向性的重心定义如下。
196.入射角方向性的重心是进入像素121a的光接收表面的入射光的光强分布的重心。像素121a的光接收表面是图8的中间部分中所示的每个像素121a中的光电二极管121e的光
接收表面，并且是图8的底部中所示的每个像素121a中的光电二极管121f的光接收表面。
197.例如，图8顶部所示图形的纵轴上的检测信号电平由a(θ)表示，并且具有根据下面所示的等式(4)计算的入射角θg的光束是重心光束。
198.θg＝σ(a(θ)
×
θ)/σa(θ)...(4)
199.此外，重心光束与像素121a的光接收表面相交的点是像素121a的入射角方向性的重心。
200.此外，如在图8的底部所示的像素中，在包括多个光电二极管以便能够改变对输出有贡献的光电二极管的像素中，使每个光电二极管具有关于入射光的入射角的方向性。需要在每个像素中设置片上透镜121c，以便在每个像素中生成入射角方向性。
201.注意，在下面的描述中，将主要描述类似于图5中所示的像素121a那样使用遮光膜121b实现入射角方向性的像素121a的示例情况。然而，除非需要遮光膜121b，否则也可以使用基本上分割光电二极管以获得入射角方向性的像素121a。
202.《遮光区域和视场之间的关系》
203.接下来，参考图9和14描述遮光区域和像素121a的视场之间的关系。
204.例如，现在描述如图9的顶部所示从四面的每个边缘以宽度d1被遮光膜121b遮光的像素121a，和如图9的底部所示从四面的每个边缘以宽度d2(》d1)被遮光膜121b遮光的像素121a
′
。
205.图10示出了从对象表面102到成像设备121的中心位置c1的入射光的入射角的示例。注意，图10示出了入射光在水平方向上的入射角的示例，但在垂直方向上观察到类似的入射角。此外，图10的右部分示出了图9中所示的像素121a和121a
′
。
206.例如，在图9所示的像素121a被布置在成像设备121的中心位置c1处的情况下，从对象表面102到像素121a的入射光的入射角的范围由如图10的左部分所示的角度a1表示。因此，像素121a可以接收对象表面102在水平方向上的宽度w1的入射光。
207.另一方面，在图9中的像素121a
′
被布置在成像设备121的中心位置c1处的情况下，如图10的左部分所示，从对象表面102到像素121a
′
的入射光的入射角的范围由角度a2(《a1)表示，因为像素121a’具有比像素121a更宽的遮光区域。因此，像素121a
′
可以接收对象表面102在水平方向上的宽度w2(《w1)的入射光。
208.即，具有窄遮光区域的像素121a是适于成像对象表面102上的宽区域的宽视场像素，而具有宽遮光区域的像素121a
′
是适于成像对象表面102上的窄区域的窄视场像素。注意，这里提到的宽视场像素和窄视场像素是用于比较图9中所示的像素121a和121a
′
两者的表述，并且在比较具有其他视场的像素时不限于这些像素。
209.因此，例如，像素121a用于恢复图9所示的图像i1。图像i1是包括作为图11的顶部所示的对象的整个人h101的图像，并且具有与对象宽度w1相对应的视场sq1。另一方面，例如，像素121a’用于恢复图9所示的图像i2。图像i2是以放大方式示出图11的顶部所示的人h101的面部和该面部周围的区域的图像，并且具有与对象宽度w2相对应的视场sq2。
210.同时，如图11的底部所示，例如，可以收集和排列在成像设备121中由虚线包围的区域za中的图9所示的预定数量的像素121a，以及在由点划线包围的区域zb中的预定数量的像素121a’。此外，例如，当要恢复与对象宽度w1相对应的视场sq1的图像时，使用区域za中的各个像素121a的检测信号，以便可以适当地恢复视场sq1的图像。另一方面，当要恢复
与对象宽度w2相对应的视场sq2的图像时，使用区域zb中的各个像素121a
′
的检测信号，以便可以适当地恢复视场sq2的图像。
211.请注意，视场sq2小于视场sq1。因此，在视场sq2的图像和视场sq1的图像将以相同数量的像素恢复的情况下，与通过恢复视场sq1的图像相比，通过恢复视场sq2的图像可以获得具有更高图像质量(更高分辨率)的恢复图像。
212.也就是说，在要以相同数量的像素获得恢复图像的情况下，可以通过恢复具有较小视场的图像来获得具有较高图像质量的恢复图像。
213.例如，图12的右部分示出了图11所示的成像设备121中的区域za内的示例配置。图12的左部分示出区域za中的像素121a的示例配置。
214.在图12中，黑色区域是遮光膜121b，并且例如根据图12中左部分所示的规则来确定每个像素121a的遮光区域。
215.图12的左侧部分中的主遮光部分z101(图12的左侧部分中的黑色部分)是在每个像素121a中被遮光的区域。具体来说，主遮光部分z101是从像素121a的右侧和左侧中的每一个起朝向像素121a的内部具有宽度dx1的区域，并且是从像素121a的上侧和下侧中的每一个朝向像素121a的内部具有高度dy1的区域。此外，在每个像素121a中，在主遮光部分z101的内侧的区域z102内设置未被遮光膜121b遮光的矩形开口z111。因此，在每个像素121a中，除开口z111之外的区域被遮光膜121b遮光。
216.这里，各像素121a的开口z111被规则地布置。具体来说，每个像素121a中的开口z111在水平方向上的位置在垂直方向上的同一列中的像素121a之中是相同的。此外，每个像素121a中的开口z111的位置在水平方向上的同一行中的像素121a之中是相同的。
217.另一方面，每个像素121a中的开口z111在水平方向上的位置根据像素121a在水平方向上的位置移动预定距离。即，随着像素121a的位置变得更接近右侧，开口z111的左侧移动到从像素121a的左侧向右移位宽度dx1、dx2、
…
、以及dxn的位置。宽度dx1和宽度dx2之间的距离、宽度dx2和宽度dx3之间的距离
…
以及宽度dxn-1和宽度dxn之间的距离各自具有通过将通过从区域z102在水平方向上的宽度减去开口z111的宽度而获得的长度除以水平方向上的像素数n-1而获得的值。
218.此外，每个像素121a中的开口z111在垂直方向上的位置根据像素121a在垂直方向上的位置被移位预定距离。也就是说，当像素121a的位置变得更接近底部时，开口z111的上侧移动到从像素121a的上侧向下部移位高度dy1、dy2、
…
、以及dyn的位置。高度dy1和高度dy2之间的距离、高度dy2和高度dy3之间的距离
…
以及高度dyn-1和高度dyn之间的距离各自具有通过将通过从区域z102在垂直方向上的高度减去开口z111的高度而获得的长度除以垂直方向上的像素数m-1而获得的值。
219.图13的右部分示出了图11所示的成像设备121中的区域zb内的示例配置。图13的左部分示出了区域zb中的像素121a’的示例配置。
220.在图13中，黑色区域是遮光膜121b
′
，并且每个像素121a
′
的遮光区域例如根据图13的左部分中所示的规则来确定。
221.图13的左侧部分中的主遮光部分z151(图13的左侧部分中的黑色部分)是在每个像素121a
′
中被遮光的区域。具体来说，主遮光部分z151是从像素121a’的右侧和左侧中的每一个朝向像素121a’的内侧具有宽度dx1’的区域，并且是从像素121a’的上侧和下侧中的
每一个朝向像素121a’的内侧具有高度dy1’的区域。此外，在每个像素121a
′
中，在主遮光部分z151的内侧的区域z152内设置没有被遮光膜121b
′
遮光的矩形开口z161。因此，在每个像素121a
′
中，除开口z161之外的区域被遮光膜121b
′
遮光。
222.这里，各个像素121a’的开口z161被规则地布置，类似于图12中所示的各个像素121a的开口z111。具体来说，每个像素121a
′
中开口z161在水平方向上的位置在垂直方向上的同一列中的像素121a
′
之中是相同的。此外，每个像素121a
′
中的开口z161的位置在水平方向上的同一行中的像素121a
′
之中是相同的。
223.另一方面，每个像素121a
′
中的开口z161在水平方向上的位置根据像素121a
′
在水平方向上的位置移动预定距离。也就是说，随着像素121a
′
的位置变得更靠近右侧，开口z161的左侧移动到从像素121a
′
的左侧向右移位宽度dx1
′
、dx2
′
、
…
、以及dxn
′
的位置。宽度dx1'和宽度dx2'之间的距离、宽度dx2'和宽度dx3'之间的距离
…
以及宽度dxn-1
′
和宽度dxn
′
之间的距离均具有通过将通过从区域z152在水平方向上的宽度减去开口z161的宽度而获得的长度除以水平方向上的像素数n-1而获得的值。
224.此外，每个像素121a
′
中的开口z161在垂直方向上的位置根据像素121a
′
在垂直方向上的移位移动预定距离。也就是说，当像素121a
′
的位置变得更接近底部时，开口z161的上侧移动到从像素121a'的上侧向底部移位高度dy1
′
、dy2
′
、
…
以及dyn'的位置。高度dy1'和高度dy2'之间的距离、高度dy2'和高度dy3'之间的距离
…
以及高度dyn-1
′
和高度dyn
′
之间的距离都具有通过将通过从区域z152在垂直方向上的高度减去开口z161的高度而获得的长度除以垂直方向上的像素数m-1而获得的值。
225.这里，在通过从图12中所示的每个像素121a中的区域z102在水平方向上的宽度减去开口z111的宽度而获得的长度大于通过从图13中所示的每个像素121a
′
中的区域z152在水平方向上的宽度减去开口z161的宽度而获得的宽度。因此，图12中的宽度dx1、dx2、
…
以及dxn之间的阶差(stepwise difference)大于图13中的宽度dx1'、dx2'、
…
以及dxn'之间的阶差。
226.此外，通过从图12中所示的每个像素121a中的区域z102在垂直方向上的高度减去开口z111的高度而获得的长度大于通过从图13中所示的每个像素121a
′
的区域z152在垂直方向上的高度减去开口z161的高度而获得的长度。因此，图12中的高度dy1、dy2、
…
以及dyn之间的阶差大于图13中的高度dy1'、dy2'、
…
以及dyn'之间的阶差。
227.如上所述，图12中所示的每个像素121a的遮光膜121b的开口z111在水平方向和垂直方向上的位置的阶差与图13中所示的每个像素121a'的遮光膜121b’的开口z161在水平方向和垂直方向上的位置的阶差不同。然后，在恢复图像中，阶差转化为对象分辨率(角度分辨率)的差。即，图13所示的每个像素121a
′
的遮光膜121b
′
的开口z161在水平方向和垂直方向上的位置的阶差小于图12中所示的每个像素121a的遮光膜121b的开口z111在水平方向和垂直方向上的位置的阶差。因此，与使用图12所示的各个像素121a的检测信号恢复的恢复图像相比，使用图13所示的各个像素121a
′
的检测信号恢复的恢复图像具有更高的对象分辨率和更高的图像质量(更高的分辨率)。
228.由于主遮光部分的遮光区域和开口的开口区域的组合如上所述改变，因此可以获得包括具有各种视场(或具有各种入射角方向性)的像素的成像设备121。
229.注意，在上述示例中，像素121a和像素121a
′
分别布置在区域za和区域zb中。然而，
这是为了便于解释，并且与不同视场相对应的像素121a优选地布置在同一区域中。
230.例如，如图14所示，将由虚线指示的2
×
2像素形成的四个像素设置为一个单位u，并且每个单位u由四个像素形成：具有宽视场的像素121a-w、具有中等视场的像素121a-m、具有窄视场的像素121a-n，以及具有非常窄的视场的像素121a-an。
231.在这种情况下，或者在像素121a的总数为x的情况下，例如，可以使用针对四种视场中的每一种的x/4像素的检测图像来恢复恢复图像。在这一阶段，使用随相应的视场而变化的四种系数集组，并使用四个不同的联立等式恢复具有彼此不同视场的恢复图像。
232.因此，通过使用从适于以要恢复的恢复图像的视场进行成像的像素获得的检测图像来恢复恢复图像，从而可以获得四种视场的适当的恢复图像。
233.此外，可以通过从具有四个视场的图像进行的插值来生成具有中间视场周围的视场的图像，或者可以通过无缝生成具有各种视场的图像来实现伪光学变焦。
234.注意，例如，在将获得具有宽视场的图像作为恢复图像的情况下，可以使用所有宽视场像素，或者可以使用宽视场像素中的一些。此外，例如，在将获得具有窄视场的图像作为恢复图像的情况下，可以使用所有窄视场像素，或者可以使用窄视场像素中的一些。
235.《驾驶员识别单元23的示例配置》
236.图15是示出图1所示的驾驶员识别单元23的示例配置的框图。驾驶员识别单元23包括成像单元181、指示运动检测单元182、学习单元183、存储单元184和发送单元185。
237.成像单元181安装在能够拍摄车辆中驾驶员的图像的位置处。成像单元181拍摄驾驶员的图像，并将获得的图像(以下称为驾驶员图像)提供给指示运动检测单元182和学习单元183。
238.基于驾驶员图像和存储在存储单元184中的检测条件，指示运动检测单元182执行检测驾驶员发出改变要显示在显示单元25上的侧图像的显示范围的指示的运动的处理(以下该运动将被称为显示改变指示运动)。显示改变指示运动例如是由驾驶员移动以下身体部位中的一个或多个来进行的：手、头部、视线等。
239.在指示运动检测单元182检测到显示改变指示运动的情况下，指示运动检测单元182向发送单元185提供表示指示内容的数据。指示运动检测单元182还将表示显示改变指示运动的检测结果的数据提供给学习单元183。
240.学习单元183基于驾驶员图像、显示改变指示运动的检测结果、以及由驾驶员等为了发出改变要显示在显示单元25上的侧图像的显示范围的指示而经由输入单元(未示出)输入的指示，学习显示改变指示运动的检测条件。学习单元183将通过学习获得的检测条件存储到存储单元184中。
241.发送单元185将指示从指示运动检测单元182提供的指示内容的数据转换为通信格式的数据，并将该数据输出到总线b1。
242.《相机模块21的示例硬件配置》
243.图16示出了相机模块21的示例硬件配置。
244.在图16所示的相机模块21中，作为llc芯片202和信号处理芯片203的两个半导体芯片被安装在同一基板201上。
245.llc芯片202是包括图1所示的成像单元41的半导体芯片。
246.信号处理芯片203是包括图1所示的相机ecu 42和mcu 43的半导体芯片。
247.由于llc芯片202和信号处理芯片203如上所述布置在同一基板201上，因此柔性基板变得不必要，并且减少了不必要的辐射。
248.《相机模块21、显示单元25和成像单元181的安装示例》
249.接下来，参考图17和18描述相机模块21、显示单元25和成像单元181的安装示例。
250.图17是从上方看到的配备有车载系统11的车辆221的前半部分的示意图。
251.相机模块21l附接至车辆221的乘客座椅(左侧前排座椅)的侧窗232l。通过相机模块21l的成像设备121l的视场(fov)fl1的中心的成像方向al2朝着车辆221的左侧斜后方，因此，成像设备121l可以拍摄车辆221的左侧和后侧的图像。
252.相机模块21r附接至车辆221的驾驶员座椅(右侧前排座椅)的侧窗232r。通过相机模块21r的成像设备121r的视场(fov)fr1的中心的成像方向ar2朝着车辆221的右侧斜后方，因此，成像设备121r可以拍摄车辆221的右侧和后侧的图像。
253.显示单元25l安装在与驾驶员222的左侧成对角线的位置处，位于车辆中的风挡231的前面，靠近仪表板(未示出)的左端，并且显示表面略微朝向驾驶员222的方向或朝向车辆221的右侧的斜后方。显示单元25l显示由相机模块21l获得的左侧图像。
254.显示单元25r安装在与驾驶员222的右侧成对角线的位置处，在车辆中的风挡231的前面，并且靠近仪表板(未示出)的右端，并且显示表面略微朝向驾驶员222的方向或者朝向车辆221的左侧的斜后方。显示单元25r显示由相机模块21r获得的右侧图像。
255.注意，显示单元25l和相机模块21l优选地安装为使得驾驶员222的视线al1相对于显示单元25l的显示表面的入射角θl1和成像设备121l的成像方向al2相对于显示单元25l的显示表面的角度θl2变得尽可能接近。类似地，显示单元25r和相机模块21r优选地安装为使得驾驶员222的视线ar1相对于显示单元25r的显示表面的入射角θr1和成像设备121r的成像方向ar2相对于显示单元25r的显示表面的角度θr2变得尽可能接近。
256.注意，成像方向指示成像设备121的各个像素121a的重心光束的入射角的平均值，并且通过成像设备121的视场中心。例如，成像方向al2指示成像设备121l的各个像素121a的重心光束的入射角的平均值，并且通过成像设备121l的视场fl1的中心。例如，成像方向ar2指示成像设备121r的各个像素121a的重心光束的入射角的平均值，并且通过成像设备121r的视场fr1的中心。
257.通过这种布置，驾驶员222的视线方向与显示在每个显示单元25上的侧图像的显示范围之间的关系变得自然，并且可以防止驾驶员222感到奇怪感。此外，驾驶员222可以检查车辆221的斜后方，而无需在很大程度上移动其视线。
258.图15中的驾驶员识别单元23的成像单元181安装在车辆中的风挡231的前面并且靠近仪表板(未示出)上的中心。成像单元181拍摄驾驶员222附近的图像。
259.图18是从上方看到的相机模块21l被附接到的侧窗232l的示意图。
260.利用支架251可拆卸地附接相机模块21l，使得llc芯片202安装在其上的表面沿着侧窗232l在车辆内侧的表面延伸。通过这种布置，设置在llc芯片202的表面上的成像设备121l的光接收表面朝向并接触或接近侧窗232l的在车辆内侧的表面，同时朝向车辆221的左侧，并且变得基本上与侧窗232l的在车辆内侧的表面平行。
261.因此，成像设备121的光接收表面和侧窗232l之间的空间消失或变得非常窄。结果，防止了由于入射光的反射而从侧窗232l的反射以及成像设备121的光接收表面和侧窗
232l之间的结露。
262.相机模块21l还通过缆线252连接到车载系统11的总线b1。
263.注意，尽管未在任何附图中示出也未具体描述，但是相机模块21r也以类似于相机模块21l的方式使用支架附接到侧窗232r。通过这种布置，设置在llc芯片202的表面上的成像设备121r的光接收表面面向并接触或接近侧窗232r的在车辆内侧的表面，同时面向车辆221的右侧，并且变得基本上平行于侧窗232r的在车辆内侧的表面。
264.此外，在车辆221中，在当侧窗232l打开时容纳侧窗232l的收纳部分中形成用于容纳相机模块21l和支架251的空间。类似地，在车辆221中，在当侧窗232r打开时容纳侧窗232r的收纳部分中形成用于容纳相机模块21r和支架的空间。
265.如上所述，相机模块21l和相机模块21r分别附接到侧窗232l和侧窗232r。因此，可以防止用于电子侧视镜的成像装置占用空间，并且提高车辆中的空间效率。
266.此外，由于每个相机模块21被设置在车辆内部，因此可以防止相机模块21阻塞通道或由于车辆的外部接触等而损坏。此外，不需要设置用于向左右打开和关闭相机模块21的驱动结构等。此外，可以在不受诸如天气之类的环境影响的情况下执行成像。
267.《成像设备121的像素阵列单元的第一实施例》
268.接下来，参考图19和20描述成像设备121的像素阵列单元的第一实施例。
269.图19示出了相机模块21l的成像单元41l的成像设备121l的像素阵列单元的遮光图案的第一实施例。图20示出了作为构成图19所示的像素阵列单元的像素121a的第一实施例的像素pla的遮光图案的示例。
270.每个像素pla的遮光膜sla的开口ala被设定在由虚线指示的矩形开口设定区域rla内。因此，每个像素pla的除遮光膜sla的开口设定区域rla以外的区域用作遮光膜sla的主遮光部分。
271.开口设定区域rla的大小、形状和位置在各个像素pla之间是相同的。开口设定区域rla在垂直方向上的高度略小于像素pla的高度，并且其在水平方向上的宽度几乎是像素pla的宽度的1/2。此外，开口设定区域rla被设定在像素pla中的垂直方向上的中心处，以及在水平方向上更靠近左侧的位置处。因此，开口设定区域rla的重心从像素pla的中心向左偏置。此外，如上参考图17所述，在相机模块21l附接到侧窗232l的情况下，开口设定区域rla的重心从像素pla的中心向车辆211的前方移动。
272.矩形开口ala的形状和大小在各个像素pla之间是相同的。此外，根据与上文参考图12和13所述规则类似的规则，在每个像素pla的开口设定区域rla内形成开口ala。
273.具体地说，开口ala位于像素阵列单元中左端列中的每个像素pla中的开口设定区域rla的左端处，并且位于像素阵列单元中上端行中的每个像素pla中的开口设定区域rla的上端处。此外，随着像素pla的位置变得更接近右侧，开口ala在开口设定区域rla内以相等间隔向右移位，并且位于像素阵列单元中右端列中的每个像素pla中的开口设定区域rla的右端处。此外，随着像素pla的位置变得更接近底部，开口ala在开口设定区域rla内以相等间隔向底部移位，并且位于像素阵列单元中下端行中的每个像素pla中的开口设定区域rla的下端处。
274.因此，在垂直方向上的同一列中的每个像素pla中，开口ala在水平方向上的位置相同。此外，在水平方向上的同一行中的每个像素pla中，开口ala在垂直方向上的位置是相
同的。因此，每个像素pla中的开口ala的位置(其为入射光进入每个像素pla的位置)随着每个像素pla而变化，并且结果，各个像素pla的入射角方向性彼此不同。
275.此外，各个像素pla的开口ala覆盖开口设定区域rla。即，各个像素pla的开口ala彼此交叠的区域等于开口设定区域rla。注意，开口ala的布局模式不限于上述配置，并且可以是任何布局，只要开口ala彼此交叠的区域等于开口设定区域rla即可。例如，开口ala可以在开口设定区域rla内随机地布置。
276.这里，每个像素pla的入射角方向性的重心基本上与每个像素pla的开口ala的重心重合，并且在大多数像素pla中从每个像素pla的中心向左偏置。因此，各个像素pla的入射角方向性的重心的平均值从像素pla的中心向左偏置。此外，各像素pla中的重心光束的入射角的平均值相对于像素阵列单元的光接收表面的法线方向向右偏置(车辆221的后方)。
277.因此，即使llc芯片202平行于侧窗232l安装，并且成像设备121l的像素阵列单元的光接收表面朝向车辆221的左侧，也可以如图17所示成像具有视场fl1的车辆221的左侧视野和后方的视野。
278.注意，例如，基于要在其中执行成像的视场fl1来设定作为开口设定区域rla的重心相对于像素pla的中心的偏移量的开口设定区域rla的位置以及开口设定区域rla的形状和大小。
279.此外，即使llc芯片202(或成像设备121l的光接收表面)不朝向车辆221的左侧的后方，也可以成像车辆221的左侧视野和后方视野，并且不需要任何成像透镜。因此，如上参考图16所述，llc芯片202l和信号处理芯片203l安装在同一基板上，并且相机模块21l的llc芯片202l的安装表面与侧窗232l接触或靠近侧窗232l，使得相机模块21l可以附接到侧窗232l。
280.注意，尽管未在任何附图中示出也未具体描述，但是相机模块21r的成像单元41r的成像设备121r的像素阵列单元的遮光图案也以与上面参考图19和20所述的示例中的方式类似的方式来设定。然而，与成像设备121l的每个像素pla的开口设定区域rla相反，成像设备121r的每个像素pra的开口设定区域rra的重心从像素pra的中心向右侧(车辆221的后方)偏置。
281.《电子侧视镜显示控制处理的第一实施例》
282.接下来，参考图21所示的流程图，描述将由车载系统11执行的电子侧视镜显示控制处理的第一实施例。
283.例如，当车辆221的电源接通时，该处理开始，当电源断开时，该处理结束。
284.注意，尽管下面描述了在显示单元25l上显示由相机模块21l获得的左侧图像的处理，但是在显示单元25r上显示由相机模块21r获得的右侧图像的情况下执行类似的处理。
285.在步骤s1中，成像设备121l拍摄车辆221周围的图像。结果，从成像设备121l的具有不同入射角方向性的每个像素pla输出指示与来自对象的入射光量相对应的检测信号电平的检测信号，并且成像设备121l向恢复单元122l提供由各个像素pla的检测信号形成的检测图像。
286.在步骤s2，恢复单元122l获得要用于图像恢复的系数。具体地说，恢复单元122l设定到要恢复的对象表面102的距离，该距离是对象距离。请注意，可以采用任何方法作为设
定对象距离的方法。例如，恢复单元122l将用户设定的对象距离或由各种传感器检测到的对象距离设定为到要恢复的对象表面102的距离。
287.接下来，恢复单元122l从存储单元124l读取与所设定的对象距离相关联的系数集组。
288.在步骤s3中，恢复单元122l使用检测图像和系数恢复图像。具体地说，恢复单元122l使用检测图像中的每个像素的检测信号电平和通过步骤s2中的处理获得的系数集组，创建参考上述等式(1)到(3)描述的联立等式。接下来，恢复单元122l求解所创建的联立等式，以计算与设定的对象距离相对应的对象表面102上的每个点光源的光强。然后，恢复单元122l根据对象表面102上各个点光源的布局，排列具有与计算出的光强相对应的像素值的像素。通过这样做，恢复单元122l生成其中形成对象的图像的恢复图像。
289.在步骤s4中，恢复单元122l对恢复图像执行各种处理。例如，恢复单元122l根据需要对恢复图像执行去马赛克、γ校正、白平衡调整、到预定压缩格式的转换等。此外，恢复单元122l通过通信单元125、相机ecu 42l和mcu 43l将所获得的恢复图像(左侧图像)提供给显示控制单元26。
290.在步骤s5中，显示单元25l在显示控制单元26的控制下显示恢复图像，该图像是左侧图像。
291.之后，处理返回到步骤s1，并且重复步骤s1到s5中的处理。
292.当以上述方式在显示单元25l上显示左侧图像并且在显示单元25r上显示右侧图像时，获得电子侧视镜。
293.《电子侧视镜显示控制处理的第二实施例》
294.接下来，参考图22所示的流程图描述将由车载系统11执行的电子侧视镜显示控制处理的第二实施例。
295.例如，当车辆221的电源接通时，该处理开始，当电源断开时，该处理结束。
296.注意，尽管下面描述了在显示单元25l上显示由相机模块21l获得的左侧图像的处理，但是在显示单元25r上显示由相机模块21r获得的右侧图像的情况下执行类似的处理。
297.在步骤s51至s53中，执行与图21中的步骤s1至s3中的处理类似的处理。
298.在步骤s54中，恢复单元122l对恢复图像执行各种处理。例如，恢复单元122l根据需要对恢复图像执行去马赛克、γ校正、白平衡调整、到预定压缩格式的转换等。此外，恢复单元122l经由通信单元125将获得的恢复图像(左侧图像)提供给相机ecu 42l。
299.在步骤s55中，驾驶员识别单元23执行检测驾驶员的指示运动的处理。具体地说，成像单元181拍摄驾驶员的图像，并将获得的驾驶员图像提供给指示运动检测单元182。
300.基于驾驶员图像和存储在存储单元184中的检测条件，指示运动检测单元182执行检测显示改变指示运动的处理。如果检测到显示改变指示运动，则指示运动检测单元182通过发送单元185将表示指示内容的数据提供给显示控制单元26。
301.在步骤s56中，相机ecu 42l执行危险对象检测处理。相机ecu 42l对左侧图像执行对象识别处理，并检测在车辆的左侧和后侧的可能与车辆发生碰撞或接触的危险对象(例如，行人、自行车、摩托车或车辆)。相机ecu 42l通过mcu 43l向警报控制单元24和显示控制单元26提供左侧图像和指示危险对象检测结果的数据。
302.注意，可以根据需要设定危险对象检测条件。
303.例如，在朝向车辆方向上的相对速度等于或高于预定阈值的对象或以预定速度或更高速度接近车辆的对象被检测为危险对象。例如，与车辆的距离等于或小于预定阈值的对象被检测为危险对象。
304.此外，在即使检测到满足上述条件的对象并且该对象与车辆碰撞或接触也不会引起问题的情况下，例如，该对象不被检测为危险对象。例如，这样的对象可以是乙烯基袋等。
305.在步骤s57中，警报控制单元24基于在步骤s56中由相机ecu 42l执行的处理的结果来确定是否已经检测到危险对象。如果确定检测到危险对象，则处理进入步骤s58。
306.在步骤s58中，警报控制单元24将警告显示叠加在恢复图像上。具体而言，警报控制单元24将便于关注危险对象的警告显示叠加在左侧图像。例如，为了强调左侧图像中的危险对象，添加了显示效果，例如使用边框包围。警报控制单元24向显示控制单元26提供叠加警告显示的左侧图像。
307.之后，处理进入步骤s59。
308.另一方面，如果在步骤s57中确定没有检测到任何危险对象，则跳过步骤s58中的处理，并且处理进入步骤s59。
309.在步骤s59中，显示控制单元26基于驾驶员的指示运动和危险对象检测的结果设定显示范围。
310.这里，参考图23至27描述用于设定显示范围的方法。
311.图23和24示出了基于取决于驾驶员视线方向的指示运动设定显示范围的示例。
312.图23示出了根据驾驶员222的视线al11在视场fl1内设定的显示范围dl1的示例。在这种情况下，设定显示范围dl1，使得视线al11相对于显示单元25l的显示表面的入射角θl11和显示范围dl1的中心al12相对于显示单元25l的显示表面的角度θl12变得尽可能接近。
313.图24示出了根据驾驶员222的视线al13在视场fl1内设定的显示范围dl2的示例。在这种情况下，设定显示范围dl2，使得视线al13相对于显示单元25l的显示表面的入射角θl13和显示范围dl2的中心al14相对于显示单元25l的显示表面的角度θl14变得尽可能接近。
314.因此，在驾驶员222将其视线移动到显示单元25l的显示表面的右侧的情况下，显示在显示单元25l上的左侧图像的显示范围向车辆221的前方移动。另一方面，在驾驶员222将其视线移动到显示单元25l的显示表面的左侧的情况下，显示在显示单元25l上的左侧图像的显示范围向车辆221的后方移动。
315.当以这种方式基于驾驶员222的视线方向移动左侧图像的显示范围时，可以在不给驾驶员奇怪感的情况下显示驾驶员希望检查的方向的图像。
316.注意，尽管这里没有具体描述，但是显示在显示单元25r上的右侧图像的显示范围基于驾驶员的视线方向以类似于上述的方式移动。
317.图25至27示出了基于危险对象检测结果设定显示范围的示例。
318.例如，在将范围dl1设定为如图23所示的示例中的左侧图像的显示范围的情况下，从如图25所示的范围dl1在车辆221后面的视场fl1内检测到危险对象301。
319.在这种情况下，例如，如图26所示，显示在显示单元25l上的左侧图像的显示范围被移动到包括危险对象301的范围dl3。
320.或者，例如，如图27所示，将显示在显示单元25l上的左侧图像的显示范围扩大到等于视场fl1的范围dl4。
321.结果，在显示单元25l上显示危险对象301，使得驾驶员能够快速识别危险对象301的存在。
322.注意，在图26和27中，箭头al15指示驾驶员222的视线方向。在图26中，箭头al16表示显示范围dl3的中心的方向。在图27中，箭头al17表示显示范围dl4的中心的方向。
323.再次参考图22，在步骤s60中，显示单元25l在显示控制单元26的控制下显示恢复图像。即，在显示单元25l上显示具有通过步骤s59中的处理设置的显示范围的左侧图像。
324.注意，在检测到危险对象的情况下，例如，如图28所示显示警告。在本文所示的示例中，在左侧图像中，摩托车321被检测为车辆221左侧斜方向的危险对象。然后显示围绕摩托车321的框322，并且在框322周围显示用于促使关注的字母和符号。通过这种布置，驾驶员222能够毫无疑问地快速识别摩托车321作为危险对象的存在。
325.请注意，即使在未检测到任何危险对象的情况下，例如在路线中存在事故频繁发生的区域或点的情况下，例如，也可显示示出该事实的警告显示。
326.或者，与危险对象相关的警告显示可仅在特定条件(例如，在曲线上行驶、在发车时等)下显示。
327.之后，处理返回到步骤s51，并且重复步骤s51到s60中的处理。
328.由于以上述方式适当地设置了侧图像的显示范围，因此驾驶员222可以在没有奇怪感的情况下检查车辆221的侧方和后方。此外，可以迅速且可靠地通知驾驶员危险对象的存在。
329.《《2.第二实施例》》
330.接下来，参考图29至33描述本技术的第二实施例。
331.第二实施例与第一实施例的不同之处在于成像设备121的像素阵列单元中的遮光图案。
332.图29示出了相机模块21l的成像单元41l的成像设备121l的像素阵列单元的遮光图案的第二实施例。图30示出了作为构成图29所示的像素阵列单元的像素121a的第二实施例的像素plb和像素plc的遮光图案的示例。
333.像素plb布置在像素阵列单元中的奇数编号列中，像素plc布置在像素阵列单元中的偶数编号列中。
334.在像素plb和像素plc之间，开口设定区域的位置不同。具体地，像素plb的遮光膜slb的开口设定区域rlb和像素plc的遮光膜slc的开口设定区域rlc的形状和大小与图20中像素pla的遮光膜sla的开口设定区域rla的形状和大小相同。
335.同时，与开口设定区域rla相比，开口设定区域rlb被设定在像素plb中向右移位的位置处。然而，与开口设定区域rla的重心类似，开口设定区域rlb的重心从像素plb的中心向左(对于车辆221来说向前)偏置。此外，与开口设定区域rla相比，开口设定区域rlc被设定在像素plc中向左移位的位置处。这样，在开口设定区域rlb和开口设定区域rlc之间，像素中水平方向(车辆221的前/后方向)上的位置不同。
336.此外，像素plb的开口alb具有与像素pla的开口ala相同的形状和大小，并且根据类似于上文参考图12和13所述规则的规则位于开口设定区域rlb中。
337.具体地，开口alb位于像素阵列单元中的左端列中的每个像素plb中的开口设定区域rlb的左端处，并且位于像素阵列单元中的上端行中的每个像素plb中的开口设定区域rlb的上端处。此外，随着像素plb的位置变得更接近右侧，开口alb在开口设定区域rlb内以相等的间隔向右移位，并且位于像素阵列单元中从右侧开始的第二列中的每个像素plb中的开口设定区域rlb的右端处。此外，随着像素plb的位置变得更接近底部，开口alb在开口设定区域rlb内以相等间隔向底部移位，并且位于像素阵列单元中的下端行中的每个像素plb中的开口设定区域rlb的下端处。
338.因此，在垂直方向上的同一列中的各像素plb之间，每个像素plb中的开口alb在水平方向上的位置相同。此外，在水平方向上的同一行中的各像素plb之间，每个像素plb中的开口alb在垂直方向上的位置相同。因此，每个像素plb中的开口alb的位置(其为入射光进入每个像素plb的位置)随着每个像素plb而变化，并且结果，各个像素pla的入射角方向性彼此不同。
339.此外，各个像素plb的开口alb覆盖开口设定区域rlb。即，其中各个像素plb的开口alb彼此交叠的区域等于开口设定区域rlb。注意，开口alb的布局模式不限于上述配置，并且可以是任何布局，只要开口alb彼此交叠的区域等于开口设定区域rlb即可。例如，开口alb可以在开口设定区域rlb内随机排列。
340.此外，像素plc的开口alc具有与像素pla的开口ala相同的形状和大小，并且根据类似于上文参考图12和13所述规则的规则位于开口设定区域rlc中。
341.具体地说，开口alc位于像素阵列单元中从左侧开始的第二列中的每个像素plc中的开口设定区域rlc的左端处，并且位于像素阵列单元中的上端行中的每个像素plc中的开口设定区域rlc的上端处。此外，随着像素plc的位置变得更接近右侧，开口alc在开口设定区域rlc内以相等间隔向右移位，并且位于像素阵列单元中右端列中的每个像素plc中的开口设定区域rlc的右端处。此外，随着像素plc的位置变得更接近底部，开口alc在开口设定区域rlc内以相等间隔向底部移位，并且位于像素阵列单元中的下端行中的每个像素plc中的开口设定区域rlc的下端处。
342.因此，在垂直方向上的同一列中的各像素plc中，每个像素plc中的开口alc在水平方向上的位置是相同的。此外，在水平方向上的同一行中的各像素plc中，每个像素plc中的开口alc在垂直方向上的位置是相同的。因此，每个像素plc中的开口alc的位置(其为入射光进入每个像素plc的位置)随着每个像素plc而变化，并且结果，各个像素plc的入射角方向性彼此不同。
343.此外，各个像素plc的开口alc覆盖开口设定区域rlc。即，各个像素plc的开口alc彼此交叠的区域等于开口设定区域rlc。注意，开口alc的布局模式不限于上述配置，并且可以是任何布局，只要开口alc彼此交叠的区域等于开口设定区域rlc即可。例如，开口alc可以在开口设定区域rlc内随机排列。
344.这里，每个像素plb的入射角方向性的重心基本上与每个像素plb的开口alb的重心重合，并且在大多数像素plb中从每个像素plb的中心向左(对于车辆221来说向前)偏置。因此，各个像素plb的入射角方向性的重心的平均值从像素plb的中心向左偏置。此外，各个像素plb中的重心光束的入射角的平均值相对于像素阵列单元的光接收表面的法线方向向右(对于车辆221来说向后)偏置。
345.此外，每个像素plc的入射角方向性的重心基本上与每个像素plc的开口alc的重心重合，并且在大多数像素plc中从每个像素plc的中心向左(对于车辆221来说向前)偏置。因此，各个像素plc的入射角方向性的重心的平均值从像素plc的中心向左偏置。此外，各个像素plc中的重心光束的入射角的平均值相对于像素阵列单元的光接收表面的法线方向向右(对于车辆221来说向后)偏置。
346.同时，从开口设定区域rlc中的每个像素plc的中心的偏移大于从开口设定区域rlb中的每个像素plb的中心的偏移。因此，与各个像素plb中的重心光束的入射角的平均值相比，各个像素plc中的重心光束的入射角的平均值向右(对于车辆221来说向后)倾斜。
347.因此，如图31和32所示，成像设备121的像素plb和像素plc使得能够对在车辆221的前向和后向上的不同视场fl21和fl22进行成像。
348.具体地，图31示出要由成像设备121l的每个像素plb成像的视场fl21。注意，箭头al21指示驾驶员222的视线方向，箭头al22指示成像设备121l的每个像素plb的成像方向。角度θl21指示驾驶员222的视线al21相对于显示单元25l的显示表面的入射角。角度θl22指示成像方向al22相对于显示单元25l的显示表面的角度。
349.图32示出要由成像设备121l的每个像素plv成像的视场fl22。注意，箭头al23指示驾驶员222的视线方向，箭头al24指示成像设备121l的每个像素plc的成像方向。角度θl23指示驾驶员222的视线al23相对于显示单元25l的显示表面的入射角。角度θl24指示成像方向al24相对于显示单元25l的显示表面的角度。视场fl22从视场fl21向车辆221的后方移位。
350.注意，尽管没有具体描述，但是相机模块21r的成像设备121还包括能够对车辆221的前/后方向上的不同视场fr21(图31)和fl22(图32)进行成像的两种像素。
351.《电子侧视镜显示控制处理》
352.接下来，参考图33所示的流程图，描述将由根据本技术第二实施例的车载系统11执行的电子侧视镜显示控制处理。
353.例如，当车辆221的电源接通时，该处理开始，当电源断开时，该处理结束。
354.注意，尽管下面描述了在显示单元25l上显示由相机模块21l获得的左侧图像的处理，但是在显示单元25r上显示由相机模块21r获得的右侧图像的情况下执行类似的处理。
355.在步骤s101中，以类似于图21的步骤s1中的处理的方式执行车辆221周围的成像。
356.在步骤s102中，以与图22的步骤s55中的处理类似的方式执行检测驾驶员的指示运动的处理。
357.在步骤s103中，恢复单元122l选择要用于图像恢复的像素和系数。
358.例如，在基于取决于驾驶员视线方向的指示运动来选择要用于图像恢复的像素的情况下，从像素plb和像素plc选择成像方向相对于显示单元25l的显示表面的角度更接近于驾驶员222的视线相对于显示单元25l的显示表面的入射角的像素。
359.例如，由图31中的成像设备121l的每个像素plb形成的成像方向al22的角度θl22比由图32中的成像设备121l的每个像素plc形成的成像方向al24的角度θl24更接近于图31中的驾驶员222的视线al21的入射角θl21。因此，根据驾驶员222的视线al21选择像素plb。
360.另一方面，例如，由图32中的成像设备121l的每个像素plc形成的成像方向al24的角度θl24比由图31中的成像设备121l的每个像素plb形成的成像方向al22的角度θl22更接
近于图32中的驾驶员222的视线al23的入射角θl23。因此，根据驾驶员222的视线al23选择像素plc。
361.此外，恢复单元122l设定到要恢复的对象表面102的距离，即对象距离。请注意，可以采用任何方法作为用于设定对象距离的方法。例如，恢复单元122l将用户设定的对象距离或由各种传感器检测到的对象距离设定为到要恢复的对象表面102的距离。
362.接下来，恢复单元122l从存储单元124l读取与所选像素和所设定的对象距离相关联的系数集组。
363.在步骤s104和s105中，执行与图21中的步骤s3和s4中的处理类似的处理。
364.在步骤s106中，显示单元25l在显示控制单元26的控制下显示恢复图像。即，在显示单元25l上显示具有在步骤s103的处理中选择的视场的左侧图像。结果，基于驾驶员222的指示运动而适当地改变显示在显示单元25l上的左侧图像的视场(显示范围)。
365.之后，处理返回到步骤s101，并且执行步骤s101到s106中的处理。
366.由于以上述方式适当地设定了侧图像的视场(成像范围和显示范围)，因此驾驶员222可以在没有奇怪感的情况下检查车辆221的侧方和后方。
367.注意，如在上述第一实施例中那样，可以基于危险对象检测的结果改变侧图像的视场。
368.《《3.修改》》
369.以下是对本技术的上述实施例的修改的描述。
370.《与相机模块21有关的修改》
371.在上述描述中，相机模块21附接到车辆221的侧窗的内表面。然而，相机模块21可以例如附接到车辆侧窗的外表面。
372.此外，例如，相机模块21可以附接到车辆221的外侧表面。例如，相机模块21可以附接到柱或门的外表面。
373.此外，如上所述，可以使用成像设备121的遮光图案来调整相机模块21的成像方向。因此，安装位置关于要成像的视场的自由度高。此外，相机模块21l的成像设备121l的成像方向和相机模块21r的成像设备121r的成像方向可以彼此单独设定。因此，如图34所示，例如，相机模块21l和相机模块21r不必在其两侧的对称位置处附接到车辆221。
374.在该示例中，相机模块21l安装在车辆221的左侧表面上，在前后方向上与驾驶员222基本相同的位置处。相机模块21r安装在车辆221的右侧表面上，在前后方向上与驾驶员座椅351的后端基本相同的位置处。因此，在车辆221的前后方向上，相机模块21l附接到比相机模块21r更靠近前方的部分。
375.此外，在上述示例中，在两个不同的半导体芯片上设置成像单元41、以及相机ecu 42和mcu 43。但是，可以采用其他配置。例如，成像单元41的成像设备121、以及成像单元41的信号处理控制单元111、相机ecu 42和mcu 43可以设置在两个不同的半导体芯片上，或者成像设备121、成像单元41的信号处理控制单元111、以及相机ecu 42和mcu 43可以设置在三个不同的半导体芯片上。或者，例如，可以在一个半导体芯片上设置成像单元41、相机ecu 42和mcu43。
376.此外，例如，相机模块21可以由堆叠了图16所示的llc芯片202和信号处理芯片203的半导体芯片形成。
377.此外，例如，成像单元41或成像设备121可以与相机模块21的其他组件分开地设置在车辆中。通过这种布置，成像单元41或成像设备121的安装位置的自由度变得更高。
378.此外，两个相机模块21可以彼此结合，使得例如光接收表面彼此朝向相反的方向。以这种方式形成并且能够对两侧成像的相机模块可以安装在类似于图17、34所示示例中的位置等处，以便能够对车辆内部以及车辆外部成像。
379.通过这种安排，例如，可以监控坐在乘客和后排座椅上的乘客。例如，为了保持安全，可在驾驶员座椅后面安装儿童安全座椅。然而，在这种情况下，驾驶员很难看到儿童安全座椅。为了克服这一点，例如，将能够对两侧成像的上述相机模块安装在与图34所示的上述相机模块21r相同的位置处。因此，可以对坐在驾驶员座椅后面的儿童安全座椅上的儿童进行成像和监控。
380.注意，也可以使用能够对前表面和后表面进行成像的无透镜相机，而不是通过将相机模块21彼此接合而形成的模块。例如，还可以使用通过将每个具有由孔形成的预定图案的cmos图像传感器彼此接合而形成的无透镜相机。每个图像传感器使用在另一图像传感器上形成的图案作为遮光图案来执行成像。这种无透镜相机能够进行双面成像。例如，tomoya nakamura和其他四位学者在“super field-of-view lensless camera by coded image sensors,2019”中具体描述了这种类型的无透镜相机。
381.此外，在能够双面成像的相机模块一次只能恢复一个图像的情况下，可以针对每个帧切换车辆外部成像和车辆内部成像。在这种情况下，监控车辆外部更为重要，因此，对车辆外部进行成像的频度可以高于对车辆内部进行成像的频度。
382.《与显示单元相关的修改》
383.显示单元25的安装位置不限于上述示例，而是可以改变。
384.例如，如图35所示，显示单元25r可以设置在车辆221的风挡231的右端处的柱233r的内表面上。类似地，尽管未在任何图中示出，但显示单元25l可设置在车辆221的风挡231左端处的柱233l的内表面上。
385.在这种情况下，例如，相机模块21r可以设置在柱233r的外表面上，并且由于柱233r而无法从驾驶员222看到的方向上的图像可以被相机模块21r拍摄并显示在显示单元25r上。类似地，尽管未在任何图中示出，但是相机模块21l可以设置在柱233l的外表面上，并且由于柱233l而不能从驾驶员222看到的方向上的图像可以被相机模块21l拍摄并显示在显示单元25l上。
386.此外，显示单元25可以不分为右显示单元和左显示单元。相反，可以在车辆221的仪表板前表面的中心设置一个显示单元，以便例如可以在该一个显示单元上的左侧和右侧分别显示左侧图像和右侧图像。
387.此外，在图17所示的上述示例中，例如，在驾驶员222注视显示单元25l或显示单元25r的情况下，他/她不将其视线转向成像单元181。因此，在由成像单元181拍摄的驾驶员图像中，在驾驶员的视线方向上的检测精度可能降低。
388.另一方面，如图36所示，例如，代替显示单元25l和显示单元25r，可以在与显示单元25l和显示单元25r基本相同的位置处设置显示单元401l和显示单元401r。
389.显示单元401l显示左侧图像，并且还拍摄驾驶员的图像，以将获得的驾驶员图像提供给驾驶员识别单元23。基于所获得的驾驶员图像，驾驶员识别单元23监视驾驶员，并执
行视线方向检测等。
390.同样，显示单元401r显示右侧图像，并且还拍摄驾驶员的图像，以将获得的驾驶员图像提供给驾驶员识别单元23。基于所获得的驾驶员图像，驾驶员识别单元23监视驾驶员，并执行视线方向检测等。
391.通过这种布置，在驾驶员注视显示单元401l或显示单元401r的情况下，可以从驾驶员的视线朝向的方向对驾驶员成像，因此，驾驶员视线方向的检测精度变得更高。
392.注意，在不需要相互区分显示单元的情况下，显示单元401l和显示单元401r在下文中将被简单地称为显示单元401。
393.图37和38示出了在显示单元401由以微型led作为显示元件的微型led显示器形成的情况下显示单元401的显示表面的示例配置。
394.在图37所示的示例中，包括微型led 411且由白色正方形表示的像素和包括成像设备412且由阴影正方形表示的像素每隔一行交替排列在阵列中。
395.注意，成像设备412是与成像设备121类似的成像设备。
396.在图38所示的示例中，在包括微型led 411的像素以二维阵列排列的区域的四个角处设置成像设备412。
397.这里，在显示单元401的每个像素中，由作为光源的微型led 411占据的面积非常小。因此，成像设备412可以容易地布置在相邻微型led 411之间的间隙等中。通过这种布置，可以通过成像设备412对驾驶员成像，而通过微型led 411显示侧图像。
398.请注意，显示元件不一定是微型led。例如，显示元件可以是有机el元件。
399.《与改变侧图像的显示范围的方法有关的修改》
400.如上所述，学习单元183学习用作检测显示改变指示运动的基准的检测条件。通过这种布置，例如，驾驶员不打算进行的运动不被错误地检测为显示改变指示运动，任何侧图像的显示范围不被改变，不向驾驶员施加任何压力，并且不妨碍对期望区域的监视。例如，可以防止将驾驶员移动其视线以看到坐在乘客座椅上的人或汽车导航设备、向后看以看到坐在后座上的人或抬起手触摸头部的运动错误地检测为显示改变指示运动。
401.注意，由于每个驾驶员都有特性运动(例如，以大运动或过度活动的方式移动)，因此最好为每个驾驶员分别学习检测条件。例如，初始时使用默认检测条件，并且在侧图像的显示范围改变的情况下，基于驾驶员的反应学习和更新检测条件。例如，在驾驶员没有响应的情况下，显示范围的改变被确定为适当(正确)。在驾驶员做出改变显示范围的动作的情况下，显示范围的改变被确定为不适当(不正确)。例如，由驾驶员进行的改变显示范围的运动可以是新的显示改变指示运动，或者使用按钮等的手动操作。
402.或者，可以例如在考虑除驾驶员的运动以外的条件的情况下检测显示改变指示运动。例如，可以在考虑诸如车辆的速度、行驶路线或行驶状态之类的条件的情况下检测显示改变指示运动。
403.具体而言，例如，当车辆接近弯道时，侧图像的宽显示范围被认为是理想的。因此，可以减轻检测条件，使得可以容易地检测显示改变指示运动。
404.此外，例如，在车辆高速行驶或进入高速公路的情况下，驾驶员密切注意前方，因此侧图像观看时间非常短。鉴于此，可以改变检测条件，以便缩短检测显示改变指示运动所需的时间。
405.此外，例如，不仅可以针对驾驶员，还可以针对每个区域(例如，每个国家)、每个车辆或每个车辆类型(例如，大型车辆、拖车或小型车辆)学习检测条件。
406.此外，例如，可以基于除驾驶员的显示改变指示运动和上述危险对象检测的结果以外的条件来改变侧图像的显示范围。
407.例如，可以基于驾驶操作改变侧图像的显示范围。例如，侧图像的显示范围可以由于突然起动、突然制动、突然转向、后退、停车等而改变。
408.此外，例如，在一些其他传感器检测到从后面靠近的报警对象的情况下，侧图像的显示范围被改变，以便尽快显示检测到的对象。
409.此外，例如，可以基于车辆周围的情况改变侧图像的显示范围。例如，侧图像的显示范围可以基于车辆行驶的道路的宽度、天气、周围环境的亮度等而改变。
410.此外，例如，可以基于车辆的计划路线来改变侧图像的显示范围。
411.此外，可以通过诸如按钮操作之类的手动操作或者通过语音命令等来改变侧图像的显示范围。
412.《与成像设备121相关的修改》
413.尽管图29示出了其中为成像设备121设定了两种开口设定区域的示例，但是可以设定三种或更多种开口设定区域。
414.例如，可以设定具有不同水平位置的三种或更多种开口设定区域。
415.此外，例如，可以设定至少在高度或宽度方面不同的两种或更多种开口设定区域。
416.此外，例如，每个成像设备121可以包括具有不仅能够在车辆的斜后方向上成像，而且能够在车辆的斜前方向上成像的开口设定区域的像素。
417.此外，例如，可以设置彼此独立地驱动具有相应视场的像素121a的驱动单元，以便可以同时或单独地执行具有相应视场的像素121a的成像。此外，例如，仅与用于显示电子侧视镜的恢复图像相对应的像素121a可以执行成像。通过这种布置，将由成像设备121执行的处理减少。
418.此外，图5示出了如下示例：使用遮光膜121b作为调制元件，或者改变对输出有贡献的光电二极管的组合，以便为各个像素提供不同的入射角方向性。然而，根据本技术，覆盖成像设备901的光接收表面的滤光器902可以用作调制元件，以便例如如图39所示，为各个像素提供入射角方向性。
419.具体地，滤光器902布置在距成像设备901的光接收表面901a的预定距离处，以便覆盖光接收表面901a的整个表面。来自对象表面102的光由滤光器902调制，然后进入成像设备901的光接收表面901a。
420.例如，具有图40所示的黑白晶格图案的滤光器902bw可以用作滤光器902。在滤光器902bw中，随机排列透射光的白色图案部分和阻挡光的黑色图案部分。每个图案的大小独立于成像设备901的像素的大小而被设定。
421.图41示出了在使用滤光器902bw的情况下，成像设备901关于来自对象表面102上的点光源pa和点光源pb的光的光接收灵敏度特性。来自点光源pa和点光源pb中的每一个的光由滤光器902bw调制，然后进入成像设备901的光接收表面901a。
422.例如，成像设备901关于来自点光源pa的光的光接收灵敏度特性类似于波形sa。也就是说，阴影由滤光器902bw的黑色图案部分形成，因此，针对来自点光源pa的光，在光接收
表面901a上的图像中形成灰度图案。同样，例如，成像设备901关于来自点光源pb的光的光接收灵敏度特性类似于波形sb。也就是说，阴影由滤光器902bw的黑色图案部分形成，因此，针对来自点光源pb的光，在光接收表面901a上的图像中形成灰度图案。
423.注意，来自点光源pa的光和来自点光源pb的光相对于滤光器902bw的各个白色图案部分具有不同的入射角，因此，在光接收表面上的灰度图案的外观中产生差异。因此，成像设备901的每个像素具有关于对象表面102上的每个点光源的入射角方向性。
424.例如，该方法的详细信息由m.salman asif和其他四人在“flatcam:replacing lenses with masks and computation”、“2015ieee international conference on computer vision workshop(iccvw)”，2015，第663-666页中披露。
425.注意，可以使用图42所示的滤光器902hw，而不是滤光器902bw的黑色图案部分。滤光器902hw包括具有相同偏振方向的线性偏振元件911a和线性偏振元件911b以及1/2波长板912。1/2波长板912插入线性偏振元件911a和线性偏振元件911b之间。代替滤光器902bw的黑色图案部分，在1/2波长板912中设置由阴影部分指示的偏振部分，并且随机排列白色图案部分和偏振部分。
426.线性偏振元件911a仅透射在从点光源pa发射的基本上未偏振的光束之中的沿预定偏振方向的光。在下面的描述中，线性偏振元件911a仅透射沿平行于图的偏振方向的光。在通过线性偏振元件911a透射的偏振光束中，随着偏振平面旋转，通过1/2波长板912的偏振部分透射的偏振光将其偏振方向改变为垂直于图的方向。另一方面，在通过线性偏振元件911a透射的偏振光束中，通过1/2波长板912的白色图案部分透射的偏振光不改变其保持平行于图的偏振方向。然后，线性偏振元件911b透射通过白色图案部分透射的偏振光，但几乎不透射通过偏振部分透射的偏振光。因此，通过偏振部分透射的偏振光的光量变得小于通过白色图案部分透射的偏振光的光量。结果，在成像设备901的光接收表面901a上形成基本上类似于使用滤光器bw的情况下的灰度图案。
427.此外，如图43的a中所示，光学干涉掩模可以用作滤光器902lf。从对象表面102上的点光源pa和pb发射的光经由滤光器902lf发射到成像设备901的光接收表面901a上。如图43的a的下部的放大图所示，例如，滤光器902lf的光入射面具有与波长大小类似的大小的不规则性。此外，滤光器902lf最大化从垂直方向发射的特定波长的光的透射。当从对象表面102上的点光源pa和pb发射的特定波长的光相对于滤光器902lf的入射角(或相对于垂直方向的倾斜)的变化变得更大时，光程长度改变。这里，当光程长度是半波长的奇数倍时，光束相互减弱。当光程长度为半波长的偶数倍时，光束相互增强。即，如图43的b所示，根据相对于滤光器902lf的入射角来调制从点光源pa和pb发射并通过滤光器902lf透射的特定波长的透射光的强度，然后其进入成像设备901的光接收表面901a。因此，从成像设备901的每个像素输出的检测信号是通过对每个像素的各个点光源进行调制之后的光强进行组合而获得的信号。
428.例如，jp 2016-510910 w中披露了该方法的详细信息。
429.《分担车载系统11中的处理的修改》
430.可以根据需要来改变车载系统11中的处理的分担。
431.例如，由驾驶员识别单元23执行的处理也可以由控制单元27执行。
432.例如，警报控制单元24要执行的处理也可以由控制单元27或相机ecu 42执行。
433.例如，由恢复单元122执行的处理也可以由相机ecu 42或控制单元27执行。
434.《其他修改》
435.本技术可应用于成像波长不同于可见光(例如红外光)的光的成像装置和成像设备。在这种情况下，恢复图像不是用户可以从中视觉识别对象的图像，而是用户无法从中视觉识别对象的图像。在这种情况下，本技术还用于提高能够识别对象的图像处理装置等中的恢复图像的质量。注意，传统成像透镜难以透射远红外光，因此，本技术在例如执行远红外光成像的情况下是有效的。因此，恢复图像可以是远红外光的图像。或者，恢复图像不一定是远红外光的图像，而可以是某种其他可见光或不可见光的图像。
436.此外，例如，通过应用诸如深度学习之类的机器学习，还可以在没有恢复图像的情况下使用恢复前的检测图像来执行图像识别等。在这种情况下，本技术也可用于提高使用恢复前的检测图像的图像识别的准确性。换句话说，恢复之前的检测图像的图像质量变得更高。
437.在这种情况下，图1中的相机ecu 42l和相机ecu 42r例如使用检测图像执行图像识别。
438.《《4.其他方面》》
439.上述一系列处理可以通过硬件执行，也可以通过软件执行。在由软件执行一系列处理的情况下，形成软件的程序被安装到计算机中。这里，计算机可以是并入专用硬件中的计算机(例如，控制单元123)。
440.例如，可以将要由计算机执行的程序记录在作为封装介质的记录介质等上，然后提供该程序。或者，可以通过有线或无线传输介质(例如局域网、因特网或数字卫星广播)提供程序。
441.注意，要由计算机执行的程序可以是用于按照本说明书中描述的序列按时间顺序执行处理的程序，或者可以是用于并行执行处理或在必要时(例如当存在调用时)执行处理的程序。
442.此外，本技术的实施例不限于上述实施例，并且可以在不脱离本技术的范围的情况下对其进行各种修改。
443.例如，本技术可以按云计算配置来实施，在云计算配置中，一个功能通过网络在多个设备之间来分担，并且由相互协作的设备执行处理。
444.此外，参考上述流程图描述的各个步骤可以由一个设备执行，或者可以在多个设备之间分担。
445.此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个设备执行，或者可以在多个设备之间分担。
446.注意，本技术也可以体现在下面描述的配置中。
447.(1)一种成像设备，包括：
448.多个像素，所述多个像素接收在既不通过成像透镜也不通过针孔之后从对象进入的入射光，并且每个像素输出指示根据入射光的入射角调制的输出像素值的检测信号，
449.其中，成像设备被附接到车辆，使得光接收表面朝向车辆的一侧，并且指示所述多个像素关于入射光的入射角的方向性的入射角方向性的重心的平均值从像素的中心沿一个方向偏离。
450.(2)根据(1)所述的成像设备，其中
451.所述多个像素包括在成像设备被附接到车辆的状态下入射光在所述重心从像素的中心向车辆前方偏置的第一区域中彼此不同的位置处进入的多个第一像素。
452.(3)根据(2)所述的成像设备，其中
453.所述多个像素中的每一个包括：
454.光电转换元件；和
455.遮光膜，遮光膜阻挡部分入射光进入光电转换元件，以及
456.所述多个第一像素的遮光膜的开口位于第一区域中彼此不同的位置处。
457.(4)根据(3)所述的成像设备，其中
458.所述多个像素还包括所述遮光膜的开口位于第二区域中的彼此不同的位置处的多个第二像素，第二区域不同于第一区域，并且是在成像设备被附接到车辆的状态下重心从像素的中心沿车辆的前/后方向偏置的区域。
459.(5)根据(1)至(4)中任一项所述的成像设备，其中
460.在成像设备被附接到车辆的状态下，入射角方向性的重心的平均值向车辆的前方偏置。
461.(6)根据(1)至(5)中任一项所述的成像设备，其中
462.成像设备被附接到车辆的两侧。
463.(7)根据(6)所述的成像设备，其中
464.成像设备被附接到车辆，使得光接收表面朝向并且接触或接近车辆的侧窗的内表面。
465.(8)根据(6)所述的成像设备，其中
466.成像设备被附接到车辆的外侧表面。
467.(9)根据(6)至(8)中任一项所述的成像设备，其中
468.成像设备被附接到车辆的一侧的与另一成像设备在车辆的前/后方向上不同的位置处，所述另一成像设备被附接到车辆的另一侧。
469.(10)根据(1)至(9)中任一项所述的成像设备，其中
470.将从基于所述多个像素的检测信号的检测图像恢复的恢复图像用于车辆的电子侧视镜。
471.(11)一种在车辆内被设置在驾驶员前方的左斜侧或右斜侧的显示设备，
472.所述显示设备包括：
473.排列多个显示元件的显示表面；以及
474.多个像素，所述多个像素被设置在显示表面上，接收在既不通过成像透镜也不通过针孔之后从对象进入的入射光，并且每个像素输出指示根据入射光的入射角调制的输出像素值的检测信号。
475.(12)根据(11)所述的显示设备，其中
476.显示设备显示车辆的侧方和后方的图像。
477.(13)根据(11)或(12)所述的显示设备，其中
478.所述多个像素的检测信号被用于检测驾驶员的视线方向。
479.(14)一种成像系统，包括：
480.成像设备，所述成像设备包括多个像素，所述多个像素接收在既不通过成像透镜也不通过针孔之后从对象进入的入射光，并且每个像素输出指示根据入射光的入射角调制的输出像素值的检测信号，成像设备被附接到车辆，使得光接收表面朝向车辆的一侧，其中指示所述多个像素关于入射光的入射角的方向性的入射角方向性的重心的平均值从像素的中心沿一个方向偏离；以及
481.显示单元，所述显示单元显示从基于所述多个像素的检测信号的检测图像恢复的恢复图像。
482.(15)根据(14)所述的成像系统，其中
483.所述多个像素包括：在成像设备被附接到车辆的状态下入射光在所述重心从像素的中心向车辆前方偏置的第一区域中彼此不同的位置处进入的多个第一像素；和入射光在第二区域中彼此不同的位置处进入的多个第二像素，第二区域是与第一区域不同的区域，并且是重心从像素的中心在车辆的前/后方向上偏置的区域。
484.(16)根据(15)所述的成像系统，还包括
485.显示控制单元，所述显示控制单元控制从基于来自第一像素的检测信号的检测图像恢复的恢复图像和从基于来自第二像素的检测信号的检测图像恢复的恢复图像的显示，所述显示由显示单元执行。
486.(17)根据(16)所述的成像系统，其中
487.显示控制单元基于车辆驾驶员的运动或危险对象检测的结果中的至少一个改变由显示单元显示的恢复图像。
488.(18)根据(14)至(17)中任一项所述的成像系统，还包括
489.显示控制单元，所述显示控制单元基于车辆驾驶员的运动或危险对象检测的结果中的至少一个，控制由显示单元显示的恢复图像的范围。
490.(19)根据(14)至(18)中任一项所述的成像系统，其中
491.显示单元包括：
492.排列多个显示元件的显示表面；以及
493.多个像素，所述多个像素被设置在显示表面上，接收在既不通过成像透镜也不通过针孔之后从对象进入的入射光，并且每个像素输出指示根据入射光的入射角调制的输出像素值的检测信号。
494.(20)根据(19)所述的成像系统，其中
495.将显示单元的所述多个像素的检测信号用于检测车辆驾驶员的视线方向。
496.注意，本说明书中描述的有利效果仅仅是示例，并且本技术的有利效果不限于这些，并且可以包括其他效果。
497.参考标志清单
498.11 车载系统
499.21l、21r 相机模块
500.23 驾驶员识别单元
501.24 警报控制单元
502.25l、25r 显示单元
503.26 显示控制单元
504.27 控制单元
505.41l、41r 成像单元
506.42l、42r 相机ecu
507.121 成像设备
508.121a 像素
509.122 恢复单元
510.123 控制单元
511.181 成像单元
512.182 指示运动检测单元
513.201 基板
514.202 llc芯片
515.221 车辆
516.222 驾驶员
517.232l，232r 侧窗