图像处理装置和方法、程序以及图像处理系统与流程

1.本发明的技术涉及图像处理装置和方法、程序以及图像处理系统，具体来说涉及允许识别将要复原的区域的图像处理装置和方法、程序以及图像处理系统。


背景技术：

2.在传统上通常将图像捕获元件与将光束凝聚到图像捕获元件上的图像捕获透镜组合使用。图像捕获透镜将来自被摄体平面的光束引导到图像捕获元件的每一个像素，从而再现被摄体平面上的光学强度分布。其结果是，图像捕获元件可以在根据每一个像素处的光学强度分布的水平获得检测信号，并且可以作为一个整体获得被摄体的捕获图像。
3.但是在这种情况下，物理尺寸会不合期望地增大。有鉴于此，设想出不使用图像捕获透镜的图像捕获元件(例如参见ptl 1)。举例来说，为之应用这样的图像捕获元件的图像捕获装置对在图像捕获元件处生成的检测图像实施预定计算，并且产生复原图像。
4.引用列表
5.专利文献
6.ptl 1
7.pct专利公开号wo2016/123529。


技术实现要素：

8.技术问题
9.但是例如关于是否要复原检测图像的某些区域，尚不可能识别将要复原的区域。
10.本公开内容正是鉴于这样的情况给出的，以便允许识别将要复原的区域。
11.针对问题的解决方案
12.根据本发明的技术的一方面的图像处理装置是包括区域识别部分的图像处理装置，区域识别部分识别将在其中通过使用复原矩阵产生复原图像的复原区域，复原区域处于在图像捕获元件处获得的检测图像的区域中，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素，并且被配置为使得所述多个像素中的至少两个像素的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。
13.根据本发明的技术的一方面的图像处理方法是包括识别将在其中通过使用复原矩阵产生复原图像的复原区域的图像处理方法，复原区域处于在图像捕获元件处获得的检测图像的区域中，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素，并且被配置为使得所述多个像素中的至少两个像素的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。
14.根据本发明的技术的一方面的程序是使得计算机充当区域识别部分的程序，区域识别部分识别将在其中通过使用复原矩阵产生复原图像的复原区域，复原区域处于在图像捕获元件处获得的检测图像的区域中，图像捕获元件包括接收既非经由图像捕获透镜也非
经由针孔入射在其上的入射光束的多个像素，并且被配置为使得所述多个像素中的至少两个像素的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。
15.根据本发明的技术的另一方面的图像处理系统是包括图像捕获装置和图像处理装置的图像处理系统。图像捕获装置包括图像捕获元件，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素，并且被配置为使得所述多个像素中的至少两个像素的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。图像处理装置包括识别将在其中通过使用复原矩阵产生复原图像的复原区域的区域识别部分，复原区域处于在图像捕获元件处获得的检测图像的区域中。
16.在根据本发明的技术的一方面的图像处理装置和方法以及程序中，识别将在其中通过使用复原矩阵产生复原图像的复原区域，复原区域处于在图像捕获元件处获得的检测图像的区域中，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素，并且被配置为使得所述多个像素中的至少两个像素的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。
17.在根据本发明的技术的另一方面的图像处理系统中，在图像捕获装置中，在图像捕获元件处捕获被摄体的图像，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素，并且被配置为使得所述多个像素中的至少两个像素的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性，在图像处理装置处识别将在其中通过使用复原矩阵产生复原图像的复原区域，复原区域处于在图像捕获元件处获得的检测图像的区域中。
附图说明
18.图1描绘出用于解释复原区域的控制的示例的图示。
19.图2是描绘出图像捕获装置的一个主要配置示例的方框图。
20.图3是用于解释图像捕获装置中的图像捕获的原理的图示。
21.图4是用于解释传统图像捕获元件和根据本公开内容的图像捕获元件之间的配置差异的图示。
22.图5是用于解释图像捕获元件的第一配置示例的图示。
23.图6是用于解释图像捕获元件的第一配置示例的图示。
24.图7是用于解释入射角方向敏感性的发生原理的图示。
25.图8是用于解释根据其中使用芯片上透镜的配置的入射角方向敏感性的改变的图示。
26.图9是用于解释入射角方向敏感性的设计的图示。
27.图10是用于解释物距和表达入射角方向敏感性的系数之间的关系的图示。
28.图11是用于解释窄视角像素和宽视角像素之间的关系的图示。
29.图12是用于解释窄视角像素和宽视角像素之间的关系的图示。
30.图13是用于解释窄视角像素和宽视角像素之间的关系的图示。
31.图14是用于解释一个修改示例的图示
32.图15是用于解释一个修改示例的图示。
33.图16是用于解释所述修改示例的图示。
34.图17是用户解释通过应用该修改示例改变视角的一个示例的图示。
35.图18是用于解释通过应用修改示例改变视角时的像素与多个视角的组合的一个示例的图示。
36.图19是用于解释一个修改示例的图示。
37.图20是用于解释通过针对围绕所提供的水平方向和垂直方向中的每一个的被屏蔽区域的规则减少计算量和存储器容量的原因的图示。
38.图21是用于解释通过针对围绕所提供的水平方向和垂直方向中的每一个的被屏蔽区域的规则减少计算量和存储器容量的原因的图示。
39.图22是用于解释通过针对围绕所提供的水平方向和垂直方向中的每一个的被屏蔽区域的规则减少计算量和存储器容量的原因的图示。
40.图23是用于解释通过针对围绕所提供的水平方向和垂直方向中的每一个的被屏蔽区域的规则减少计算量和存储器容量的原因的图示。
41.图24是用于解释一个修改示例的图示。
42.图25是用于解释所述修改示例的图示。
43.图26描绘出用于解释复原区域的识别的图示。
44.图27是用于解释复原图像的产生的图示。
45.图28是用于解释复原区域的复原的图示。
46.图29是用于解释复原图像生成处理的规程的一个示例的流程图。
47.图30是描绘出图像处理系统的一个主要配置示例的方框图。
48.图31是用于解释图像处理的规程的一个示例的流程图。
49.图32是描绘出图像处理系统的另一个配置示例的方框图。
50.图33是用于解释图像处理的规程的另一个示例的流程图。
51.图34是描绘出图像处理系统的另一个配置示例的方框图。
52.图35是用于解释图像处理的规程的另一个示例的流程图。
53.图36是描绘出图像处理系统的另一个配置示例的方框图。
54.图37是用于解释图像处理的规程的另一个示例的流程图。
55.图38是描绘出图像处理系统的另一个配置示例的方框图。
56.图39是用于解释图像处理的规程的另一个示例的流程图。
57.图40是描绘出车载装置的一个主要配置示例的方框图。
58.图41是用于解释复原图像生成处理的规程的另一个示例的流程图。
59.图42是描绘出图像捕获元件的一个主要配置示例的图示。
60.图43所描绘的图示描绘出使用黑白图案掩模的情况。
61.图44所描绘的图示描绘出使用光学干涉掩模的情况。
62.图45是描绘出计算机的一个主要配置示例的方框图。
具体实施方式
63.下面将解释用于实施本公开内容的模式(后文中称作实施例)。应当注意的是，按
照以下顺序给出解释。
64.1、复原区域/非复原区域的识别
65.2、第一实施例(图像捕获装置)
66.3、第二实施例(图像处理系统)
67.4、使用示例
68.5、第三实施例(车载装置)
69.6、第四实施例(图像捕获元件/图像捕获装置的其它配置示例)
70.7、备注
71.《1、复原区域/非复原区域的识别》
72.在传统上，例如存在如ptl 1中所描述的不使用图像捕获透镜的图像捕获元件。举例来说，为之应用这样的图像捕获元件的图像捕获装置对在图像捕获元件处生成的检测图像实施预定计算，并且产生复原图像。但是例如关于是否要复原检测图像的某些区域，尚不可能识别将要复原的区域。
73.举例来说，在通过使用监控摄影机等等捕获公共空间等等的图像，监控异常的发生，使用所捕获的图像作为在异常发生的情况下所使用的图像证据等等的犯罪预防系统中，存在由于对于所捕获的图像的未经授权的公开、未经授权的使用等等而导致侵犯隐私权等等的忧虑。此外，例如在城镇中所捕获的图像中捕获到陌生人的情况下，所捕获的图像被公开在sns(社交网络服务)等等上，通过广播站被广播等等，存在会发生对于她/他的肖像使用权的侵犯等等的忧虑。
74.此外，存在由于所捕获的图像中的不必要部分的存在而导致图像分析的负荷不必要地增加的忧虑。此外，出于服务或信息管理的目的，希望根据对其公开所捕获的图像的用户的权限等等来控制所捕获的图像的部分公开/非公开(控制所公开的区域)。
75.前面描述的检测图像是即使用户看到也无法将被摄体的图像辨识为图像(也就是说被摄体在视觉上是不可辨识的)的图像，这是因为没有形成图像。虽然通过使用检测图像可以减少信息泄露、未经授权的使用等等，但是使得被摄体对于正在看的用户在视觉上可辨识需要通过使用预定的复原矩阵从检测图像产生复原图像。于是，由于无法控制将要复原的区域，并且如前面所描述的那样检测图像整体被复原，因此类似于前面描述的所捕获的图像，存在复原图像的信息泄露、未经授权的使用等等的忧虑。此外，尚不可能基于用户权限等等控制所公开的区域。
76.举例来说，虽然有可能通过对所捕获的图像进行加密来保护信息，但是在使用时必须解码整个所捕获的图像，并且仍然存在对于解码后的所捕获的图像的未经授权的公开或未经授权的使用的忧虑。此外，在使用加密的情况下，必须实施比如编码(加密)或解码之类的处理，并且存在负荷增加的忧虑。
77.有鉴于此，在检测图像上设定将在其中产生复原图像的复原区域。也就是说，识别将在其中通过使用复原矩阵产生复原图像的复原区域，复原区域处于在图像捕获元件处获得的检测图像的区域中，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素，并且被配置为使得所述多个像素中的至少两个像素的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。换句话说，在检测图像上设定将不在其中产生复原图像的非复原区域。也就是说，识别将不在其
中通过使用复原矩阵产生复原图像的非复原区域，非复原区域处于在图像捕获元件处获得的检测图像的区域中，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素，并且被配置为使得所述多个像素中的至少两个像素的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。
78.举例来说，在图1中的a中描绘出的检测图像51是通过使用图像捕获元件捕获被摄体的图像而获得的，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素，并且被配置为使得所述多个像素中的至少两个像素的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性，并且检测图像51包括在像素处获得的检测信号。正如图1中的a中所描绘的那样，检测图像51是即使用户看到也无法将被摄体的图像辨识为图像(也就是说被摄体在视觉上是不可辨识的)的图像，这是因为没有形成图像。
79.通过使用对应于检测图像的复原矩阵，从检测图像51产生复原图像。图1中的b中的复原图像52表示从检测图像51产生的复原图像的一个示例。如图1中的b中所描绘的那样，复原图像52作为被摄体捕获到人物53-1、人物53-2和人物53-3。换句话说，在复原图像52上，人物53-1到人物53-3可以在视觉上被辨识为被摄体。在不需要通过在其间做出区分来解释人物53-1到人物53-3的情况下，将其称作人物53。
80.在这里，举例来说，如果人物53的面部由于复原图像52的公开而被公开，则存在侵犯她/他的肖像使用权等等的忧虑。在这样的情况下，设定包括每一个人物53的面部部分的非复原区域，并且产生复原图像。换句话说，将非复原区域之外的区域设定为复原区域，并且产生复原图像。图1中的c中所描绘的复原图像54表示按照不对非复原区域进行复原的方式产生的复原图像的一个示例。
81.在复原图像54上，非复原区域55-1是被设定为使得人物53-1的面部部分被包括在其中的非复原区域。此外，非复原区域55-2是被设定为使得人物53-2的面部部分被包括在其中的非复原区域。此外，非复原区域55-3是被设定为使得人物53-3的面部部分被包括在其中的非复原区域。在不需要通过在其间做出区分来解释非复原区域55-1到非复原区域55-3的情况下，将其称作非复原区域55。正如图1中的c中所描绘的那样，在复原图像54上，非复原区域55未被复原，而是被保持为与检测图像中相同。也就是说，在此状态下的复原图像54上，每一个人物53的面部部分在视觉上是不可辨识的。
82.通过这样的方式，可以在每一个人物53的面部部分不被公开的同时公开复原图像。也就是说，通过设定复原区域/非复原区域，有可能关于是否要复原检测图像上的特定区域实施控制。其结果是，关于检测图像上的特定区域，例如有可能控制公开/非公开、控制信息的保护/非保护，以防止未经授权的公开或未经授权的使用等等。此外，例如有可能控制图像分析等等的目标区域，控制将要提供的服务水平等等。应当注意的是，复原区域(或者非复原区域)可以是检测图像的整体区域。也就是说，有可能将检测图像的整体区域设定为复原区域或非复原区域。
83.《2、第一实施例》
84.《图像捕获装置》
85.图2是描绘出作为为之应用本发明的技术的图像处理装置的一个实施例的图像捕获装置的一个主要配置示例的图示。图2中所描绘的图像捕获装置100是捕获被摄体的图像
并且获得与所捕获的图像相关的电子数据的装置。正如前面在《1、复原区域/非复原区域的识别》中所描述的那样，图像捕获装置100可以在检测图像上设定复原区域(非复原区域)，并且产生复原图像从而使得非复原区域不被复原。
86.应当注意的是，图2描绘出主要的处理部分、数据流程等等，并且不一定描绘出所包括的全部。也就是说，在图像捕获装置100中，可以有未被描绘为图2中的块的处理部分，可以有未被描绘为图2中的箭头等等的处理或数据流程等等。
87.如图2中所描绘的那样，图像捕获装置100具有图像捕获部分101、区域识别部分102、训练数据存储部分103、复原矩阵更新部分104、复原部分105等等。
88.图像捕获部分101具有后面描述的图像捕获元件121，并且实施与检测图像的生成相关的处理。举例来说，图像捕获部分101可以捕获被摄体的图像，并且通过使用图像捕获元件121生成检测图像。图像捕获元件121是包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素输出单位的图像捕获元件，并且被配置为使得所述多个像素输出单位中的至少两个像素输出单位的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。图像捕获元件121的细节将在后面描述。此外，图像捕获部分101可以将所生成的检测图像提供到区域识别部分102和复原部分105。此外，图像捕获部分101可以向复原矩阵更新部分104提供对应于检测图像的复原矩阵，也就是用于从检测图像生成复原图像的复原矩阵。复原矩阵可以被预先存储在图像捕获部分101上，或者可以在图像捕获部分101处生成。
89.应当注意的是，图像捕获元件121可以被固定在三维空间的绝对坐标系中，或者可以是可变的。举例来说，图像捕获元件121(或图像捕获部分101)的位置和姿态相对于图像捕获装置100可以是固定的，或者可以是可变的。此外，图像捕获装置100可以被固定在三维空间的绝对坐标系中，或者可以是可变的。
90.区域识别部分102实施与复原区域(或非复原区域)的识别相关的处理。举例来说，区域识别部分102可以获取从图像捕获部分101提供的检测图像。此外，区域识别部分102可以获取存储在训练数据存储部分103上的训练数据。此外，基于从训练数据存储部分103读出的训练数据，区域识别部分102可以在从图像捕获部分101提供的检测图像(也就是在图像捕获元件121处获得的检测图像)上设定复原区域(或非复原区域)。此外，区域识别部分102生成表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)，并且将复原区域信息提供到复原矩阵更新部分104。
91.训练数据存储部分103实施与训练数据的存储相关的处理。举例来说，训练数据存储部分103具有特定存储介质，并且在其上存储与复原区域的识别相关的训练数据。训练数据将在后面描述。举例来说，根据来自区域识别部分102的请求，训练数据存储部分103可以将所存储的训练数据提供到区域识别部分102。
92.复原矩阵更新部分104实施与复原矩阵的更新相关的处理。举例来说，复原矩阵更新部分104可以获取从区域识别部分102提供的复原区域信息(或非复原区域信息)。此外，复原矩阵更新部分104可以获取从图像捕获部分101提供的复原矩阵。复原矩阵是对应于在图像捕获部分101处生成的检测图像的复原矩阵(被用于产生复原图像的复原矩阵)。
93.基于复原区域信息，复原矩阵更新部分104可以更新从图像捕获部分101获取的复原矩阵，并且生成用于仅对复原区域进行复原而不对非复原区域进行复原的复原矩阵(也
被称作不复原非复原区域的复原矩阵)。也就是说，复原矩阵更新部分104是部分复原矩阵生成部分，其生成用于从检测图像仅产生所识别出的复原区域的复原图像的部分复原矩阵。非复原区域是基于由复原区域信息表示的复原区域所确定的区域，并且是检测图像中的复原区域之外的区域。应当注意的是，在从区域识别部分102提供非复原区域信息的情况下，复原矩阵更新部分104可以基于非复原区域信息更新从图像捕获部分101获取的复原矩阵，并且生成用于仅对复原区域进行复原而不会由非复原区域信息表示的非复原区域进行复原的不复原非复原区域的复原矩阵。复原区域是基于由非复原区域信息表示的非复原区域所确定的区域，并且是检测图像中的非复原区域之外的区域。
94.此外，复原矩阵更新部分104可以向复原部分105提供作为更新后的复原矩阵的不复原非复原区域的复原矩阵。应当注意的是，复原矩阵更新部分104可以实施部分复原矩阵(也被称作不复原非复原区域的复原矩阵)的设定。举例来说，预先确定的是当在检测图像的左上方检测到面部时将完全不复原检测图像的左侧一半，预先准备(例如存储在复原矩阵更新部分104中的存储区域上)用于仅不复原左侧一半的矩阵(专用于将不复原左侧一半的情况的矩阵)以作为复原矩阵，并且复原矩阵更新部分104基于复原区域信息实施设定，从而使得在检测图像的左上方检测到面部的情况下应用不复原非复原区域的复原矩阵。也就是说，取代生成不复原非复原区域的复原矩阵，复原矩阵更新部分104可以关于是否应用预先准备的不复原非复原区域的复原矩阵实施设定。应当注意的是，在将应用预先准备的不复原非复原区域的复原矩阵的情况下，复原矩阵更新部分104可以基于复原区域信息选择多个预先准备的不复原非复原区域的复原矩阵中的任一个，并且应用所选择的不复原非复原区域的复原矩阵。也就是说，复原矩阵更新部分104也可以说是部分复原矩阵设定部分，其设定用于从检测图像仅产生所识别出的复原区域的复原图像的部分复原矩阵。
95.复原部分105实施与复原图像的产生相关的处理。举例来说，复原部分105可以获取从图像捕获部分101提供的检测图像。此外，复原部分105可以获取从复原矩阵更新部分104提供的不复原非复原区域的复原矩阵。此外，复原部分105可以通过使用不复原非复原区域的复原矩阵实施复原图像的产生。通过该处理，可以从检测图像生成其中对复原区域进行复原的复原图像。此外，复原部分105可以向图像捕获装置100的外部输出所生成的复原图像(其中仅从检测图像对复原区域进行复原的复原图像)。应当注意的是，可以在图像捕获装置100的外部实施复原图像的产生。在这种情况下，复原部分105不实施复原，而是将检测图像和不复原非复原区域的复原矩阵彼此相关联，并且将检测图像和不复原非复原区域的复原矩阵输出到位于图像捕获装置100外部并且实施复原处理的复原装置。通过这样的方式，图像捕获装置100可以在信息受到保护的状态下将图像发送到复原装置(另一个装置)。相应地，可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。
96.可以通过经由特定通信路径的通信或者可以经由特定存储介质(即输出存储在存储介质上的信息)实施对外部的信息输出。
97.此外，术语“相关联”例如意味着将一项信息(数据、命令、程序等等)与另一项信息相关联，从而使得在处理前一项信息时，可以使用(可以关联)后一项信息。也就是说，相互关联的各项信息可以被一起置于一个文件等等中，或者可以是分开的各项信息。举例来说，可以在与在其上发送信息a的发送路径不同的发送路径上发送与信息a相关联的信息b。此
外，例如与信息a相关联的信息b可以被记录在与在其上记录信息a的记录介质不同的记录介质上(或者信息a和信息b可以被存储在相同的记录介质的不同记录区域上)。
98.正如前面所描述的那样，区域识别部分102可以通过识别复原区域(非复原区域)控制将要复原的区域。其结果是，图像捕获装置100可以产生复原图像，从而不对特定区域进行复原。
99.应当注意的是，图像捕获装置100的这些处理部分(图像捕获部分101到复原部分105)可以分别具有任何配置。举例来说，每一个处理部分可以包括实现前面所描述的处理的逻辑电路。此外，例如每一个处理部分可以具有cpu(中央处理单元)、rom(只读存储器)、ram(随机存取存储器)等等，并且使用它们来执行程序，从而实现前面所描述的处理。不言自明的是，每一个处理部分可以具有全部两种类型的配置，通过使用逻辑电路实现前面所描述的其中一些处理，并且通过执行程序来实现其它处理。各个处理部分的配置可以彼此独立。举例来说，一些处理部分可以通过使用逻辑电路实现前面所描述的其中一些处理，其它一些处理部分可以通过执行程序来实现前面所描述的处理，其它的处理部分则可以通过使用逻辑电路和程序执行全部二者来实现前面所描述的处理。
100.《关于图像捕获元件》
101.接下来将参照图3到图25来解释图像捕获部分101的图像捕获元件121。
102.《像素和像素输出单位》
103.在本说明书中，通过使用术语“像素”(或“像素输出单位”)来解释本发明的技术。在本说明书中，“像素”(或“像素输出单位”)指的是包括可以独立于另一个像素接收光束的至少一个物理配置的划分单位，所述划分单位处于在其中形成用于接收入射光束的物理配置的图像捕获元件121的一个区域(也被称作像素区域)中。可以接收光束的物理配置例如是光电转换元件，并且例如是光电二极管(pd)。在一个像素中可以形成任何数目的这样的物理配置(例如光电二极管)。可以形成前面所描述的一个或多个物理配置。这样的物理配置的类型、尺寸、形状等等可以是任何类型、尺寸、形状等等。
104.此外，“像素”单位的物理配置不仅包括前面所描述的“可以接收光束的物理配置”，还包括与入射光束的接收相关的所有物理配置，比如芯片上透镜、光屏蔽膜、颜色滤波器、平坦化膜或防反射膜。此外，在某些情况下包括比如读出电路之类的配置。也就是说，像素单位的物理配置可以是任何配置。
105.此外，在某些情况下，从“像素”(即像素单位的物理配置)读出的检测信号被称作“像素单位(或像素输出单位)的检测信号”等等。此外，像素单位(或像素输出单位)的检测信号也被称作“像素单位检测信号”(或像素输出单位检测信号)。此外，像素单位检测信号也被称作“像素输出”。此外，像素单位检测信号的值也被称作“输出像素值”。
106.图像捕获元件121的像素单位检测信号的值(输出像素值)关于来自被摄体的入射光束可以具有独立于其它的入射角方向敏感性(与入射角相关的特性)。也就是说，图像捕获元件121的每一个像素单位(像素输出单位)被配置为使得可以独立地设置其输出像素值关于来自被摄体的入射光束的入射角方向敏感性。相应地，图像捕获元件121中的至少两个像素单位的输出像素值关于来自被摄体的入射光束具有互不相同的入射角方向敏感性。
107.应当注意的是，正如前面所描述的那样，可以有任何数量的“像素(或像素输出单位)”的“可以接收光束的物理配置”，像素单位检测信号可以是由一个“可以接收光束的物
理配置”获得的检测信号，或者可以是由多个“可以接收光束的物理配置”获得的检测信号。
108.此外，还可以在特定阶段将多个像素单位检测信号(输出像素值)一起置于一个像素单位检测信号中。举例来说，可以在像素单位检测信号是模拟信号的状态下将多个像素的输出像素值添加在一起，或者可以在转换成数字信号之后添加在一起。
109.此外，在从图像捕获元件121读出之后，也就是说当处在检测图像上时，可以将多个检测信号一起置于一个检测信号中，或者可以将一个检测信号分离成多个检测信号。也就是说，检测图像的分辨率(数据项的数量)是可变的。
110.与此同时，为了便于解释，除非另行表明，否则在下面的解释中假设图像捕获元件121具有其中多个像素被安排在矩阵中的像素区域(形成像素阵列)。应当注意的是，图像捕获元件121的像素(或像素输出单位)的阵列图案可以是任何阵列图案，而不限于该例。举例来说，像素(或像素输出单位)可以被安排在蜂巢状结构中。此外，像素(或像素输出单位)可以被安排在一行(或一列)中。也就是说，图像捕获元件121可以是线传感器。
111.应当注意的是，图像捕获元件121对其敏感的波长段可以是任何波长段。举例来说，图像捕获元件121(的像素)可以对可见光敏感，可以对比如红外光或紫外光之类的不可见光敏感，或者可以对可见光和不可见光都敏感。
112.《入射角方向敏感性》
113.图像捕获元件121具有多个像素输出单位。于是，图像捕获元件121被配置为使得所述多个像素输出单位中的至少两个像素输出单位的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。也就是说，图像捕获元件121可以按照对应于所述多个像素输出单位的数量获得检测信号(多个像素输出单位检测信号)，并且其中至少两个像素输出单位检测信号关于来自被摄体的入射光束的入射角方向敏感性是互不相同的。
114.在这里，入射角方向敏感性意味着根据入射光束的入射角的光接收敏感性特性，也就是关于入射光束的入射角的检测敏感性。举例来说，在某些情况下，即使是关于相同光学强度的入射光束，检测敏感性也会根据入射角而改变。这样的检测敏感性的不均匀性(也包括不存在不均匀性的情况)被称作“入射角方向敏感性”。
115.举例来说，如果具有彼此完全相同的光学强度的入射光束以彼此完全相同的入射角进入两个像素输出单位的物理配置，所述像素输出单位的检测信号的信号电平(检测信号电平)可以是互不相同的值。图像捕获元件121(的像素输出单位)具有(多个)具有这样的特征的物理配置。
116.更具体来说，正如前面所描述的那样，虽然图像捕获元件121在基本结构方面例如可以类似于包括比如cmos(互补金属氧化物半导体)图像传感器之类的图像捕获元件的典型图像捕获元件，但是图像捕获元件121被配置为使得至少两个像素输出单位在其输出像素值关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。入射角方向敏感性可以通过任何方法来实现。举例来说，入射角方向敏感性可以通过在光电转换元件之前(在其光入射侧)提供光屏蔽膜等等来实现。
117.如果通过仅使用包括具有彼此完全相同的入射角方向敏感性的像素的典型图像捕获元件来实施图像捕获，则具有近似完全相同的光学强度的光束进入图像捕获元件的所有像素，并且无法获得被摄体的所形成的图像。有鉴于此，通常在图像捕获元件之前(在其
光入射侧)提供图像捕获透镜或针孔。举例来说，通过提供图像捕获透镜，可以通过来自被摄体平面的光束在图像捕获元件的图像捕获平面上形成图像。相应地，图像捕获元件可以在每一个像素处获得处于根据被摄体的所形成的图像的水平的检测信号(也就是说可以获得被摄体的所形成的捕获图像)。但是在这种情况下，存在物理尺寸增大并且装置的尺寸减小变得困难的忧虑。此外，在提供针孔的情况下，虽然与提供图像捕获透镜的情况相比尺寸减小是可能的，但是进入图像捕获元件的光束的数量会减少。其结果是变得必须采取比如使得曝光时间更长、提高增益等措施，并且存在变得更有可能在被摄体的高速图像捕获中生成散景(bokeh)或者无法表达自然颜色的忧虑。
118.与此相对，正如在图3的左上部分中所描绘的那样，图像捕获元件121具有在检测敏感性方面具有互不相同的入射角方向敏感性的像素。也就是说，根据入射光束的入射角的光接收敏感性特性在像素之间是不同的。应当注意的是，没有必要使得所有像素都具有完全不同的光接收敏感性特性，一些像素可以具有完全相同的光接收敏感性特性，并且一些像素可以具有不同的光接收敏感性特性。
119.假设包括在被摄体平面131中的光源是点光源，从完全相同的点光源发出的具有完全相同的光学强度的光束进入图像捕获元件121处的所有像素，但是光束以互不相同的入射角进入像素。随后，由于图像捕获元件121的像素具有互不相同的入射角方向敏感性，因此像素以互不相同的敏感性检测到具有完全相同的光学强度的光束。也就是说，在像素处检测到处于不同信号电平的检测信号。
120.更具体来说，根据在图像捕获元件121的像素处接收到的入射光束的入射角的敏感性特性，也就是根据像素处的入射角的入射角方向敏感性，是通过表示根据入射角的光接收敏感性的系数来表达，并且根据每一个像素处的入射光束的检测信号的信号电平(也被称作检测信号电平)是通过乘以对应于根据入射光束的入射角的光接收敏感性来确定。
121.更具体来说，正如在图3的左上部分中所描绘的那样，位置pa、pb和pc处的检测信号电平da、db和dc分别由下面的公式(1)到公式(3)表示。
122.da＝α1
×
a β1
×
b γ1
×c…
(1)
123.db＝α2
×
a β2
×
b γ2
×c…
(2)
124.dc＝α3
×
a β3
×
b γ3
×c…
(3)
125.在这里，α1是根据来自将在图像捕获元件121上的位置pa处复原的被摄体平面131上的点光源pa的光束的入射角所设定的系数。β1是根据来自将在图像捕获元件121上的位置pa处复原的被摄体平面131上的点光源pb的光束的入射角所设定的系数。γ1是根据来自将在图像捕获元件121上的位置pa处复原的被摄体平面131上的点光源pc的光束的入射角所设定的系数。
126.正如公式(1)所表示的那样，位置pa处的检测信号电平da是通过以下各项之和(复值)来表达：系数α1与位置pa处的来自点光源pa的光束的光学强度“a”之积，系数β1与位置pa处的来自点光源pb的光束的光学强度“b”之积，以及系数γ1与位置pa处的来自点光源pc的光束的光学强度“c”之积。在后文中，系数αx、βx和γx(x是自然数)被统称为系数集。
127.类似地，公式(2)中的α2、β2和γ2是根据来自将在图像捕获元件121上的位置pb处复原的被摄体平面131上的点光源pa、pb和pc的光束的入射角所设定的系数集。也就是说，如在前面描述的公式(2)中那样，位置pb处的检测信号电平db是通过以下各项之和(复值)
来表达：系数α2与位置pb处的来自点光源pa的光束的光学强度“a”之积，系数β2与位置pb处的来自点光源pb的光束的光学强度“b”之积，以及系数γ2与位置pb处的来自点光源pc的光束的光学强度“c”之积。此外，公式(3)中的α3、β3和γ3是根据来自将在图像捕获元件121上的位置pc处复原的被摄体平面131上的点光源pa、pb和pc的光束的入射角所设定的系数集。也就是说，如在前面描述的公式(3)中那样，位置pc处的检测信号电平dc是通过以下各项之和(复值)来表达：系数α3与位置pc处的来自点光源pa的光束的光学强度“a”之积，系数β3与位置pc处的来自点光源pb的光束的光学强度“b”之积，以及系数γ3与位置pc处的来自点光源pc的光束的光学强度“c”之积。
128.正如前面所描述的那样，这些检测信号电平是包括从点光源pa、pb和pc发出的光束的混合光学强度的检测信号电平，因此被摄体的图像变成与所形成的图像不同的图像。也就是说，在图3的右上部分中描绘的检测信号电平不是在其上形成被摄体的图像的图像(捕获图像)所对应的检测信号电平，因此不同于在图3的右下部分中所描绘的像素值(每一对相应的检测信号电平和像素值通常不匹配)。
129.应当注意的是，当使用系数集α1、β1和γ1、系数集α2、β2和γ2、系数集α3、β3和γ3以及检测信号电平da、db和dc形成联立方程并且通过使用a、b和c作为变量对包括前面描述的公式(1)到公式(3)的联立方程进行求解时，可以确定比如在图3的右下部分中所描绘的位置pa、pb和pc的像素值。其结果是，产生作为像素值的集合的复原图像(在其上形成被摄体的图像的图像)。
130.由于这样的配置，图像捕获元件121在至少两个像素输出单位处具有互不相同的入射角方向敏感性而不需要图像捕获透镜、包括衍射光栅等等的光学滤波器、针孔等等。其结果是，由于图像捕获透镜、包括衍射光栅等等的光学滤波器、针孔等等不是必要的配置，因此变得有可能减小图像捕获装置的高度，也就是在入射光束的方向上减小实现光学捕获功能的配置的厚度。
131.《入射角方向敏感性的形成》
132.图4的左侧部分描绘出典型的图像捕获元件的像素阵列部分的一部分的正视图，图4的右侧部分描绘出图像捕获元件121的像素阵列部分的一部分的正视图。应当注意的是，虽然图4描绘出像素阵列部分具有包括水平方向上的六个像素和垂直方向上的六个像素的配置的情况下的一个示例，但是关于像素计数的配置不限于此。
133.例如可以通过使用光屏蔽膜来形成入射角方向敏感性。正如在图4的左侧部分中的示例中所描绘的那样，典型的图像捕获元件151包括安排在阵列中的具有完全相同的入射角方向敏感性的像素151a。与此相对，图4的右侧部分中的示例中的图像捕获元件121具有这样的配置：其中每一个像素121a在其作为光电二极管的光接收区域的一部分并且与其它像素121a的对应部分不同的区域处提供有光屏蔽膜121b，并且其中每一个像素121a对于入射光束的入射角具有不同的光接收敏感性(也就是说像素121a具有互不相同的入射角方向敏感性)。
134.更具体来说，例如像素121a-1和像素121a-2在像素之间提供有使得被屏蔽区域不同(使得至少被屏蔽区域(位置)或被屏蔽区域尺寸不同)的光屏蔽膜121b-1和光屏蔽膜121b-2。也就是说，像素121a-1提供有光屏蔽膜121b-1，从而使得仅有处于光电二极管的光接收区域左侧的部分的预定宽度被屏蔽。与此同时，像素121a-2提供有光屏蔽膜121b-2，从
而使得仅有处于光接收区域右侧的部分的水平宽度被屏蔽，所述水平宽度大于光屏蔽膜121b-1的宽度。其它像素121a也类似地提供有光屏蔽膜121b，从而使得像素的光接收区域的互不相同的区域被屏蔽，并且这样的像素被随机安排在像素阵列中。
135.应当注意的是，由于可以由每一个像素接收到的光束的数量随着像素的光接收区域的覆盖范围增大而减少，因此希望光屏蔽膜121b的区域是可以确保所期望的光量的区域，并且光屏蔽膜121b的区域尺寸可以被确定为具有一定限制，从而使得光屏蔽膜121b的最大区域尺寸是整个可接收光区域的近似3/4。通过这种方式，变得有可能确保等于或大于所期望的数量的光量。应当注意的是，只要每一个像素提供有具有等效于将要接收的光束的波长的未屏蔽区域，就可以接收到最低限度数量的光束。也就是说，例如在b像素(蓝色像素)的情况下，波长是近似500nm，并且只要未屏蔽区域不等于或大于等效于波长的宽度，就可以接收到最低限度数量的光束。
136.《图像捕获元件的配置示例》
137.参照图5，图中解释了这种情况下的图像捕获元件121的一个配置示例。图5的上方部分是图像捕获元件121的侧面剖视图，并且图5的中间部分是图像捕获元件121的顶视图。此外，图5的上方部分中的侧面剖视图是在图5的中间部分中沿着a-b取得的剖面。此外，图5的下方部分是图像捕获元件121的一个电路配置示例。
138.具有图5中所描绘的配置的图像捕获元件121包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素输出单位，并且被配置为使得所述多个像素输出单位中的至少两个像素输出单位的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。此外，这种情况下的图像捕获元件121被配置为使得可以独立地设定图像捕获元件121的多个像素输出单位中的每一个像素输出单位关于来自被摄体的入射光束的入射角方向敏感性。
139.入射光束在图中从上向下进入图5的上方部分中的图像捕获元件121。邻近的像素121a-15和121a-16是通常所谓的背面照明像素，其在图中的最下层提供有布线层z12，并且在布线层z12上提供有光电转换层z11。
140.应当注意的是，在没有必要在像素121a-15和121a-16之间做出区分的情况下，将其简单地称为像素121a，并且也类似地称谓其它配置。此外，虽然图5描绘出对应于包括在图像捕获元件121的像素阵列中的两个像素的侧视图和顶视图，但是不言自明的是，安排有更大数量的像素121a，但是在图中未被描绘并且被省略。
141.此外，像素121a-15和121a-16在光电转换层z11中分别包括光电二极管121e-15和121e-16。此外，芯片上透镜121c-15和121c-16以及颜色滤波器121d-15和121d-16分别从上方按照此顺序被包括在光电二极管121e-15和121e-16上。
142.芯片上透镜121c-15和121c-16将入射光束凝聚到光电二极管121e-15和121e-16上。
143.举例来说，颜色滤波器121d-15和121d-16是透射具有特定波长的光束的光学滤波器，比如红色、绿色、蓝色、红外或白色光束。应当注意的是，在白色的情况下，颜色滤波器121d-15和121d-16可以是透明滤波器，或者可以没有滤波器。
144.在像素121a-15和121a-16的光电转换层z11中边界处，形成光屏蔽膜121p-15到121p-17以减少邻近像素之间的串扰。
145.此外，如在图5的上方部分和中间部分中所描绘的那样，光屏蔽膜121b-15和121b-16的一部分在从上方看去时屏蔽光接收平面s。在像素121a-15和121a-16的光电二极管121e-15和121e-16的光接收平面s上，光屏蔽膜121b-15和121b-16屏蔽互不相同的区域，从而设定在像素之间是不同的入射角方向敏感性。应当注意的是，并不总是图像捕获元件121的所有像素121a都分别具有不同的被屏蔽区域的情况，可以有一些像素121a的被屏蔽区域是完全相同的。
146.由于比如在图5的上方部分中所描绘的配置，光屏蔽膜121p-15的上方末端部分和光屏蔽膜121b-15的右侧末端部分彼此连接。此外，光屏蔽膜121b-16的左侧末端部分和光屏蔽膜121p-16的上方末端部分彼此连接，从而形成从侧面看去的l形部分。
147.此外，光屏蔽膜121b-15到121b-16和光屏蔽膜121p-15到121p-17包括金属，并且例如包括钨(w)、铝(al)或者al和铜(cu)的合金。此外，通过与形成连线的处理完全相同的处理，可以通过使用与被用于将在半导体处理中形成的连线的金属完全相同的金属同时形成光屏蔽膜121b-15到121b-16和光屏蔽膜121p-15到121p-17。应当注意的是，光屏蔽膜121b-15到121b-16和光屏蔽膜121p-15到121p-17的膜厚度取决于位置可以不是完全相同的厚度。
148.此外，如在图5的下方部分中所描绘的那样，每一个像素121a包括光电二极管161(对应于光电二极管121e)、转移晶体管162、fd(浮置扩散)部分163、选择晶体管164、放大晶体管165和重置晶体管166，并且经由垂直信号线167连接到电流源168。
149.光电二极管161包括接地的阳极电极和经由转移晶体管162连接到放大晶体管165的栅极电极的阴极电极。
150.转移晶体管162根据转移信号tg被驱动。举例来说，当提供到转移晶体管162的栅极电极的转移信号tg变为高电平信号时，转移晶体管162被接通。其结果是，在光电二极管161中累积的电荷经由转移晶体管162被转移到fd部分163。
151.放大晶体管165充当作为用来读出在光电二极管161处通过光电转换获得的信号的读出电路的源极跟随器，并且向垂直信号线23输出处于根据在fd部分163中累积的电荷的水平的像素信号。也就是说，放大晶体管165具有连接到供电电压vdd的漏极端子和经由选择晶体管164连接到垂直信号线167的源极端子，从而与连接到垂直信号线167的一端的电流源168一起形成源极跟随器。
152.fd(浮置扩散)部分163是具有提供在转移晶体管162与放大晶体管165之间的电荷容量c1的浮置扩散区域，并且暂时累积经由转移晶体管162从光电二极管161转移的电荷。fd部分163是将电荷转换成电压的电荷检测部分，在fd部分163中累积的电荷在放大晶体管165处被转换成电压。
153.选择晶体管164根据选择信号sel被驱动。当提供到选择晶体管164的栅极电极的选择信号sel变为高电平信号时，选择晶体管164被接通，并且将放大晶体管165和垂直信号线167彼此连接。
154.重置晶体管166根据重置信号rst被驱动。举例来说，当提供到重置晶体管166的栅极电极的重置信号rst变为高电平信号时，重置晶体管166被接通，将在fd部分163中累积的电荷放电到供电电压vdd，并且重置fd部分163。
155.由于比如前面的电路配置，在图5的下方部分中描绘的像素电路按照以下方式操
作。
156.也就是说，作为第一项操作，重置晶体管166和转移晶体管162被接通，在fd部分163中累积的电荷被放电到供电电压vdd，并且fd部分163被重置。
157.作为第二项操作，重置晶体管166和转移晶体管162被关断，曝光周期开始，光电二极管161根据入射光束的光量累积电荷。
158.作为第三项操作，重置晶体管166被接通，fd部分163被重置，随后重置晶体管166被关断。由于这一操作，fd部分163被重置，并且fd部分163的电位被设定为参考电位。
159.作为第四项操作，处于重置状态的fd部分163的电位作为参考电位由放大晶体管165输出。
160.作为第五项操作，转移晶体管162被接通，并且在光电二极管161中累积的电荷被转移到fd部分163。
161.作为第六项操作，通过放大晶体管165作为信号电位输出已对其转移光电二极管的电荷的fd部分163的电位。
162.通过前面描述的处理，从信号电位中减去参考电位，并且通过cds(相关双采样)作为检测信号输出所得到的电位。
163.通过这样的方式，图5中描绘的情况下的每一个像素121a提供有一个光电二极管121e，每一个像素121a具有由光屏蔽膜121b屏蔽的不同区域，并且由于使用光屏蔽膜121b的光学调制，一个像素121a可以表达对应于具有入射角方向敏感性的检测图像的一个像素的检测信号。
164.《图像捕获元件的另一个配置示例》
165.此外，例如可以基于像素中的光接收元件(例如光电二极管)的位置、尺寸、形状等等形成入射角方向敏感性。具有彼此不同的这些参数的像素，对于来自完全相同的方向的具有完全相同的光学强度的入射光束具有不同的敏感性。也就是说，通过设定用于每一个像素的这些参数，可以对于每一个像素设定入射角方向敏感性。
166.举例来说，可以在一个像素中提供多个光接收元件(例如光电二极管)并且选择性地使用。通过这种方式，变得有可能根据光接收元件的选择对于每一个像素选择性地设定入射角方向敏感性。
167.图6是描绘出图像捕获元件121的另一个配置示例的图示。图6的上方部分描绘出图像捕获元件121的像素121a的侧面剖视图，图6的中间部分描绘出图像捕获元件121的顶视图。此外，图6的上方部分中的侧面剖视图是在图6的中间部分中沿着a-b取得的剖面。此外，图6的下方部分是图像捕获元件121的一个电路配置示例。
168.具有图6中所描绘的配置的图像捕获元件121包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素输出单位，并且被配置为使得所述多个像素输出单位中的至少两个像素输出单位的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。此外，在这种情况下的图像捕获元件121中，通过使得对输出有贡献的pd(光电二极管)在多个像素输出单位当中是互不相同的，可以独立地设定多个像素输出单位中的每一个像素输出单位的输出像素值的入射角方向敏感性。
169.如图6中所描绘的那样，图像捕获元件121的配置与图5中的图像捕获元件121的配置的不同之处在于，在像素121a中形成四个光电二极管121f-1到121f-4，并且在将光电二
极管121f-1到121f-4分开的区域中形成光屏蔽膜121p。也就是说，在图6中的图像捕获元件121中，当从上方看去时，光屏蔽膜121p被形成为“ ”的形状。应当注意的是，对于其共同的配置给出完全相同的附图标记，并且省略详细解释。
170.在如图6中所配置的图像捕获元件121中，通过充当光电二极管121f-1到121f-4之间的分隔物的光屏蔽膜121p，可以防止光电二极管121f-1到121f-4之间的电学和光学串扰。也就是说，类似于图5中的图像捕获元件121的光屏蔽膜121p，图6中的光屏蔽膜121p是用于防止串扰，而不是为了给出入射角方向敏感性。
171.正如后面将详细描述的那样，光电二极管121f-1到121f-4在其光接收敏感性变高的入射角方面具有互不相同的光接收敏感性特性。也就是说，取决于从光电二极管121f-1到121f-4中的哪一个读出电荷，可以为像素121a的输出像素值给出所期望的入射角方向敏感性。也就是说，可以控制像素121a的输出像素值的入射角方向敏感性。
172.在图6中的图像捕获元件121的配置示例中，四个光电二极管121f-1到121f-4共享一个fd部分163。图6的下方部分描绘出其中四个光电二极管121f-1到121f-4共享一个fd部分163的一个电路配置示例。应当注意的是，在图6的下方部分中，关于与其在图5的下方部分中的对应部分完全相同的配置的解释被省略。
173.图6的下方部分中的电路配置与图5的下方部分中的电路配置的不同之处在于，取代光电二极管161和转移晶体管162，提供光电二极管161-1到161-4(对应于图6的上方部分中的光电二极管121f-1到121f-4)和转移晶体管162-1到162-4，并且共享fd部分163。
174.在没有必要通过在其间做出区分来解释光电二极管161-1到161-4的情况下，在图6的下方部分中所描述的电路中，将其称作光电二极管161。此外，在没有必要通过在其间做出区分来解释转移晶体管162-1到162-4的情况下，将其称作转移晶体管162。
175.在图6的下方部分中所描绘的电路中，如果任何转移晶体管162被接通，对应于该转移晶体管162的光电二极管161的电荷被读出并且转移到共同的fd部分163。随后，作为像素输出单位的检测信号读出根据保持在fd部分163处的电荷电平的信号。也就是说，有可能彼此独立地读出每一个光电二极管161的电荷，并且有可能根据哪一个转移晶体管162被接通来控制从哪一个光电二极管161读出电荷。换句话说，取决于哪一个转移晶体管162被接通，有可能控制每一个光电二极管161对输出像素值的贡献程度。举例来说，通过从至少两个像素之间的互不相同的光电二极管161读出电荷，有可能使得所述互不相同的光电二极管161对输出像素值有贡献。也就是说，根据从该处读出电荷的光电二极管161的选择，可以为像素121a的输出像素值给出所期望的入射角方向敏感性。
176.举例来说，在图6中，当光电二极管121f-1和光电二极管121f-3的电荷被转移到fd部分163并且将通过读出电荷所获得的信号相加在一起时，可以为像素121a的输出像素值给出图中的向左和向右的方向上的入射角方向敏感性。类似地，当光电二极管121f-1和光电二极管121f-2的电荷被转移到fd部分163并且将通过读出电荷所获得的信号相加在一起时，可以为像素121a的输出像素值给出图中的向上和向下的方向上的入射角方向敏感性。
177.应当注意的是，基于图6中的像素121a的光电二极管121f的电荷所获得的信号可以在将其从像素读出之后被相加在一起，或者可以在像素中(例如在fd部分163处)被相加在一起。
178.此外，其电荷(或对应于电荷的信号)被相加在一起的光电二极管121f的组合可以
是任何组合，而不限于前面所描述的示例。举例来说，可以将三个或更多光电二极管121f的电荷(或对应于电荷的信号)相加在一起。此外，例如在不实施加法的情况下，可以读出一个光电二极管121f的电荷。
179.应当注意的是，通过使用电子快门功能在将电荷读出到fd部分163之前重置累积在光电二极管161(光电二极管121f)中的检测值(电荷)，可以为像素121a(的检测敏感性)给出所期望的入射角方向敏感性。
180.在使用电子快门功能的情况下，如果紧接在将光电二极管121f的电荷读出到fd部分163之前实施重置，在此状态下有可能使得光电二极管121f不对像素121a的检测信号电平有贡献，并且如果在重置和读出到fd部分163之间提供一个时间周期，还有可能使得光电二极管121f对像素121a的检测信号电平部分地有贡献。
181.正如前面所描述的那样，图6中的每一个像素121a提供有四个光电二极管121f，并且未在光接收平面上形成光屏蔽膜121b。但是光接收平面被光屏蔽膜121p划分成多个区域，形成四个光电二极管121f-1到121f-4，并且对应于具有入射角方向敏感性的检测图像的一个像素的检测信号被表达。换句话说，例如对于光电二极管121f-1到121f-4中的输出没有贡献的区域充当类似于被屏蔽区域的功能，并且对应于具有入射角方向敏感性的检测图像的一个像素的检测信号被表达。应当注意的是，在通过使用光电二极管121f-1到121f-4来表达对应于一个像素的检测信号的情况下，由于没有使用光屏蔽膜121b，因此检测信号不是通过光学调制获得的信号。
182.虽然在至此所解释的一个示例中将四个光电二极管安排在一个像素中，但是可以将任何数量的光电二极管安排在一个像素中，数量不限于前面描述的示例。也就是说，可以在像素中提供任何数量的在其中安排光电二极管的部分区域。
183.此外，虽然在前面解释了将光电二极管安排在通过将像素均等地划分成四份所形成的四个部分区域中，但是所述部分区域可以不是通过均等划分所形成的区域。也就是说，所有部分区域的尺寸和形状可以不被均匀地设定(可以包括其尺寸和形状与其它部分区域不同的部分区域)。或者，安排在部分区域中的每一个光电二极管的位置(在部分区域中的位置)、尺寸、形状等等可以不同于其它光电二极管(其它部分区域)。此时，所有部分区域的尺寸和形状可以被均匀地设定，或者可以不被均匀地设定。
184.此外，图像捕获元件121的所有像素的这些参数可以不被均匀地设定。也就是说，图像捕获元件121的这些参数中的一个或多个像素可以不同于其它像素的所述一个或多个参数。
185.举例来说，在图像捕获元件121的像素群组中可以包括这样的像素，其中用于形成将光电二极管安排在该像素中的部分区域的划分位置不同于其它像素。也就是说，图像捕获元件121可以具有其部分区域的尺寸和形状不同于其它像素的一个或多个像素。举例来说，通过使得划分位置在像素之间是不同的，即使仅使用多个像素中的左上方光电二极管，也可以使得对于在多个像素处检测到的检测信号的入射角方向敏感性是互不相同的。
186.此外，在图像捕获元件121的像素群组中例如可以包括这样的像素，其中安排在该像素中的多个光电二极管的位置、尺寸、形状等等不同于其它像素的位置、尺寸、形状等等。也就是说，图像捕获元件121可以具有这样的一个或多个像素，其中安排在所述像素中的多个光电二极管的至少位置、尺寸或形状不同于其它像素。举例来说，通过使得光电二极管的
位置、尺寸、形状等等在像素之间是不同的，即使仅使用多个像素中的左上方光电二极管，也可以使得对于在多个像素处检测到的检测信号的入射角方向敏感性是互不相同的。
187.此外，举例来说，图像捕获元件121可以具有其部分区域的参数(尺寸和形状)和光电二极管的参数(位置、尺寸和形状)都不同于其它像素的参数的一个或多个像素。
188.此外，在图像捕获元件121的像素群组中例如可以包括其用于形成将光电二极管安排在像素中的部分区域的划分的数量不同于其它像素的像素。也就是说，图像捕获元件121可以具有其被安排在像素中的光电二极管的数量不同于其它像素的光电二极管的数量的一个或多个像素。举例来说，通过使得划分的数量(光电二极管的数量)在像素之间是不同的，可以更加自由地设定入射角方向敏感性。
189.《关于入射角方向敏感性的生成原理》
190.例如通过比如在图7中所描绘的原理生成图像捕获元件121中的每一个像素的入射角方向敏感性。应当注意的是，图7的左上部分和右上部分是用于解释图5中的图像捕获元件121中的入射角方向敏感性的生成原理的图示，图7的左下部分和右下部分是用于解释图6中的图像捕获元件121的入射角方向敏感性的生成原理的图示。
191.此外，图7的左上部分和右上部分中的每一个中的一个像素包括一个光电二极管121e。与此相对，图7的左下部分和右下部分中的每一个中的一个像素包括两个光电二极管121f。应当注意的是，虽然在这里所解释的示例中一个像素包括两个光电二极管121f，但是这只是为了便于解释，包括在一个像素中的光电二极管121f的数量可以是不同的。
192.在图7的左上部分中形成光屏蔽膜121b-11，从而使得当入射光束从图中的上方向下进入像素时，光电二极管121e-11的光接收平面的右侧一半被屏蔽。此外，在图7的右上部分中形成光屏蔽膜121b-12，从而使得光电二极管121e-12的光接收平面的左侧一半被屏蔽。应当注意的是，图中的点划线表示光电二极管121e的光接收平面在图中的水平方向上的中心位置，并且垂直于光接收平面。
193.举例来说，在比如图7的左上部分中的配置的情况下，由相对于图中的点划线形成入射角θ1的箭头表示的来自图中的右上方的入射光束很可能在未被光电二极管121e-11的光屏蔽膜121b-11屏蔽的左侧一半的区域中被接收到，但是由相对于图中的点划线形成入射角θ2的箭头表示的来自图中的左上方的入射光束不太可能在未被光电二极管121e-11的光屏蔽膜121b-11屏蔽的左侧一半的区域中被接收到。相应地，比如图7的左上部分中的配置具有入射角方向敏感性，其中在对于来自图中的右上方的入射光束的敏感性方面的光接收敏感性特性是高的，在对于来自图中的左上方的入射光束的敏感性方面的光接收敏感性特性是低的。
194.与此相对，例如在比如图7的右上方中的配置的情况下，由相对于图中的点划线形成入射角θ11的箭头表示的来自图中的右上方的入射光束不太可能在被光电二极管121e-12的光屏蔽膜121b-12屏蔽的左侧一半的区域中被接收到，但是由相对于图中的点划线形成入射角θ12的箭头表示的来自图中的左上方的入射光束很可能在未被光电二极管121e-12的光屏蔽膜121b-12屏蔽的右侧一半的区域中被接收到。相应地，比如图7的右上部分中的配置具有入射角方向敏感性，其中在对于来自图中的右上方的入射光束的敏感性方面的光接收敏感性特性是低的，在对于来自图中的左上方的入射光束的敏感性方面的光接收敏感性特性是高的。
195.此外，在图7的左下方部分的情况下，在图中的左侧和右侧提供光电二极管121f-1和121f-2，并且在这种配置中通过在不提供光屏蔽膜121b的情况下从光电二极管121f-1和121f-2中的任一个读出检测信号而获得入射角方向敏感性。
196.也就是说，在如图7的左下部分中所描绘的那样在像素121a中形成两个光电二极管121f-1和121f-2的情况下，当使得提供在图中的左侧的光电二极管121f-1的检测信号对像素121a的检测信号电平有贡献时，可以获得与在图7的左上部分中所描绘的配置类似的入射角方向敏感性。也就是说，由相对于图中的点划线形成入射角θ21的箭头表示的来自图中的右上方的入射光束进入并且被光电二极管121f-1接收，光电二极管121f-1的检测信号被读出并且对像素121a的检测信号电平有贡献。与此相对，由相对于图中的点划线形成入射角θ22的箭头表示的来自图中的左上方的入射光束进入光电二极管121f-2，但是光电二极管121f-2的检测信号未被读出并且对像素121a的检测信号电平没有贡献。
197.类似地，在如图7的右下部分中所描绘的那样在像素121a中形成两个光电二极管121f-11和121f-12的情况下，当使得提供在图中的左侧的光电二极管121f-12的检测信号对像素121a的检测信号电平有贡献时，可以获得与在图7的右上部分中所描绘的配置类似的入射角方向敏感性。也就是说，由相对于图中的点划线形成入射角θ31的箭头表示的来自图中的右上方的入射光束进入光电二极管121f-11，但是光电二极管121f-11的检测信号未被读出并且对像素121a的检测信号电平没有贡献。与此相对，由相对于图中的点划线形成入射角θ32的箭头表示的来自图中的左上方的入射光束进入并且被光电二极管121f-12接收，光电二极管121f-12的检测信号被读出并且对像素121a的检测信号电平有贡献。
198.应当注意的是，在参照图7解释的示例中，虽然垂直方向上的点划线表示光电二极管121e的光接收平面在图中的水平方向上的中心位置，但是这是为了便于解释，点划线可以表示其它位置。当使得由垂直方向上的点划线表示的光屏蔽膜121b在水平方向上的位置彼此不同时，有可能生成不同的入射角方向敏感性。
199.《关于包括芯片上透镜的配置中的入射角方向敏感性》
200.虽然至此解释了入射角方向敏感性的生成原理，但是这里将解释包括芯片上透镜121c的配置中的入射角方向敏感性。
201.也就是说，例如通过使用芯片上透镜121c取代前面描述的光屏蔽膜121b，可以如图8中所描绘的那样设定图像捕获元件121中的每一个像素的入射角方向敏感性。也就是说，在图8的中左部分中，在来自图的上方部分的入射方向上，凝聚入射光束的芯片上透镜121c-11、透射具有特定波长的光束的颜色滤波器121d-11和通过光电转换生成像素信号的光电二极管121e-11按此顺序被层叠在彼此之上。在图8的中右部分中，芯片上透镜121c-12、颜色滤波器121d-12和光电二极管121e-12按此顺序被配置在来自图的上方部分的入射方向上。
202.应当注意的是，在没有必要在芯片上透镜121c-11和121c-12之间、在颜色滤波器121d-11和121d-12之间以及在光电二极管121e-11和121e-12之间做出区分的情况下，将其简单地称作芯片上透镜121c、颜色滤波器121d和光电二极管121e。
203.此外，如在图8的中左部分和中右部分中的每一个中所描述的那样，图像捕获元件121提供有屏蔽接收入射光束的区域的一部分的光屏蔽膜121b-11和121b-12。
204.如在图8的中左部分中所描绘的那样，在提供屏蔽图中的光电二极管121e-11的右
侧一半的光屏蔽膜121b-11的情况下，光电二极管121e-11的检测信号电平根据由图8的上方部分中的实线的波形表示的入射光束的入射角θ而改变。
205.也就是说，作为相对于表示光电二极管121e和芯片上透镜121c的中心位置并且垂直于光电二极管121e和芯片上透镜121c的点划线的入射光束的角度，随着入射角θ增大(随着入射角θ在正方向上增大(在图中向右倾斜))，光束被凝聚在未提供光屏蔽膜121b-11的区域中，并且相应地光电二极管121e-11的检测信号电平增大。相反，随着入射角θ减小(随着入射角θ在负方向上增大(随着入射角θ在图中向左倾斜))，光束被凝聚在提供有光屏蔽膜121b-11的区域中，并且相应地光电二极管121e-11的检测信号电平减小。
206.应当注意的是，假设这里描述的入射角θ在入射光束的方向与点划线相匹配时是0度，在图8的中间部分中的左侧来自图中的右上方的入射光束的入射角θ21一侧的入射角θ具有正值，并且在图8的中间部分的右侧的入射角θ22一侧的入射角θ具有负值。相应地，在图8中，从右上方进入芯片上透镜121c的入射光束的入射角大于从图中的左上方进入芯片上透镜121c的入射光束的入射角。也就是说，在图8中假设入射角θ随着入射光束的前进方向向右倾斜而增大(在正方向上增大)，并且随着前进方向向左倾斜而减小(在负方向上增大)。
207.此外，如在图8的中右部分中所描绘的那样，在提供屏蔽图中的光电二极管121e-12的左侧一半的光屏蔽膜121b-12的情况下，光电二极管121e-12的检测信号电平根据由图8的上方部分中的点线的波形表示的入射光束的入射角θ而改变。
208.也就是说，正如图8的上方部分中的点线的波形所表示的那样，作为入射光束相对于表示光电二极管121e和芯片上透镜121c的中心位置并且垂直于光电二极管121e和芯片上透镜121c的点划线的角度，随着入射角θ增大(随着入射角θ在正方向上增大)，光束被凝聚在提供有光屏蔽膜121b-12的区域中，并且相应地光电二极管121e-12的检测信号电平减小。相反，随着入射角θ减小(随着入射角θ在负方向上增大)，光束进入未提供光屏蔽膜121b-12的区域，并且相应地光电二极管121e-12的检测信号电平增大。
209.应当注意的是，在图8的上方部分中，水平轴表示入射角θ，纵轴表示光电二极管121e的检测信号电平。
210.可以改变在图8的上方部分中描绘并且由表示根据入射角θ的检测信号电平的实线和点线所表示的波形，以对应于光屏蔽膜121b的区域，从而变得有可能为像素单位给出互不相同的入射角方向敏感性。应当注意的是，图8的上方部分中的实线的波形对应于表示在图8的中左部分和左下部分中描绘的入射光束被凝聚在不同的入射角θ的状态的实线箭头。此外，图8的上方部分中的点线的波形对应于表示在图8的中右部分和右下部分中描绘的入射光束被凝聚在不同的入射角θ的状态的点线箭头。
211.虽然这里描述的入射角方向敏感性是根据入射角θ的每一个像素的检测信号电平的特性(光接收敏感性特性)，但是也可以说在图8的中间部分中所描绘的示例的情况下，入射角方向敏感性是根据入射角θ的光屏蔽值的特性。也就是说，光屏蔽膜121b以高水平屏蔽来自特定方向的入射光束，但是无法充分地屏蔽来自所述特定方向之外的其它方向的入射光束。光束可以被屏蔽的水平的差异生成比如在图8的上方部分中描绘的根据入射角θ的不同检测信号电平。相应地，如果将可以在每一个像素处以最高水平被屏蔽的光束的方向定义为该像素的光屏蔽方向，则为像素单位给出互不相同的入射角方向敏感性换句话说意味
着为像素单位给出互不相同的光屏蔽方向。
212.此外，如在图8的左下部分中所描绘的那样，当采用为一个芯片上透镜121c-11提供两个光电二极管121f-1和121f-2(像素输出单位包括两个光电二极管121f-1和121f-2)的配置时，通过仅使用在图的左侧部分中描绘的光电二极管121f-1的检测信号，可以确定与处于在图8的中左部分中所描绘的状态相同的检测信号电平，在所述状态下光电二极管121e-11的右侧被屏蔽。
213.也就是说，作为入射光束相对于表示芯片上透镜121c的中心位置并且垂直于芯片上透镜121c的点划线的角度，随着入射角θ增大(随着入射角θ在正方向上增大)，光束被凝聚在其检测信号被读出的光电二极管121f-1的区域中，并且相应地检测信号电平增大。相反，随着入射角θ减小(随着入射角θ在负方向上增大)，光束被凝聚在其检测值不被读出的光电二极管121f-2的区域中，并且相应地检测信号电平减小。
214.此外，类似地如在图8的右下部分中所描绘的那样，当采用为一个芯片上透镜121c-12提供两个光电二极管121f-11和121f-12的配置时，通过仅使用在图的右侧部分中描绘的光电二极管121f-12的检测信号，可以获得处于与在图8的中右部分中所描绘的状态下相同的检测信号电平的输出像素单位检测信号，在所述状态下光电二极管121e-12的左侧被屏蔽。
215.也就是说，作为入射光束相对于表示芯片上透镜121c的中心位置并且垂直于芯片上透镜121c的点划线的角度，随着入射角θ增大(随着入射角θ在正方向上增大)，光束被凝聚在其检测信号对输出像素单位检测信号没有贡献的光电二极管121f-11的区域中，并且相应地输出像素单位检测信号的检测信号电平减小。相反，随着入射角θ减小(随着入射角θ在负方向上增大)，光束被凝聚在其检测信号对输出像素单位检测信号有贡献的光电二极管121f-12的区域中，并且相应地输出像素单位检测信号的检测信号电平增大。
216.应当注意的是，希望高度随机地设定入射角方向敏感性。举例来说，如果邻近的像素具有完全相同的入射角方向敏感性，则存在前面描述的公式(1)到同时(3)或者将在后面描述的公式(4)到同时(6)变成相互完全相同的公式的忧虑，从而变得不可能满足作为联立方程的解的未知值与公式的数量之间的关系，并且存在变得不可能确定包括在复原图像中的像素值的忧虑。此外，在图8的中间部分中所描绘的配置中，在像素121a中形成一个光电二极管121e-11和一个光电二极管121e-12。与此相对，在图8的下方部分中所描绘的配置中，在像素121a中形成两个光电二极管121f-1和121f-2以及两个光电二极管121f-11和121f-12。相应地，例如在图8的下方部分中，光电二极管121f不单独形成一个像素。
217.此外，如图8的下方部分中所描绘的那样，在每一个像素输出单位中包括多个光电二极管121f的情况下，可以认为像素输出单位的输出像素值根据入射角被调制。相应地变得有可能使得输出像素值的特性(入射角方向敏感性)在像素输出单位之间是不同的，并且设定每一个像素输出单位的入射角方向敏感性。此外，在每一个像素输出单位中包括多个光电二极管121f的情况下，用于每一个像素输出单位的一个芯片上透镜121c是生成每一个像素输出单位的入射角方向敏感性的必要配置。
218.此外，如图8的中间部分中所描绘的那样，在每一个像素输出单位中包括一个光电二极管121e-11或一个光电二极管121e-12的情况下，进入包括在每一个像素输出单位中的一个光电二极管121e-11或光电二极管121e-12根据入射角被调制。其结果是，输出像素值
被调制。相应地变得有可能使得输出像素值的特性(入射角方向敏感性)是不同的，并且设定每一个像素输出单位的入射角方向敏感性。此外，在每一个像素输出单位中包括一个光电二极管121e-11或一个光电二极管121e-12的情况下，独立于为每一个像素输出单位提供的光屏蔽膜121b，在测量时设定入射角方向敏感性。
219.此外，如图8的下方部分中所描绘的那样，在每一个像素输出单位包括多个光电二极管121f的情况下，在制造时对于每一个像素输出单位独立地设定用于设定每一个像素输出单位的入射角方向敏感性的光电二极管121f的数量(包括在每一个像素输出单位中的光电二极管121f的划分数量)及其位置，从而变得有可能在图像捕获时切换使用多个光电二极管121f中的哪一个来设定入射角方向敏感性。
220.《入射角方向敏感性的设定》
221.举例来说，如在图9的上方部分中所描绘的那样，光屏蔽膜121b的设定区域在水平方向上从像素121a的左端部分延伸到位置a，并且在垂直方向上从像素121a的上端部分延伸到位置b。
222.在这种情况下，设定水平方向上的权重wx，其处在0到1的范围内并且充当根据来自水平方向上的每一个像素的中心位置的入射角θx(度数)的入射角方向敏感性的指数。更具体来说，在假设当对应于位置a的入射角θx是θa时权重wx变为0.5的情况下，设定权重wh从而使得当入射角θx《θa-α时权重wx变为1，当θa-α≤入射角θx≤θa α时权重wx变为(-(θx-θa)/2α 1/2)，并且当入射角θx》θa α时权重wx变为0。应当注意的是，虽然在这里解释的示例中权重wh是0、0.5或1，但是权重wh仅在满足理想条件时变为0、0.5或1。
223.类似地，设定垂直方向上的权重wy，其处在0到1的范围内并且充当根据来自垂直方向上的每一个像素的中心位置的入射角θy(度数)的入射角方向敏感性的指数。更具体来说，在假设当对应于位置b的入射角θy是θb时权重wy变为0.5的情况下，设定权重wy从而使得当入射角θy《θb-α时权重wy变为0，当θb-α≤入射角θy≤θb α时权重wy变为((θy-θb)/2α 1/2)，并且当入射角θy》θa b时权重wy变为1。
224.随后，通过使用如此确定的权重wx和wy，可以确定对应于每一个像素121a的入射角方向敏感性(也就是光接收敏感性特性)的系数(系数集)。
225.此外，此时通过使用具有不同焦距的芯片上透镜121c，可以设定表示权重在范围内的改变的倾斜(1/2α)，其中水平方向上的权重wx和垂直方向上的权重wy变为近似0.5。
226.也就是说，通过使用具有不同曲率的芯片上透镜121c，可以获得不同的焦距。
227.举例来说，如图9的下方部分中的实线所表示的那样，通过使用具有不同曲率的芯片上透镜121c，当焦距被设定为使得光束被凝聚到光屏蔽膜121b上时，倾斜(1/2α)变得陡峭。也就是说，图9的上方部分中的水平方向上的权重wx和垂直方向上的权重wy在其变为近似0.5的边界附近突然改变到0或1，也就是在水平方向上的入射角θx是θa并且垂直方向上的入射角θy是θb的地方。
228.此外，举例来说，如图9的下方部分中的点线所表示的那样，通过使用具有不同曲率的芯片上透镜121c，当焦距被设定为使得光束被凝聚到光电二极管121e上时，倾斜(1/2α)变得平缓。也就是说，图9的上方部分中的水平方向上的权重wx和垂直方向上的权重wy在其变为近似0.5的边界附近平缓地改变到0或1，也就是在水平方向上的入射角θx是θa并且垂直方向上的入射角θy是θb的地方。
229.正如前面所描述的那样，通过使用具有不同曲率的芯片上透镜121c获得不同的焦距，有可能获得不同的入射角方向敏感性，也就是不同的光接收敏感性特性。
230.相应地，当使得被光屏蔽膜121b屏蔽的光电二极管121e的区域不同的并且使得芯片上透镜121c的曲率不同时，可以将像素121a的入射角方向敏感性设定为不同值。应当注意的是，图像捕获元件121中的所有像素的芯片上透镜的曲率可以彼此完全相同，或者一些像素可以具有不同的曲率。
231.《芯片上透镜与图像捕获透镜之间的差异》
232.正如前面所描述的那样，图像捕获元件121不需要图像捕获透镜。应当注意的是，芯片上透镜121c至少在比如参照图6所解释的情况下是必要的，其中通过使用像素中的多个光电二极管来实现入射角方向敏感性。芯片上透镜121c和图像捕获透镜提供不同的物理效果。
233.图像捕获透镜具有使得从相同方向进入的入射光束进入彼此邻近的多个像素的凝聚功能。与此相对，使得穿过芯片上透镜121c的光束仅进入包括在一个相应像素中的光电二极管121e或121f的光接收平面。换句话说，为每一个像素输出单位提供芯片上透镜121c，其把进入自身的来自被摄体的光束仅凝聚到相应的像素输出单位上。也就是说，芯片上透镜121c不具有使得从假想点光源发出的扩散光束进入彼此邻近的多个像素的凝聚功能。
234.《被摄体平面与图像捕获元件之间的距离关系》
235.接下来将参照图10解释被摄体平面与图像捕获元件121之间的距离关系。
236.如在图10的左上部分中所描绘的那样，在从图像捕获元件121到被摄体平面131的物距是距离d1的情况下，例如当被摄体平面131上的点光源pa、pb和pc被设定时，可以通过与前面描述的公式(1)到公式(3)完全相同的公式来表达图像捕获元件121上的相应位置pa、pb和pc处的检测信号电平da、db和dc。
237.da＝α1
×
a β1
×
b γ1
×c…
(1)
238.db＝α2
×
a β2
×
b γ2
×c…
(2)
239.dc＝α3
×
a β3
×
b γ3
×c…
(3)
240.与此相对，在处于图像捕获元件121的物距处的被摄体平面131’的情况下，如图10的左下部分中所描绘的那样，等于距离d2的物距比距离d1大d，也就是说，在从图像捕获元件121看去比被摄体平面131更远的被摄体平面131’的情况下，如在图10的中上部分和中下部分中所描绘的那样，检测信号电平da、db和dc都是相似的。
241.但是在这种情况下，从被摄体平面131’上的点光源pa’、pb’和pc’发出并且具有等于a’、b’和c’的光学强度的光束被图像捕获元件121的像素接收。此时，由于在图像捕获元件121上接收到并且具有等于a’、b’和c’的光学强度的光束的入射角是不同的(发生改变)，因此互不相同的系数集是必要的，并且例如通过下面的公式(4)到公式(6)所表示的那样来表达位置pa、pb和pc处的检测信号电平da、db和dc。
242.da＝α11
×
a’ β11
×
b’ γ11
×c’…
(4)
243.db＝α12
×
a’ β12
×
b’ γ12
×c’…
(5)
244.dc＝α13
×
a’ β13
×
b’ γ13
×c’…
(6)
245.在这里，包括系数集α11、β11和γ11、系数集α12、β12和γ12以及系数集α13、β13和
γ13的系数集组是被摄体平面131’的系数集组，并且分别对应于被摄体平面131的系数集α1、β1和γ1、系数集α2、β2和γ2以及系数集α3、β3和γ3。
246.相应地，通过使用预设的系数集组α11、β11、γ11、α12、β12、γ12、α13、β13和γ13来求解公式(4)到公式(6)，通过与在图10的右上部分中所描绘的被摄体平面131的情况下确定从点光源pa、pb和pc发出的光束的光学强度(a、b和c)的技术类似的技术，变得有可能确定从如在图10的右下部分中所描绘的点光源pa’、pb’和pc’发出的光束的光学强度(a’、b’和c’)。其结果是，变得有可能确定被摄体平面131’的被摄体的复原图像。
247.也就是说，通过预先存储从图像捕获元件121到被摄体平面的每一个距离的系数集组，切换系数集组和形成联立方程，以及求解所形成的联立方程，变得有可能基于一幅检测图像获得各种物距处的被摄体平面的复原图像。
248.也就是说，通过仅捕获一次检测图像，根据到被摄体平面的距离切换系数集组，以及在后续处理中确定复原图像，还有可能生成任何距离的复原图像。
249.此外，在希望实施图像辨识或者获得可见图像或可见图像之外的其它被摄体的特性的情况下，还有可能对图像捕获元件的检测信号应用比如深度学习之类的机器学习并且通过使用检测信号本身实施图像辨识等等，而无需在获得复原图像之后基于复原图像实施图像辨识等等。
250.此外，在可以识别物距或视角的情况下，可以通过使用包括具有适于捕获对应于所识别出的物距或视角的被摄体平面的图像的入射角方向敏感性的像素的检测信号的检测图像而不是使用所有像素来生成复原图像。通过这种方式，可以通过使用适于捕获对应于所识别出的物距或视角的被摄体平面的图像的像素的检测信号来确定复原图像，并且相应地变得有可能高度精确地确定所识别出的物距或视角的复原图像。
251.在这里将解释当通过使用适于捕获对应于所识别出的物距或视角的被摄体平面的图像的像素的检测信号来确定复原图像时可以高度精确地确定复原图像的原因。
252.举例来说，这里所考虑的像素是如图11的上方部分中所描绘的被从四面的末端部分具有宽度d1的光屏蔽膜121b屏蔽的像素121a，以及如图11的下方部分中所描绘的被从四面的末端部分具有宽度d2(》d1)的光屏蔽膜121b屏蔽的像素121a’。
253.举例来说，像素121a被用于复原图11中的图像i1，其对应于比如在图12的上方部分中所描绘的包括作为被摄体的人物h101的整体的视角sq1。与此相对，像素121a’例如被用于复原图11中的图像i2，其对应于比如在图12的上方部分中所描绘的包括围绕作为被摄体的人物h101的面部的近摄视图的视角sq2。
254.正如在图13的左侧部分中所描绘的那样，其原因是进入图像捕获元件121的入射光束的可能入射角范围是可能入射角范围a，图11中的像素121a从而可以接收对应于被摄体平面131上的水平方向上的被摄体宽度w1的入射光束。
255.与此相对，正如在图13的左侧部分中所描绘的那样，其原因是由于图11中的像素121a’的被屏蔽区域大于图11中的像素121a的被屏蔽区域，因此进入图像捕获元件121的入射光束的可能入射角范围是可能入射角范围b(《a)，并且像素121a从而接收到对应于被摄体平面131上的水平方向上的被摄体宽度w2(《w1)的入射光束。
256.也就是说，图11中的具有较小被屏蔽区域的像素121a是适于捕获被摄体平面131上的较大区域的图像的宽视角像素，图11中的具有较大被屏蔽区域的像素121a’则是适于
捕获被摄体平面131上的较小区域的图像的窄视角像素。应当注意的是，这里所描述的宽视角像素和窄视角像素是用于比较图11中的像素121a和121a’的表达法，如果对具有其它视角的像素进行比较则可以有其它表达法。
257.应当注意的是，图13描绘出相对于图像捕获元件121的中心位置c1的被摄体平面131上的位置与从所述位置发出的入射光束的入射角之间的关系。此外，虽然图13描绘出被摄体平面131上的位置与从被摄体平面131上的所述位置发出的入射光束的入射角之间在水平方向上的关系，但是垂直方向上的关系是类似的关系。此外，图13的右侧部分描绘出图11中的像素121a和121a’。
258.由于前面描述的配置，正如在图12的下方部分中所描绘的那样，在通过将预定数量的图11中的像素121a一起放置在被点线围绕的区域za中并且将预定数量的图11中的像素121a’一起放置在被点划线围绕的区域zb中所配置的图像捕获元件121的情况下，在尝试复原对应于被摄体宽度w1的视角sq1的图像时，可以通过使用捕获视角sq1的图像的图11中的像素121a适当地复原被摄体平面131的被摄体宽度w1的图像。
259.类似地，在尝试复原对应于被摄体宽度w2的视角sq2的图像时，可以通过使用捕获视角sq2的图像的图11中的像素121a’的检测信号电平适当地复原被摄体宽度w2的图像。
260.应当注意的是，虽然图12的下方部分描绘出在图中的左侧提供预定数量的像素121a’并且在图中的右侧提供预定数量的像素121a的配置，但是这是作为用于简化解释的一个示例而描绘的，并且希望将像素121a和像素121a’安排成使其随机地混合存在。
261.通过这种方式，由于视角sq2比视角sq1更窄，因此在通过使用完全相同的预定数量的像素复原视角sq2和视角sq1的情况下，与复原视角sq1的图像时相比，在复原更窄的视角sq2的图像时可以获得具有高图像质量的复原图像。
262.也就是说，在考虑将通过使用完全相同的数量的像素获得复原图像时，在复原更窄的视角的图像时可以获得具有更高图像质量的复原图像。
263.应当注意的是，在作为复原图像获得宽视角的图像的情况下，可以使用所有的宽视角像素，或者可以使用其中一些宽视角像素。此外，在作为复原图像获得窄视角像素的图像的情况下，可以使用所有的窄视角像素，或者可以使用其中一些窄视角像素。
264.通过使用比如前面的图像捕获元件121，其结果是，图像捕获透镜、包括衍射光栅等等的光学元件、针孔等等变得不再必要。相应地变得有可能提高装置的设计自由度，还变得有可能在入射光束的入射方向上实现装置的尺寸减小。因此变得有可能降低制造成本。此外，等效于用于形成光学图像的图像捕获透镜的透镜(比如聚焦透镜)也变得不再必要。
265.此外，通过使用图像捕获元件121，变得有可能简单地通过获取检测图像以及随后确定复原图像来生成各种物距和视角的复原图像，其中确定复原图像是通过对根据物距和视角选择性地使用系数集组所形成的联立方程进行求解。
266.此外，由于图像捕获元件121在每一个像素单位中可以具有入射角方向敏感性，因此可以实现像素数量的增加，并且与包括衍射光栅的光学滤波器、传统的图像捕获元件等等相比，还可以获得具有高分辨率和附加地高角度分辨率的捕获图像。
267.此外，由于图像捕获元件121不需要包括衍射光栅的光学滤波器等等，因此当在高温环境下使用图像捕获元件121时，光学滤波器不会由于受热而失真。相应地，通过使用这样的图像捕获元件121，变得有可能实现高度环境相容的装置。
268.《第一修改示例》
269.虽然作为图像捕获元件121的每一个像素121a中的光屏蔽膜121b的配置，图4的右侧部分描绘了其中通过在垂直方向上完全屏蔽像素以及通过在水平方向上屏蔽像素的不同宽度和位置来产生水平方向上的入射角方向敏感性的差异的一个示例，但是光屏蔽膜121b的配置不限于该例。举例来说，可以通过在水平方向上完全屏蔽像素以及通过在垂直方向上屏蔽像素的不同宽度(高度)或位置来产生垂直方向上的入射角方向敏感性的差异。
270.应当注意的是，如在图4的右侧部分中所描绘的示例中，在垂直方向上完全屏蔽像素121a并且在水平方向上屏蔽像素121a的预定宽度的光屏蔽膜121b被称作水平条带类型光屏蔽膜121b。与此相对，在水平方向上完全屏蔽像素121a并且在垂直方向上屏蔽像素121a的预定高度的光屏蔽膜121b被称作垂直条带类型光屏蔽膜121b。
271.此外，如在图14的左侧部分中所描绘的示例中，垂直条带类型和水平条带类型光屏蔽膜121b可以被组合，以在像素121a中提供l形光屏蔽膜121b。在图14的左侧部分中，用黑色描绘的部分对应于光屏蔽膜121b。也就是说，光屏蔽膜121b-21到光屏蔽膜121b-24分别是像素121a-21到像素121a-24的光屏蔽膜。
272.这些像素(像素121a-21到像素121a-24)中的每一个具有比如在图14的右侧部分中所描绘的入射角方向敏感性。在图14的右侧部分中所描绘的图表描绘出每一个像素的光接收敏感性。水平轴表示水平方向(x方向)上的入射光束的入射角θx，纵轴表示垂直方向(y方向)上的入射光束的入射角θy。于是，区域c4中的光接收敏感性高于区域c4外部，区域c3中的光接收敏感性高于区域c3外部，区域c2中的光接收敏感性高于区域c2外部，并且区域c1中的光接收敏感性高于区域c1外部。
273.相应地描绘出，在每一个像素中，满足水平方向(x方向)上的入射角θx和垂直方向(y方向)上的入射角θy的条件的入射光束的检测信号电平在区域c1中变为最高，并且检测信号电平按照区域c2内部、区域c3内部、区域c4内部和区域c4外部的条件的顺序减小。这样的光接收敏感性的程度由被光屏蔽膜121b屏蔽的区域决定。
274.此外，在图14的左侧部分中，每一个像素121a中的字母字符表示颜色滤波器的颜色(字符是为了便于解释而写，并不是实际写出)。像素121a-21是在其上安排绿色滤波器的g像素，像素121a-22是在其上安排红色滤波器的r像素，像素121a-23是在其上安排蓝色滤波器的b像素，并且像素121a-24是在其上安排绿色滤波器的g像素。也就是说，这些像素形成拜耳阵列。不言自明的是，这只是一个示例，颜色滤波器的阵列图案可以是任何图案。光屏蔽膜121b和颜色滤波器的安排彼此不相关。举例来说，在其中一些或所有像素中可以提供颜色滤波器之外的其它滤波器，或者在像素中可以不提供滤波器。
275.虽然图14的左侧部分描绘出其中“l形”光屏蔽膜121b屏蔽图中更靠近像素121a的左侧和下侧的侧面的一个示例，但是“l形”光屏蔽膜121b的方向可以是任何方向，而不限于图14中的示例。举例来说，“l形”光屏蔽膜121b可以屏蔽图中更靠近像素121a的下侧和右侧的侧面，可以屏蔽图中更靠近像素121a的右侧和上侧的侧面，或者可以屏蔽图中更靠近像素121a的上侧和左侧的侧面。不言自明的是，每一个像素的光屏蔽膜121b的方向可以独立于其它像素被设定。应当注意的是，“l形”光屏蔽膜121b也被统称作“l形类型光屏蔽膜121b”。
276.虽然至此解释了光屏蔽膜，但是关于该例的解释也可以应用于通过选择性使用安
排在像素中的多个光电二极管获得入射角方向敏感性的情况。也就是说，通过适当设定光电二极管的划分位置(部分区域的尺寸和形状)或位置、尺寸、形状等等，通过适当选择光电二极管等等，例如可以实现与通过前面描述的l形类型光屏蔽膜121b所获得的入射光束方向敏感性等效的入射光束方向敏感性。
277.《第二修改示例》
278.虽然在至此所解释的示例中将水平条带类型、垂直条带类型和l形类型光屏蔽膜安排在像素中从而使得被屏蔽区域随机地变化，但是例如由图15中的图像捕获元件121’所表示的那样，在提供矩形开口的情况下可以配置屏蔽靠近各个单独像素接收光束的位置的区域之外的其它区域的光屏蔽膜121b(在图中用黑色描绘的区域)。
279.也就是说，在每一个像素中提供矩形开口的情况下，可以按照获得入射角方向敏感性的方式提供光屏蔽膜121b，在从处于预定物距的被摄体平面中所包括的点光源发出的光束中，所述入射角方向敏感性允许仅接收通过透射经过矩形开口所接收到的光束。
280.应当注意的是，在图15中，例如关于水平方向上的像素阵列，水平方向上的光屏蔽膜121b的宽度从宽度dx1经过宽度dx2
…
改变到宽度dxn，并且满足dx1《dx2《
…
《dxn。类似地，关于垂直方向上的像素阵列，垂直方向上的光屏蔽膜121b的高度从高度dy1经过高度dy2
…
改变到高度dym，并且满足dy1《dy2《
…
《dym。此外，光屏蔽膜121b的水平方向上的宽度和垂直方向上的宽度的改变之间的间隔取决于复原的被摄体分辨率(角分辨率)。
281.换句话说，图15中的图像捕获元件121’中的每一个像素121a的配置可以被说成获得入射角方向敏感性，从而在水平方向和垂直方向上按照对应于图像捕获元件121’中的像素安排的方式改变被屏蔽区域。
282.更具体来说，图15中的每一个像素121a的被屏蔽区域例如是根据通过使用在图16的左侧部分中描绘的像素121a所解释的规则来决定的。
283.应当注意的是，图16的右侧部分描绘出与图15中完全相同的图像捕获元件121’的配置。此外，图16的左侧部分描绘出在图16的右侧部分中所描绘的图像捕获元件121’(与图15中的完全相同)中的像素121a的配置。
284.如在图16的左侧部分中所描绘的那样，像素121a中的具有宽度dx1并且从像素121a的上侧和下侧的末端部分向内延伸的区域被光屏蔽膜121b屏蔽，像素121a中的具有高度dy1并且从像素121a的左侧和右侧的末端部分向内延伸的区域被光屏蔽膜121b屏蔽。应当注意的是，图15到图17中的光屏蔽膜121b对应于用黑色描绘的区域。
285.在图16的左侧部分中，被以这种方式形成的光屏蔽膜121b屏蔽的区域在后文中被称作像素121a的主光屏蔽部分z101(图16的左侧部分中的黑色部分)，主光屏蔽部分z101之外的矩形区域被称作区域z102。
286.未被光屏蔽膜121b屏蔽的矩形开口z111被提供在像素121a中的区域z102中。相应地，区域z102中的矩形开口z111之外的区域被光屏蔽膜121b屏蔽。
287.在图15中的图像捕获元件121’中的像素阵列中，如在图16中的右侧部分(与图15中的完全相同)中所描绘的那样，位于左侧末端部分和上方末端部分处的像素121a-1被配置为具有矩形开口z111，矩形开口z111被安排成使其左侧与像素121a的左侧的距离等于宽度dx1，并且其上侧与像素121a的上侧的距离等于dy1。
288.类似地，邻近并且位于像素121a-1右侧的像素121a-2被配置为具有矩形开口
z111，矩形开口z111被安排成使其左侧与像素121a的左侧的距离等于宽度dx2，其上侧与像素121a的上侧的距离等于高度dy1，并且具有被光屏蔽膜121b屏蔽的矩形开口z111之外的区域。
289.类似的规则适用于余下的像素，随着像素121a的安排位置变得更靠近图中的右侧，在水平方向上彼此邻近的像素121a的矩形开口z111的右侧与像素121a的右侧的距离依顺序等于宽度dx1、dx2
…
和dxn。应当注意的是，图16中的区域z102的右上部分中的由点线表示的矩形部分表示这样的状态，其中矩形开口z111被安排成使其左侧与像素121a的左侧的距离等于宽度dxn，并且其上侧与像素121a的上侧的距离等于高度dy1。此外，宽度dx1、dx2
…
和dxn中的每一对之间的间隔是通过将从水平方向上的区域z102的宽度减去矩形开口z111的宽度所获得的宽度除以水平方向上的像素计数n而获得的值。也就是说，水平方向上的改变之间的间隔是通过除以水平方向上的像素计数n来决定的。
290.此外，图像捕获元件121’中的像素121a中的矩形开口z111在水平方向上的位置与图像捕获元件121’中的水平方向上的位置完全相同的其它像素121a完全相同(同一列中的像素121a)。
291.此外，邻近并且位于紧接在像素121a-1下方的像素121a-3被配置为具有矩形开口z111，矩形开口z111被安排成使其左侧与像素121a的左侧的距离等于宽度dx1，其上侧与像素121a的上侧的距离等于高度dy2，并且具有被光屏蔽膜121b屏蔽的矩形开口z111之外的区域。
292.类似的规则适用于余下的像素，随着像素121a的安排位置变得更靠近图中的下侧，在垂直方向上彼此邻近的像素121a的矩形开口z111的上侧与像素121a的上侧的距离依顺序等于不同的高度dy1、dy2
…
和dym。应当注意的是，图16中的区域z102的左下部分中的由点线表示的矩形部分表示这样的状态，其中矩形开口z111被安排成使其左侧与像素121a的左侧的距离等于宽度dx1，并且其上侧与像素121a的上侧的距离等于高度dym。此外，高度dy1、dy2
…
和dym中的每一对之间的间隔是通过将从垂直方向上的区域z102的高度减去矩形开口z111的高度所获得的高度除以垂直方向上的像素计数m而获得的值。也就是说，垂直方向上的改变之间的间隔是通过除以垂直方向上的像素计数m来决定的。
293.此外，图像捕获元件121’中的像素121a中的矩形开口z111在垂直方向上的位置与图像捕获元件121’中的垂直方向上的位置完全相同的其它像素121a完全相同(同一行中的像素121a)。
294.此外，通过改变其主光屏蔽部分z101和矩形开口z111，可以改变包括在图16(图15)中所描绘的图像捕获元件121’中的每一个像素121a的视角。
295.图17的右侧部分描绘出在与图16(图15)中的图像捕获元件121’相比使得视角较大的情况下所获得的图像捕获元件121’的配置。此外，图17的左侧部分描绘出图17的右侧部分中的图像捕获元件121’中的像素121a的配置。
296.也就是说，如在图17的左侧部分中所描绘的那样，例如在像素121a中设定具有比图16中的主光屏蔽部分z101的被屏蔽区域更小的被屏蔽区域的主光屏蔽部分z151(图17的左侧部分中的黑色部分)，并且将其它区域设定为区域z152。此外，在区域z152中设定具有比矩形开口z111的开口区域尺寸更大的开口区域尺寸的矩形开口z161。
297.更具体来说，如图17的左侧部分中所描绘的那样，像素121a中的具有宽度dx1’(《
dx1)并且从像素121a的上侧和下侧的末端部分向内延伸的区域被光屏蔽膜121b屏蔽，像素121a中的具有高度dy1’(《dy1)并且从像素121a的左侧和右侧的末端部分向内延伸的区域被光屏蔽膜121b屏蔽。从而形成矩形开口z161。
298.在这里，如在图17的右侧部分中所描绘的那样，位于左侧末端部分和上方末端部分处的像素121a-1被配置为具有矩形开口z161，矩形开口z161被安排成使其左侧与像素121a的左侧的距离等于宽度dx1’，其上侧与像素121a的上侧的距离等于高度dy1’，并且具有被光屏蔽膜121b屏蔽的矩形开口z161之外的区域。
299.类似地，邻近并且位于像素121a-1右侧的像素121a-2被配置为具有矩形开口z161，矩形开口z161被安排成使其左侧与像素121a的左侧的距离等于宽度dx2’，其上侧与像素121a的上侧的距离等于高度dy1’，并且具有被光屏蔽膜121b屏蔽的矩形开口z161之外的区域。
300.类似的规则适用于余下的像素，随着像素121a的安排位置变得更靠近图中的右侧，在水平方向上彼此邻近的像素121a的矩形开口z161的右侧与像素121a的右侧的距离依顺序等于宽度dx1’、dx2
’…
和dxn’。在这里，宽度dx1’、dx2
’…
和dxn’中的每一对之间的间隔是通过将从水平方向上的区域z152的宽度减去矩形开口z161的水平方向上的宽度所获得的宽度除以水平方向上的像素计数n而获得的值。也就是说，水平方向上的改变之间的间隔是通过除以水平方向上的像素计数n来决定的。相应地，宽度dx1’、dx2
’…
和dxn’的改变之间的间隔变得大于宽度dx1、dx2
…
和dxn的改变之间的间隔。
301.此外，图17中的图像捕获元件121’中的像素121a中的矩形开口z161在水平方向上的位置与图像捕获元件121’中的水平方向上的位置完全相同的其它像素121a完全相同(同一列中的像素121a)。
302.此外，邻近并且位于紧接在像素121a-1下方的像素121a-3被配置为具有矩形开口z161，矩形开口z161被安排成使其左侧与像素121a的左侧的距离等于宽度dx1’，其上侧与像素121a的上侧的距离等于高度dy2’，并且具有被光屏蔽膜121b屏蔽的矩形开口z161之外的区域。
303.类似的规则适用于余下的像素，随着像素121a的安排位置变得更靠近图中的下侧，在垂直方向上彼此邻近的像素121a的矩形开口z161的上侧与像素121a的上侧的距离依顺序等于不同的高度dy1’、dy2
’…
和dym’。在这里，高度dy1’、dy2
’…
和dym’中的每一对之间的间隔是通过将从垂直方向上的区域z152的高度减去矩形开口z161的高度所获得的高度除以垂直方向上的像素计数m而获得的值。也就是说，垂直方向上的改变之间的间隔是通过除以垂直方向上的像素计数m来决定的。相应地，高度dy1’、dy2
’…
和dym’的改变之间的间隔变得大于高度dy1、dy2
…
和dym的改变之间的间隔。
304.此外，图17中的图像捕获元件121’中的像素121a中的矩形开口z161在垂直方向上的位置与图像捕获元件121’中的垂直方向上的位置完全相同的其它像素121a完全相同(同一行中的像素121a)。
305.这样，通过改变主光屏蔽部分的被屏蔽区域和开口的开口区域的组合，变得有可能实现包括具有各种视角(具有各种入射角方向敏感性)的像素121a的图像捕获元件121’。
306.此外，取代仅使用具有完全相同的视角的像素121a，可以通过具有各种视角的像素121a的组合实现图像捕获元件121。
307.举例来说，如图18中所描绘的那样，假设将由点线表示的包括两个像素
×
两个像素的四个像素作为一个单位u对待，每一个单位u包括四个像素，即具有宽视角的像素121a-w，具有中等视角的像素121a-m，具有窄视角的像素121a-n，和具有极窄视角的像素121a-an。
308.在这种情况下，例如在所有像素121a的数量是x的情况下，变得有可能通过对于四种类型的视角中的每一种使用x/4个像素的检测图像而产生复原图像。此时，使用在视角之间是不同的四种类型的系数集，并且根据四种不同类型的联立方程产生互不相同的视角的复原图像。
309.由于这一原因，通过使用从适于捕获将要复原的视角的图像的像素获得的检测图像产生将要复原的视角的复原图像，变得有可能根据四种类型的视角产生适当的复原图像。
310.此外，可以通过四种类型的视角的图像的内插生成四种类型的视角之间的中间视角的图像或者比中间视角更窄或更宽的视角的图像，并且可以通过无缝地生成各种视角的图像实现伪光学变焦。
311.虽然至此解释了光屏蔽膜，但是关于该例的解释也可以应用于通过选择性使用安排在像素中的多个光电二极管获得入射角方向敏感性的情况。也就是说，通过适当设定光电二极管的划分位置(部分区域的尺寸和形状)或位置、尺寸、形状等等，通过适当选择光电二极管等等，例如可以实现与通过前面描述的具有矩形开口的光屏蔽膜121b所获得的入射光束方向敏感性等效的入射光束方向敏感性。在这种情况下同样不言自明的是，还有可能通过组合具有各种视角的像素121a实现图像捕获元件121。此外，可以通过多种类型的视角的图像的内插生成中间视角的图像或者比中间视角更窄或更宽的视角的图像，并且可以通过无缝地生成各种视角的图像实现伪光学变焦。
312.《第三修改示例》
313.与此同时，在为图像捕获元件121中的像素121a的被光屏蔽膜121b屏蔽的区域给出随机性的情况下，随着被光屏蔽膜121b屏蔽的区域之间的差异的无序性增加，复原部分321等等的处理负荷增加。有鉴于此，通过为像素121a中的被光屏蔽膜121b屏蔽的区域的其中一些改变给出规则性以减少无序性，可以减少处理负荷。
314.也就是说，例如可以通过组合垂直条带类型和水平条带类型光屏蔽膜来配置l形类型光屏蔽膜121b。在这种情况下，通过对于列方向具有完全相同的宽度的水平条带类型光屏蔽膜121b的组合以及对于行方向具有完全相同的高度的垂直条带类型光屏蔽膜121b的组合，可以在预定的列方向和预定的行方向上给出规则性，同时在像素单位之间产生随机差异。从而可以减少像素的入射角方向敏感性的无序性，并且可以减少图像捕获元件121外部的处理负荷，比如复原部分321的负荷。
315.也就是说，例如由图19中的图像捕获元件121”所表示的那样，全部具有完全相同的宽度x0的水平条带类型光屏蔽膜121b被用于由区域z130表示的同一列中的像素，具有完全相同的高度y0的垂直条带类型光屏蔽膜121b被用于由区域z150表示的同一行中的像素，并且对于由行和列标识的每一个像素121a设定作为这些类型的组合的l形类型光屏蔽膜121b。
316.类似地，全部具有完全相同的宽度x1的水平条带类型光屏蔽膜121b被用于由邻近
区域z130的区域z131表示的同一列中的像素，具有完全相同的高度y1的垂直条带类型光屏蔽膜121b被用于由邻近区域z150的区域z151表示的同一行中的像素，并且对于由行和列标识的每一个像素121a设定作为这些类型的组合的l形类型光屏蔽膜121b。
317.此外，全部具有完全相同的宽度x2的水平条带类型光屏蔽膜121b被用于由邻近区域z131的区域z132表示的同一列中的像素，具有完全相同的高度y2的垂直条带类型光屏蔽膜121b被用于由邻近区域z151的区域z152表示的同一行中的像素，并且对于由行和列标识的每一个像素121a设定作为这些类型的组合的l形类型光屏蔽膜121b。
318.通过这种方式，在水平方向上的光屏蔽膜121b的宽度和位置中给出规则性，并且为垂直方向上的光屏蔽膜121b的高度和位置给出规则性，可以使得光屏蔽膜的区域在像素单位之间是不同的。相应地，可以减少入射角方向敏感性的无序性。其结果是变得有可能减少系数集的式样，并且变得有可能减少后面阶段(例如复原部分321等等)的计算处理的处理负荷。
319.更具体来说，在从如图20的右上部分中所描绘的n像素
×
n像素的检测图像pic确定n
×
n像素的复原图像的情况下，作为元素具有n
×
n行和一列的复原图像的每一个像素的像素值的矢量x，作为元素具有n
×
n行和一列的检测图像的每一个元素的像素值的矢量y，以及包括系数集的n
×
n行和n
×
n列的矩阵a，满足比如在图20的左侧部分中所描绘的关系。
320.也就是说，图20描绘出包括系数集的n
×
n行和n
×
n列的矩阵a的每一个元素与表示复原图像的n
×
n行和一列的矢量x的乘积变为表示检测图像的n
×
n行和一列的矢量y，并且从这一关系确定联立方程。
321.应当注意的是，图20描绘出由矩阵a的区域z201表示的第一列中的每一个像素对应于矢量x的第一行的元素，并且由矩阵a的区域z202表示的第n
×
n列的每一个元素对应于矢量x的第n
×
n行的元素。
322.换句话说，在求解基于图20中所描绘的行列式的联立方程时，确定矢量x的每一个元素，从而确定复原图像。此外，在使用针孔的情况下以及在图像捕获透镜等等的凝聚功能被用于使得从相同方向进入的入射光束进入彼此邻近的全部两个像素输出单位的情况下，每一个像素的位置与光束的入射角之间的关系被唯一地确定。因此，矩阵a变为作为方阵的对角矩阵，并且包括全部为1的对焦分量((i,i)元素)和全部为0的非对角分量。相反，如图3中的图像捕获元件121中那样既不使用针孔也不使用图像捕获透镜的情况下，每一个像素的位置与光束的入射角之间的关系不被唯一地确定。因此，矩阵a不会变为对角矩阵。
323.与此同时，如图21中所描绘的那样，通过从左侧用矩阵a的逆矩阵a-1
乘以全部两侧对图20中的行列式进行变换，并且通过从右侧用逆矩阵a-1乘以检测图像的矢量y来确定作为检测图像的矢量x的每一个元素。
324.但是在某些情况下，出于以下原因中的任一个或者任何组合而无法对联立方程进行求解：无法准确地确定实际的矩阵a，无法准确地测量实际的矩阵a，矩阵a的基向量几乎是线性相关的并且无法被求解，检测图像的每一个像素包括噪声。
325.有鉴于此，构想出针对各种错误是强健的配置，并且使用下面的公式(7)，公式(7)使用了正则化最小二乘方法的概念。
326.[数学表达式1]
[0327]
[0328]
在这里，公式(7)中在x顶上提供有“^”的表示矢量x，a表示矩阵a，y表示矢量y，γ表示参数，并且||a||表示l2范数(平方和的平方根)。在这里，第一成员表示当图20中的全部两侧之间的差将是最小的范数，第二成员是正则化成员。
[0329]
当对于x求解该公式(7)时，通过下面的公式(8)来表达解。
[0330]
[数学表达式2]
[0331][0332]
但是由于矩阵a的尺寸巨大，因此需要计算时间和用于计算的高容量存储器。
[0333]
有鉴于此，例如在这里所考虑的情况下，如图22中所描绘的那样，将矩阵a分解成n行和n列的矩阵al和n行和n列的矩阵ar
t
，通过将其分别从开头和从末尾乘以n行和n列的矩阵x所获得的乘积被形成为表示检测图像的n行和n列的矩阵y，其中n行和n列的矩阵x表示复原图像。相应地，矩阵a的元素的数量是(n
×
n)
×
(n
×
n)，矩阵al和ar
t
的元素的数量是(n
×
n)，因此元素的数量可以被减少到1/(n
×
n)。其结果是，使用其元素的数量是(n
×
n)的两个矩阵al和ar
t
就足够了，从而可以减少计算量和存储器容量。
[0334]
在这里，at是矩阵a的转置，γ是参数，i是单位矩阵。当公式(8)中的括号中的矩阵是矩阵al并且矩阵a的转置的逆矩阵是矩阵ar
t
时，实现图22中描绘的行列式。
[0335]
在比如前面描述的图22中所描绘的计算中，将矩阵x中的感兴趣元素xp乘以矩阵al中的响应列的每一个元素组z221，从而确定元素组z222，正如图23中所描绘的那样。此外，通过将元素组z222和对应于感兴趣元素xp的矩阵ar
t
中的行中的元素相乘，确定对应于感兴趣元素xp的二维响应z224。随后，通过整合对应于矩阵x的所有元素的二维响应z224，确定矩阵y。
[0336]
有鉴于此，为对应于矩阵al中的每一行的元素组z221(图23)给出的系数集对应于其宽度被设定为对于图19中所描绘的图像捕获元件121的每一列是完全相同的宽度的水平条带类型像素121a的入射角方向敏感性。
[0337]
类似地，为ar
t
中的每一行的元素组z223(图23)给出的系数集对应于其高度被设定为对于图19中所描绘的图像捕获元件121的每一行是完全相同的高度的垂直条带类型像素121a的入射角方向敏感性。
[0338]
其结果是，由于变得有可能减小在基于检测图像产生复原图像时将要使用的矩阵的尺寸，因此计算量减少，相应地变得有可能提高处理速度和减少与计算相关的功率消耗。此外，由于可以减小矩阵的尺寸，因此变得有可能减少用于计算的存储器容量，并且变得有可能降低装置成本。
[0339]
应当注意的是，虽然在图19中所描绘的示例中在水平方向和垂直方向上给出预定规则性的同时使得被屏蔽区域(可以接收到光束的区域)在像素单位之间是不同的，但是在本公开内容中，以这种方式并非完全随机地设定而是在某种程度上随机地设定的像素单位的被屏蔽区域(可以接收到光束的区域)也被视为是随机地设定的。换句话说，在本公开内容中，随机地设定的像素单位的被屏蔽区域(可以接收到光束的区域)不仅包括完全随机地设定的区域，还包括在某种程度上随机地设定的区域(例如为全部像素中的一些给出规则性，其它区域则被随机地设定)和在某种程度上似乎缺少规则性的区域(其中无法确认所有像素都是根据比如参照图19解释的规则来安排的安排)。
[0340]
虽然至此解释了光屏蔽膜，但是关于该例的解释也可以应用于通过选择性使用安
排在像素中的多个光电二极管获得入射角方向敏感性的情况。也就是说，通过适当设定光电二极管的划分位置(部分区域的尺寸和形状)或位置、尺寸、形状等等，通过适当选择光电二极管等等，例如可以实现与如前面所描述的那样在为像素121a中被光屏蔽膜121b屏蔽的其中一些区域改变给出规则性的情况下所获得的入射光束方向敏感性等效的入射光束方向敏感性。通过这种方式，可以减少像素的入射角方向敏感性的无序性，并且可以减少图像捕获元件121外部的处理负荷，比如复原部分122的负荷。
[0341]
《第四修改示例》
[0342]
像素单位的光屏蔽膜121b的形状的变型可以是任何形状，并且不限于前面描述的每一个示例。举例来说，可以设定三角形光屏蔽膜121b，三角形的区域可以被设定为是不同的，从而获得不同的入射角方向敏感性。或者，可以设定圆形光屏蔽膜121b，圆形的区域可以被设定为是不同的，从而获得不同的入射角方向敏感性。此外，例如可以采用斜线性光屏蔽膜等等。
[0343]
此外，对于在包括预定数量的多个像素的一个单位中所包括的多个像素单位可以设定光屏蔽膜121b的变型(图案)。这样的一个单位可以包括任何类型的像素。举例来说，图像捕获元件121可以包括颜色滤波器，并且包括在颜色滤波器的颜色阵列的一个单位中所包括的像素。此外，一个单位可以包括由分别具有不同的曝光时间的像素的组合所形成的像素组。应当注意的是，希望被光屏蔽膜121b屏蔽的一个单位中所包括的像素中的区域的图案的随机性更高，也就是说，包括在一个单位中的像素可以具有互不相同的入射角方向敏感性。
[0344]
此外，可以对于每一个单位设定光屏蔽膜121b的安排图案。举例来说，光屏蔽膜的位置和宽度在单位之间可以是不同的。此外，在包括被分类成不同类别的多个像素的每一个单位内或者对于每一个单位设定被光屏蔽膜121b屏蔽的区域的图案。
[0345]
虽然至此解释了光屏蔽膜，但是关于该例的解释也可以应用于通过选择性使用安排在像素中的多个光电二极管获得入射角方向敏感性的情况。也就是说，通过适当设定光电二极管的划分位置(部分区域的尺寸和形状)或位置、尺寸、形状等等，通过适当选择光电二极管等等，例如可以实现与如前面所描述的那样在为像素121a中被光屏蔽膜121b屏蔽的其中一些区域改变给出规则性的情况下所获得的入射光束方向敏感性等效的入射光束方向敏感性。通过这种方式，可以减少像素的入射角方向敏感性的无序性，并且可以减少图像捕获元件121外部的处理负荷，比如复原部分122的负荷。
[0346]
虽然至此解释了光屏蔽膜，但是关于该例的解释也可以应用于通过选择性使用安排在像素中的多个光电二极管获得入射角方向敏感性的情况。也就是说，通过适当设定光电二极管的划分位置(部分区域的尺寸和形状)或位置、尺寸、形状等等，通过适当选择光电二极管等等，例如可以实现与通过具有任何形状的光屏蔽膜所获得的入射光束方向敏感性等效的入射光束方向敏感性，比如三角形、圆形或斜线性形状。
[0347]
此外，例如类似于前面描述的光屏蔽膜121b的情况，可以对于每一个单位设定光电二极管的划分位置(部分区域的尺寸和形状)、位置、尺寸、形状等等，光电二极管的选择等等。
[0348]
《光电二极管的控制》
[0349]
在选择性地使用比如前面参照图6描述的安排在像素中的多个光电二极管的情况
下，通过切换多个光电二极管121f对于对应的像素输出单位的输出像素值的贡献的存在与否或程度，可以能够以各种方式使得像素输出单位的输出像素值的入射角方向敏感性是不同的。
[0350]
举例来说，如图24中所描绘的那样，假设作为光电二极管121f-111到121f-119的九个(垂直方向上的三个
×
水平方向上的三个)光电二极管121f被安排在像素121a中。在这种情况下，像素121a可以被用作具有光电二极管121f-111到121f-119的像素121a-b，或者可以被用作具有光电二极管121f-111、121f-112、121f-114和121f-115的像素121a-s。
[0351]
举例来说，在像素121a是像素121a-b的情况下，通过控制光电二极管121f-111到121f-119对输出像素值的贡献的存在与否或程度来控制像素121a的输出像素值的入射角方向敏感性。与此相对，在像素121a是像素121a-s的情况下，通过控制光电二极管121f-111、121f-112、121f-114和121f-115对输出像素值的贡献的存在与否或程度来控制像素121a的输出像素值的入射角方向敏感性。在这种情况下，控制其它光电二极管121f(光电二极管121f-113、121f-116和121f-117到121f-119)，从而使其对于输出像素值没有贡献。
[0352]
也就是说，例如在多个像素121a-b的输出像素值的入射角方向敏感性是互不相同的情况下，光电二极管121f-111到121f-119中的至少任一个对于输出像素值的贡献的存在与否或程度是不同的。与此相对，例如在多个像素121a-s的输出像素值的入射角方向敏感性是互不相同的情况下，光电二极管121f-111、121f-112、121f-114和121f-115中的至少任一个对于输出像素值的贡献的存在与否或程度是不同的，其它光电二极管121f-113、121f-116和121f-117到121f-119一致地对于输出像素值没有贡献。
[0353]
应当注意的是，可以对于每一个像素设定像素121a是像素121a-b还是像素121a-s。此外，可以能够对于每一个单位(多个像素)实施这一设定。
[0354]
此外，如前面所描述的那样，在图像捕获元件121的每一个像素(每一个像素输出单位)中形成一个芯片上透镜。也就是说，在像素121a具有比如在图24中所描述的示例中的配置的情况下，如在图25中所描绘的那样，对于光电二极管121f-111到121f-119提供一个芯片上透镜121c。相应地，如参照图24所解释的那样，在像素121a是像素121a-b的情况和像素121a是像素121a-s的情况下，一个像素(一个像素输出单位)和一个芯片上透镜121c以一对一对应关系彼此对应。
[0355]
至此解释了图像捕获元件121。图2中的图像捕获部分101具有比如前面的图像捕获元件121。
[0356]
《复原区域的识别》
[0357]
接下来将解释通过区域识别部分102的复原区域(非复原区域)的识别。例如假设在图26的a中描绘的复原图像301捕获到人物302-1、人物302-2和人物302-3。在没有必要在人物302-1到人物302-3做出区分的情况下，将其称作人物302。举例来说，例如在希望不公开每一个人物302的面部部分的情况下，不复原包括人物302的面部部分的预定区域就足够了。举例来说，在图26的a中的复原图像301的情况下，如图26的b中那样，不复原包括人物302-1的面部部分的部分区域303-1、包括人物302-2的面部部分的部分区域303-2和包括人物302-3的面部部分的部分区域303-3就足够了。
[0358]
有鉴于此，例如图26的c中所描绘的那样，在检测图像304上设定其位置、形状和尺寸与部分区域303-1的完全相同的非复原区域305-1，其位置、形状和尺寸与部分区域303-2
的完全相同的非复原区域305-2，以及其位置、形状和尺寸与部分区域303-3的完全相同的非复原区域305-3。在不需要通过在其间做出区分来解释非复原区域305-1到非复原区域305-3的情况下，将其称作非复原区域305。检测图像上的非复原区域之外的区域被设定为复原区域。也就是说，复原区域306表示检测图像304上的非复原区域305之外的区域。
[0359]
通过设定非复原区域305，有可能防止非复原区域305被复原。也就是说，有可能防止检测图像上的特定部分区域被复原。换句话说，通过设定复原区域306，有可能仅对复原区域306进行复原。也就是说，有可能仅复原检测图像上的特定部分区域。
[0360]
此外，例如在不希望公开每一个人物302的面部部分以外的情况下，仅复原部分区域303就足够了(不复原部分区域303之外的区域就足够了)。在这种情况下，将前面描述的非复原区域305设定为复原区域并且将前面描述的复原区域306设定为非复原区域就足够了。
[0361]
正如前面所描述的那样，虽然可以在检测图像上按照希望设定复原区域和非复原区域，但是检测图像实际上是在其上不形成被摄体的图像的图像，并且例如像在图26的d中所描绘的检测图像307那样，用户无法在视觉上辨识被摄体。相应地，用户基本上不可能如前面所描述的那样识别检测图像307上的面部部分并且设定非复原区域(或者复原区域)。
[0362]
有鉴于此，通过使用ai(人工智能)来实施复原区域(非复原区域)的识别。举例来说，通过作为教导数据使用比如图26的c中所描绘的检测图像304和对应于检测图像的非复原区域305(或复原区域306)，实施机器学习(例如深度学习等等)。应当注意的是，将被用作教导数据的非复原区域305(复原区域306)例如是由用户等等从复原图像301识别出来的。通过使用大量教导数据来实施这样的机器学习，学习到特征数量，并且从而创建模型。
[0363]
预先实施这样的机器学习，并且将训练结果(训练数据)存储在训练数据存储部分103上。区域识别部分102通过使用训练结果(训练数据)从检测图像识别复原区域(非复原区域)。
[0364]
通过这种方式，可以在检测图像上识别出人物在视觉上不可辨识的被摄体，并且可以识别出应当作为复原区域(非复原区域)来对待的部分区域。
[0365]
《复原区域/非复原区域》
[0366]
将要作为复原区域(非复原区域)来对待的区域只需要被识别为具有预定特征的区域。也就是说，通过设定这样的复原区域(或非复原区域)，有可能仅复原具有所述特定的特定部分区域，复原其它区域从而使得所述部分区域不被复原等等。所述特征可以是任何特征。也就是说，有可能仅复原具有特定特征的部分区域，复原其它区域从而使得所述部分区域不被复原等等。
[0367]
举例来说，复原图像上的包括预先登记的被摄体的区域或者所述包括预定被摄体的区域之外的区域所对应的检测图像上的部分区域可以被设定为复原区域(或非复原区域)。通过这种方式，有可能仅复原包括预先登记的被摄体的区域，复原另一个区域从而使得所述包括预先登记的被摄体的区域不被复原等等。举例来说，包括人物的区域可以被设定为复原区域(或非复原区域)，包括人物的区域之外的区域可以被设定为复原区域(或非复原区域)等等。不言自明的是，取代人物，例如可以将比如狗或猫之类的动物设定为目标被摄体，或者例如可以将比如车辆或工具之类的物体设定为目标被摄体。
[0368]
此外，复原图像上的包括被摄体的预先登记的部分的区域或者所述包括被摄体的
预先登记的部分的区域之外的区域所对应的检测图像上的部分区域可以被设定为复原区域(或非复原区域)。通过这种方式，有可能仅复原包括预先登记的被摄体的预先登记的部分的区域，复原另一个区域从而使得所述包括预先登记的被摄体的预先登记的部分的区域不被复原等等。
[0369]
举例来说，包括人物的面部部分的区域可以被设定为复原区域(或非复原区域)，包括面部部分的区域之外的区域可以被设定为复原区域(或非复原区域)等等。通过这种方式，有可能仅复原包括人物的面部部分的区域，复原另一个区域从而使得包括人物的面部部分的区域不被复原等等。不言自明的是，例如可以将面部之外的其它部分设定为目标部分，比如手、脚或身体的上半部。此外，可以将人物之外的其它被摄体的特定部分设定为目标部分，比如车辆的牌照、机器的臂状部分、交通信号灯的信号灯部分。
[0370]
此外，复原图像上的包括预先登记的人物的区域或者所述包括预先登记的人物的区域之外的区域所对应的检测图像上的部分区域可以被设定为复原区域(或非复原区域)。通过这种方式，有可能仅复原包括预先登记的人物的区域，复原另一个区域从而使得所述包括预先登记的人物的区域不被复原等等。举例来说，包括特定个人的区域可以被设定为复原区域(或非复原区域)，包括所述个人的区域之外的区域可以被设定为复原区域(或非复原区域)等等。不言自明的是，包括个人的预先登记的部分(面部等等)的区域可以被设定为复原区域(或非复原区域)，包括所述预先登记的部分的区域之外的区域可以被设定为复原区域(或非复原区域)等等。
[0371]
此外，复原图像上的包括满足预先登记的条件的被摄体的区域或者所述包括满足预先登记的条件的被摄体的区域之外的区域所对应的检测图像上的部分区域可以被设定为复原区域(或非复原区域)。通过这种方式，有可能仅复原包括满足预先登记的条件的被摄体的区域，复原另一个区域从而使得所述包括满足预先登记的条件的被摄体的区域不被复原等等。举例来说，包括实施预先登记的动作的人物的区域可以被设定为复原区域(或非复原区域)，所述包括实施预先登记的动作的人物的区域之外的区域可以被设定为复原区域(或非复原区域)等等。
[0372]
被设定为条件的动作可以是任何动作。举例来说，这样的动作可以是奔跑、行走、跳跃、攀爬墙壁、坐着、蹲着、驾驶等等，或者可以是其它动作。此外，例如这样的满足预先登记的条件的被摄体可以是在视角中从左向右移动的被摄体，在视角中从上方部分向下移动的被摄体，在视角中从后向前移动的被摄体等等。应当注意的是，被摄体的动作(包括移动)可以是在三维空间的绝对坐标系内实施的动作，或者可以是相对的动作。举例来说，这样的动作可以是改变被摄体相对于被摄体周围的物体(背景等等)的位置和姿态的动作，或者可以是改变被摄体相对于图像捕获装置100(图像捕获元件121)的位置和姿态的动作。
[0373]
此外，这样的条件可以是任何条件，并且可以是与动作相关的条件之外的其它条件。举例来说，人物的数量可以被用作条件，或者所估计的人物的性别、年龄、身高、体重等等可以被用作条件。不言自明的是，被摄体可以不是人物。此外，可以根据被摄体来设定条件，并且可以对于每一个被摄体设定条件。
[0374]
此外，检测图像上的预先登记的位置处的具有预先登记的尺寸的部分区域可以被用作复原区域(或非复原区域)。也就是说，与图像(上的被摄体)的内容无关，特定部分区域可以被设定为复原区域(或非复原区域)。举例来说，检测图像上的具有特定尺寸和形状并
且处于检测图像上的特定位置(例如右侧一半、左侧一半、外围部分或中间部分)的部分区域可以被设定为复原区域(或非复原区域)。
[0375]
作为使用示例，后面将描述更具体的示例。
[0376]
《不复原非复原区域的复原矩阵》
[0377]
接下来解释由复原矩阵更新部分104生成(设定)的不复原非复原区域的复原矩阵。如参照图20和图21所解释的那样，通过使用复原矩阵(矩阵a(或矩阵a-1
))的矩阵计算从检测图像复原出复原图像。也就是说，通过使用复原矩阵中的系数和检测图像的像素值的矩阵计算复原出复原区域的复原图像，所述系数对应于复原区域，所述像素值对应于复原区域。也就是说，通过导出仅关于复原区域的矩阵计算的结果，可以仅产生复原区域的复原图像。
[0378]
换句话说，通过在矩阵计算中不导出对应于非复原区域的矩阵计算结果，可以产生复原图像，从而使得非复原区域不被复原。
[0379]
有鉴于此，例如在图27中所描绘的那样，复原矩阵中的系数，即对应于非复原区域的系数，可以被设定为预定值(例如“0”)。举例来说，与复原图像(图27中的“(将要计算的)场景图像”)的阴影部分相对应的复原矩阵中的系数(图27中的“转移矩阵(联立线性方程的系数)”)对应于所述阴影部分。在复原图像的阴影部分是非复原区域的情况下，复原矩阵中的阴影部分的系数的值被设定为“0”。通过这种方式，即使通过实施比如在图21中所描绘的矩阵计算从检测图像产生复原图像，复原图像上的阴影部分的像素值变为“0”(也就是说不产生复原图像)。
[0380]
如前面所描述的那样，基于复原区域信息，复原矩阵更新部分104生成(设定)不复原非复原区域的复原矩阵，其中对应于非复原区域的系数是“0”。也就是说，通过把作为对应于检测图像整体的复原矩阵的整体复原矩阵的系数中的不对应于复原区域的系数设定为预先登记的值(例如“0”)，复原矩阵更新部分104可以生成(设定)将被用于仅产生复原区域的复原图像的部分复原矩阵。
[0381]
当复原部分105通过使用不复原非复原区域的复原矩阵(部分复原矩阵)从检测图像产生复原图像时，获得其中非复原区域的像素值是“0”的复原图像。也就是说，通过使用不复原非复原区域的复原矩阵，复原部分105可以产生复原图像，从而使得非复原区域不被复原。
[0382]
应当注意的是，由复原矩阵更新部分104设定的复原矩阵中的系数的“预先登记的值”可以是任何值，并且可以是“0”之外的其它值。也就是说，“预先登记的值”只需要是作为矩阵计算的结果使得被摄体不会变得在视觉上可辨识的值。举例来说，可以对于与非复原区域相对应的所有系数均匀地设定“预先登记的值”，或者可以不均匀地设定。举例来说，作为这样的“预先登记的值”，可以设定对于每一个系数或块是不同的值。
[0383]
此外，例如在图28中所描绘的那样，可以删除复原矩阵中的系数，即对应于非复原区域的系数。在图28中所描绘的示例的情况下，删除对应于非复原区域(图27中的阴影部分)的系数。通过这种方式，生成包括对应于非复原区域之外的其它区域的系数的复原矩阵(即对应于复原区域的复原矩阵)。通过使用复原矩阵，可以从检测图像仅产生复原区域的复原图像。
[0384]
基于复原区域信息，如前面所描述的那样，复原矩阵更新部分104生成(设定)从中
删除对应于非复原区域的系数的不复原非复原区域的复原矩阵，也就是仅包括对应于复原区域的系数的不复原非复原区域的复原矩阵。也就是说，通过删除作为对应于检测图像整体的复原矩阵的整体复原矩阵的系数中的不对应于复原区域的系数，复原矩阵更新部分104可以生成(设定)将被用于仅产生复原区域的复原图像的部分复原矩阵。
[0385]
当复原部分105通过使用不复原非复原区域的复原矩阵(部分复原矩阵)从检测图像产生复原图像时，获得其中非复原区域的像素值是“0”的复原图像。也就是说，通过使用不复原非复原区域的复原矩阵，复原部分105可以产生复原图像，从而使得非复原区域不被复原。
[0386]
应当注意的是，在这种情况下，不复原非复原区域的复原矩阵不对应于检测图像整体。也就是说，正如前面所描述的那样，不复原非复原区域的复原矩阵不包括对应于非复原区域的系数。相应地，用于把不复原非复原区域的复原矩阵中的每一个系数与检测图像中的像素相关联的信息(例如关于检测图像中的复原区域(或非复原区域)的信息)是必要的。基于所述信息，复原部分105可以正确地将检测图像中的复原区域与不复原非复原区域的复原矩阵彼此相关联。应当注意的是，所述信息可以是复原部分105预先已知的，或者可以与不复原非复原区域的复原矩阵一起从复原矩阵更新部分104提供到复原部分105。
[0387]
《复原图像生成处理的规程》
[0388]
将参照图29的流程图解释复原图像生成处理的规程的一个示例，其中图像捕获装置100捕获被摄体的图像并且从如此获得的检测图像产生复原图像，从而使得非复原区域不被复原。
[0389]
当复原图像生成处理开始时，在步骤s301中，图像捕获装置100(图1)的图像捕获部分101通过使用图像捕获元件121捕获被摄体的图像，并且生成检测图像。
[0390]
在步骤s302中，基于从训练数据存储部分103读出的训练数据，区域识别部分102从步骤s301中生成的检测图像识别出复原区域(或非复原区域)，并且生成表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)。
[0391]
在步骤s303中，基于步骤s302中生成的复原区域信息(或非复原区域信息)，复原矩阵更新部分104更新对应于检测图像整体的复原矩阵，并且生成不复原非复原区域的复原矩阵。
[0392]
在步骤s304中，通过使用步骤s303中生成的不复原非复原区域的复原矩阵，复原部分105从步骤s301中生成的检测图像产生复原图像，从而使得非复原区域不被复原。
[0393]
在步骤s305中，复原部分105输出在步骤s304中仅有复原区域被复原的复原图像。应当注意的是，步骤s304中的处理可以省略，并且在步骤s305中，复原部分105可以输出彼此相关联的步骤s301中生成的检测图像和步骤s303中生成的不复原非复原区域的复原矩阵。
[0394]
在步骤s305中的处理结束之后，复原图像生成处理结束。
[0395]
如前面所描述的那样，通过识别复原区域(非复原区域)，区域识别部分102可以控制将要复原的区域。相应地，通过执行前面所描述的处理，图像捕获装置100可以产生复原图像，从而使得特定区域不被复原。
[0396]
《3、第二实施例》
[0397]
《3-1、图像处理系统的示例1》
[0398]
虽然至此通过被用作一个示例的图像捕获装置解释了本发明的技术，但是本发明的技术不限于该例，而是可以被应用于任何配置，比如图像处理装置、图像编码装置、图像解码装置、信息处理装置、通信装置、电子装备或者包括多个装置的系统。
[0399]
举例来说，可以通过多个装置实现前面描述的图像捕获装置100的配置。图30是描绘出为之应用本发明的技术的图像处理系统的一个实施例的一个主要配置示例的图示。图30中描绘的图像处理系统400是具有类似于图像捕获装置100的功能的系统，其捕获被摄体的图像，并且从所获得的检测图像产生复原图像。也就是说。类似于如前面在《1、复原区域/非复原区域的识别》中所描述的图像捕获装置100，图像处理系统400可以在检测图像上设定复原区域(非复原区域)，并且产生复原图像，从而使得非复原区域不被复原。
[0400]
如图30中所描绘的那样，图像处理系统400具有图像捕获装置401和图像处理装置402。图像捕获装置401可以通过捕获被摄体的图像而生成检测图像，并且输出检测图像和对应于检测图像的复原矩阵。
[0401]
图像处理装置402可以获取从外部提供的检测图像和对应于检测图像的复原矩阵，在检测图像上设定复原区域(或非复原区域)，并且生成表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)。此外，基于复原区域信息，图像处理装置402可以更新所获取的复原矩阵，并且生成将在仅对复原区域进行复原时使用的不复原非复原区域的复原矩阵(或者实施复原从而使得非复原区域不被复原)。此外，通过使用不复原非复原区域的复原矩阵图像处理装置402可以从所获取的检测图像生成和输出仅有复原区域被复原的复原图像(或者产生复原图像从而使得非复原区域不被复原)。
[0402]
通过这种方式，例如图像处理装置402可以控制检测图像上的特定区域的公开/非公开，针对未经授权的公开或未经授权的使用控制信息的保护/非保护，控制图像分析等等的目标区域，控制将要提供的服务水平等等。此外，由于在从图像捕获装置401到图像处理装置402的图像发送中发送的是检测图像，因此可以保护信息，并且可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。
[0403]
图像捕获装置401具有图像捕获部分101。图像处理装置402具有区域识别部分102到复原部分105。每一个处理部分实施与图像捕获装置100的情况中类似的处理。也就是说，图像捕获装置401和图像处理装置402中的每一个处理部分根据例如在图31中描绘的流程图的规程实施处理。
[0404]
在步骤s401中，图像捕获装置401的图像捕获部分101通过使用图像捕获元件121捕获被摄体的图像，并且生成检测图像。在步骤s402中，图像捕获装置401向图像处理装置402提供检测图像和对应于检测图像的复原矩阵(整体复原矩阵)。在步骤s411中，图像处理装置402获取所提供的检测图像和复原矩阵。
[0405]
应当注意的是，可以通过任何方法实施装置之间的信息交换。举例来说，可以通过经由特定通信介质的通信将检测图像和复原矩阵从图像捕获装置401提供到图像处理装置402。用于此通信的通信方法可以是任何方法，可以是线缆通信，可以是无线通信，或者可以是全部二者。此外，例如可以经由一个或多个网络实施通信，比如因特网、lan(局域网)等等，并且可以经由另一个装置实施通信，比如通信装置或中继装置。此外，可以经由服务器或者通常所说的云计算来实施通信。
[0406]
此外，例如可以经由特定的存储介质来交换信息，比如可移除闪存或硬盘。也就是
说，将要交换的信息可以被存储在连接到提供方装置的特定存储介质上，所述存储介质可以连接到接收方装置，并且可以从存储装置读出信息。
[0407]
在步骤s412中，基于从训练数据存储部分103读出的训练数据，图像处理装置402的区域识别部分102从步骤s411中获取的检测图像识别出复原区域(或非复原区域)，并且生成表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)。
[0408]
在步骤s413中，基于复原区域信息(或非复原区域信息)，复原矩阵更新部分104更新在步骤s411中获取的复原矩阵，并且生成不复原非复原区域的复原矩阵。
[0409]
在步骤s414中，通过使用在步骤s413中生成的不复原非复原区域的复原矩阵，复原部分105从步骤s411中获取的检测图像产生(生成)复原图像，从而使得仅有复原区域被复原(换句话说，使得非复原区域不被复原)。
[0410]
在步骤s415中，图像处理装置402向图像处理装置402的外部输出步骤s414中生成的在其上仅有复原区域被复原的复原图像(换句话说，即被产生为使得非复原区域不被复原的复原图像)。
[0411]
可以通过经由特定通信路径的通信来实施到外部的该输出，或者可以经由特定的存储介质来实施(也就是说输出存储在存储介质上的信息)。
[0412]
通过以这种方式执行每一个处理，图像处理系统400可以控制将要复原的区域。相应地，例如图像处理系统400可以控制检测图像上的特定区域的公开/非公开，针对未经授权的公开或未经授权的使用控制信息的保护/非保护，控制图像分析等等的目标区域，控制将要提供的服务水平等等。此外，由于在从图像捕获装置401到图像处理装置402的图像发送中发送的是检测图像，因此可以保护信息，并且可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。
[0413]
应当注意的是，可以省略步骤s414中的处理，并且在步骤s415中，图像处理装置402可以向外部输出彼此相关联的检测图像和不复原非复原区域的复原矩阵。也就是说，可以在图像处理装置402的外部实施复原图像的产生，在这种情况下，复原部分105不实施复原，而是将检测图像和不复原非复原区域的复原矩阵彼此相关联，并且将如此彼此相关联的检测图像和不复原非复原区域的复原矩阵输出到位于图像处理装置402的外部并且实施复原处理的复原装置。通过这种方式，图像处理装置402可以在信息受到保护的状态下将图像发送到复原装置(另一个装置)。相应地，可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。
[0414]
此外，在比如前面的图像处理系统400中，可以将复原部分105提供到图像捕获装置401。在这种情况下，复原矩阵更新部分104将所导出的不复原非复原区域的复原矩阵提供到图像捕获装置401的复原部分105。也就是说，不复原非复原区域的复原矩阵被从图像处理装置402发送到图像捕获装置401。随后，通过使用从图像处理装置402的复原矩阵更新部分104提供的不复原非复原区域的复原矩阵，图像捕获装置401的复原部分105从提供自图像捕获部分101的检测图像产生(生成)复原图像，从而使得仅有复原区域被复原(换句话说，使得非复原区域不被复原)。
[0415]
此外，还可以将复原矩阵更新部分104提供到图像捕获装置401。在这种情况下，区域识别部分102将复原区域信息提供到图像捕获装置401的复原矩阵更新部分104。也就是说，复原区域信息被从图像处理装置402发送到图像捕获装置401。随后，基于提供自图像处
理装置402的区域识别部分102的复原区域信息，图像捕获装置401的复原矩阵更新部分104更新提供自图像捕获部分101的复原矩阵，并且生成不复原非复原区域的复原矩阵。通过使用不复原非复原区域的复原矩阵，图像捕获装置401的复原部分105从提供自图像捕获部分101的检测图像产生(生成)复原图像，从而使得仅有复原区域被复原(换句话说，使得非复原区域不被复原)。
[0416]
此外，在这些情况下，由于检测图像是在从图像捕获装置401到图像处理装置402的图像发送中被发送，因此图像处理系统400可以保护信息，并且减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。
[0417]
《3-2、图像处理系统的示例2》
[0418]
图32是描绘出为之应用本发明的技术的图像处理系统的另一个实施例的一个主要配置示例的图示。类似于图像处理系统400(图30)，图32中描绘的图像处理系统410是捕获被摄体的图像并且从所获得的检测图像产生复原图像的系统。图像处理系统410可以在检测图像上设定复原区域(非复原区域)，并且产生复原图像，从而使得非复原区域不被复原。
[0419]
如图32中所描绘的那样，图像处理系统410具有图像捕获装置411、图像处理装置412和复原装置413。类似于图像捕获装置401，图像捕获装置411可以通过捕获被摄体的图像而生成检测图像，并且输出检测图像和对应于检测图像的复原矩阵。
[0420]
图像处理装置412可以获取从外部提供的检测图像和对应于检测图像的复原矩阵，在检测图像上设定复原区域(或非复原区域)，并且生成表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)。此外，基于复原区域信息，图像处理装置412可以更新所获取的复原矩阵，并且生成和输出将在仅对复原区域进行复原时使用的不复原非复原区域的复原矩阵(或者实施复原从而使得非复原区域不被复原)。
[0421]
复原装置413可以获取从外部提供的不复原非复原区域的复原矩阵和检测图像，并且通过使用不复原非复原区域的复原矩阵，可以从所获取的检测图像生成和输出仅有复原区域被复原的复原图像(或者产生复原图像从而使得非复原区域不被复原)。
[0422]
图像捕获装置411具有图像捕获部分101。图像处理装置412具有区域识别部分102到复原矩阵更新部分104。复原装置413具有复原部分105。每一个处理部分实施与图像捕获装置100的情况中类似的处理。也就是说，图像捕获装置411、图像处理装置412和复原装置413中的每一个处理部分根据例如在图33中描绘的流程图的规程实施处理。
[0423]
在步骤s421中，图像捕获装置411的图像捕获部分101通过使用图像捕获元件121捕获被摄体的图像，并且生成检测图像。
[0424]
在步骤s422中，图像捕获装置411向图像处理装置412提供检测图像和对应于检测图像的复原矩阵(整体复原矩阵)。在步骤s431中，图像处理装置412获取所提供的检测图像和复原矩阵。
[0425]
在步骤s423中，图像捕获装置411将检测图像提供到复原装置413。在步骤s441中，复原装置413获取所提供的检测图像。应当注意的是，类似于图像处理系统400的情况，可以通过任何方法实施装置之间的信息交换。
[0426]
在步骤s432中，基于从训练数据存储部分103读出的训练数据，图像处理装置412的区域识别部分102从步骤s431中获取的检测图像识别出复原区域(或非复原区域)，并且
生成表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)。
[0427]
在步骤s433中，基于复原区域信息(或非复原区域信息)，复原矩阵更新部分104更新在步骤s431中获取的复原矩阵，并且生成不复原非复原区域的复原矩阵。
[0428]
在步骤s434中，图像处理装置412将不复原非复原区域的复原矩阵提供到复原装置413。在步骤s442中，复原装置413获取所提供的不复原非复原区域的复原矩阵。
[0429]
在步骤s443中，通过使用在步骤s442中获取的不复原非复原区域的复原矩阵，复原装置413的复原部分105从步骤s441中获取的检测图像产生(生成)复原图像，从而使得仅有复原区域被复原(换句话说，使得非复原区域不被复原)。
[0430]
在步骤s444中，复原装置413向复原装置413的外部输出步骤s443中生成的在其上仅有复原区域被复原的复原图像(换句话说，即被产生为使得非复原区域不被复原的复原图像)。
[0431]
可以通过经由特定通信路径的通信来实施到外部的该输出，或者可以经由特定的存储介质来实施(也就是说输出存储在存储介质上的信息)。
[0432]
通过这种方式，复原装置413可以输出其中关于图像中的所期望的区域的信息受到保护的图像。其结果是，可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。此外，通过以这种方式执行每一个处理，图像处理系统410可以控制将要复原的区域。相应地，例如图像处理系统410可以控制检测图像上的特定区域的公开/非公开，针对未经授权的公开或未经授权的使用控制信息的保护/非保护，控制图像分析等等的目标区域，控制将要提供的服务水平等等。此外，由于图像是作为检测图像被从图像捕获装置411发送到复原装置413，因此可以在信息受到保护的状态下实施发送，并且可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。此外，对应于检测图像的复原矩阵通过不同于检测图像的路径(经由图像处理装置412)被从图像捕获装置401发送到复原装置413。相应地，可以更多地减少未经授权的信息公开。
[0433]
应当注意的是，可以省略步骤s443中的处理，并且在步骤s444中，复原装置413可以向外部输出彼此相关联的检测图像和不复原非复原区域的复原矩阵。也就是说，可以在复原装置413的外部实施复原图像的产生，在这种情况下，复原部分105不实施复原，而是将检测图像和不复原非复原区域的复原矩阵彼此相关联，并且将检测图像和不复原非复原区域的复原矩阵输出到位于复原装置413的外部并且实施复原处理的另一个复原装置。通过这种方式，复原装置413可以在信息受到保护的状态下将图像发送到另一个复原装置。相应地，可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。
[0434]
此外，虽然前面解释了将检测图像从图像捕获装置411提供到复原装置413，但是也可以经由图像处理装置412来提供检测图像。也就是说，图像处理装置412可以向复原装置413提供从图像捕获装置411提供的检测图像和对于检测图像生成的不复原非复原区域的复原矩阵。此外，在这种情况下，由于图像是作为检测图像被从图像捕获装置411发送到复原装置413，因此可以更多地减少未经授权的信息公开。
[0435]
《3-3、图像处理系统的示例3》
[0436]
图34是描绘出为之应用本发明的技术的图像处理系统的另一个实施例的一个主
要配置示例的图示。类似于图像处理系统410(图32)，图34中描绘的图像处理系统420是捕获被摄体的图像并且从所获得的检测图像产生复原图像的系统。图像处理系统420可以在检测图像上设定复原区域(非复原区域)，并且产生复原图像，从而使得非复原区域不被复原。
[0437]
如图34中所描绘的那样，图像处理系统420具有图像捕获装置421、图像处理装置422和复原装置423。图像捕获装置421可以通过捕获被摄体的图像而生成检测图像，并且输出检测图像和对应于检测图像的复原矩阵。
[0438]
图像处理装置422可以获取从外部提供的检测图像和对应于检测图像的复原矩阵，在检测图像上设定复原区域(或非复原区域)，并且生成和输出表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)。
[0439]
复原装置423可以获取从外部提供的不复原非复原区域的复原矩阵和检测图像，基于复原区域信息更新所获取的复原矩阵，并且生成将在仅对复原区域进行复原时使用的不复原非复原区域的复原矩阵(或者实施复原从而使得非复原区域不被复原)。此外，通过使用不复原非复原区域的复原矩阵，复原装置423可以从所获取的检测图像生成和输出仅有复原区域被复原的复原图像(或者产生复原图像从而使得非复原区域不被复原)。
[0440]
图像捕获装置421具有图像捕获部分101。图像处理装置422具有区域识别部分102和训练数据存储部分103。复原装置423具有复原矩阵更新部分104和复原部分105。每一个处理部分实施与图像捕获装置100的情况中类似的处理。也就是说，图像捕获装置421、图像处理装置422和复原装置423中的每一个处理部分根据例如在图35中描绘的流程图的规程实施处理。
[0441]
在步骤s451中，图像捕获装置421的图像捕获部分101通过使用图像捕获元件121捕获被摄体的图像，并且生成检测图像。
[0442]
在步骤s452中，图像捕获装置421向图像处理装置422提供检测图像。在步骤s461中，图像处理装置422获取所提供的检测图像。应当注意的是，类似于图像处理系统400的情况，可以通过任何方法实施装置之间的信息交换。
[0443]
在步骤s453中，图像捕获装置421向复原装置423提供检测图像和对应于检测图像的复原矩阵(整体复原矩阵)。在步骤s471中，复原装置423获取所提供的检测图像和复原矩阵。
[0444]
在步骤s462中，基于从训练数据存储部分103读出的训练数据，图像处理装置422的区域识别部分102从步骤s461中获取的检测图像识别出复原区域(或非复原区域)，并且生成表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)。
[0445]
在步骤s463中，图像处理装置422将复原区域信息(或非复原区域信息)提供到复原装置423。在步骤s472中，复原装置423获取所提供的复原区域信息(或非复原区域信息)。
[0446]
在步骤s473中，基于在步骤s472中获取的复原区域信息(或非复原区域信息)，复原装置423的复原矩阵更新部分104更新在步骤s471中获取的复原矩阵，并且生成不复原非复原区域的复原矩阵。
[0447]
在步骤s474中，通过使用不复原非复原区域的复原矩阵，复原部分105从步骤s471中获取的检测图像产生(生成)复原图像，从而使得仅有复原区域被复原(换句话说，使得非复原区域不被复原)。
[0448]
在步骤s475中，复原装置423向复原装置423的外部输出步骤s474中生成的在其上仅有复原区域被复原的复原图像(换句话说，即被产生为使得非复原区域不被复原的复原图像)。
[0449]
可以通过经由特定通信路径的通信来实施到外部的该输出，或者可以经由特定的存储介质来实施(也就是说输出存储在存储介质上的信息)。
[0450]
通过这种方式，复原装置423可以输出其中关于图像中的所期望的区域的信息受到保护的图像。其结果是，可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。此外，通过以这种方式执行每一个处理，图像处理系统420可以控制将要复原的区域。相应地，例如图像处理系统420可以控制检测图像上的特定区域的公开/非公开，针对未经授权的公开或未经授权的使用控制信息的保护/非保护，控制图像分析等等的目标区域，控制将要提供的服务水平等等。此外，由于图像是作为检测图像被从图像捕获装置421发送到复原装置423，因此可以在信息受到保护的状态下实施发送，并且可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。此外，由于在这种情况下复原矩阵的更新是在复原装置423处实施的，因此与图32中所描绘的情况相比可以减少图像处理装置422的负荷。
[0451]
应当注意的是，可以省略步骤s474中的处理，并且在步骤s475中，复原装置423可以向外部输出彼此相关联的检测图像和不复原非复原区域的复原矩阵。也就是说，可以在复原装置423的外部实施复原图像的产生，在这种情况下，复原部分105不实施复原，而是将检测图像和不复原非复原区域的复原矩阵彼此相关联，并且将检测图像和不复原非复原区域的复原矩阵输出到位于复原装置423的外部并且实施复原处理的另一个复原装置。通过这种方式，复原装置423可以在信息受到保护的状态下将图像发送到另一个复原装置。相应地，可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。
[0452]
此外，虽然前面解释了将检测图像从图像捕获装置421提供到复原装置423，但是也可以经由图像处理装置422将检测图像提供到复原装置423。也就是说，图像处理装置422可以向复原装置423提供从图像捕获装置421提供的检测图像和对于检测图像生成的复原区域信息(或非复原区域信息)。类似地，可以经由图像处理装置422将复原矩阵提供到复原装置423。也就是说，图像处理装置422可以向复原装置423提供从图像捕获装置421提供的复原矩阵和为复原矩阵生成的复原区域信息(非复原区域信息)。不言自明的是，可以经由图像处理装置422将检测图像和复原图像提供到复原装置423。
[0453]
《3-4、图像处理系统的示例4》
[0454]
图36是描绘出为之应用本发明的技术的图像处理系统的另一个实施例的一个主要配置示例的图示。类似于图像处理系统420(图34)，图36中描绘的图像处理系统430是捕获被摄体的图像并且从所获得的检测图像产生复原图像的系统。图像处理系统430可以在检测图像上设定复原区域(非复原区域)，并且产生复原图像，从而使得非复原区域不被复原。
[0455]
如图36中所描绘的那样，图像处理系统430具有图像捕获装置431和复原装置432。图像捕获装置431可以通过捕获被摄体的图像而生成检测图像，并且输出检测图像和对应于检测图像的复原矩阵。此外，图像捕获装置431可以在检测图像上设定复原区域(或非复
原区域)，并且生成和输出表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)。
[0456]
复原装置432可以获取从外部提供的检测图像和对应于检测图像的复原矩阵和复原区域信息。此外，基于所获取的复原区域信息，复原装置432可以更新所获取的复原矩阵，并且生成将在仅对复原区域进行复原时使用的不复原非复原区域的复原矩阵(或者实施复原从而使得非复原区域不被复原)。此外，通过使用不复原非复原区域的复原矩阵，复原装置432可以从所获取的检测图像生成和输出仅有复原区域被复原的复原图像(或者产生复原图像从而使得非复原区域不被复原)。
[0457]
图像捕获装置431具有图像捕获部分101、区域识别部分102和训练数据存储部分103。复原装置432具有复原矩阵更新部分104和复原部分105。每一个处理部分实施与图像捕获装置100的情况中类似的处理。也就是说，图像捕获装置431和复原装置432中的每一个处理部分根据例如在图37中描绘的流程图的规程实施处理。
[0458]
在步骤s481中，图像捕获装置431的图像捕获部分101通过使用图像捕获元件121捕获被摄体的图像，并且生成检测图像。
[0459]
在步骤s482中，基于从训练数据存储部分103读出的训练数据，区域识别部分102从步骤s481中生成的检测图像识别出复原区域(或非复原区域)，并且生成表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)。
[0460]
在步骤s483中，图像捕获装置431向复原装置432提供检测图像、对应于检测图像的复原矩阵和复原区域信息(或非复原区域信息)。在步骤s491中，复原装置432获取所提供的检测图像、复原矩阵和复原区域信息(或非复原区域信息)。应当注意的是，类似于图像处理系统400的情况，可以通过任何方法实施装置之间的信息交换。
[0461]
在步骤s492中，基于在步骤s491中获取的复原区域信息(或非复原区域信息)，复原装置432的复原矩阵更新部分104更新在步骤s491中获取的复原矩阵，并且生成不复原非复原区域的复原矩阵。
[0462]
在步骤s493中，通过使用不复原非复原区域的复原矩阵，复原部分105从步骤s491中获取的检测图像产生(生成)复原图像，从而使得仅有复原区域被复原(换句话说，使得非复原区域不被复原)。
[0463]
在步骤s494中，复原装置432向复原装置432的外部输出步骤s493中生成的在其上仅有复原区域被复原的复原图像(换句话说，即被产生为使得非复原区域不被复原的复原图像)。
[0464]
可以通过经由特定通信路径的通信来实施到外部的该输出，或者可以经由特定的存储介质来实施(也就是说输出存储在存储介质上的信息)。
[0465]
通过这种方式，复原装置432可以输出其中关于图像中的所期望的区域的信息受到保护的图像。其结果是，可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。此外，通过以这种方式执行每一个处理，图像处理系统430可以控制将要复原的区域。相应地，例如图像处理系统430可以控制检测图像上的特定区域的公开/非公开，针对未经授权的公开或未经授权的使用控制信息的保护/非保护，控制图像分析等等的目标区域，控制将要提供的服务水平等等。此外，由于图像是作为检测图像被从图像捕获装置431发送到复原装置432，因此可以在信息受到保护的状态下实施发
送，并且可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。
[0466]
应当注意的是，可以省略步骤s493中的处理，并且在步骤s494中，复原装置432可以向外部输出彼此相关联的检测图像和不复原非复原区域的复原矩阵。也就是说，可以在复原装置432的外部实施复原图像的产生，在这种情况下，复原部分105不实施复原，而是将检测图像和不复原非复原区域的复原矩阵彼此相关联，并且将检测图像和不复原非复原区域的复原矩阵输出到位于复原装置432的外部并且实施复原处理的另一个复原装置。通过这种方式，复原装置432可以在信息受到保护的状态下将图像发送到另一个复原装置。相应地，可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。
[0467]
《3-5、图像处理系统的示例5》
[0468]
图38是描绘出为之应用本发明的技术的图像处理系统的另一个实施例的一个主要配置示例的图示。类似于图像处理系统430(图36)，图38中描绘的图像处理系统440是捕获被摄体的图像并且从所获得的检测图像产生复原图像的系统。图像处理系统440可以在检测图像上设定复原区域(非复原区域)，并且产生复原图像，从而使得非复原区域不被复原。
[0469]
如图38中所描绘的那样，图像处理系统440具有图像捕获装置441和复原装置442。图像捕获装置441可以通过捕获被摄体的图像而生成检测图像，并且输出检测图像。此外，图像捕获装置441可以在检测图像上设定复原区域(或非复原区域)，并且生成表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)。此外，基于复原区域信息，图像捕获装置441可以更新对应于所生成的检测图像的复原矩阵，并且生成和输出将在仅对复原区域进行复原时使用的不复原非复原区域的复原矩阵(或者实施复原从而使得非复原区域不被复原)。
[0470]
复原装置442可以获取从外部提供的检测图像和不复原非复原区域的复原矩阵。此外，通过使用不复原非复原区域的复原矩阵，复原装置442可以从检测图像生成和输出仅有复原区域被复原的复原图像(或者产生复原图像从而使得非复原区域不被复原)。
[0471]
图像捕获装置441具有图像捕获部分101到复原矩阵更新部分104。复原装置442具有复原部分105。每一个处理部分实施与图像捕获装置100的情况中类似的处理。也就是说，图像捕获装置441和复原装置442中的每一个处理部分根据例如在图39中描绘的流程图的规程实施处理。
[0472]
在步骤s501中，图像捕获装置441的图像捕获部分101通过使用图像捕获元件121捕获被摄体的图像，并且生成检测图像。
[0473]
在步骤s502中，基于从训练数据存储部分103读出的训练数据，区域识别部分102从步骤s501中生成的检测图像识别出复原区域(或非复原区域)，并且生成表示复原区域的复原区域信息(或者表示非复原区域的非复原区域信息)。
[0474]
在步骤s503中，基于在步骤s502中生成的复原区域信息(或非复原区域信息)，复原矩阵更新部分104更新对应于在步骤s501中生成的检测图像的复原矩阵，并且生成不复原非复原区域的复原矩阵。
[0475]
在步骤s504中，图像捕获装置441向复原装置442提供检测图像和不复原非复原区
域的复原矩阵。在步骤s511中，复原装置442获取所提供的检测图像和不复原非复原区域的复原矩阵。应当注意的是，类似于图像处理系统400的情况，可以通过任何方法实施装置之间的信息交换。
[0476]
在步骤s512中，通过使用在步骤s511中获取的不复原非复原区域的复原矩阵，复原装置442的复原部分105从步骤s511中获取的检测图像产生(生成)复原图像，从而使得仅有复原区域被复原(换句话说，使得非复原区域不被复原)。
[0477]
在步骤s513中，复原装置442向复原装置442的外部输出步骤s512中生成的在其上仅有复原区域被复原的复原图像(换句话说，即被产生为使得非复原区域不被复原的复原图像)。
[0478]
可以通过经由特定通信路径的通信来实施到外部的该输出，或者可以经由特定的存储介质来实施(也就是说输出存储在存储介质上的信息)。
[0479]
通过这种方式，复原装置442可以输出其中关于图像中的所期望的区域的信息受到保护的图像。其结果是，可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。此外，通过以这种方式执行每一个处理，图像处理系统440可以控制将要复原的区域。相应地，例如图像处理系统440可以控制检测图像上的特定区域的公开/非公开，针对未经授权的公开或未经授权的使用控制信息的保护/非保护，控制图像分析等等的目标区域，控制将要提供的服务水平等等。此外，由于图像是作为检测图像被从图像捕获装置441发送到复原装置442，因此可以在信息受到保护的状态下实施发送，并且可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。
[0480]
应当注意的是，可以省略步骤s512中的处理，并且在步骤s513中，复原装置442可以向外部输出步骤s511中获取的彼此相关联的检测图像和不复原非复原区域的复原矩阵。也就是说，可以在复原装置442的外部实施复原图像的产生，在这种情况下，复原部分105不实施复原，而是将检测图像和不复原非复原区域的复原矩阵彼此相关联，并且将检测图像和不复原非复原区域的复原矩阵输出到位于复原装置442的外部并且实施复原处理的另一个复原装置。通过这种方式，复原装置442可以在信息受到保护的状态下将图像发送到另一个复原装置。相应地，可以减少由于对于图像的未经授权的公开、未经授权的使用等等所导致的侵犯隐私权等等的发生。
[0481]
《4、使用示例》
[0482]
接下来将解释为之应用本发明的技术的装置、系统等等的使用示例。
[0483]
《车载装置/系统》
[0484]
近年来，将摄影机安装在车辆中的装置和系统不断发展，其中对通过摄影机捕获的捕获图像进行分析，并且基于分析结果适当地给出警告、警示、引导等等。此外，基于分析结果控制加速器、制动、方向盘等等的操作(与车辆的驾驶相关的操作)的装置和系统也在不断发展。此外，将捕获图像作为记录存储的通常所称的行车记录仪等等也在不断发展。本发明的技术可以被应用于安装在车辆上的这样的车载装置、车载系统等等。
[0485]
在这种情况下，这样的车载装置(或车载系统)可以生成检测图像而不是前面描述的捕获图像并且在检测图像上设定复原区域(或非复原区域)就足够了。
[0486]
此时，例如可以根据车载装置(或车载系统)被安装在其上的车辆的行驶速度来设
定复原区域或非复原区域。举例来说，当车辆正以高速行驶时(以等于或高于预定速度的速度行驶)，可以将更远侧的区域(远距、宽角)设定为复原区域，并且当车辆正以低速行驶时(以低于预定速度的速度行驶)，可以将更近侧的区域(近距、窄角)设定为复原区域。换句话说，当车辆正以高速行驶时，可以将更近侧的区域(近距、窄角)设定为非复原区域，并且当车辆正以低速行驶时，可以将更远侧的区域(远距、宽角)设定为非复原区域。
[0487]
此外，可以根据被摄体设定复原区域(或非复原区域)。举例来说，包括以高于预设的预定阈值的速度进入视角的障碍物或者在预设的预定方向上进入视角的障碍物的部分区域可以被设定为复原区域或者可以被设定为非复原区域。此外，包括儿童的部分区域可以被设定为复原区域，但是球可以不被包括在复原区域中。此外，交通信号灯等等可以被包括在复原区域中。
[0488]
通过这种方式，车载装置(或车载系统)可以从检测图像产生复原图像从而使得仅有复原区域被复原(非复原区域不被复原)，并且仅对希望复原的区域进行复原(或者不对不希望复原的区域进行复原)。也就是说，可以控制将要复原的区域。
[0489]
通过这种方式，例如在对复原图像实施图像分析的情况下，不对不必要的区域进行复原，从而可以省略(或者从而可以简化)对于不必要的区域的图像分析。因此可以减少负荷的增加。此外，例如有可能降低由于对于不必要的区域(或不必要的被摄体等等)的图像分析的结果而发生情况确定或控制的错误的可能性。
[0490]
此外，在像行车记录仪中那样将检测图像作为记录存储的情况下，包括人物面部、牌照、挡风玻璃等等的区域可以被设定为复原区域，或者可以被设定为非复原区域。通过这种方式，可以减少由于对于个人信息的不经意的公开等等所导致的侵犯隐私权等等的发生。
[0491]
应当注意的是，在这种情况下，可以使得有可能根据用途(根据图像被提供到何处)对非复原区域进行复原。举例来说，当视频被提供给新闻媒体时，可以通过使用不复原非复原区域的复原矩阵产生复原图像，从而使得非复原区域不被复原，并且当视频被提供给警察时，可以通过使用整体复原矩阵产生复原图像，从而使得非复原区域也被复原。也就是说，仅有复原区域被复原的复原图像(或者被产生为使得非复原区域不被复原的复原图像)可以被提供给新闻媒体，整体(复原区域和非复原区域)被复原的复原图像可以被提供给警察。应当注意的是，检测图像和不复原非复原区域的复原矩阵可以被提供给新闻媒体，并且可以在新闻媒体处产生仅有复原区域被复原的复原图像(或者被产生为使得非复原区域不被复原的复原图像)。此外，检测图像和对应于检测图像的复原矩阵(整体复原矩阵)可以被提供给警察，并且可以在警察处产生整体(复原区域和非复原区域)被复原的复原图像。
[0492]
《智能电话等等》
[0493]
此外，本发明的技术可以被应用于具有图像捕获功能的移动信息处理终端装置等等，比如通常所称的智能电话、平板终端或笔记本型个人计算机。此外，本发明的技术可以被应用于比如数字摄影机或视频摄影机之类的图像捕获装置。在这种情况下，使得这样的移动信息处理终端装置或图像捕获装置有可能捕获被摄体的图像、生成检测图像而不是捕获图像以及在检测图像上设定复原区域(或非复原区域)就足够了。
[0494]
此时，例如整个背景可以被设定为非复原区域并且被掩蔽。此外，用户的面部之外
的其它面部(或者多个预先登记的面部)可以被设定为非复原区域，以防止用户的面部之外的其它面部被复原。此外，仅有围绕眼睛的部分可以被设定为非复原区域，以防止围绕眼睛的部分被复原。通过这种方式，可以减少由于对于个人信息的不经意的公开等等所导致的侵犯隐私权等等的发生。
[0495]
《监控摄影机》
[0496]
此外，本发明的技术可以被应用于通过使用监控摄影机来实施监控的装置、系统等等。在这种情况下，使得这样的监控摄影机有可能捕获被摄体的图像、生成检测图像而不是捕获图像以及在检测图像上设定复原区域(或非复原区域)就足够了。
[0497]
此时，例如人物的整个身体、人物的面部、人物的手部周围的空间等等可以被设定为非复原区域，以防止人物的整个身体、人物的面部、人物的手部周围的空间等等被复原。例如在位于安装atm(自动柜员机)的空间中的监控摄影机的情况下，正在输入pin码的用户的手部周围的空间可以被设定为非复原区域，以防止手部周围的空间被复原。此外，特定的建筑物、车辆等等可以被设定为非复原区域，以防止所述特定的建筑物、车辆等等被复原。
[0498]
在这种情况下，同样可以使得有可能根据用途对非复原区域进行复原。举例来说，当视频被提供给新闻媒体时，可以通过使用不复原非复原区域的复原矩阵产生复原图像，从而使得非复原区域不被复原，并且当视频被提供给警察时，可以通过使用整体复原矩阵产生复原图像，从而使得非复原区域也被复原。
[0499]
《服务提供水平的控制》
[0500]
此外，例如本发明的技术可以被应用于图像分发服务等等。举例来说，在从服务器分发前面描述的检测图像并且用户终端装置从检测图像产生复原图像的系统中，可以根据用户权限来控制将要复原的区域(可以识别复原区域)。举例来说，关于用户a的权限可以将用户a的小孩预先设定为复原目标。在提供给用户a的检测图像包括用户a的小孩的情况下，服务器连同检测图像一起向用户a提供其中包括用户a的小孩的区域被设定为复原区域的不复原非复原区域的复原矩阵，并且用户a被允许通过使用不复原非复原区域的复原矩阵产生复原图像。也就是说，可以使得包括对于用户a许可的被摄体(用户a的小孩)的仅仅部分区域对于用户a在视觉上可辨识。
[0501]
与此相对，在相同的检测图像被提供给用户b的情况下，服务器向用户b提供其中包括对于用户b许可的复原目标的区域被设定为复原区域的不复原非复原区域的复原矩阵。也就是说，可以使得包括对于用户b许可的被摄体的仅仅部分区域对于用户b在视觉上可辨识。
[0502]
通过这种方式，通过对于每一个用户(根据用户权限)设定复原区域和提供不复原非复原区域的复原矩阵，服务器可以对于每一个用户(根据用户权限)控制将要复原的区域。也就是说，服务器可以对于每一个用户(根据用户权限)提供服务(控制服务提供水平)。
[0503]
《其它示例》
[0504]
应当注意的是，可以对复原图像的非复原区域进行处理。举例来说，可以将非复原区域与另一幅图像进行合成。举例来说，在人物的面部部分被设定为非复原区域的情况下，可以将任何适当的样本面部图像与非复原区域进行合成。通过这种方式，对复原图像进行装饰，并且与其中非复原区域被表达为黑色图像等等的情况相比，例如可以减少复原图像的外观的劣化。
[0505]
《5、第三实施例》
[0506]
《车载装置》
[0507]
接下来将更加具体地解释前面描述的使用示例中的车载装置的一个示例。虽然车载装置的配置可以是任何配置，但是例如可以被配置成如图40中所描绘的那样。图40是描绘出作为为之应用本发明的技术的图像处理装置的一个实施例的车载装置的一个主要配置示例的图示。图40中所描绘的车载装置500是可以实施以下操作的装置：捕获被摄体的图像，对所捕获的图像进行分析，例如基于分析的结果控制加速器、制动、方向盘等等的操作(与车辆的驾驶相关的操作)，控制与车辆装备相关的操作，比如头灯照明的激活、转向信号灯的操作或者空调或显示装置的操作，给出警告、警示、引导等等，将所捕获的图像作为记录存储等等。类似于图像捕获装置100等等的情况，作为所捕获的图像，车载装置500可以设定将要分析的检测图像上的复原区域(非复原区域)，并且产生复原图像从而使得非复原区域不被复原。
[0508]
应当注意的是，图40描绘出主要的处理部分、数据流程等等，而不一定描绘出所包括的所有处理部分、数据流程等等。也就是说，在车载装置500中，可以有未被描绘为图40中方框的处理部分，可以有未被描绘为图40中的箭头等等的处理或数据流程等等。
[0509]
如图40中所描绘的那样，类似于图像捕获装置100的情况，车载装置500具有图像捕获部分101到复原部分105等等。这些处理部分实施基本上类似于图像捕获装置100中的那些处理。
[0510]
此外，车载装置500具有传感器部分511。传感器部分511是具有特定传感器的检测部分，并且可以检测与被摄体或者图像捕获部分101周围的环境相关的特定信息(也就是车辆和车辆周围的环境的至少其中之一)。举例来说，传感器部分511可以具有比如距离测量传感器、温度传感器或加速度传感器之类的传感器。不言自明的是，传感器部分511可以具有这些传感器之外的其它传感器。举例来说，传感器部分511可以具有检测加速器、制动、方向盘等等的操作状态的传感器。此外，传感器部分511可以具有检测其它装备上的操作状态的传感器。此外，传感器部分511可以具有感测车辆的碰撞等等的传感器，比如声学传感器或震动传感器。可以提供任何数量的传感器，数量可以是一个或更多。此外，传感器部分511可以检测任何数量的信息。举例来说，传感器部分511可以具有多种类型的传感器并且检测多种类型的信息。传感器部分511可以将所检测到的信息作为传感器信息提供到区域识别部分102。
[0511]
正如前面所描述的那样，区域识别部分102在检测图像上设定复原区域(或非复原区域)，并且生成复原区域信息(或非复原区域信息)。此时，基于训练数据和传感器信息，区域识别部分102可以设定复原区域(或非复原区域)。
[0512]
举例来说，基于使用温度传感器检测到的传感器信息(温度分布)，区域识别部分102可以确定被摄体是否人物，并且基于确定结果设定复原区域(或非复原区域)。此外，区域识别部分102可以根据由加速度传感器检测到的传感器信息(例如车辆速度)设定复原区域(或非复原区域)。此外，区域识别部分102可以根据由距离测量传感器检测到的传感器信息(例如与另一车辆或障碍物的距离)设定复原区域(或非复原区域)。
[0513]
此外，基于由传感器部分511检测到的加速器、制动、方向盘等等的操作状态，区域识别部分102可以实施对于加速器、制动、方向盘等等的突然操作的检测，并且根据检测结
果设定复原区域(或非复原区域)。此外，基于由传感器部分511检测到的声音或震动，区域识别部分102可以设定复原区域(或非复原区域)。
[0514]
应当注意的是，复原区域(或非复原区域)的设定还可以按照希望实施，或者可以通过根据条件从预先准备的预定选项中选择一个来实施(设定的切换)。例如在基于由距离测量传感器检测到的传感器信息确定与另一车辆发生碰撞的可能性很高的情况下，可以切换复原区域。
[0515]
通过这种方式，通过还使用传感器信息设定复原区域(或非复原区域)，区域识别部分102可以更加准确地设定复原区域(或非复原区域)。
[0516]
此外，车载装置500具有分析部分512、控制部分513、总线520、输入部分521、显示部分522、存储部分523、存储介质524和通信部分525。显示部分522到通信部分525也被称作输出部分530，因为它们可以实施与信息输出相关的处理。
[0517]
分析部分512可以经由总线520获取从复原部分105提供的复原图像(仅有复原区域被复原的复原图像)。分析部分512可以分析仅有复原区域被复原的复原图像，并且例如可以识别另一车辆、人物、障碍物等等，识别车辆的速度、姿态等等，识别与车辆周围的温度、亮度相关的情况等等。分析部分512可以将分析结果经由总线520提供到控制部分513。
[0518]
控制部分513可以经由总线520获取从分析部分512提供的分析结果。举例来说，基于分析结果，控制部分513可以控制加速器、制动、方向盘等等的操作(与车辆的驾驶相关的操作)，控制与车辆装备相关的操作，比如头灯照明的激活、转向信号灯的操作或者空调或显示装置的操作，给出警告、警示、引导等等，将所捕获的图像作为记录存储等等。
[0519]
举例来说，输入部分521具有特定输入设备，比如键盘、鼠标、麦克风、触摸板或输入终端，并且可以经由输入设备接收通过用户等等的操作输入的信息、从另一个装置提供的信息等等。输入部分521可以将所接收到的信息经由总线520适当地提供到另一个处理部分(特定处理部分)。
[0520]
此外，从复原部分105输出的复原图像(仅有复原区域被复原的复原图像)可以经由总线520被提供到显示部分522、存储部分523或通信部分525。
[0521]
举例来说，显示部分522具有可以显示图像的监视器，并且包括液晶面板、有机el(电致发光)面板等等。举例来说，显示部分522可以显示从复原部分105提供的复原图像。除此之外，例如显示部分522可以显示比如菜单之类的gui(图形用户界面)、车载装置500的设定信息等等。此外，显示部分522可以显示存储在存储介质524上的复原图像。举例来说，显示部分522可以显示存储在存储介质524上的复原图像的缩略图。
[0522]
举例来说，存储部分523控制包括半导体存储器等等的存储介质524的存储。存储介质524可以是可移除存储介质，或者可以是内置在车载装置500中的存储介质。举例来说，存储部分523可以在存储介质524上存储经由总线520提供的复原图像。此外，存储部分523可以在存储介质524上存储经由总线520提供并且彼此相关联的检测图像和不复原非复原区域的复原矩阵。
[0523]
此外，例如存储部分523可以读出存储在存储介质524上的数据，并且将数据经由总线520提供到另一个处理部分(例如显示部分522、通信部分525等等)。举例来说，存储部分523可以从存储介质读出复原图像(或其缩略图)，将复原图像经由总线520提供到显示部分522，并且使得显示部分522显示复原图像。此外，例如存储部分523可以从存储介质读出
复原图像或检测图像和不复原非复原区域的复原矩阵，将复原图像或检测图像和不复原非复原区域的复原矩阵经由总线520提供到通信部分525，并且使得通信部分525将复原图像或检测图像和不复原非复原区域的复原矩阵发送到另一个装置。
[0524]
通过特定的通信方法，通信部分525与因特网上的服务器、通过线缆或以无线方式建立的lan上的另一个装置、另一个外部设备等等实施通信。举例来说，通过所述通信，通信部分525将经由总线520从复原部分105、存储部分523等等提供的复原图像或检测图像和不复原非复原区域的复原矩阵发送到通信伙伴(外部设备)。举例来说，通信部分525可以通过流送方法或上传方法来发送数据。
[0525]
区域识别部分102可以通过识别复原区域(或非复原区域)来控制将要复原的区域。相应地，类似于图像捕获装置100的情况，如前面所描述的那样配置车载装置500，因此车载装置500可以产生复原图像从而使得特定区域不被复原。
[0526]
因此，例如在图像分析、图像存储等等中，车载装置500可以获得比如前面在《4、使用示例》中描述的优点。
[0527]
应当注意的是，车载装置500的处理部分(图像捕获部分101到复原部分105、传感器部分511和输入部分521到通信部分525)可以分别具有任何配置。举例来说，每一个处理部分可以包括实现前面描述的处理的逻辑电路。此外，例如每一个处理部分可以具有cpu、rom、ram等等，并且通过使用它执行程序来实现前面描述的处理。不言自明的是，每一个处理部分可以具有全部两种类型的配置，通过使用逻辑电路实现前面描述的其中一些处理，并且通过执行程序实现其它处理。处理部分的配置可以独立于彼此。举例来说，一些处理部分可以通过使用逻辑电路实现前面描述的其中一些处理，其它一些处理部分可以通过执行程序实现前面描述的处理，另外的处理部分可以通过使用逻辑电路和程序执行全部二者实现前面描述的处理。
[0528]
《复原图像生成处理的规程》
[0529]
将参照图41中的流程图来解释复原图像生成处理的规程的一个示例，其中车载装置500捕获被摄体的图像并且从所获得的检测图像产生复原图像，从而使得非复原区域不被复原。
[0530]
当复原图像生成处理开始时，在步骤s551中，车载装置500(图40)的图像捕获部分101通过使用图像捕获元件121捕获被摄体的图像，并且生成检测图像。
[0531]
在步骤s552中，传感器部分511实施感测，检测与被摄体或者图像捕获部分101周围的环境相关的预定信息，并且生成传感器信息。
[0532]
在步骤s553中，基于从训练数据存储部分103读出的训练数据和在步骤s552中获得的传感器信息，区域识别部分102从步骤s551中生成的检测图像识别复原区域(或非复原区域)，并且生成表示复原区域的复原区域信息(或表示非复原区域的非复原区域信息)。
[0533]
在步骤s554中，基于步骤s553中生成的复原区域信息(或非复原区域信息)，复原矩阵更新部分104更新对应于检测图像整体的复原矩阵，并且生成不复原非复原区域的复原矩阵。
[0534]
在步骤s555中，通过使用步骤s554中生成的不复原非复原区域的复原矩阵，复原部分105从步骤s551中生成的检测图像产生复原图像，从而使得非复原区域不被复原。
[0535]
在步骤s556中，输出部分530输出仅有复原区域在步骤s555中被复原的复原图像。
举例来说，显示部分522显示复原图像。此外，存储部分523将复原图像的数据存储在存储介质524上。此外，通信部分525将复原图像的数据发送到另一个装置。
[0536]
应当注意的是，可以省略步骤s555中的处理，并且在步骤s556中，输出部分530可以将步骤s551中生成的检测图像和步骤s554中生成的不复原非复原区域的复原矩阵彼此相关联。举例来说，存储部分523可以将检测图像或不复原非复原区域的复原矩阵的数据存储在存储介质524上。此外，通信部分525可以将检测图像或不复原非复原区域的复原矩阵的数据发送到另一个装置。
[0537]
在步骤s556中的处理结束之后，复原图像生成处理结束。
[0538]
正如前面所描述的那样，区域识别部分102可以通过识别复原区域(或非复原区域)来控制将要复原的区域。相应地，通过执行如前面所描述的处理，车载装置500可以产生复原图像，从而使得特定区域不被复原。车载装置500从而例如可以获得比如前面在《4、使用示例》中描述的优点。
[0539]
《6、第四实施例》
[0540]
《图像捕获元件的另一种配置》
[0541]
虽然至此解释了图像捕获元件121的一个示例，图像捕获元件121只需要具有包括至少两个像素输出单位的多个像素输出单位，其中所述至少两个像素输出单位的与接收自被摄体的入射光束的入射角相关的特性是互不相同的，并且所述配置可以是任何配置。
[0542]
举例来说，随机黑白图案掩模或光学干涉掩模可以被用作调制元件，进入图像捕获元件121的图像捕获平面的光束可以根据黑白图案或光束的干涉被调制。
[0543]
图42描绘出图像捕获元件的另一种配置。图像捕获元件821具有固定到图像捕获元件822的掩模823，从而使得在掩模823与图像捕获元件822的图像捕获平面ip之间有预定的间隔，并且被配置为使得来自被摄体平面op的光束在被掩模823调制之后进入图像捕获元件822的图像捕获平面ip。
[0544]
图43描绘出使用黑白图案掩模的情况。图43中的a示出了黑白图案掩模。黑白图案掩模823bw具有这样的配置，其中透射光束的白色图案部分和屏蔽光束的黑色图案部分是随机安排的，并且图案尺寸独立于图像捕获元件822的像素尺寸被设定。图43中的b示意性地描绘出从点光源pa发出的光束和从点光源pb发出的光束照射图像捕获平面ip的状态。此外，图43中的b示意性地描绘出关于从点光源pa发出的单独光束和从点光源pb发出的光束使用黑白图案掩模823bw的状态下的图像捕获元件的响应的示例。来自被摄体平面op的光束在被黑白图案掩模823bw调制之后进入图像捕获元件822的图像捕获平面ip。相应地，对应于从被摄体平面op的点光源pa发出的光束的图像捕获元件的响应是sbwa。此外，对应于从被摄体平面op的点光源pb发出的光束的图像捕获元件的响应是sbwb。相应地，从图像捕获元件822输出的像素输出信息是通过对于每一个像素输出单位合成针对每一个点光源的响应而生成的信息。
[0545]
图44描绘出使用光学干涉掩模的情况。如图44中的a中所描绘的那样，从被摄体平面op的点光源pa和pb发出的光束经由光学干涉掩模823lf照射图像捕获元件822的图像捕获平面ip。举例来说，如图44中的b中所描绘的那样，光学干涉掩模823lf的光入射表面提供有近似对应于波长的凹陷和突起。此外，光学干涉掩模823lf对于从垂直方向发出的具有特定波长的光束具有最高透射率。随着从被摄体平面op的点光源pa和pb发出的具有特定波长
的光束相对于光学干涉掩模823lf的入射角的改变(相对于垂直方向的倾斜)增大，光学路径长度发生改变。在这里，当光学路径长度是半波长的奇数倍时，光束彼此削弱，当光学路径长度是半波长的偶数倍时，光束彼此增强。也就是说，如图44中的c中所描绘的那样，从点光源pa或pb发出并且透射穿过光学干涉掩模823lf的具有特定波长的透射光束的强度根据相对于光学干涉掩模823lf的入射角被调制，并且透射光束进入图像捕获元件822的图像捕获平面ip。相应地，从图像捕获元件822输出的像素输出信息是通过在对于每一个像素输出单位的每一个点光源的调制之后获得的光学强度的合成而生成的。
[0546]
此外，掩模823可以具有这样的配置，其中图43中所描绘的黑色图案被用作λ/2波板(λ是波长)，并且在等于掩模的前表面和后表面的偏振方向上提供线性偏振元件。在这种情况下，如果从点光源发出具有波长λ的光束，则透射穿过λ/2波板的偏振光束的偏振平面被旋转，因此光量与透射穿过白色图案部分的光束相比减少。因此，可以类似于图43中描绘的情况生成像素输出信息。应当注意的是，举例来说，如果远红外光被用作从点光源发出的具有特定波长的光束，即使图像捕获区域是暗的，也可以生成根据图像捕获区域中的被摄体的像素输出信息。
[0547]
应当注意的是，在这些配置的情况下，有必要将比如掩模之类的另一个配置添加到图像捕获元件，因此前面描述的图像捕获元件121(图3)允许进一步的尺寸减小。
[0548]
图像捕获元件121具有以下配置中的任一种就足够了：比如参照图5所解释的配置，比如参照图6所解释的配置，比如参照图42和图43所解释的配置，或者比如参照图44所解释的配置。也就是说，如果图像捕获元件121具有这些配置中的任一种，则本发明的技术可以被应用于该图像捕获元件121或者具有该图像捕获元件121的装置等等。也就是说，图像捕获元件121只需要是这样的图像捕获元件：包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素输出单位，并且被配置为使得所述多个像素输出单位中的至少两个像素输出单位的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。
[0549]
此外，图像捕获元件121具有比如参照图5所解释的配置或者比如参照图6所解释的配置就足够了。也就是说，如果图像捕获元件121具有这些配置中的任一种，则本发明的技术可以被应用于该图像捕获元件121或者具有该图像捕获元件121的装置等等。也就是说，图像捕获元件121可以被配置为使得可以独立地设定图像捕获元件121的多个像素输出单位中的每一个像素输出单位的输出像素值的入射角方向敏感性。
[0550]
举例来说，图像捕获元件121具有比如参照图5所解释的配置就足够了。也就是说，如果图像捕获元件121具有这样的配置，则本发明的技术可以被应用于该图像捕获元件121或者具有该图像捕获元件121的装置等等。也就是说，图像捕获元件121可以被配置为使得可以独立地设定图像捕获元件121的多个像素输出单位中的每一个像素输出单位的输出像素值关于来自被摄体的入射光束的入射角方向敏感性。
[0551]
此外，举例来说，图像捕获元件121具有比如参照图6所解释的配置就足够了。也就是说，如果图像捕获元件121具有这样的配置，则本发明的技术可以被应用于该图像捕获元件121或者具有该图像捕获元件121的装置等等。也就是说，通过使得对输出有贡献的pd(光电二极管)在多个像素输出单位之间是互不相同的，可以使得有可能独立地设定图像捕获元件121中的多个像素输出单位中的每一个像素输出单位的输出像素值的入射角方向敏感
性。
[0552]
《7、备注》
[0553]
《计算机》
[0554]
前面描述的一系列处理还可以通过硬件执行，或者还可以通过软件执行。在通过软件执行所述一系列处理的情况下，包括在软件中的程序被安装在计算机上。在这里，计算机包括被合并在专用硬件中的计算机，例如可以通过在其中安装各种类型的程序来执行各种类型的功能的通用个人计算机等等。
[0555]
图45是描绘出通过程序执行前面描述的一系列处理的计算机的硬件的一个配置示例的方框图。
[0556]
在图45中所描绘的计算机900中，cpu(中央处理单元)901、rom(只读存储器)902和ram(随机存取存储器)903通过总线904互连。
[0557]
总线904还与输入/输出接口910连接。输入/输出接口910与输入部分911、输出部分912、存储部分913、通信部分914和驱动器915连接。
[0558]
举例来说，输入部分911包括键盘、鼠标、麦克风、触摸板、输入终端等等。举例来说，输出部分912包括显示器、扬声器、输出终端等等。举例来说，存储部分913包括硬盘、ram盘、非易失性存储器等等。举例来说，通信部分914包括网络接口。驱动器915驱动可移除记录介质921，比如磁盘、光盘、磁光盘或半导体存储器。
[0559]
在如前面所描述的那样配置的计算机中，cpu 901例如将存储在存储部分913上的程序经由输入/输出接口910和总线904加载到ram903上，并且执行程序从而实施前面描述的一系列处理。此外，对于cpu 901执行各种类型的处理所必要的数据等等被适当地存储在ram903上。
[0560]
由计算机执行的程序例如可以在记录在作为包装介质的可移除记录介质921上的情况下被应用。在这种情况下，可移除记录介质921附接到驱动器915，从而可以将程序经由输入/输出接口910安装在存储部分913上。
[0561]
此外，还可以经由线缆传输介质或者比如局域网、因特网或数字卫星广播之类的无线传输介质来提供该程序。在这种情况下，可以在通信部分914处接收程序并且安装在存储部分913上。
[0562]
除此之外，还可以将该程序预先安装在rom 902或存储部分913上。
[0563]
《本发明的技术的应用目标》
[0564]
应当注意的是，为之应用本发明的技术的系统、装置、处理部分等等可以被使用在任何领域，例如交通运输、医疗护理、犯罪预防、农业、畜牧业、采矿业、美容业、工厂、家用电器、气象学或大自然监控。此外，其在这些领域中的用途可以是任何用途。
[0565]
举例来说，本发明的技术可以被应用于针对提供将被观看和收听等等的内容的系统和设备。此外，举例来说，本发明的技术还可以被应用于针对交通运输的系统和设备，比如交通情况的监管或者自动化驾驶控制。此外，举例来说，本发明的技术还可以被应用于针对安保的系统和设备。此外，举例来说，本发明的技术可以被应用于针对机器等等的自动控制的系统和设备。此外，举例来说，本发明的技术可以被应用于针对农业和畜牧业的系统和设备。此外，举例来说，本发明的技术还可以被应用于监控大自然的状态的系统和设备，比如火山、森林或海洋、野生生物等等。此外，举例来说，本发明的技术还可以被应用于针对体
育运动的系统和设备。
[0566]
《其它》
[0567]
本发明的技术的实施例不限于前面描述的实施例，并且在不背离本发明的技术的主旨的范围内可以以多种方式改变。
[0568]
举例来说，本发明的技术还可以被实施为包括在装置或系统中的任何配置，比如作为系统lsi(大规模集成)的处理器等等，使用多个处理器的模块等等，使用多个处理器的单位等等，或者作为具有其它附加功能的单位的集合(也就是说本发明的技术可以被实施为装置的部分配置)。
[0569]
此外，前面描述的每一个处理部分可以通过任何配置来实现。举例来说，每一个处理部分可以包括电路、lsi、系统lsi、处理器、模块、单位、集合、设备、装置、系统等等。此外，可以组合其中的多项。此时，例如可以组合相同类型的配置，比如多个电路、多个处理器等等，或者可以组合不同类型的配置，比如电路、lsi等等。
[0570]
应当注意的是，在本说明书中，系统意味着多个构成元件(装置、模块(组件)等等)的集合，所有构成元件是否位于单个外罩中并不重要。相应地，容纳在分开的外罩中并且经由网络连接的多个装置和具有容纳在一个外罩中的多个模块的一个装置都是系统。
[0571]
此外，举例来说，作为一个装置(或处理部分)解释的配置可以被划分并且配置为多个装置(或处理部分)。相反，作为多个装置(或处理部分)解释的配置可以被放在一起并且配置为一个装置(或处理部分)。此外，不言自明的是，每一个装置(或每一个处理部分)的配置可以另外具有前面所描述的那些配置之外的其它配置。此外，只要作为整体系统可以获得基本上相同的配置或操作，一个装置(或处理部分)的其中一些配置可以被包括在另一个装置(或另一个处理部分)的配置中。
[0572]
此外，举例来说，本发明的技术可以被配置为云计算，其中一项功能由多个装置经由网络共享并且彼此协作来处理。举例来说，本发明的技术还可以被应用于为特定终端提供与捕获图像(运动图像)相关的服务的云服务，所述特定终端比如是计算机、av(音视频)装备、移动信息处理终端或iot(物联网)设备。
[0573]
此外，举例来说，前面描述的程序可以在任何装置处执行。在这种情况下，所述装置具有必要的功能(功能块等等)并且可以获得必要的信息就足够了。
[0574]
此外，举例来说，除了在一个装置上执行之外，在前面描述的流程图中解释的每一个步骤可以由多个装置共享并且在其上执行。此外，在一个步骤包括多个处理的情况下，除了在一个装置上执行之外，包括在一个步骤中的多个处理可以在多个装置之间共享并且在其上执行。换句话说，包括在一个步骤中的多个处理也可以作为多个步骤的处理来执行。相反，被解释为多个步骤的处理也可以作为一个步骤被统一执行。
[0575]
关于由计算机执行的程序，描述所述程序的步骤的处理可以按照在本说明书中解释的顺序在时间序列中执行，可以并行地执行，或者可以在必要的定时(比如在处理被调用时)单独执行。也就是说，只要不发生冲突，可以按照与前面描述的顺序不同的顺序来执行每一个步骤的处理。此外，描述所述程序的步骤的处理可以与其它程序的处理并行地执行，并且可以与其它程序的处理组合执行。
[0576]
只要实施方式不会导致冲突，在本说明书中所解释的本发明的技术的多个方面可以分别独立地单独被实施。不言自明的是，本发明的技术的特定的多个方面也可以被组合
实施。举例来说，在任何实施例中所解释的本发明的技术的部分或整体也可以通过与在另一个实施例中所解释的本发明的技术的部分或整体相组合来实施。此外，前面描述的本发明的技术的特定部分或整体也可以通过与前面未做描述的另一种技术相组合来实施。
[0577]
本发明的技术还可以具有比如下面所描述的配置。
[0578]
(1)一种图像处理装置，包括：
[0579]
识别将在其中通过使用复原矩阵产生复原图像的复原区域的区域识别部分，复原区域处于在图像捕获元件处获得的检测图像的区域中，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素，并且被配置为使得所述多个像素中的至少两个像素的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。
[0580]
(2)根据(1)的图像处理装置，其中，复原区域包括检测图像的部分区域，所述部分区域对应于复原图像上的包括预先登记的被摄体的区域或者所述包括预先登记的被摄体的区域之外的区域。
[0581]
(3)根据(2)的图像处理装置，其中，复原区域包括检测图像的部分区域，所述部分区域对应于复原图像上的包括被摄体的预先登记的部分的区域或者所述包括被摄体的预先登记的部分的区域之外的区域。
[0582]
(4)根据(3)的图像处理装置，其中，复原区域包括检测图像的部分区域，所述部分区域对应于复原图像上的包括人物面部的区域或者所述包括人物面部的区域之外的区域。
[0583]
(5)根据(2)到(4)中任一项的图像处理装置，其中，复原区域包括检测图像的部分区域，所述部分区域对应于复原图像上的包括预先登记的人物的区域或者所述包括预先登记的人物的区域之外的区域。
[0584]
(6)根据(1)到(5)中任一项的图像处理装置，其中，复原区域包括检测图像的部分区域，所述部分区域对应于复原图像上的包括满足预先登记的条件的被摄体的区域或者所述包括满足预先登记的条件的被摄体的区域之外的区域。
[0585]
(7)根据(1)到(6)中任一项的图像处理装置，其中，复原区域包括提供在检测图像中的预先登记的位置处并且具有预先登记的尺寸的部分区域。
[0586]
(8)根据(1)到(7)中任一项的图像处理装置，还包括：
[0587]
训练结果存储部分，存储使用检测图像和关于与检测图像对应的复原区域的信息作为教导数据的训练的结果，其中
[0588]
区域识别部分基于存储在训练结果存储部分上的训练结果识别检测图像的复原区域。
[0589]
(9)根据(1)到(8)中任一项的图像处理装置，还包括：
[0590]
部分复原矩阵设定部分，设定将被用于仅产生由区域识别部分从检测图像识别出的复原区域的复原图像的部分复原矩阵。
[0591]
(10)根据(9)的图像处理装置，其中，部分复原矩阵设定部分通过将作为对应于检测图像整体的复原矩阵的整体复原矩阵的系数中的不对应于复原区域的系数设定为预先登记的值来设定部分复原矩阵。
[0592]
(11)根据(9)或(10)的图像处理装置，其中，部分复原矩阵设定部分通过删除作为对应于检测图像整体的复原矩阵的整体复原矩阵的系数中的不对应于复原区域的系数来
设定部分复原矩阵。
[0593]
(12)根据(9)到(11)中任一项的图像处理装置，还包括：
[0594]
复原部分，通过使用由部分复原矩阵设定部分设定的部分复原矩阵从检测图像产生复原区域的复原图像。
[0595]
(13)根据(1)到(12)中任一项的图像处理装置，还包括：
[0596]
图像捕获元件。
[0597]
(14)根据(13)的图像处理装置，其中，所述多个像素输出单位被配置为使得可以独立地设定每一个像素输出单位的输出像素值的入射角方向敏感性。
[0598]
(15)根据(13)或(14)的图像处理装置，其中，所述多个像素输出单位被配置为使得可以独立地设定每一个像素输出单位关于来自被摄体的入射光束的入射角方向敏感性。
[0599]
(16)根据(13)到(15)中任一项的图像处理装置，其中，通过使得对输出有贡献的pd(光电二极管)在多个像素输出单位之间是互不相同的，可以独立地设定每一个像素输出单位的输出像素值的入射角方向敏感性。
[0600]
(17)根据(13)到(16)中任一项的图像处理装置，还包括：
[0601]
检测关于车辆和车辆周围的环境中的至少任一个的信息的检测部分，其中
[0602]
通过使用由检测部分检测到的信息，区域识别部分识别在图像捕获元件处获得的检测图像的复原区域。
[0603]
(18)根据(17)的图像处理装置，其中，区域识别部分根据由检测部分检测到的车辆的速度来识别复原区域。
[0604]
(19)根据(17)的图像处理装置，其中，区域识别部分将包括以高于阈值的速度进入视角的由检测部分检测到的障碍物或者在预设方向上进入视角的由检测部分检测到的障碍物的部分区域识别为复原区域。
[0605]
(20)根据(1)到(19)中任一项的图像处理装置，其中，区域识别部分根据复原图像被提供到何处来识别复原区域。
[0606]
(21)根据(1)到(20)中任一项的图像处理装置，其中，区域识别部分根据用户权限来识别复原区域。
[0607]
(22)一种图像处理方法，包括：
[0608]
识别将在其中通过使用在图像捕获元件处获得的检测图像的复原矩阵产生复原图像的复原区域，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素输出单位，并且被配置为使得所述多个像素输出单位中的至少两个像素输出单位的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。
[0609]
(23)一种程序，使得计算机充当：
[0610]
区域识别部分，识别将在其中通过使用在图像捕获元件处获得的检测图像的复原矩阵产生复原图像的复原区域，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素输出单位，并且被配置为使得所述多个像素输出单位中的至少两个像素输出单位的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性。
[0611]
(24)一种图像处理系统，包括：
[0612]
图像捕获装置和图像处理装置，其中
[0613]
图像捕获装置包括图像捕获元件，图像捕获元件包括接收既非经由图像捕获透镜也非经由针孔入射在其上的入射光束的多个像素输出单位，并且被配置为使得所述多个像素输出单位中的至少两个像素输出单位的输出像素值在关于来自被摄体的入射光束的入射角方向敏感性方面具有互不相同的特性，并且
[0614]
图像处理装置包括区域识别部分，区域识别部分识别将在其中通过使用在图像捕获元件处获得的检测图像的复原矩阵产生复原图像的复原区域。
[0615]
附图标记列表
[0616]
100：图像捕获装置
[0617]
101：图像捕获部分
[0618]
102：区域识别部分
[0619]
103：训练数据存储部分
[0620]
104：复原矩阵更新部分
[0621]
105：复原部分
[0622]
121：图像捕获元件
[0623]
400：图像处理系统
[0624]
401：图像捕获装置
[0625]
402：图像处理装置
[0626]
410：图像处理系统
[0627]
411：图像捕获装置
[0628]
412：图像处理装置
[0629]
413：复原装置
[0630]
420：图像处理系统
[0631]
421：图像捕获装置
[0632]
422：图像处理装置
[0633]
423：复原装置
[0634]
430：图像处理系统
[0635]
431：图像捕获装置
[0636]
432：复原装置
[0637]
440：图像处理系统
[0638]
441：图像捕获装置
[0639]
442：复原装置
[0640]
500：车载装置
[0641]
511：传感器部分
[0642]
520：总线
[0643]
521：输入部分
[0644]
522：显示部分
[0645]
523：存储部分
[0646]
524：存储介质
[0647]
525：通信部分
[0648]
530：输出部分