可互换透镜、信息处理装置、信息处理方法和程序与流程

1.本技术涉及可互换透镜、信息处理装置、信息处理方法和程序，特别地，涉及例如用于使得能够进行适当处理的可互换透镜、信息处理装置、信息处理方法和程序。


背景技术：

2.提出了一种用于提高使用包括具有彼此不同的视点的多个图像的多视点图像的服务的便利性的技术(例如，参见专利文献1)。
3.引文列表
4.专利文献
5.专利文献1:国际公开号2015/037472


技术实现要素：

6.本发明要解决的问题
7.例如，多视点图像可以由包括单眼透镜的相机系统拍摄，所述单眼透镜是布置成在光轴方向上彼此不交叠的多个透镜。
8.然而，在相机系统中，在多个单眼透镜沿光轴方向被送出并调整焦点等的情况下，与在由图像传感器拍摄的拍摄图像上由单眼透镜聚集的光束形成的图像相对应的单眼图像的区域可能在送出前后改变。
9.当单眼图像的区域改变时，可能难以在相机系统中适当地执行处理。
10.本技术是鉴于上述情况而提出的，并且使得能够进行适当的处理。
11.针对问题的解决方案
12.本技术的可互换透镜是如下可互换透镜，包括：镜筒；可移动单元，被配置为可相对于所述镜筒沿光轴移动；多个单眼透镜，被配置为能够与所述可移动单元一体地移动，并且被布置成使得通过各个单眼透镜发射的成像光的发射位置彼此不交叠；和一个或多个光源，被配置为可与所述可移动单元和所述多个单眼透镜一体地沿光轴移动，并且被布置成使得发射到设置在相机机身中的图像传感器的照射光的发射位置不与所述多个单眼透镜中的每个的成像光的发射位置交叠。
13.在本技术的可互换透镜中，可移动单元被配置为可相对于所述镜筒沿光轴移动，多个单眼透镜被配置为能够与所述可移动单元一体地移动，并且通过各个单眼透镜发射的成像光的发射位置被布置成彼此不交叠。一个或多个光源被配置为可与所述可移动单元和所述多个单眼透镜一体地沿光轴移动，并且被布置成使得发射到设置在相机机身中的图像传感器的照射光的发射位置不与所述多个单眼透镜中的每个的成像光的发射位置交叠。
14.本技术的信息处理装置或程序是包括如下单元的信息处理装置或用于使计算机作为这样的信息处理装置工作的程序，所述信息处理装置包括：检测单元，被配置为检测在由图像传感器拍摄的拍摄图像上的光图像，所述光图像是从透镜单元的光源发射的照射光的光图像，所述透镜单元包括：镜筒；可移动单元，被配置为可相对于所述镜筒沿光轴移动；
多个单眼透镜，被配置为能够与所述可移动单元一体地移动，并且被布置成使得通过各个单眼透镜发射的成像光的发射位置彼此不交叠；和一个或多个光源，被配置为可与所述可移动单元和所述多个单眼透镜一体地沿光轴移动，并且被布置成使得发射到设置在相机机身中的图像传感器的照射光的发射位置不与所述多个单眼透镜中的每个的成像光的发射位置交叠；以及处理单元，被配置为根据检测单元的检测结果执行处理。
15.本技术的信息处理方法是一种信息处理方法，包括：检测在由图像传感器拍摄的拍摄图像上的光图像的检测步骤，所述光图像是从透镜单元的光源发射的照射光的光图像，所述透镜单元包括：镜筒；可移动单元，被配置为可相对于所述镜筒沿光轴移动；多个单眼透镜，被配置为能够与所述可移动单元一体地移动，并且被布置成使得通过各个单眼透镜发射的成像光的发射位置彼此不交叠；和一个或多个光源，被配置为可与所述可移动单元和所述多个单眼透镜一体地沿光轴移动，并且被布置成使得发射到设置在相机机身中的图像传感器的照射光的发射位置不与所述多个单眼透镜中的每个的成像光的发射位置交叠；以及根据检测步骤的检测结果进行处理的处理步骤。
16.在本技术的信息处理装置、信息处理方法和程序中，检测由图像传感器拍摄的拍摄图像上的光图像，该光图像是从透镜单元的光源发射的照射光的光图像，所述透镜单元包括：镜筒；可移动单元，被配置为可相对于所述镜筒沿光轴移动；多个单眼透镜，被配置为能够与所述可移动单元一体地移动，并且被布置成使得通过各个单眼透镜发射的成像光的发射位置彼此不交叠；和一个或多个光源，被配置为可与所述可移动单元和所述多个单眼透镜一体地沿光轴移动，并且被布置成使得发射到设置在相机机身中的图像传感器的照射光的发射位置不与所述多个单眼透镜中的每个的成像光的发射位置交叠，以及根据检测结果执行处理。
17.注意，信息处理装置可以是独立的装置，或者可以是配置一个装置的内部块。
18.此外，可以通过经由发送介质发送或通过记录在记录介质上来提供程序。
附图说明
19.图1是示出应用本技术的相机系统的实施例的配置示例的透视图。
20.图2是示出相机系统1的电气配置示例的框图。
21.图3是用于描述使用多眼可互换透镜20执行的拍摄图像的成像的概要的图。
22.图4是示出多眼可互换透镜20中的单眼透镜310至314和光源32l和32r的布置示例以及使用多眼可互换透镜20拍摄的拍摄图像的视图。
23.图5是用于描述当多眼可互换透镜20附接(安装)到相机机身10时的附接误差的图。
24.图6是用于描述获得相对光轴中心位置(dx1
′
，dy1
′
)到(dx4
′
，dy4
′
)作为安装误差反映位置信息的计算方法的图。
25.图7是示出图像处理单元53的配置示例的框图。
26.图8是用于描述由相机系统1执行的校准的图。
27.图9是用于描述与多个基准焦点位置相对应的多个进给量的校准数据的生成的图。
28.图10是用于描述由相机系统1执行的一般成像的图。
29.图11是用于描述通过插值针对对应于成像焦点位置p4的成像进给量的校准数据进行的生成的图。
30.图12是示出光源32l和32r的配置示例的截面图。
31.图13是示出多眼可互换透镜20的配置示例的截面图。
32.图14是用于描述检测进给单元23的进给量的第一检测方法的图。
33.图15是示出作为点光的非平行光的点大小的变化的示例的图。
34.图16是用于描述通过第一检测方法检测进给量的处理的示例的流程图。
35.图17是用于描述检测进给单元23的进给量的第二检测方法的图。
36.图18是用于描述通过第二检测方法检测进给量的处理的示例的流程图。
37.图19是用于描述检测进给单元23的进给量的第三检测方法的图。
38.图20是用于描述当进给单元23从最小进给状态移动到最大进给状态时，其中作为点光的非平行光被聚集的聚集点位于包括图像传感器51的前侧和深度侧之一的状态的图。
39.图21是用于描述检测进给单元23的进给量的第四检测方法的图。
40.图22是示出在进给单元23处于最小进给状态的情况下的点光的照射位置和在进给单元23处于最大进给状态的情况下的点光的照射位置的图。
41.图23是示出在进给单元23处于最小进给状态的情况下出现点光图像pl'和pr'的拍摄图像，以及在进给单元23处于最大进给状态的情况下出现点光图像pl”和pr”的拍摄图像的示例的图。
42.图24是用于描述通过第四检测方法检测进给量的处理的示例的流程图。
43.图25是示出多眼可互换透镜20的另一配置示例的图。
44.图26是示出光源32l和32r的另一配置示例的截面图。
45.图27是示出点光图像的位置随透镜倾斜而改变的状态的图。
46.图28是示出相机系统1的另一电气配置示例的框图。
47.图29是示出对关联信息执行后处理的后处理设备的配置示例的框图。
48.图30是示出对关联信息执行后处理的后处理设备的另一配置示例的框图。
49.图31是示出应用了本技术的相机系统的第一另一实施例的电气配置示例的框图。
50.图32是示出应用了本技术的相机系统的第二另一实施例的电气配置示例的框图。
51.图33是示出应用本技术的计算机的实施例的配置示例的框图。
具体实施方式
52.<应用本技术的相机系统的实施例>
53.图1是示出应用了本技术的相机系统(成像设备)的实施例的配置示例的透视图。
54.相机系统1包括相机机身10和多眼可互换透镜20(透镜单元)。
55.多眼可互换透镜20可附接至相机机身10且可从相机机身10拆卸。即，相机机身10包括相机安装座11，且多眼可互换透镜20(的透镜安装座22)固定(附接)至相机安装座11，使得多眼可互换透镜20安装在相机机身10上。注意，除了多眼可互换透镜20之外的一般可互换透镜可以附接到相机机身10并从相机机身10拆卸。
56.相机机身10包括图像传感器51。图像传感器51例如是互补金属氧化物半导体(cmos)图像传感器，并且通过接收由安装在相机机身10(的相机安装座11)上的多眼可互换
透镜20或其他可互换透镜聚集的光束并执行光电转换来成像。在下文中，通过图像传感器51成像获得的图像也被称为拍摄图像。
57.多眼可互换透镜20包括镜筒21、透镜安装座22和进给单元23。进给单元23是可移动单元，其被配置为可相对于镜筒21沿着镜筒21的光轴移动。进给单元23包括五个单眼透镜310、311、312、313以及314，作为多个单眼透镜。多个单眼透镜31
i
被配置为与进给单元23一体地可移动，并且被布置成使得经由单眼透镜31
i
发射的成像光的发射位置不彼此交叠。此外，进给单元23包括光源32l和32r。光源32l和32r被配置为与进给单元23和多个单眼透镜31
i
一体地沿着镜筒21的光轴可移动，并且被布置成使得发射到设置在相机机身10中的图像传感器51的照射光的发射位置不与多个单眼透镜31
i
中的每个的成像光的发射位置交叠。
58.镜筒21具有基本圆筒形，并且透镜安装座22形成在圆筒形的一个底面侧。
59.当多眼可互换透镜20安装在相机机身10上时，透镜安装座22固定(附接)到相机机身10的相机安装座11。
60.进给单元23具有基本上柱状的形状，并且被容纳在圆筒形镜筒21中。
61.进给单元23设置有多个五个透镜，即，单眼透镜310、311、312、313和314，它们被布置成在整个镜筒21的光轴(镜筒光轴)的光轴方向上不交叠(在观看时)。在图1中，五个单眼透镜310到314以四个单眼透镜311到314构成在与镜筒光轴正交的二维平面(平行于图像传感器51的光接收面(成像面))上以单眼透镜310为中心(作为重心)的正方形的顶点的形式被设置在进给单元23中。
62.当多眼可互换透镜20安装在相机机身10上时，单眼透镜310到314将来自物体的光束聚集到相机机身10的图像传感器51。
63.注意，这里，相机机身10是包括一个图像传感器51的所谓单板相机，但是作为相机机身10，可以采用多个图像传感器，即，例如，包括红、绿和蓝(rgb)的三个图像传感器的所谓三板相机。在三板相机中，使用诸如棱镜之类的光学系统，将从单眼透镜310到314发射的光束分别聚集在三个图像传感器上。注意，除了三板相机之外，图像传感器的数目可以是除三个以外的任何数目，例如两板相机。此外，图像传感器不限于用于rgb的图像传感器。所有图像传感器可以是单色的，或者可以包括诸如拜耳阵列之类的滤色器。
64.除了五个单眼透镜310到314之外，进给单元23还设置有作为多个光源的两个光源32l和32r。当从前面观看多眼可互换透镜20时，光源32l和32r分别设置在进给单元23的右端和左端处。
65.光源32l和32r例如由发光二极管(led)、激光器等构成，并且从多眼可互换透镜20的前侧(光束入射的一侧)向后侧发射点光(spot light)。
66.因此，在多眼可互换透镜20安装在相机机身10上的情况下，由光源32l和32r发射的点光被相机机身10的图像传感器51接收。
67.如上所述，进给单元23设置有光源32l和32r以及单眼透镜310到314。
68.进给单元23被配置为在圆筒形镜筒21内沿镜筒光轴的光轴方向可移动(可滑动)，从而被送出到镜筒21内的前侧(缩回到后侧)。
69.因此，多眼可互换透镜20被配置为使得设置在进给单元23中的光源32l和32r以及单眼透镜310到314被整体地送出。
70.如上所述，由于单眼透镜310到314以及光源32l和32r被整体地送出，因此相机系统1可以执行适当的处理。
71.也就是说，作为由光源32l和32r发射的点光的图像的点光图像出现在由图像传感器51拍摄的拍摄图像中，并且可以使用点光图像来获得多眼可互换透镜20的附接误差，如下所述。
72.在多眼可互换透镜20中，单眼透镜310至314设置在进给单元23中，因此单眼透镜310至314与进给单元23一起被送出，从而例如可以执行用于远摄拍摄或微距拍摄的焦点调整。
73.在这种情况下，如果光源32l和32r被设置在多眼可互换透镜20的进给单元23以外的部分中，则即使单眼透镜310到314被送出，光源32l和32r也不被送出。然后，使用由这样的光源32l和32r发射的点光的点光图像使得难以准确地获得由于单眼透镜310到314的送出而改变的附接误差。
74.与此相对照，在单眼透镜310到314以及光源32l和32r被整体送出的情况下，可以使用点光图像执行准确地获得由于单眼透镜310到314的送出而改变的附接误差的适当处理。
75.此外，即使在拍摄图像上与分别由单眼透镜310到314聚集的光束形成的图像相对应的单眼图像的各区域由于单眼透镜310到314的送出而改变，也可以执行准确地指定单眼图像的各区域的适当处理。
76.此外，可以获得用于抑制由于单眼透镜310到314的送出而改变的透镜失真的影响的校准数据，此外，可以执行使用这种校准数据获得具有抑制的透镜失真影响的视差信息的适当处理。
77.注意，在图1中，多眼可互换透镜20设置有5个单眼透镜310～314。但是，多眼可互换透镜20中设置的单眼透镜的数量不限于5个，可以采用诸如2个、3个、6个或更多个之类的任意数量。
78.此外，在多眼可互换透镜20中设置的多个单眼透镜除了布置在正方形的中心和顶点位置处之外，还可以布置在二维平面上的任何位置处。
79.此外，作为在多眼可互换透镜20中设置的多个单眼透镜，可以采用具有不同焦距、f数或其他规格的多个透镜。注意，这里，为了简化描述，采用具有相同规格的多个透镜。
80.此外，在图1中，在多眼可互换透镜20中设置了两个光源32l和32r。但是，在多眼可互换透镜20中设置的光源的数量不限于两个，可以根据需要采用诸如一个或三个或更多个之类的任何数量。
81.此外，在设置两个光源32l和32r作为多眼可互换透镜20中的多个光源的情况下，例如，两个光源32l和32r可以布置在连接布置五个单眼透镜310到314的平面上的最远的两个点的线上，即，在多眼可互换透镜20的当从图1的正面观看基本上柱状的进给单元23时的圆上。在这种情况下，当从正面观看进给单元23时，光源32l和32r布置在穿过圆的中心的线上。如下所述，合意的是，光源32l和32r被布置得尽可能离得远。当从正面观看进给单元23时，通过将光源32l和32r布置在穿过圆心的线上，可以将光源32l和32r布置得最为分开。
82.在多眼可互换透镜20中，作为多个单眼透镜的五个单眼透镜310至314被布置成使得当多眼可互换透镜20安装在相机机身10上时，单眼透镜31
i
的光轴(单眼光轴)变得与图像传感器51的光接收面正交。
83.在具有安装在相机机身10上的多眼可互换透镜20的相机系统1中，图像传感器51成像与由五个单眼透镜310到314分别聚集的光束在图像传感器51的光接收面上形成的图像相对应的图像。
84.现在，假设与由一个单眼透镜31
i
(其中i＝0、1、2、3、4)聚集的光束形成的图像相对应的图像被称为单眼图像，由一个图像传感器51拍摄的拍摄图像包括分别对应于五个单眼透镜310到314的五个单眼图像(对应于分别由单眼透镜310到314聚集的光束形成的图像的图像)。
85.单眼透镜31
i
的单眼图像是具有在单眼透镜31
i
的位置处的视点的图像，因此各个单眼透镜310到314的五个单眼图像是不同视点的图像。
86.此外，所拍摄的图像包括点光图像(由点光形成的图像)，所述点光图像是与分别由两个光源32l和32r发射的点光相对应的图像。
87.这里，图1中的相机系统1包括相机机身10和可附接到相机机身10并可从相机机身10拆卸的多眼可互换透镜20，但是本技术也可以应用于所谓的透镜集成相机系统，其中多眼可互换透镜20固定到相机机身10。即，本技术可应用于例如透镜集成相机。
88.此外，可以通过在镜筒光轴的光轴方向上布置多个透镜而不是通过一个透镜来配置一个单眼透镜31
i
。
89.此外，例如，除了相机机身10之外，相机机身10的将在下面描述的区域指定单元52、图像处理单元53、位置计算单元57、点光图像检测单元62和进给量检测单元64的一些或全部处理还可以由云端服务器、再现专用设备等执行。
90.此外，除了通过多眼可互换透镜20的进给单元23的送出来调整焦点之外，还可以调整变焦放大率。在下文中，为了简化描述，假设通过进给单元23的送出来调整焦点。
91.注意，关于相机机身10，将安装有多眼可互换透镜20的一侧的表面，即相机安装座11所在的表面定义为正面。
92.<相机系统1的电气配置示例>
93.图2是示出图1的相机系统1的电气配置示例的框图。
94.在相机系统1中，多眼可互换透镜20包括存储单元41、通信单元42和控制单元43。
95.存储单元41存储作为关于多眼可互换透镜20的信息的透镜信息。透镜信息包括个体差反映位置信息(已知参考位置)。
96.个体差反映位置信息是关于在出现位于已知距离处的预定对象的已知拍摄图像上的单眼透镜31
i
的单眼图像上对应于预定光束的位置的位置信息，例如，当多眼可互换透镜20安装在相机机身10上时，由(一个)图像传感器51拍摄该已知拍摄图像。个体差反映位置信息可以说是关于预定光束在图像传感器51上的入射位置的位置信息，由于在多眼可互换透镜20的制造期间的制造误差(制造变化)，其以对于多眼可互换透镜20的每个个体来说不同的量偏差(与设计位置的偏差)，并且是包括制造多眼可互换透镜20期间每个个体的不同制造误差(由于该不同制造误差而导致的从单眼透镜31
i
发射的成像光的发射位置的偏差)的位置信息。作为个体差反映位置信息，可以采用与在其中出现位于已知距离处的预定对象的已知拍摄图像上的单眼透镜31
i
的单眼图像上的预定光束相对应的位置本身，例如，当多眼可互换透镜20安装在相机机身10上时由图像传感器51拍摄该已知拍摄图像。
97.这里，假设在单眼透镜31
i
的单眼图像中形成通过单眼透镜31
i
的光轴(单眼光轴)
的光束的图像的位置是光轴中心位置。注意，单眼光轴被认为平行于整个镜筒21的光轴(镜筒光轴)，或者被认为以固定距离布置，但是出现偏差。
98.现在，假设例如通过单眼透镜31
i
的单眼光轴的光束被采用为单眼透镜31
i
的单眼图像的预定光束，单眼透镜31
i
的单眼图像的个体差反映位置信息是单眼图像的光轴中心位置。
99.注意，预定光束不限于通过单眼透镜31
i
的单眼光轴的光束。也就是说，作为预定光束，例如，可以采用通过与单眼透镜31
i
的单眼光轴分离预定距离的位置并且平行于单眼光轴的光束等。
100.除了已知拍摄图像上的单眼透镜31
i
的单眼图像的个体差反映位置信息以外，透镜信息还包括关于光源32l和32r的点光的点光图像在已知拍摄图像上的位置的个体差点光位置信息(已知光位置)。作为个体差点光位置信息，可以采用光源32l和32r的点光的点光图像在已知拍摄图像上的位置本身。与个体差反映位置信息类似，个体差点光位置信息是包括在多眼可互换透镜20的制造期间对于每个个体来说不同的制造误差的位置信息。
101.这里，可以将唯一的透镜标识(id)分配给多眼可互换透镜20，并且可以采用多眼可互换透镜20的透镜id作为要存储在存储单元41中的透镜信息。此外，在这种情况下，可以准备数据库，在该数据库中，作为透镜信息的透镜id与作为用透镜id指定的多眼可互换透镜20的透镜id以外的透镜信息的个体差反映位置信息和个体差点光位置信息相关联。在这种情况下，可以通过使用透镜id作为关键字搜索数据库来获取与透镜id相关联的多眼可互换透镜20的个体差反映位置信息、个体差点光位置信息等。
102.通信单元42与相机机身10的通信单元56进行有线或无线通信，通信单元56将在下面描述。注意，通信单元42还可以与因特网上的服务器、有线或无线局域网(lan)上的个人计算机(pc)进行通信，或根据需要通过任意通信方法与其他外部设备进行通信。
103.通信单元42与相机机身10的通信单元56通信，以便在例如以下情况下，将存储单元41中存储的透镜信息发送到通信单元56：多眼可互换透镜20安装在相机机身10上，或者在多眼可互换透镜20安装在相机机身10上的状态下打开电源。
104.此外，通信单元42接收从通信单元56发送的命令和其他信息，并将命令和其他信息提供给控制单元43。控制单元43根据来自通信单元42的信息，通过进给(移动)进给单元23来控制多眼可互换透镜20，例如焦点调整。
105.相机机身10包括图像传感器51、区域指定单元52、图像处理单元53、显示单元54、存储单元55、通信单元56、位置计算单元57、控制单元61、点光图像检测单元62、进给量信息存储单元63以及进给量检测单元64。
106.图像传感器51例如是如参考图1所述的cmos图像传感器，并且图像传感器51的光接收面被由安装在相机机身10上的多眼可互换透镜20的单眼透镜310到314聚集的光束以及作为由光源32l和32r发射的点光的光束照射。
107.图像传感器51通过接收由单眼透镜310至314聚集的光束和作为由光源32l和32r发射的点光的光束，并执行光电转换，成像并输出拍摄的图像，所述拍摄的图像包括单眼透镜310到314的单眼图像(与由单眼透镜310到314聚集的光束形成的图像相对应的单眼图像)以及光源32l和32r的点光的点光图像。由图像传感器51输出的拍摄图像(另一拍摄图像)被提供给区域指定单元52、位置计算单元57和点光图像检测单元62。
108.从位置计算单元57向区域指定单元52提供由图像传感器51输出的拍摄图像，并且还提供安装误差反映位置信息(未知参考位置)，作为关于包括在由图像传感器51输出的拍摄图像中的单眼图像的位置信息。
109.安装误差反映位置信息是关于例如在多眼可互换透镜20被安装在相机机身10上的状态下，由(一个)图像传感器51通过对任意对象成像而获得的拍摄图像(另一拍摄图像)上的单眼透镜31
i
的单眼图像上的与预定光束相对应的位置的位置信息(与到对象的距离是否已知无关)。安装误差反映位置信息可以说是关于预定光束在图像传感器51上的入射位置的位置信息，其在安装多眼可互换透镜20时由于多眼可互换透镜20的安装误差而偏离，并且安装误差反映位置信息是包括在使用多眼可互换透镜20时的安装误差(由于该安装误差而导致的从单眼透镜31
i
发射的成像光的发射位置的偏差)的位置信息。
110.安装误差表示由于多眼可互换透镜20可附接到相机机身10并且可从相机机身10拆卸而导致的多眼可互换透镜20的附接位置(安装位置)的偏差。例如，每次安装多眼可互换透镜20时，安装误差可能改变。此外，例如，当对具有安装在相机机身10上的多眼可互换透镜20的相机系统1施加冲击时，安装误差可能改变。
111.安装误差反映位置信息是除了安装误差之外还包括制造误差的位置信息(包括由于制造误差和安装误差而导致的从单眼透镜31
i
发射的成像光的发射位置的偏差的位置信息)。
112.这里，在拍摄图像是通过对位于已知距离处的某个对象进行成像而获得的已知拍摄图像的情况下，在采用该已知拍摄图像中包括的单眼图像上的光轴中心位置作为个体差反映位置信息的情况下，例如，可以采用通过对任意对象成像而获得的拍摄图像(另一拍摄图像)中包括的单眼图像上的光轴中心位置(与到对象的距离是否已知无关)作为安装误差反映位置信息。
113.区域指定单元52根据来自位置计算单元57的安装误差反映位置信息，指定来自图像传感器51的拍摄图像上的单眼透镜310到314的单眼图像的区域，以及输出指示各区域的指定结果的区域指定结果信息。
114.也就是说，区域指定单元52例如指定来自图像传感器51的拍摄图像的以拍摄图像的安装误差反映位置信息为中心(作为重心)的具有预定大小的矩形区域作为单眼图像的区域。
115.这里，区域指定单元52可以输出例如整个拍摄图像和指示整个拍摄图像上的单眼图像的各区域的区域信息的集合，作为区域指定结果信息。此外，区域指定单元52可以从拍摄图像中提取(切出)单眼图像，并输出单眼图像作为区域指定结果信息。注意，可以在具有区域信息的集合中输出单眼图像。
116.在下文中，为了简化描述，例如，假设区域指定单元52输出从拍摄图像中提取的单眼图像(单眼透镜310到314的单眼图像)作为区域指定结果信息。
117.由区域指定单元52输出的单眼透镜310到314的单眼图像被提供给图像处理单元53。
118.图像处理单元53是处理单元的一部分，该处理单元根据下面要描述的点光图像检测单元62的检测结果执行处理。图像处理单元53使用来自区域指定单元52的单眼透镜310到314的单眼图像(即，具有在单眼透镜310到314的各个位置处的不同视点的单眼图像)，以
及从进给量检测单元64提供的进给单元23的进给量，例如执行图像处理，例如生成视差信息，以及重新聚焦生成(重新配置)其中聚焦任意对象的图像，并将作为图像处理的结果而获得的处理结果图像提供给显示单元54和存储单元55。
119.注意，图像处理单元53还可以执行诸如缺陷校正和噪声降低之类的一般图像处理。此外，图像处理单元53可以对要保存(存储)在存储单元55中的图像和要在显示单元54上显示为所谓的直通图像的图像两者执行图像处理。
120.显示单元54包括例如液晶面板、有机电致发光(el)面板等，并且设置在相机机身10的背面上。显示单元54将例如从图像处理单元53提供的处理结果图像等显示为直通图像。作为直通图像，除了处理结果图像之外，还可以显示由图像传感器51拍摄的整个拍摄图像的一部分或从拍摄图像中提取的单眼图像。另外，显示单元54例如可以显示诸如相机机身10的菜单和设定之类的信息。
121.存储单元55包括存储器卡(未示出)等，并且存储例如根据用户操作等从图像处理单元53提供的处理结果图像。
122.通信单元56与多眼可互换透镜20的通信单元42等进行有线或无线通信。注意，通信单元56还可以根据需要通过任意通信方法与因特网上的服务器、有线或无线lan上的pc或其他外部设备进行通信。
123.例如，当多眼可互换透镜20安装在相机机身10上时，通信单元56与多眼可互换透镜20的通信单元42通信以接收从通信单元42发送的多眼可互换透镜20的透镜信息，并将透镜信息提供给位置计算单元57和点光图像检测单元62。
124.此外，通信单元56例如从控制单元61向通信单元42发送指定焦点(位置)的信息。
125.位置计算单元57根据包括在来自通信单元56的透镜信息中的个体差反映位置信息，获得作为包括在从图像传感器51提供的拍摄图像中的单眼透镜31
i
的单眼图像上的光轴中心位置的安装误差反映位置信息，并将安装误差反映位置信息提供给区域指定单元52。
126.注意，在图2中，在获得作为从图像传感器51提供的拍摄图像中包括的单眼图像上的光轴中心位置的安装误差反映位置信息时，位置计算单元57除了使用包括在透镜信息中的个体差反映位置信息之外，还使用个体差点光位置信息。
127.控制单元61根据用于调整焦点的用户操作等来控制焦点等。例如，控制单元61根据用户的操作向通信单元56提供用于指定焦点的信息。
128.点光图像检测单元62检测从光源32l和32r发射的点光在图像传感器51上的入射范围，并将检测结果提供给进给量检测单元64。
129.即，点光图像检测单元62根据包括在来自通信单元56的透镜信息中的个体差点光位置信息，检测来自图像传感器51的拍摄图像上的点光图像。此外，点光图像检测单元62检测(生成)关于点光图像的点光图像信息，例如点光图像的(点)大小和位置(检测光图像位置)，并输出点光图像信息作为点光图像的检测结果。由点光图像检测单元62输出的点光图像信息被提供给进给量检测单元64，进给量检测单元64是根据点光图像检测单元62的检测结果执行处理的处理单元的另一部分。作为点光图像信息，除直接指示拍摄图像上的点光图像的大小和位置的信息(例如，大小和位置本身)之外，还可以采用间接指示拍摄图像上的点光图像的大小和位置的信息(例如，其中在保持拍摄图像上的点光图像的大小和位置
的状态下出现点光图像的图像)。
130.进给量信息存储单元63存储进给量信息。进给量信息是其中进给单元23的进给量与当进给单元23以进给量被送出时关于点光图像的点光图像信息相关联的信息。进给量信息可以预先生成并存储在进给量信息存储单元63中。此外，例如，在从工厂装运多眼可互换透镜20之前，进给量信息可以预先生成并存储在存储单元41中，作为透镜信息的一部分。在进给量信息作为透镜信息的一部分存储在存储单元41中的情况下，通信单元56与通信单元42通信以获取存储单元41中存储的透镜信息，并将包括在透镜信息中的进给量信息提供给进给量信息存储单元63并将该信息存储在其中。
131.进给量检测单元64在存储在进给量信息存储单元63中的进给量信息中检测与来自点光图像检测单元62的点光图像信息相关联的进给单元23的进给量，并将进给量提供给图像处理单元53。
132.<使用多眼可互换透镜20执行的成像的概述>
133.图3是用于描述使用多眼可互换透镜20执行的拍摄图像的成像的概要的图。
134.安装有多眼可互换透镜20的相机机身10的图像传感器51对拍摄图像进行成像，所述拍摄图像包括对应于由单眼透镜31
i
聚集光束时形成的图像的单眼图像以及由光源32l和32r发射的点光的点光图像。
135.这里，在本说明书中，在单眼透镜31
i
的单眼光轴的光轴方向中，从相机机身10的后表面侧到前表面侧的方向被定义为z方向(轴)，当面对z方向时从左到右的方向被定义为x方向，从下到上的方向被定义为y方向。
136.此外，为了使出现在图像中的对象的左侧和右侧与真实空间中的对象的左侧和右侧相匹配，并且使单眼透镜31
i
的位置的左侧和右侧与关于单眼透镜31
i
的单眼图像的拍摄图像的左侧和右侧相匹配，下文中，参考z方向，即，从相机机身10的后表面侧面对存在要拍摄的对象的成像方向的状态，描述拍摄图像上的位置、单眼透镜31
i
的位置、以及对象的左右等，除非另有规定。
137.注意，连接一个单眼透镜31
i
和另一个单眼透镜31
j
(i≠j)的单眼光轴的直线或线段也被称为基线，并且单眼光轴之间的距离也被称为基线长度。此外，表示基线的方向的角也被称为基线角。这里，作为基线角，例如，采用由x轴和基线形成的角度(极线(epipolar line)的角度)。
138.此外，在本说明书(和权利要求书)中，进给单元23的送出广泛地意味着进给单元23在镜筒光轴的光轴方向上移动。因此，进给单元23的送出包括进给单元朝向前侧的移动和进给单元朝向深度侧的移动两者。
139.图4是示出多眼可互换透镜20中的单眼透镜310至314和光源32l和32r的布置示例以及使用多眼可互换透镜20拍摄的拍摄图像的视图。
140.图4的a是示出多眼可互换透镜20中的单眼透镜310到314以及光源32l和32r的布置示例的后视图。
141.在图4的a中，如图1所述，单眼透镜310到314被布置成使得其他四个单眼透镜311到314在平行于图像传感器51的光接收面的二维平面上配置以单眼透镜310为中心的正方形的各顶点。
142.也就是说，在图4中，例如，以单眼透镜310到314中的单眼透镜310为基准，单眼透镜
311被布置在单眼透镜310的右上处，单眼透镜312被布置在单眼透镜310的左上处。此外，单眼透镜313布置在单眼透镜310的左下处，单眼透镜314布置在单眼透镜310的右下处。
143.此外，在图4的a中，光源32l布置在具有基本圆形平面的多眼可互换透镜20的左端位置处，并且关于具有基本圆形平面的多眼可互换透镜20的中心(中心)，光源32r布置在与光源32l相对的右端位置处。
144.注意，光源32l和32r可以布置在多眼可互换透镜20(的进给单元23)的任何不同位置处。
145.注意，光源32l和32r可以被布置成使得在由图像传感器51拍摄的拍摄图像上由各个光源32l和32r发射的点光的点光图像pl和pr位于拍摄图像中包括的单眼图像的区域之外(在被通过单眼透镜31
i
的光照射的范围之外)。在这种情况下，可以抑制点光图像pl和pr与单眼图像交叠从而恶化单眼图像的图像质量。
146.图4的b是示出由安装有多眼可互换透镜20的相机机身10的图像传感器51拍摄的拍摄图像的示例的视图，在该多眼可互换透镜20中布置了单眼透镜310到314以及光源32l和32r，如图4的a所示。
147.由安装有具有单眼透镜310到314和光源32l和32r的多眼可互换透镜20的相机机身10的图像传感器51拍摄的拍摄图像包括对应于分别由单眼透镜310到314聚集的光束形成的图像的单眼图像e0、e1、e2、e3和e4，以及各个光源32l和32r的点光的点光图像pl和pr。
148.区域指定单元52(图2)基于作为在位置计算单元57中获得的每个单眼图像e#i的安装误差反映位置信息的光轴中心位置，将在拍摄图像上用已经通过单眼透镜31
i
的光束照射的区域的具有以光轴中心位置为中心的预定大小的矩形区域指定为每个单眼透镜31
i
的单眼图像e#i的区域，该光轴中心位置是单眼图像e#i的安装误差反映位置信息。
149.因此，用于单眼透镜31
i
的单眼图像e#i成为与从单眼透镜31
i
的位置通过使用独立相机或独立图像传感器执行成像而获得的拍摄图像类似的图像，即，通过以单眼透镜31
i
的位置为视点的成像而获得的图像。
150.因此，在各个单眼透镜310至314的单眼图像e0至e4中的任意两个单眼图像e#i和e#j之间出现视差。即，在单眼图像e#i和e#j中拍摄的同一对象出现在随视差偏移的位置处。
151.<多眼可互换透镜20的附接误差>
152.图5是用于描述当多眼可互换透镜20附接(安装)到相机机身10时的附接误差的图。
153.也就是说，图5示出了由其中多眼可互换透镜20附接到相机机身10的相机系统1拍摄的拍摄图像的示例。
154.在多眼可互换透镜20附接到相机机身10的情况下，多眼可互换透镜20相对于相机机身10的图像传感器51的光接收面的附接位置可以在主要在水平方向(x方向)、垂直方向(y方向)和旋转方向中特别地在旋转方向上偏移。首先，由于制造误差，多眼可互换透镜20的附接位置偏移针对每个个体不同的量。此外，当多眼可互换透镜20附接到相机机身10时，或者当使用多眼可互换透镜20时对具有附接到相机机身10的多眼可互换透镜20的相机系统1施加冲击时，多眼可互换透镜20的附接位置改变。
155.现在，例如，相对于预定位置(例如多眼可互换透镜20的设计附接位置)的实际附接位置的误差被称为附接误差。关于设计附接位置的附接误差是由制造变化等引起的，并
且当多眼可互换透镜20附接到相机机身10时或者当对具有附接到相机机身10的多眼可互换透镜20的相机系统1施加冲击时改变。
156.附接误差是多眼可互换透镜20的实际附接位置的误差，适当地包括制造误差和安装误差。例如，在使用多眼可互换透镜20的设计附接位置作为基准的情况下，附接误差包括制造误差和安装误差两者。此外，例如，在使用从多眼可互换透镜20的设计附接位置偏移制造误差的位置作为基准的情况下，附接误差不包括制造误差，并且包括安装误差。
157.如参考图4所述，单眼图像e#i是类似于通过以单眼透镜31
i
的位置为视点的成像而获得的图像的图像，因此，单眼图像e0到e4是具有不同视点的图像。
158.在使用例如是具有不同视点的图像的单眼图像e0到e4获得视差信息的情况下，对于单眼透镜310到314，需要图3中描述的基线长度和基线角。
159.由于单眼透镜310至314被固定到多眼可互换透镜20，所以基线长度是不由于安装误差而改变并且可以在制造多眼可互换透镜20之后预先测量的固定值。
160.同时，由于在多眼可互换透镜20的旋转方向上的附接误差(安装误差)，基线角发生变化。因此，为了使用单眼图像e0到e4获得准确的视差信息，必须处理旋转方向上的附接误差。
161.这里，在由单眼透镜31
i
的透镜像差引起的图像失真小并且在某些情况下可以忽略的情况下，水平方向和垂直方向上的附接误差没有问题。然而，在由透镜像差引起的图像失真较大并且需要对图像失真进行失真校正的情况下，需要准确地把握单眼图像e#i的光轴中心位置，以便执行适当的失真校正。为了准确地掌握单眼图像e#i的光轴中心位置，需要掌握水平方向和垂直方向上的附接误差(安装误差)。
162.现在，如图5所示，在特定的xy坐标系(二维坐标系)中，单眼图像e0到e4的光轴中心位置(的坐标)表示为(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)。
163.此外，在单眼透镜310～314中，将位于中心(center)的单眼透镜310的单眼图像e0称为中心图像e0，将位于周边的单眼透镜311～314的单眼图像e1～e4称为周边图像e1～e4。
164.单眼图像e0到e4的周边图像e1到e4的以一个单眼图像(即，例如，中心图像e0)为基准的相对光轴中心位置(以下也称为相对光轴中心位置)(dx1，dy1)、(dx2，dy2)、(dx3，dy3)和(dx4，dy4)可由式(1)求得。
165.[数学式1]
[0166]
(dx1，dy1)＝(x1
‑
x0，y1
‑
y0)
[0167]
(dx2，dy2)＝(x2
‑
x0，y2
‑
y0)
[0168]
(dx3，dy3)＝(x3
‑
x0，y3
‑
y0)
[0169]
(dx4，dy4)＝(x4
‑
x0，y4
‑
y0)...(1)
[0170]
在中心图像e0的光轴中心位置(x0，y0)被设定为xy坐标系的原点的情况下，相对光轴中心位置(dx1，dy1)、(dx2，dy2)、(dx3，dy3)和(dx4，dy4)等于周边图像e1到e4的光轴中心位置(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)。
[0171]
相对光轴中心位置(dx#i，dy#i)(其中i＝1、2、3、4)可视为在连接中心图像e0的光轴中心位置(x0，y0)和周边图像e#i的光轴中心位置(x#i，y#i)的基线的方向上的向量。根据相对光轴中心位置(dx#i，dy#i)，可以获得表示连接中心图像e0的光轴中心位置(x0，y0)和周边图像e#i的光轴中心位置(x#i，y#i)的基线l0#i的方向的基线角(tan
‑1((y#i
‑
y0)/
(x#i
‑
x0))＝tan
‑1(dy#i/dx#i)。
[0172]
因此，如果可以获得相对光轴中心位置(dx#i，dy#i)，则可以获得表示当时的基线l0#i的方向的基线角，并且可以使用基线角获得不受旋转方向上的附接误差的影响的准确视差信息。
[0173]
在本技术中，获得在出现位于已知距离处的预定对象的已知拍摄图像上的各个单眼图像e0到e4的光轴中心位置(x0，y0)到(x4，y4)，该已知拍摄图像由图像传感器51拍摄，即，在中心图像e0的光轴中心位置(x0，y0)被设定为原点的情况下，获得各个单眼图像e1到e4的相对光轴中心位置(dx1，dy1)到(dx4，dy4)，作为个体差反映位置信息。此外，在本技术中，使用个体差反映位置信息((x0，y0)～(x4，y4)或(dx1，dy1)～(dx4，dy4)和拍摄图像来获得在对拍摄图像进行成像时拍摄图像上的各个单眼图像e0～e4的光轴中心位置(x0’，y0’)至(x4’，y4’)，即，在中心图像e0的光轴中心位置(x0'，y0')被设定为原点的情况下，获得各个单眼图像e1到e4的相对光轴中心位置(dx1'，dy1')到(dx4'，dy4')，作为安装误差反映位置信息。
[0174]
如果获得作为安装误差反映位置信息的拍摄图像上的各个单眼图像e1到e4的相对光轴中心位置(dx1'，dy1')到(dx4'，dy4')，则可以获得对拍摄图像进行成像时的基线角，利用该基线角可以获得不受旋转方向上的附接误差的影响的准确视差信息。
[0175]
图2中的位置计算单元57使用相对光轴中心位置(dx1，dy1)至(dx4，dy4)作为个体差反映位置信息，获得拍摄图像上的各个单眼图像e1至e4的相对光轴中心位置(dx1'，dy1')至(dx4'，dy4')作为安装误差反映位置信息。
[0176]
<获得作为安装误差反映位置信息的拍摄图像上的单眼图像e#i的相对光轴中心位置(dx#i'，dy#i')的计算方法>
[0177]
图6是用于描述获得作为安装误差反映位置信息的相对光轴中心位置(dx1
′
，dy1
′
)到(dx4
′
，dy4
′
)的计算方法的图。
[0178]
以下，为了简化说明，采用以中心图像e0的光轴中心位置(x0，y0)为原点的xy坐标系。在这种情况下，如上所述，相对光轴中心位置(dx1，dy1)、(dx2，dy2)、(dx3，dy3)和(dx4，dy4)等于光轴中心位置(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)。
[0179]
图6的a示出了通过对其中多眼可互换透镜20被附接到相机机身10的相机系统1中的预定对象成像而获得的已知拍摄图像的示例。
[0180]
在已知的拍摄图像中出现的对象是例如绘制预定图表(例如由通过圆心的线段划分为四个相等部分的圆)的图表图像。通过将图表图像布置在单眼透镜310的单眼光轴上的已知距离的位置处，使得作为图表图像的图表的圆的中心例如出现在中心图像e0上的预定点(即，例如，中心图像e0的光轴中心位置(x0，y0)＝(0，0))处，拍摄已知拍摄图像。因此，已知拍摄图像是通过对其中以已知距离绘制预定图表的图表图像进行成像而获得的图像。
[0181]
由于如上所述拍摄已知拍摄图像，因此在已知拍摄图像上的中心图像e0中出现作为图表的圆的圆心位于光轴中心位置(x0，y0)＝(0，0)的图表图像。此外，与中心图像e0类似，图表图像出现在周边图像e#i中。注意，在周边图像e#i中，作为图表的圆的位置根据与中心图像e0的视差从作为出现在中心图像e0中的图表的圆的位置偏移。
[0182]
因此，在已知拍摄图像上的中心图像e0中，作为图表的圆的中心位于光轴中心位置(x0，y0)＝(0，0)处，但是在周边图像e#i中，作为图表的圆的中心根据与中心图像e0的视
差从光轴中心位置(x#i，y#i)偏移。
[0183]
由于图表图像被放置在已知距离处，因此当拍摄已知拍摄图像时，可以从已知距离以及单眼透镜31
i
和单眼透镜310之间的基线长度和基线角获得周边图像e#i和中心图像e0之间的视差。
[0184]
这里，可以例如在从工厂装运多眼可互换透镜20之前执行已知拍摄图像的成像。因此，可以在成像已知拍摄图像时测量成像已知拍摄图像时的基线角。或者，可以在对已知拍摄图像成像时调整单眼透镜31
i
到镜筒21的附接(固定)，使得基线角成为诸如设计值之类的预定值。
[0185]
由于周边图像e#i的光轴中心位置(x#i，y#i)是根据与中心图像e0的视差从作为周边图像e#i中出现的图表的圆的中心移动的位置，光轴中心位置可以从作为周边图像e#i中出现的图表的圆的中心位置和与中心图像e0的视差获得。
[0186]
此外，由于作为图表图像的图表的圆心出现在已知拍摄图像上的中心图像e0的光轴中心位置(x0，y0)(＝(0，0))处，因此中心图像e0的光轴中心位置(x0，y0)可以通过从中心图像e0检测作为图表的圆的圆心的位置来获得。
[0187]
如上所述，可以从已知拍摄图像获得已知拍摄图像上周边图像e1到e4的光轴中心位置(x1，y1)到(x4，y4)和中心图像e0的光轴中心位置(x0，y0)。
[0188]
根据作为已知拍摄图像上的中心图像e0的光轴中心位置(x0，y0)的个体差反映位置信息和作为周边图像e#i的光轴中心位置(x#i，y#i)的个体差反映位置信息，可以获得作为个体差反映相对位置信息的相对光轴中心位置(dx#i，dy#i)，该个体差反映相对位置信息是关于中心图像e0的个体差反映位置信息(x0，y0)的周边图像e#i的相对个体差反映位置信息，并且作为个体差反映相对位置信息的相对光轴中心位置(dx#i，dy#i)作为透镜信息存储在图2的存储单元41中。这里，与个体差反映相对位置信息(dx#i，dy#i)相对照，个体差反映位置信息(x#i，y#i)也被称为个体差反映绝对位置信息。
[0189]
注意，作为透镜信息，除了采用个体差反映相对位置信息(相对光轴中心位置)(dx#i，dy#i)(i＝1，2，3，4)之外，还可以采用个体差反映绝对位置信息(光轴中心位置)(x#i，y#i)(i＝0，1，2，3，4)。这是因为可以根据等式(1)从个体差反映绝对位置信息(x#i，y#i)获得个体差反映相对位置信息(dx#i，dy#i)，并且个体差反映相对位置信息(dx#i，dy#i)是个体差反映绝对位置信息(x#i，y#i)的(实质上)等同的信息。
[0190]
在获得相对光轴中心位置(dx1'，dy1')到(dx4'，dy4')作为安装误差反映位置信息时，除了个体差反映相对位置信息(dx#i，dy#i)(或个体差反映绝对位置信息(x#i，y#i))以外，作为已知拍摄图像上的各个光源32l和32r的点光的点光图像pl和pr的位置的个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)是预先获得的。
[0191]
例如，可以采用已知拍摄图像上的点光图像pl的重心位置作为点光图像pl的个体差点光位置信息(x
l
，y
l
)。类似地，可以采用已知拍摄图像上的点光图像pr的重心位置作为点光图像pr的个体差点光位置信息(x
r
，y
r
)。
[0192]
对于个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)，获得个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)的中点(x
c
，y
c
)，以及个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)以及中点(x
c
，y
c
)作为透镜信息存储在图2的存储单元41中。
[0193]
注意，可以从透镜信息中排除个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)之间的中点
(x
c
，y
c
)。这是因为可以从个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)获得个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)的中点(x
c
，y
c
)。
[0194]
位置计算单元57根据相对光轴中心位置(以下也简称为光轴中心位置)(dx#i，dy#i)和作为个体差反映相对位置信息的个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)(以下也简称为个体差反映位置信息)获得(相对)光轴中心位置(dx1
′
，dy1
′
)到(dx4
′
，dy4
′
)作为未知拍摄图像上的安装误差反映位置信息)。
[0195]
图6的b示出了在其中多眼可互换透镜20附接到相机机身10的相机系统1中拍摄的未知拍摄图像的示例。
[0196]
未知拍摄图像是在多眼可互换透镜20附接到相机机身10的相机系统1中在没有拍摄已知拍摄图像时的限制(诸如已知对象的距离之类的限制)的情况下拍摄的图像。
[0197]
在对未知拍摄图像成像时，可能发生与对已知拍摄图像成像时不同的旋转方向上的附接误差(安装误差)。
[0198]
在以未知拍摄图像上的中心图像e0的光轴中心位置(x0'，y0')为原点(0，0)的xy坐标系中，未知拍摄图像上的周边图像e#i的光轴中心位置(x#i'，y#i')(i＝1，2，3，4)等于关于中心图像e0的光轴中心位置(x0'，y0')的周边图像e#i的相对光轴中心位置(dx#i'，dy#i')＝(x#i'，y#i')
‑
(x0'，y0')。
[0199]
这里，关于未知拍摄图像上的各个光源32l和32r的点光的点光图像pl和pr的位置的位置信息也被称为安装误差点光位置信息(未知光位置)。与安装误差反映位置信息类似，安装误差点光位置信息是包括多眼可互换透镜20的制造误差和安装误差的位置信息。作为安装误差点光位置信息，可以采用未知拍摄图像上的各个光源32l和32r的点光的点光图像pl和pr的位置本身。注意，在未知拍摄图像上的各个光源32l和32r的点光的点光图像pl和pr的位置分别表示为(x
l
'，y
l
')和(x
r
'，y
r
')。
[0200]
安装误差点光位置信息(x
l
'，y
l
')和(x
r
'，y
r
')可以从未知拍摄图像上的点光图像pl和pr获得，类似于个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)。
[0201]
此外，安装误差点光位置信息(x
l
'，y
l
')和(x
r
'，y
r
')之间的中点表示为(x
c
'，y
c
')。
[0202]
现在，假设相对旋转误差表示为θ
error
，该相对旋转误差是以成像已知拍摄图像时旋转方向上的附接误差为基准在成像未知拍摄图像时在旋转方向上的附接误差，相对旋转误差θ
error
可以根据等式(2)使用包括在透镜信息中的个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)以及从未知拍摄图像获得的安装误差点光位置信息(x
l
'，y
l
')和(x
r
'，y
r
')来获得。
[0203]
[数学式2]
[0204][0205]
(注意x
r
>x
l
,x
r’>x
l’)...(2)
[0206]
根据等式(2)，相对旋转误差θ
error
是表示以表示连接个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)的直线的方向的角度为基准的连接安装误差点光位置信息(x
l’，y
l’)和(x
r’，yr’)的直线的方向的角度，并且个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)的间隔越大(安装误差点光位置信息(x
l’，y
l
')和(x
r
'，y
r
')的间隔越大)，精度越高。因此，通过将光源32l和32r布置得尽可能相隔得远，可以准确地获得相对旋转误差θ
error
。
[0207]
注意，在多眼可互换透镜20中设置三个或更多光源的情况下，根据等式(2)获得从三个或更多光源获得的每对两个光源的旋转误差θ
error
，并且可以采用针对各对获得的旋转误差θ
error
的平均值作为最终旋转误差θ
error
。
[0208]
相对旋转误差θ
error
是安装误差点光位置信息(x
l
'，y
l
')(或(x
r
'，y
r
'))和个体差点光位置信息(x
l
，y
l
)(或(x
r
，y
r
))之间的旋转角。通过根据式(3)根据相对旋转误差θ
error
旋转作为个体差反映相对位置信息的光轴中心位置(dx#i，dy#i)，可以获得由相对旋转误差θ
error
引起的未知拍摄图像上的作为安装误差反映位置信息的相对光轴中心位置(dx#i’，dy#i
′
)。
[0209]
[数学式3]
[0210][0211][0212][0213][0214]
在根据等式(2)和(3)获得作为安装误差反映位置信息的未知拍摄图像上的各个单眼图像e1到e4的光轴中心位置(dx1’，dy1’)到(dx4’，dy4’)的情况下，水平方向和垂直方向上的附接误差可以通过获得未知拍摄图像上各个光源32l和32r的点光图像pl和pr的安装误差点光位置信息(x
l
'，y
l
')和(x
r
'，y
r
')以及已知拍摄图像上的各个光源32l和32r的点光图像pl和pr的个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)之间的平移量来获得。
[0215]
即，例如，可以根据等式(4)获得水平方向上的附接误差x
error
和垂直方向上的附接误差y
error
。
[0216]
[数学式4]
[0217][0218][0219]
注意，在等式(4)中，获得未知拍摄图像上的各个光源32l和32r的点光图像pl和pr的安装误差点光位置信息(x
l
'，y
l
')和(x
r
'，y
r
')的中点(x
c
'，y
c
')与已知拍摄图像上的各个光源32l和32r的点光图像pl和pr的个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)的中点(x
c
，y
c
)之
间的平移量，作为水平方向上的附接误差x
error
和垂直方向上的附接误差y
error
。或者，例如，作为水平方向上的附接误差x
error
和垂直方向上的附接误差y
error
，可以获得安装误差点光位置信息(x
l
′
，y
l
′
)和个体差点光位置信息(x
l
，y
l
)之间的平移量，或者安装误差点光位置信息(x
r
'，y
r
')和个体差点光位置信息(x
r
，y
r
)之间的平移量。
[0220]
在相机系统1中，首先，在获得作为安装误差反映位置信息的未知拍摄图像上的各个单眼图像e1到e4的光轴中心位置(dx1
′
，dy1
′
)到(dx4
′
，dy4
′
)时，执行获取光轴中心位置(dx#i，dy#i)等作为在获得光轴中心位置(dx#i'，dy#i')的情况下所需的个体差反映相对位置信息的获取个体差反映位置信息等的处理。
[0221]
获取个体差反映位置信息等的处理可以由相机机身10、下面描述的计算机等执行。为方便起见，执行获取个体差反映位置信息等的处理的设备被称为获取处理设备。
[0222]
获取处理设备获取通过由其中多眼可互换透镜20被附接到相机机身10的相机系统1对作为放置在单眼透镜310的单眼光轴上的已知距离的位置处的预定对象的图表图像进行成像而获得的已知拍摄图像。
[0223]
获取处理设备获取图表图像的预定点作为出现在已知拍摄图像中包括的每个单眼图像e#i中的预定对象，例如，作为图表的圆的中心的位置。
[0224]
针对单眼图像(周边图像)e1到e4中的每一个，使用到作为对象的图表图像的距离，以及多眼可互换透镜20的基线长度和基线角，获得处理设备获得作为作为单眼图像e#i中出现的对象的图表图像的预定点的圆心与作为作为单眼图像(中心图像)e0中出现的对象的图表图像的预定点的圆心的视差。
[0225]
此外，针对单眼图像e1到e4中的每一个，获取处理设备根据作为作为单眼图像e#i中出现的对象的图表图像的预定点的圆心的视差，获得位于从圆心位置移动的位置处的单眼图像e#i的光轴中心位置(在已知拍摄图像上的位置)(x#i，y#i)，作为单眼图像e#i的个体差反映绝对位置信息(x#i，y#i)。此外，获取处理设备获得作为作为在单眼图像e0中出现的对象的图表图像的圆心的位置的光轴中心位置(x0，y0)作为单眼图像e0的个体差反映绝对位置信息(x0，y0)。
[0226]
然后，获取处理设备针对单眼图像e1到e4中的每一个，使用个体差反映绝对位置信息(x#i，y#i)，根据等式(1)，获得以单眼图像e0的个体差反映绝对位置信息(x0，y0)为基准的单眼图像e#i的个体差反映相对位置信息(dx#i，dy#i)。
[0227]
此外，获取处理设备获得已知拍摄图像上的光源32l和32r的点光的点光图像pl和pr的重心位置，分别作为个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)。
[0228]
在获取个体差反映相对位置信息等的上述处理中获得的个体差反映相对位置信息(dx#i，dy#i)和个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)作为透镜信息的一部分，存储在图2的存储单元41中。
[0229]
在使用具有安装在相机机身上的多眼可互换透镜20的相机系统1时，使用个体差反映相对位置信息(dx#i，dy#i)和个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)，在相机机身10中执行获得未知拍摄图像等上的各个单眼图像e1到e4的相对光轴中心位置(dx1
′
，dy1
′
)到(dx4
′
，dy4’)作为安装误差反映位置信息的安装误差反映位置信息计算处理。
[0230]
即，在相机机身10(图2)中，当安装了多眼可互换透镜20时，通信单元56与多眼可互换透镜20的通信单元42通信，接收从通信单元42发送的多眼可互换透镜20的透镜信息，
并且将透镜信息提供给位置计算单元57。如上所述，位置计算单元57获取从通信单元56提供的透镜信息。
[0231]
位置计算单元57等待要拍摄的未知拍摄图像，并且获取未知拍摄图像，该未知拍摄图像是其中出现任意对象的拍摄图像。即，在具有附接到相机机身10的多眼可互换透镜20的相机系统1中，位置计算单元57获取由图像传感器51拍摄的拍摄图像作为未知拍摄图像。
[0232]
位置计算单元57检测未知拍摄图像中包括的光源32l和32r的点光的点光图像pl和pr，并且进一步检测点光图像pl和pr的各个位置(检测光图像位置)，例如重心的位置，作为安装误差点光位置信息(x
l
'，y
l
')和(x
r
'，y
r
')。位置计算单元57是根据点光图像pl和pr的检测结果执行处理的处理单元的一部分，并且根据作为点光图像pl和pr的检测结果的安装误差点光位置信息(x
l
'，y
l
')和(x
r
'，y
r
')，指定作为未知拍摄图像中的单眼图像的位置的成像单眼图像位置。
[0233]
也就是说，位置计算单元57基于安装误差点光位置信息(x
l
'，y
l
')(或(x
r
'，y
r
'))(检测光图像位置)和包括在透镜信息中的个体差点光位置信息(x
l
，y
l
)(或(x
r
，y
r
))(存储光图像位置，该存储光图像位置指示发射到图像传感器51的光源32l和32r的点光的点光图像pl和pr的位置)，指定(计算)成像单眼图像位置。
[0234]
例如，位置计算单元57通过基于安装误差点光位置信息(x
l
'，y
l
')(或(x
r
'，y
r
'))(检测光图像位置)和个体差点光位置信息(x
l
，y
l
)(或(x
r
，y
r
))(存储光图像位置)之间的(位置)关系，校正作为包括在透镜信息中的个体差反映相对位置信息的相对光轴中心位置(dx#i，dy#i)(表示图像传感器51中的从多个单眼透镜31
i
中的每一个发射的每个成像光的发射位置的存储单眼图像位置)，指定成像单眼图像位置，即(相对)光轴中心位置(dx#i’，dy#i
′
)，作为包括在未知拍摄图像中的每个单眼图像e1到e4的安装误差反映位置信息)。
[0235]
具体地，首先，位置计算单元57获得包括在透镜信息中的安装误差点光位置信息(x
l
'，y
l
')(或(x
r
'，y
r
'))和个体差点光位置信息(x
l
，y
l
)(或(x
r
，y
r
))之间的旋转角作为(相对)旋转误差θ
error
。
[0236]
例如，位置计算单元57根据公式(2)获得以连接包括在透镜信息中的个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)的线段的方向为基准的表示连接安装误差点光位置信息(x
l
'，y
l
')和(x
r
'，y
r
')的线段的方向的相对角，作为旋转误差θ
error
。
[0237]
位置计算单元57通过根据按照等式(2)获得的旋转误差θ
error
旋转作为包含在透镜信息中的个体差反映相对位置信息，根据等式(3)获得(相对)光轴中心位置(dx#i’，dy#i’)作为发生了旋转误差θ
error
的未知拍摄图像中包括的每个单眼图像e1到e4的安装误差反映位置信息。
[0238]
此外，根据需要，位置计算单元57获得包括在透镜信息中的个体差点光位置信息(x
l
，y
l
)或(x
r
，y
r
)与未知拍摄图像上光源32l和32r的点光图像pl和pr的安装误差点光位置信息(x
l’，y
l’)或(x
r’，y
r’)之间的平移量，作为水平方向上的附接误差x
error
和垂直方向上的附接误差y
error
。
[0239]
即，例如，位置计算单元57例如根据等式(4)获得安装误差点光位置信息(x
l
'，y
l
')和(x
r
'，y
r
')的中点(x
c
'，y
c
')相对于个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)的中点(x
c
，y
c
)的平移量，作为水平方向上的附接误差x
error
和垂直方向上的附接误差y
error
。
[0240]
在相机机身(图2)中，区域指定单元52可以使用在上述安装误差反映位置信息计算处理中获得的作为安装误差反映位置信息的未知拍摄图像上的单眼图像e1到e4的相对光轴中心位置(dx1
′
，dy1
′
)到(dx4
′
，dy4
′
)来执行指定在未知拍摄图像上的单眼图像e#i的区域的区域指定处理。
[0241]
在区域指定处理中，区域指定单元52获取相对光轴中心位置(dx#i’，dy#i’)作为从位置计算单元57提供的未知拍摄图像中包括的单眼图像e1到e4的安装误差反映位置信息。
[0242]
然后，区域指定单元52根据作为安装误差反映位置信息的光轴中心位置(dx#i’，dy#i’)指定未知拍摄图像上的单眼图像e1到e4的区域。也就是说，例如，在获得个体差反映相对位置信息(dx#i，dy#i)时的xy坐标系上，区域指定单元52指定未知拍摄图像上的具有以安装误差反映位置信息(dx#i’，dy#i’)为中心的预定大小的矩形区域作为单眼图像e#i(i＝1、2、3、4)的区域。此外，区域指定单元52指定未知拍摄图像上的具有以原点为中心的预定大小的矩形区域作为单眼图像e0的区域。
[0243]
此后，区域指定单元52从拍摄图像中提取单眼图像e0～e4，并将提取的图像作为区域指定结果信息输出。
[0244]
如上所述，在安装有多眼可互换透镜20的相机系统1中，该多眼可互换透镜20包括设置有被布置成在镜筒光轴的光轴方向上不交叠的(如观察时)的单眼透镜310至314的进给单元23和光源32l和32r，对于未知拍摄图像上的单眼图像e#i，获得光轴中心位置(dx#i’，dy#i’)作为单眼图像e#i上的安装误差反映位置信息。
[0245]
因此，无论进给单元23的进给状态如何，都可以从未知拍摄图像容易地获得具有多个视点的图像，即，具有在单眼透镜31
i
的位置处的视点的单眼图像e#i。
[0246]
此外，可以从作为安装误差反映位置信息的光轴中心位置(dx#i’，dy#i’)获得表示基线l0#i(图5)的方向的基线角tan
‑1(dy#i/dx#i))，并且可以使用基线角获得不受在多眼可互换透镜20的旋转方向上的附接误差影响的准确视差信息。
[0247]
这里，例如，假设采用以已知拍摄图像上的单眼图像e0的光轴中心位置(x0，y0)为原点的xy坐标系，并且水平方向上的附接误差x
error
和垂直方向上的附接误差y
error
为0。在此情况下，在未知拍摄图像中，作为单眼图像e0的安装误差反映位置信息(x0
′
，y0
′
)的光轴中心位置是原点，并且单眼图像e0的区域是以原点为中心的区域。
[0248]
同时，在水平方向上的附接误差x
error
或垂直方向上的附接误差y
error
不为0的情况下，在未知拍摄图像中，单眼图像e0的光轴中心位置从原点偏移在水平方向上的附接误差x
error
和在垂直方向上的附接误差y
error
。
[0249]
在这种情况下，假设作为单眼图像e0的安装误差反映位置信息(x0'，y0')的光轴中心位置是原点，在将具有以原点为中心的预定大小的矩形区域指定为单眼图像e0的区域时，作为实际安装误差反映位置信息(x0'，y0')的光轴中心位置从原点偏移，因此，未知拍摄图像上的具有以从单眼图像e0的实际光轴中心位置偏移的位置为中心的预定大小的矩形区域被指定为单眼图像e0的区域。
[0250]
结果，对于其他单眼图像e1到e4中的每一个，未知拍摄图像上的具有以从单眼图像e#i的光轴中心位置(x#i'，y#i')偏移的位置为中心的预定大小的矩形区域被指定为单眼图像e#i的区域。
[0251]
即，在水平方向上的附接误差x
error
或垂直方向上的附接误差y
error
不为0的情况下，未知拍摄图像上的具有以从单眼图像e#i的光轴中心位置(x#i
′
，y#i’)偏移相同平移量的位置为中心的预定大小的矩形区域被指定为单眼图像e0到e4中的每一个的单眼图像e#i的区域。
[0252]
注意，在水平方向上的附接误差x
error
或垂直方向上的附接误差y
error
不是0的情况以及水平方向上的附接误差x
error
并且垂直方向上的附接误差y
error
是0的情况两者下，从作为以单眼图像e0的位置为基准的相对安装误差反映位置信息的光轴中心位置(dx#i’，dy#i’)获得在成像未知拍摄图像时的基线角(tan
‑1(dy#i/dx#i))。
[0253]
因此，针对以从光轴中心位置(x#i’，y#i’)偏移相同平移量的位置为中心的单眼图像e#i获得的基线角与针对在未知拍摄图像上以光轴中心位置(x#i’，y#i’)为中心的单眼图像e#i获得的基线角相同。
[0254]
即，即使在水平方向上的附接误差x
error
或垂直方向上的附接误差y
error
不为0的情况下，也可以获得与在水平方向上的附接误差x
error
和垂直方向上的附接误差y
error
为0的情况下相同的基线角。然后，可以使用基线角，从未知拍摄图像上具有指定区域的单眼图像e#i获得不受多眼可互换透镜20的附接误差影响的准确视差信息。
[0255]
注意，在本实施例中，针对每个多眼可互换透镜20获得个体差反映位置信息和个体差点光位置信息，并将其包括和存储在透镜信息中。然而，对于多眼可互换透镜20的每个型号，可以采用公共值作为个体差反映位置信息和个体差点光位置信息。在对多眼可互换透镜20的各型号采用共同的个体差反映位置信息和个体差点光位置信息的情况下，将每个型号的个体差反映相对位置信息(dx#i，dy#i)和个体差点光位置信息(x
l
，y
l
)和(x
r
，y
r
)包含到等式(2)和(3)中，使得相机机身10能够获得等式(2)的旋转误差θ
error
以及最终的作为公式(3)的安装误差反映位置信息的光轴中心位置(dx#i’，dy#i’)，只要能够识别多眼可互换透镜20的型号即可。
[0256]
<图像处理单元53的配置示例>
[0257]
图7是示出图2中的图像处理单元53的配置示例的框图。
[0258]
图7例如示出了执行用于获得视差信息的图像处理的图像处理单元53的一部分的配置示例。
[0259]
在图7中，图像处理单元53包括校准数据生成单元101、校准数据存储单元102、插值单元103和视差信息生成单元104。
[0260]
图像处理单元53通过使用从区域指定单元52提供的单眼图像来生成关于视差的视差信息。这里，视差信息包括通过像素数表示视差的视差值、与视差相对应的深度方向上的距离等。
[0261]
使用单眼图像获得的视差信息受单眼透镜31
i
的位置、透镜畸变等的影响。因此，为了去除单眼透镜31
i
的位置、透镜失真等的影响，图像处理单元53执行校准以生成关于单眼透镜31
i
的位置、透镜失真等的参数作为校准数据。
[0262]
在校准中，例如，从作为对作为已知对象的用于校准的平面图表(以下也称为校准图)成像而获得的拍摄图像上的单眼图像的校准图像生成校准数据。
[0263]
也就是说，在校准中，相机系统1的焦点位置被控制到某个预定距离(的位置)，并且拍摄安装在焦点位置处的校准图。然后，使用作为通过成像校准图而获得的单眼图像的
校准图像来生成用于其中焦点位置被控制到特定预定距离的相机系统1的焦点位置的校准数据。
[0264]
如上所述生成的校准数据是拍摄校准图时相机系统1的焦点位置的校准数据。因此，例如，在成像一般对象的情况下的焦点位置不同于在成像校准图的情况下的焦点位置的情况下，如果使用在拍摄校准图时的相机系统1的焦点位置的校准数据，执行使用通过对一般对象成像而获得的拍摄图像中出现的单眼图像的视差信息计算，则视差信息的精度降低。
[0265]
因此，图像处理单元53可以通过对校准数据进行插值来获得高精度的视差信息。
[0266]
校准数据生成单元101通过使用从区域指定单元52提供的单眼图像，生成来自进给量检测单元64的多个进给量中的每一个的校准数据，并将校准数据提供给校准数据存储单元102。
[0267]
也就是说，校准数据生成单元101从单眼图像生成与多个焦点位置对应的多个进给量的校准数据，作为通过在校准中在与进给单元23的多个进给量对应的多个焦点位置处成像校准图而获得的多个焦点位置处的校准图像，并将校准数据提供给校准数据存储单元102。
[0268]
校准数据存储单元102存储从校准数据生成单元101提供的多个进给量的校准数据。
[0269]
插值单元103通过使用校准数据存储单元102中存储的多个进给量的校准数据等进行插值，生成从进给量检测单元64提供的进给量的在对一般对象(除校准图以外的对象)成像时的进给量(以下也称为一般成像)的校准数据，并将生成的校准数据提供给视差信息生成单元104。
[0270]
视差信息生成单元104通过使用来自插值单元103的校准数据和从区域指定单元52提供的通过一般成像(以下也称为一般拍摄图像)拍摄的拍摄图像上的单眼图像来生成视差信息。一般拍摄图像等同于未知的拍摄图像。
[0271]
根据如上所述的包括图像处理单元53的相机系统1，例如，可以同时获得具有类似于一般单眼相机的图像质量的作为单眼图像的rgb图像和作为深度信息的视差信息。视差信息可用于例如图像处理，例如重新聚焦以生成(重建)聚焦在任意对象上的图像、生成其中针对用户所期望的期望对象的障碍物已被移除的障碍物移除图像、用于模拟具有任意特性的透镜的透镜模拟、以及考虑cg深度和实际拍摄的合成。
[0272]
对于相机系统1，例如，在相机系统1被制造之后，相机系统1的操作模式被设定为用于执行校准的校准模式，并且在相机系统1的制造厂等中执行校准。
[0273]
即，在相机系统1中，将多眼可互换透镜20的焦点控制到生成校准数据的焦点位置(以下也称为基准焦点位置)，并且将校准图安装在基准焦点位置处并拍摄。然后，在相机系统1中，校准数据生成单元101根据通过对校准图成像而获得的校准图像，生成与基准焦点位置相对应的进给单元23的进给量的校准数据(以下也称为基准进给量)，并使校准数据存储单元102存储校准数据。对多个基准焦点位置执行校准，由此生成对应于多个基准焦点位置的多个基准进给量的校准数据。
[0274]
当执行校准并且相机系统1从制造厂发货时，相机系统1的操作模式被设定为执行一般成像的一般成像模式。在一般成像模式下，从进给量检测单元64向插值单元103提供与
拍摄一般拍摄图像时的焦点位置(以下也称为成像焦点位置)相对应的进给单元23的进给量(以下也称为成像进给量)。
[0275]
插值单元103使用存储在校准数据存储单元102中的与多个基准焦点位置对应的多个基准进给量的校准数据，通过插值生成与成像焦点位置对应的成像进给量的校准数据，并且将生成的校准数据提供给视差信息生成单元104。注意，在存在所有位置的校准数据的情况下，不需要插值。
[0276]
视差信息生成单元104使用来自插值单元103的用于成像进给单元的校准数据，从在进给单元23被送出成像进给量的状态下拍摄的一般拍摄图像上的单眼图像生成视差信息。结果，生成透镜失真等的影响被抑制的精确视差信息。
[0277]
图8是用于描述由相机系统1执行的校准的图。
[0278]
在校准中，将距相机系统1预定距离z mm处的位置p设定为基准焦点位置p，在基准焦点位置p处安装校准图，并且相机系统1对校准图进行成像。
[0279]
图8所示的校准图是例如在其上绘制网格状图案的对象，但是可以采用具有已知位置关系等的任何对象作为校准图。
[0280]
在校准中，从通过在基准焦点位置p处成像校准图而获得的校准图像生成与基准焦点位置p相对应的进给量p的校准数据。
[0281]
在通过相机系统1对校准图进行成像而获得的校准图像中，例如，由于单眼透镜31
i
的透镜畸变等引起的位置偏差(畸变)，即，在校准图像中应当出现对象的真实位置(在没有透镜失真等的情况下应当原本出现对象的位置)和校准图像中实际出现对象的位置之间发生位置偏差。
[0282]
由于校准图像是通过在焦点位置p(其为已知位置)处安装和成像校准图(其为已知对象)而获得的拍摄图像上的单眼图像，因此可以通过计算提前获得对象应出现的真实位置，即在校准图像上应出现校准图的每个部分(例如，网格点)的真实位置。
[0283]
此外，可以从校准图像获得对象在校准图像中出现的实际位置。
[0284]
校准数据生成单元101从校准图像获得对象(例如，校准图的网格点)出现的实际位置。然后，校准数据生成单元101生成关于对象出现的实际位置和可以通过计算预先获得的对象应该出现的真实位置之间的位置偏差的信息作为校准数据。
[0285]
注意，作为校准数据，可以生成相机系统1的所谓内部参数和外部参数，但是这里，为了简化描述，关于通过相机系统1对校准图进行成像而获得的校准图像中的对象的位置偏差的信息被生成为校准数据。
[0286]
图9是用于描述与多个基准焦点位置相对应的多个进给量的校准数据的生成的图。
[0287]
在生成与多个基准焦点位置对应的多个进给量的校准数据时，首先，将距相机系统1预定距离z1 mm处的位置p1设定为基准焦点位置p1，在基准焦点位置p1处安装校准图，并且相机系统1对校准图成像。
[0288]
然后，将与距相机系统1的距离z1 mm不同的距离z2 mm处的位置p2设定为基准焦点位置p2，将校准图安装在基准焦点位置p2处，并且相机系统1对校准图进行成像。
[0289]
此外，与距相机系统1的距离z1和z2 mm不同的距离z3 mm处的位置p3被设定为基准焦点位置p3，校准图被安装在基准焦点位置p3处，并且相机系统1对校准图进行成像。
[0290]
注意，在图9中，距离z1 mm、z2 mm和z3 mm具有由表达式z1 mm<z2 mm<z3 mm表示的关系。
[0291]
相机系统1将焦点位置控制到位置p1，并对安装在位置p1处的校准图成像。通过该成像，获得基准焦点位置p1处的校准图像，即，具有位置p1作为基准焦点位置的校准图像。
[0292]
类似地，相机系统1将焦点位置控制到位置p2和p3，并且对安装在位置p2和p3处的校准图进行成像。通过成像，获得基准焦点位置p2和p3处的校准图像，即，具有位置p2和p3作为基准焦点位置的校准图像。
[0293]
注意，安装在基准焦点位置p1、p2和p3处的校准图的成像顺序没有特别限制。
[0294]
此外，这里，采用三个不同的位置p1、p2和p3作为基准焦点位置，但是除了三个不同的位置之外，还可以采用两个不同的位置或四个或更多个不同的位置作为基准焦点位置。
[0295]
如上所述，在相机系统1中，与多个基准焦点位置(基准焦点位置p1、p2、p3)相对应的多个进给量的校准数据是从通过由将焦点位置控制到多个位置(基准焦点位置p1、p2和p3)的相机系统1对校准图进行成像而获得的校准图像生成的。
[0296]
图10是用于描述由相机系统1执行的一般成像的图。
[0297]
在一般成像中，相机系统1将距相机系统1任意距离z4 mm处的位置p4设定为成像焦点位置p4，并且对存在于成像焦点位置p4处的一般对象进行成像。
[0298]
注意，在图10中，位置p4不匹配位置p1、p2和p3中的任何一个，并且是比位置p1远且比位置p2近的位置。
[0299]
在相机系统1中，对在将焦点位置控制到成像焦点位置p4的相机系统1中通过对对象成像而获得的一般拍摄图像执行图像处理。
[0300]
这里，在相机系统1中，在执行一般成像时的成像焦点位置与校准时的多个基准焦点位置中的任何一个不匹配的情况下，如果使用如用于多个基准焦点位置相对应的多个基准进给量中的任何基准进给量那样的校准数据对一般拍摄图像执行图像处理，则可能执行不适当的图像处理。
[0301]
在图10中，由于成像焦点位置p4与基准焦点位置p1、p2和p3中的任何一个不匹配，因此如果使用如用于与基准焦点位置p1、p2和p3相对应的基准进给量p1、p2和p3的任何基准进给量那样的校准数据，对由其中焦点位置被控制到成像焦点位置p4的相机系统1拍摄的一般拍摄图像执行图像处理，即，成像进给量被设定为与成像焦点位置p4相对应的进给量，那么可能执行不适当的图像处理。
[0302]
因此，在相机系统1中，为了对一般拍摄图像执行适当的图像处理，插值单元153(图7)使用与基准焦点位置p1、p2和p3相对应的基准进给量p1、p2、p2的校准数据，通过插值生成与成像焦点位置p4相对应的成像进给量p4的校准数据。
[0303]
即，在焦点位置(即进给单元23的进给量)不同的情况下，相机系统1的透镜条件(透镜状态)不同。因此，即使在一般拍摄图像的同一像素中，在进给单元23的进给量是对应于某一焦点位置的进给量的情况和进给量是对应于另一焦点位置的进给量的情况之间，位置偏差(量)也不同。
[0304]
因此，如果使用与成像进给量不匹配的基准进给量的校准数据来针对一般拍摄图像生成视差信息，则不适当地校正由上述位置偏差引起的视差信息的误差，并且可能无法
获得准确的视差信息。
[0305]
为了对一般拍摄图像执行适当的图像处理，即，为了获得准确的视差信息，例如，相机系统1在多个(不同的)基准焦点位置处对校准图进行成像，以及从通过成像获得的多个基准焦点位置处的校准图像生成与多个基准焦点位置相对应的多个基准进给量的校准数据。
[0306]
此外，相机系统1通过插值使用与多个基准焦点位置对应的多个基准进给量的校准数据，生成与成像焦点位置对应的成像进给量的校准数据，以及使用用于成像进给量的校准数据来执行诸如产生视差信息之类的图像处理。
[0307]
图11是用于描述通过插值与成像焦点位置p4相对应的成像进给量的校准数据而进行的生成的图。
[0308]
在图11中，垂直方向(垂直轴)表示校准数据，水平方向(水平轴)表示进给单元23的进给量。
[0309]
在图11中，对应于基准焦点位置p1、p2和p3的基准进给量p1、p2和p3中的每一个的校准数据用圆来表示。
[0310]
插值单元103通过使用基准进给量p1、p2和p3的校准数据中的至少两个或更多个基准进给量的校准数据执行线性插值或另一插值，来生成与成像焦点位置p4相对应的成像进给量p4的校准数据(图中由三角形指示的部分)。
[0311]
如上所述，相机系统1使用多个进给量p1、p2和p3的校准数据，通过插值生成成像进给量p4的校准数据。
[0312]
因此，可以在进给单元23的进给量是成像进给量p4的情况下，使用成像进给量p4的校准数据对成像焦点位置p4处的一般拍摄图像执行适当的图像处理。
[0313]
例如，在从拍摄图像中提取的单眼图像中(出现的对象中)存在非线性失真的情况下，在图像处理单元53中使用校准数据的图像处理是有用的。根据图像处理单元53中的使用校准数据的图像处理，可以执行其中校正了单眼图像的失真的图像处理。注意，在校准中，除了针对单眼图像的每个像素之外，还可以针对一些像素生成关于与作为校准数据的对象应该出现的真实位置的位置偏差的信息，并且可以通过在一般成像时针对其他像素在空间方向上的插值来生成该信息。
[0314]
<光源32l和32r的配置示例>
[0315]
图12是示出光源32l和32r的配置示例的截面图。
[0316]
这里，在下文中，光源32l和32r将被称为光源32，除非需要区分它们。
[0317]
在图12中，光源32包括壳体121、led 122和透镜123。
[0318]
壳体121例如是细长圆柱形壳体，并且在其中容纳led 122和透镜123。
[0319]
led 122发射作为点光的光。
[0320]
透镜123聚集从led 122发射的点光。
[0321]
在如上所述配置的光源32中，从led 122发射的点光被透镜123聚集。
[0322]
因此，从图12中的光源32发射的点光(理想情况下)在一个点处聚集然后扩散，因此是非平行光(不是平行光的光)。
[0323]
这里，作为从图12中的光源32发射的点光的非平行光聚集的点也被称为聚集点。
[0324]
在下文中，假设光源32发射非平行光作为点光，将描述检测进给单元23的进给量
的方法。
[0325]
<多眼可互换透镜20的配置示例>
[0326]
图13是示出多眼可互换透镜20的配置示例的截面图。
[0327]
如参考图1所述，进给单元23设置有单眼透镜31
i
和光源32。进给单元23被配置为在圆柱形镜筒21内沿镜筒光轴的光轴方向(在图中，上下方向)可移动，并且可以从最前侧(从图像传感器51侧)向深度侧被送出。进给单元23的送出使单眼透镜31
i
移动，并且调整焦点。
[0328]
<进给量的第一检测方法>
[0329]
图14是用于描述检测进给单元23的进给量的第一检测方法的图。
[0330]
图14的a示出了在进给单元23被送出到最小程度(在最前侧)的最小进给状态(宽端)下的多眼可互换透镜20的截面。图14的b示出了在进给单元被送出到最大程度(在最深侧)的最大进给状态(远端)下的多眼可互换透镜20的截面。
[0331]
在采用第一检测方法的情况下，相机系统1被配置为使图像传感器51位于当进给单元23处于最小进给状态时作为点光的非平行光被聚集的聚集点和当进给单元23处于最大进给状态时作为点光的非平行光被聚集的聚集点之间。
[0332]
此外，光源32在与镜筒光轴相同的方向上发射作为点光的非平行光。
[0333]
如上所述，在图像传感器51位于进给单元23处于最小进给状态时点光聚集的聚集点和进给单元23处于最大进给状态时点光聚集的聚集点之间的情况下，使最小进给状态下的点光图像的大小(以下也称为点大小)(例如，点光图像的半径等)与最大进给状态下的点大小之间的差最小化。
[0334]
在光源32发射作为点光的非平行光的情况下，点大小根据进给单元23的进给量而变化，因此，能够根据点大小检测进给单元23的进给量。
[0335]
图15是示出作为点光的非平行光的点大小的变化的示例的(截面)图。
[0336]
如图15所示，聚集点处的点大小最小化，并且点大小随着距聚集点的距离在镜筒光轴方向上的增大而增大。
[0337]
在图像传感器51位于进给单元23处于最小进给状态时点光被聚集的聚集点和进给单元23处于最大进给状态时点光被聚集的聚集点之间的情况下，可能存在点大小变得相同的两个进给量。
[0338]
也就是说，例如，如图15所示，在镜筒光轴方向上位于距聚集点相同距离处的两个位置具有不同的进给量，但具有相同的点大小。
[0339]
如上所述，对于特定的点大小存在两个进给量也被称为二元不确定性。
[0340]
在对于某个点大小存在两个进给量的情况下，需要指定真实进给量，即，在从两个进给量获得点大小的点光图像的状态下的进给量，并解决二值不确定性。
[0341]
在对于特定点大小存在两个进给量的情况下从两个进给量指定真实进给量的方法示例包括执行点光图像的模板匹配的方法，以及将进给量改变为大或小并且根据进给量的变化方向检测点大小增大或减小的变化方向的方法。
[0342]
图16是用于描述通过第一检测方法检测进给量的处理的示例的流程图。
[0343]
在根据图16的流程图的处理中，通过执行点光图像的模板匹配来解决二值不确定性。
[0344]
在步骤s111中，点光图像检测单元62经由通信单元56从多眼可互换透镜20获取透镜信息，并且处理进行到步骤s112。
[0345]
在步骤s112，控制单元61等待用户执行调整焦点的操作，并根据该操作经由通信单元56将用于指定焦点的信息发送到多眼可互换透镜20。在多眼可互换透镜20中，控制单元43根据经由通信单元56发送的用于指定焦点的信息移动(进给)进给单元23，并且处理进行到步骤s113。注意，控制单元61可以通过自动对焦功能等自动调整焦点，而无需用户操作。
[0346]
在步骤s113中，图像传感器51对拍摄图像进行成像，并将拍摄图像提供给区域指定单元52、位置计算单元57和点光图像检测单元62，并且处理进行到步骤s114。
[0347]
在步骤s114中，点光图像检测单元62根据包括在从多眼可互换透镜20获取的透镜信息中的个体差点光位置信息，从来自图像传感器51的拍摄图像(的个体差点光位置信息的附近)检测点光图像，并将图像作为点光图像提供给进给量检测单元64，并且处理进行到步骤s115。
[0348]
这里，如参考图6所述，可以采用对于每个型号的多眼可互换透镜20共同的值作为个体差点光位置信息。在对每种型号的多眼可互换透镜20采用共同个体差点光位置信息的情况下，将每种型号的个体差点光位置信息预先存储在相机机身10中，使得相机机身10不需要从多眼可互换透镜20获取个体差点光位置信息(包括个体差点光位置信息的透镜信息)。这类似地适用于下面描述的实施例。
[0349]
在步骤s115中，进给量检测单元64从与存储在进给量信息存储单元63中的进给量信息中的进给量相关联的点光图像信息中获取尚未与点光图像匹配的点光图像信息，并且处理进行到步骤s116。
[0350]
这里，在采用第一检测方法的情况下，进给量信息存储单元63存储进给量信息，其中多个进给量中的每一个与在进给单元23以进给量被进给出时的点光图像信息相关联，其中，作为点光图像的图像被用作点光图像信息。
[0351]
在步骤s116中，进给量检测单元64在步骤s114中从拍摄图像检测到的点光图像(以下也称为检测到的点光图像)与在紧接的前一步骤s115中获取的点光图像信息之间执行(模板)匹配，并且处理进行到步骤s117。
[0352]
在步骤s117中，进给量检测单元64确定是否对与存储在进给量信息存储单元63中的进给量信息中的进给量相关联的所有点光图像信息执行了与检测到的点光图像的匹配。
[0353]
在步骤s117中，在确定与存储在进给量信息存储单元63中的进给量信息中的进给量相关联的所有点光图像信息尚未完成的情况下，处理返回到步骤s115。
[0354]
然后，在步骤s115中，从与存储在进给量信息存储单元63中的进给量信息中的进给量相关联的点光图像信息中获取尚未与点光图像匹配的点光图像信息，并且在此后重复类似的处理。
[0355]
此外，在步骤s117中，在确定与存储在进给量信息存储单元63中的进给量信息中的进给量相关联的所有点光图像信息已经完成的情况下，处理进入步骤s118。
[0356]
在步骤s118中，从与存储在进给量信息存储单元63中的进给量信息中的进给量相关联的点光图像信息中选择与检测到的点光图像最匹配的点光图像信息，并且将与点光图像信息相关联的进给量检测为进给单元23的进给量，并提供给图像处理单元53，并且终止
处理。这里，例如，在作为步骤s112中的焦点调整之后的焦点位置的当前焦点位置在生成进给量信息时没有用作焦点位置的情况下，当前焦点位置和在生成具有在步骤s118中检测到的进给量的进给量信息时的焦点位置彼此不完全匹配，并且在步骤s118中检测到的进给量的精度可能恶化。因此，作为进给量信息，除了进给量和点光图像信息之外，还可以采用其中当进给单元23以进给量被进给出时的焦点位置被关联的信息。在这种情况下，在步骤s112中，当当前焦点位置与进给量信息中包括的焦点位置中的任何一个不匹配时，可以将当前焦点位置绘制(重新调整)到进给量信息中包括的焦点位置中最接近当前焦点位置的焦点位置。结果，在步骤s118中，可以检测准确的进给量。
[0357]
注意，在图16中，使用作为点光图像的图像作为点光图像信息并执行图像匹配来检测进给量。或者，例如，可以使用点光图像的一维强度分布或二维强度分布作为点光图像信息并执行一维强度分布或二维强度分布的匹配来检测进给量。
[0358]
此外，在设置一个或多个光源32的情况下，可以采用第一检测方法。
[0359]
<进给量的第二检测方法>
[0360]
图17是用于描述检测进给单元23的进给量的第二检测方法的图。
[0361]
在采用第二检测方法的情况下，与第一检测方法类似，相机系统1被配置为使图像传感器51位于当进给单元23处于最小进给状态时作为点光的非平行光被聚集的聚集点和当进给单元23处于最大进给状态时作为点光的非平行光被聚集的聚集点之间。
[0362]
此外，与第一检测方法类似，光源32l和32r在与镜筒光轴相同的方向上发射非平行光作为点光。
[0363]
注意，在采用第二检测方法的情况下，相机系统1被配置为使得具有各自的进给量的光源32l发射的点光的聚集点和光源32r发射的点光的聚集点位于与图像传感器51具有不同距离的点处。
[0364]
在图17中，从图像传感器51到从具有一定进给量的光源32l发射的点光的聚集点的距离不同于从图像传感器51到从光源32r发射的点光的聚集点的距离。即，在图17中，图像传感器51存在于图中的下侧，并且由光源32l发射的点光的聚集点比由光源32r发射的点光的聚集点更靠近图像传感器51。
[0365]
在这种情况下，二元不确定性不能仅通过由光源32l和32r中的一个发射的点光的点大小来解决，但是二元不确定性可以通过由光源32l和32r发射的点光的点大小的组合来解决。
[0366]
图18是用于描述通过第二检测方法检测进给量的处理的示例的流程图。
[0367]
在根据图18的流程图的处理中，通过使用由光源32l和32r发射的点光的点大小的组合来解决二元不确定性。
[0368]
在步骤s121至s123中，执行与图16中的步骤s111至s113中的处理类似的处理。
[0369]
然后，在步骤s124中，点光图像检测单元62根据从多眼可互换透镜20获取的透镜信息中包含的个体差点光位置信息，从来自图像传感器51的拍摄图像，检测(图像作为)从光源32l发射的点光的点光图像pl和从光源32r发射的点光的点光图像pr，并且处理进行到步骤s125。
[0370]
在步骤s125中，点光图像检测单元62检测点光图像pl和pr的点大小，并将点大小提供给进给量检测单元64，并且处理进入步骤s126。
[0371]
在步骤s126中，进给量检测单元64从与存储在进给量信息存储单元63中的进给量信息中的进给量相关联的点光图像信息选择与在步骤s125中检测到的点光图像pl和pr的点大小的组合(以下也称为检测点大小的组合)匹配的点光图像信息。此外，在步骤s126中，进给量检测单元64检测与匹配检测点大小的组合的点光图像信息相关联的进给量作为进给单元23的进给量，将进给量提供给图像处理单元53，并终止处理。
[0372]
这里，在采用第二检测方法的情况下，进给量信息存储单元63存储进给量信息，其中多个进给量中的每一个与进给单元23以进给量被进给出时的点光图像信息相关联，其中，点光图像pl和pr的点大小的组合用作点光图像信息。
[0373]
在第二检测方法中，在多个进给量中的每一个与作为进给单元23以进给量被进给出时的点光图像信息的点光图像pl和pr的点大小的组合相关联的进给量信息中，与和检测点大小的组合相匹配的点光图像pl和pr的点大小的组合相关联的进给量被检测为进给单元23的进给量。
[0374]
根据第二检测方法，解决了二元不确定性，并且可以根据检测点大小(的组合)检测进给单元23的进给量。
[0375]
注意，在设置两个或更多个光源32的情况下，可以采用第二检测方法。
[0376]
<进给量的第三检测方法>
[0377]
图19是用于描述检测进给单元23的进给量的第三检测方法的图。
[0378]
图19的a示出了在进给单元23被进给出最小程度(在最前面)的最小进给状态下的多眼可互换透镜20的截面。图19的b示出了在进给单元被进给出最大程度(在最深侧)的最大进给状态下的多眼可互换透镜20的截面。
[0379]
如果采用第三检测方法，则相机系统1被配置为使得当进给单元23从最小进给状态移动到最大进给状态时，作为点光的非平行光被聚集的聚集点位于包括图像传感器51的深度侧和前侧之一。
[0380]
此外，光源32在与镜筒光轴相同的方向上发射作为点光的非平行光。
[0381]
如上所述，在进给单元23从最小进给状态移动到最大进给状态的情况下，当作为点光的非平行光被聚集的聚集点位于包括图像传感器51的深度侧和前侧之一时，使最小进给状态下的点光图像的点大小与最大进给状态下的点大小之间的差值最大。此外，在进给单元23从最小进给状态移动到最大进给状态的情况下，点大小单调地减小或单调地增大。因此，不会出现二元不确定性。
[0382]
图20是用于描述当进给单元23从最小进给状态移动到最大进给状态时，作为点光的非平行光被聚集的聚集点位于包括图像传感器51的后侧和前侧之一的状态的图。
[0383]
图20的a示出了当进给单元23从最小进给状态移动到最大进给状态时，作为点光的非平行光被聚集的聚集点位于包括图像传感器51的前侧(与设置单眼透镜31
i
的一侧相对的一侧)的状态。
[0384]
在图20的a中，当进给单元23从最小进给状态移动到最大进给状态时，点大小单调地减小。
[0385]
图20的b示出了当进给单元23从最小进给状态移动到最大进给状态时，作为点光的非平行光被聚集的聚集点位于包括图像传感器51的深度侧(设置单眼透镜31i的侧)的状态。
[0386]
在图20的b中，当进给单元23从最小进给状态移动到最大进给状态时，点大小单调地增大。
[0387]
在采用第三检测方法的情况下，进给量信息存储单元63存储进给量信息，其中多个进给量中的每一个与进给单元23以进给量被进给出时的点光图像信息相关联，其中，点光图像的点大小用作点光图像信息。
[0388]
然后，在第三检测方法中，与第二检测方法类似，点光图像检测单元62检测点光图像的点大小。
[0389]
此外，在进给量检测单元64中，在其中多个进给量中的每一个与作为当进给单元23以进给量被进给出时的点光图像信息的点光图像的点大小相关联的进给量信息中，与作为与由点光图像检测单元62检测到的点大小匹配的点光图像信息的点大小相关联的进给量被检测为进给单元23的进给量。
[0390]
根据第三检测方法，不发生二元不确定性，并且可以根据点大小检测进给单元23的进给量。
[0391]
注意，在设置一个或多个光源32的情况下，可以采用第三检测方法。
[0392]
<进给量的第四检测方法>
[0393]
图21是用于说明检测进给单元23的进给量的第四检测方法的图。注意，第四检测方法不仅可以应用于点光是非平行光的情况，还可以应用于点光是平行光的情况，如下所述。
[0394]
即，图21示出了多眼可互换透镜20的截面。
[0395]
在采用第四检测方法的情况下，相机系统1被配置为使得光源32在从镜筒光轴方向倾斜的斜方向上发射点光。
[0396]
在图21中，光源32沿从外围部分朝向图像传感器51的中心部分的方向发射点光。
[0397]
图22是示出在进给单元23处于最小进给状态的情况下点光的照射位置和在进给单元23处于最大进给状态的情况下点光的照射位置的图。
[0398]
图22的a示出了在进给单元23处于最小进给状态的情况下点光的照射位置，图22的b示出了在进给单元23处于最大进给状态的情况下点光的照射位置。
[0399]
在图22中，在进给单元23处于最小进给状态的情况下点光的照射位置(即，由光源32l和32r发射的点光的点光图像pl'和pr'的位置)是在点光的点光图像pl和pr的可移动范围内最靠近(由)图像传感器51(拍摄的拍摄图像)的外围侧的位置。
[0400]
当进给单元23从最小进给状态移动到最大进给状态时，点光图像pl和pr向图像传感器51的中心移动。
[0401]
然后，在进给单元23处于最大进给状态的情况下点光的照射位置(即，由光源32l和32r发射的点光的点光图像pl”和pr”的位置)是在点光的点光图像pl和pr的可移动范围内最靠近图像传感器51的中心侧的位置。
[0402]
图23是示出在进给单元23处于最小进给状态的情况下出现点光图像pl'和pr'的拍摄图像，以及在进给单元23处于最大进给状态的情况下出现点光图像pl”和pr”的拍摄图像的示例的图。
[0403]
在图23中，在进给单元23处于最小进给状态的情况下的点光图像pl'和pr'位于拍摄图像的最外围侧。
[0404]
当进给单元23从最小进给状态移动到最大进给状态时，点光图像pl和pr向拍摄图像的中心移动。
[0405]
然后，在进给单元23处于最大进给状态的情况下的点光图像pl”和pr”位于拍摄图像的最中心侧。
[0406]
如上所述，在光源32l和32r沿斜方向发射点光的情况下，点光图像pl和pr的位置取决于进给单元23的进给量而改变。
[0407]
此外，在光源32l和32r沿作为斜方向的例如从外围部分朝向图像传感器51的中心部分的方向发射点光的情况下，除了点光图像pl和pr的位置以外，点光图像pl和pr(的位置)之间的距离也取决于进给单元23的进给量而改变。在图23中，当进给单元23处于最小进给状态时的点光图像pl'和pr'之间的距离是点光图像pl和pr之间的距离的最大值。此外，当进给单元23处于最大进给状态时的点光图像pl”和pr”之间的距离是点光图像pl和pr之间的距离的最小值。
[0408]
在第四检测方法中，根据点光图像pl和pr(中的一个或两个)的位置或者从这些位置获得的点光图像pl和pr之间的距离来检测进给单元23的进给量。
[0409]
图24是用于描述通过第四检测方法检测进给量的处理的示例的流程图。
[0410]
在步骤s131至s134中，执行与图18中的步骤s121至s124中的处理类似的处理。
[0411]
然后，在步骤s135中，点光图像检测单元62检测点光图像pl和pr的位置(检测光图像位置)，并检测光图像之间的距离，其为位置之间的距离。点光图像检测单元62将光图像之间的距离提供给进给量检测单元64，并且处理从步骤s135进行到步骤s136。
[0412]
在步骤s136中，进给量检测单元64从与存储在进给量信息存储单元63中的进给量信息中的进给量相关联的点光图像信息中选择与在步骤s135中检测到的光图像之间的距离(以下也称为光图像之间的检测距离)匹配的点光图像信息。此外，在步骤s136中，进给量检测单元64检测与和检测光图像之间的距离相匹配的点光图像信息相关联的进给量作为进给单元23的进给量，将进给量提供给图像处理单元53，并终止处理。
[0413]
这里，在采用第四检测方法的情况下，进给量信息存储单元63存储进给量信息，其中多个进给量中的每一个与进给单元23以进给量被进给出时的点光图像信息相关联，其中，光图像之间的距离用作点光图像信息。
[0414]
在第四检测方法中，在其中多个进给量中的每一个与作为当进给单元23以进给量被进给出时的点光图像信息的光图像之间的距离相关联的进给量信息中，与和检测光图像之间的距离匹配的光图像之间的距离相关联的进给量被检测为进给单元23的进给量。
[0415]
根据第四检测方法，可以根据检测光图像之间的距离来检测进给单元23的进给量，而不引起二值不确定性。
[0416]
注意，在第四检测方法中，可以采用点光图像的位置(检测光图像位置)作为点光图像信息，而不是光图像之间的距离。在采用点光图像的位置作为点光图像信息的情况下，进给量信息存储单元63存储其中多个进给量中的每一个与作为当进给单元23以进给量被进给出时的点光图像信息的点光图像的位置相关联的进给量信息。此外，在这种情况下，点光图像检测单元62检测点光图像的位置。
[0417]
然后，进给量检测单元64将与和在点光图像检测单元62中检测到的点光图像的位置匹配的点光图像的位置相关联的进给量检测为存储在进给量信息存储单元63中的进给
量信息中的进给单元23的进给量。
[0418]
另外，在第四检测方法中，与第一检测方法类似，可以采用作为点光图像的图像作为点光图像信息，并且与第二和第三检测方法类似，可以采用点大小作为点光图像信息。
[0419]
这里，在第四检测方法中，在采用光图像之间的距离作为点光图像信息的情况下，需要设置两个或更多个光源32。然而，并非所述两个或更多个光源32中的所有光源都需要在斜方向上发射点光，而是需要至少一个光源32在斜方向上发射点光。
[0420]
此外，在第四检测方法中，在采用点光图像的位置作为点光图像信息的情况下，需要设置一个或多个光源32。
[0421]
<多眼可互换透镜20的另一配置示例>
[0422]
图25是示出多眼可互换透镜20的另一配置示例的图。
[0423]
注意，在附图中，与图4、13等中的部分相对应的部分被赋予相同的附图标记，并且在下文中，将适当地省略其描述。
[0424]
图25中的多眼可互换透镜20的配置类似于图4和13等的情况，除了新设置了类似于光源32l和32r地配置的光源32u和32d之外。
[0425]
图25的多眼可互换透镜20具有这样的配置，其中作为多个光源的两个光源32u和32d被设置在与连接光源32l和32r的直线不平行的直线(例如，平面图中的正交直线)上。
[0426]
在具有设置在与上述连接光源32l和32r的直线正交的直线上的两个光源32u和32d的多眼可互换透镜20安装在相机机身10上的情况下，相对于没有透镜倾斜的情况，当存在多眼可互换透镜20的关于x轴的透镜倾斜或关于y轴的透镜倾斜时，由光源32l、32r、32u和32d发射的点光的点光图像的点大小和位置如图25所示的那样改变。
[0427]
因此，可以根据点光图像(的点大小和位置)来检测多眼可互换透镜20的关于x轴的透镜倾斜和关于y轴的透镜倾斜。
[0428]
在这种情况下，当检测到超过允许量的量的透镜倾斜时，可以敦促用户重新附接多眼可互换透镜20。此外，检测透镜倾斜量，并且可以获得视差信息或者可以指定单眼图像的区域，以便消除透镜倾斜量的影响。
[0429]
<光源32l和32r的另一配置示例>
[0430]
图26是示出光源32l和32r的另一配置示例的截面图。
[0431]
注意，在附图中，与图12中的那些部分相对应的部分被赋予相同的附图标记，并且在下文中，将适当地省略其描述。
[0432]
在图26中，光源32包括壳体121、led 122以及透镜123和124。
[0433]
因此，图26的光源32在包括壳体121到透镜123的方面与图12的情况相同，并且在新包括透镜124的方面与图12的情况不同。
[0434]
透镜124设置在透镜123的图像传感器51侧，并且将由透镜123聚集的点光转换为平行光并发射平行光。
[0435]
因此，从图26中的光源32发射的点光是平行光。发射平行光作为点光的光源32在下文中也称为平行光源32。
[0436]
平行光源32可以设置在多眼可互换透镜20的进给单元23中。在进给单元23中设置平行光源32的情况下，无论进给单元23的向外进给如何，点大小都是恒定的。因此，通过减小点大小，与采用点大小改变的非平行光作为点光的情况相比，当获得点光图像的重心作
为点光图像的位置时的计算误差和计算量减小。因此，可以以更高的精度获得附接误差和进给量，并且可以减少获得附接误差和进给量时的计算负荷。
[0437]
可以在进给单元23中设置平行光源32，使得点光变得平行于镜筒光轴。注意，在这种情况下，可以使用点光(点光图像)获得附接误差，但是不能检测进给量。
[0438]
在进给单元23中设置平行光源32，使得在从镜筒光轴方向倾斜的斜方向上发射点光，由此可以通过参考图21到24所述的第四检测方法来检测进给量。
[0439]
此外，即使在采用平行光源32的情况下，作为多个平行光源的两个平行光源32u和32d也可以设置在与连接平行光源32l和32r的直线不平行的直线上，例如，在平面图中的正交直线上，例如，如图25的情况。
[0440]
在这种情况下，当多眼可互换透镜20安装在相机机身10上时，由平行光源32l、32r、32u和32d发射的点光的点光图像的位置根据多眼可互换透镜20的关于x轴的透镜倾斜或关于y轴的透镜倾斜而改变。
[0441]
图27是示出由平行光源32发射的平行光的点光图像的位置根据透镜倾斜而改变的状态的图。
[0442]
在具有设置在与连接平行光源32l和32r的直线正交的直线上的两个光源32u和32d的多眼可互换透镜20安装在相机机身10上的情况下，由平行光源32发射的平行光的点光图像的位置根据多眼可互换透镜20的关于x轴的透镜倾斜或关于y轴的透镜倾斜而改变。
[0443]
因此，可以根据点光图像的位置来检测多眼可互换透镜20的关于x轴的透镜倾斜和关于y轴的透镜倾斜。
[0444]
在这种情况下，当检测到超过允许量的量的透镜倾斜时，可以敦促用户重新附接多眼可互换透镜20。此外，检测到透镜倾斜量，并且可以获得视差信息或者可以指定单眼图像的区域，以便消除透镜倾斜量的影响。
[0445]
<相机系统1的另一电气配置示例>
[0446]
图28是示出图1的相机系统1的另一电气配置示例的框图。
[0447]
注意，在附图中，与图2中的那些部分相对应的部分被赋予相同的附图标记，并且在下文中，将适当地省略其描述。
[0448]
这里，应用本技术的相机系统1(或透镜集成相机系统)保持用于指定在由图像传感器51拍摄的整个图像(拍摄图像)上的单眼图像的位置的单眼图像位置信息，即，指示图像传感器51中的从多个单眼透镜31
i
发射的成像光的发射位置的单眼图像位置信息。此外，相机系统1保持用于指定光源32的点光的点光图像的位置的点光图像位置信息。
[0449]
这里，整个图像是指由图像传感器51拍摄的整个拍摄图像，或者是通过从整个拍摄图像中删除包括在拍摄图像中的所有单眼图像的外部的一部分或全部而获得的图像。
[0450]
注意，单眼图像位置信息和点光图像位置信息可以是针对每个相机系统1计算的信息，或者可以是针对每个型号计算的信息。
[0451]
此外，单眼图像位置信息可以是单眼图像的绝对位置的信息，或者可以是使用一个预定的单眼透镜31
i
作为参考透镜的单眼图像相对于参考透镜的绝对位置的信息，以及基于单眼图像相对于参考透镜的位置的其他单眼图像的相对位置的信息。
[0452]
例如，由相机系统1保持的单眼图像位置信息和点光图像位置信息可以是分别对应于个体差反映位置信息(已知参考位置)和个体差点光位置信息(已知光位置)的值，但不
限于此。
[0453]
相机系统1通过使用在实际成像时(在对一般拍摄图像(未知拍摄图像)成像时)从整个图像中检测到的点光图像(检测到的点光图像位置信息)的位置来校正单眼图像位置信息。
[0454]
在相机系统1的多眼可互换透镜20中，单眼透镜31
i
和光源32被一体地进给出。因此，即使以调整的焦距(或变焦)进给出单眼透镜31
i
，也可以使用与单眼透镜31
i
一体地进给出的光源32的检测到的点光图像位置信息来精确地修改(校正)单眼图像位置信息。
[0455]
也就是说，当单眼透镜31
i
被进给出时，由于“各种原因”，根据进给量产生不同的位置偏差量。然而，即使单眼透镜31
i
被进给出，单眼图像和光源32之间的位置关系(即，单眼图像和点光图像之间的位置关系)也不改变。因此，通过在实际成像时检测整个图像上的点光图像的位置(检测到的点光图像位置信息)，并掌握与由相机系统1保持的点光图像位置信息的偏差，能够准确地修改单眼图像的单眼图像位置信息。
[0456]“各种原因”包括例如在进给出时一体地移动的一组单眼透镜31
i
(单眼透镜单元)倾斜、在进给出时单眼透镜单元旋转、由于附接误差，即使在相同进给量的情况下，多眼可互换透镜20具有附接时的旋转误差、倾斜误差等。
[0457]
由于相机系统1能够准确地修改单眼图像的单眼图像位置信息，相机系统1能够使用修改的单眼图像位置信息(修改的单眼图像位置信息)，从整个图像中准确地提取(切出)以光轴中心位置为中心的预定范围作为单眼图像，并且能够执行抑制透镜失真等的影响的处理(视差信息的生成等)。
[0458]
注意，在实际成像时从整个图像检测到的检测到的点光图像位置信息可以是但不限于例如与安装误差点光位置信息(未知光位置)相对应的值。另外，通过使用检测到的点光图像位置信息修改单眼图像位置信息而获得的修改后的单眼图像位置信息可以是但不限于例如与安装误差反映位置信息(未知参考位置)相对应的值。
[0459]
在图28中，区域指定单元52包括单眼图像位置信息修改单元211和单眼图像提取单元212。
[0460]
作为多眼可互换透镜20的存储单元41的透镜信息(的一部分)而存储的点光图像位置信息和单眼图像位置信息从通信单元56被提供给单眼图像位置信息修改单元211。此外，从由图像传感器51拍摄的整个图像(拍摄图像)中检测到的检测到的点光图像位置信息从点光图像检测单元62被提供给单眼图像位置信息修改单元211。
[0461]
单眼图像位置信息修改单元211使用来自通信单元56的点光图像位置信息和来自点光图像检测单元62的检测到的点光图像位置信息来修改来自通信单元56的单眼图像位置信息，并将得到的修改后的单眼图像位置信息提供给单眼图像提取单元212和关联单元221。在单眼图像位置信息修改单元211中，与在位置计算单元57(图2)中获得安装误差反映位置信息的处理类似，执行对单眼图像位置信息的修改。
[0462]
如上所述，从单眼图像位置信息修改单元211提供修改后的单眼图像位置信息，并且从图像传感器51将整个图像(拍摄图像)提供给单眼图像提取单元212。
[0463]
单眼图像提取单元212使用来自单眼图像位置信息修改单元211的修改后的单眼图像位置信息，获得指示来自图像传感器51的整个图像上的单眼透镜310到314的单眼图像的区域的区域信息。例如，单眼图像提取单元212获得指示以修改后的单眼图像位置信息为
中心的矩形区域的信息作为区域信息。
[0464]
然后，单眼图像提取单元212从来自图像传感器51的整个图像中提取由区域信息指示的区域作为单眼图像，并根据需要将提取的单眼图像提供给显示单元54和关联单元221。
[0465]
此外，单眼图像提取单元212根据需要将来自图像传感器51的整个图像提供给显示单元54和关联单元221。
[0466]
显示单元54显示来自单眼图像提取单元212的整个图像和单眼图像。
[0467]
关联单元221将来自单眼图像位置信息修改单元211的修改后的单眼图像位置信息与来自单眼图像提取单元212的单眼图像或整个图像相关联。
[0468]
关联单元221例如关联来自单眼图像提取单元212的从同一整个图像中提取的单眼图像。此外，关联单元221例如关联从同一整个图像中提取的单眼图像和用于提取来自单眼图像提取单元212的单眼图像的修改后的单眼图像位置信息。此外，关联单元221例如将来自单眼图像提取单元212的整个图像(拍摄图像)与来自单眼图像位置信息修改单元211的、通过使用从整个图像中检测到的检测到的点光图像位置信息修改单眼图像位置信息而获得的修改后的单眼图像位置信息(成像单眼图像位置)相关联。
[0469]
例如，可以通过在同一记录介质中记录关联对象或通过向关联对象分配相同的标识(id)来执行关联。或者，可以使用例如关联对象的元数据(与修改后的单眼图像位置信息相关联的单眼图像或整个图像的元数据)来执行关联。
[0470]
关联单元221可以集体地记录或发送通过关联而关联的信息(关联信息)。
[0471]
注意，关联单元221可以例如将点光图像位置信息(包括在透镜信息中)与从整个图像中检测到的检测到的点光图像位置信息相关联。
[0472]
此外，在关联单元221中获得的关联信息可以是用于相机系统1或外部设备中的后处理的对象。在后处理中，例如，可以使用包括在关联信息中的修改的单眼图像位置信息，从关联信息中包括的整个图像中提取单眼图像，在关联信息中，整个图像与修改的单眼图像位置信息相关联。
[0473]
此外，关联单元221可以关联整个图像(拍摄图像)、从整个图像中检测到的检测到的点光图像位置信息(检测光图像位置)、点光图像位置信息(存储光图像位置)以及单眼图像位置信息(存储单眼图像位置)。在这种情况下，在对其中整个图像、检测到的点光图像位置信息、点光图像位置信息和单眼图像位置信息相互关联的关联信息的后处理中，使用检测到的点光图像位置信息和点光图像位置信息修改单眼图像位置信息，并且可以使用得到的修改后的单眼图像位置信息从整个图像中提取单眼图像。
[0474]
此外，关联单元221可以关联例如点光图像位置信息(存储光图像位置)、点光图像位置信息和检测到的点光图像位置信息之间的差(存储光图像位置和检测光图像位置之间的差)、单眼图像位置信息(存储单眼图像位置)和整个图像(拍摄图像)。
[0475]
此外，关联单元221可以采用能够指定单眼图像在拍摄图像上的位置的任何关联。
[0476]
作为要关联的目标图像，除了整个图像和从整个图像中提取的单眼图像之外，还可以采用其中排列了从整个图像中提取的单眼图像的一个合成图像。
[0477]
此外，作为要与目标图像相关联的目标信息，除了修改的单眼图像位置信息之外，还可以采用能够指定拍摄图像上的单眼图像的位置的任意信息。
[0478]
作为目标信息，例如，可以采用一组单眼图像位置信息、点光图像位置信息和检测到的点光图像位置信息。
[0479]
在目标图像和目标信息的关联中，目标图像和目标信息可以彼此关联并存储在存储介质中、经由发送介质传输或制作成一个文件。
[0480]
这里，“关联”例如意味着在处理另一数据时使一个数据可用(可链接)。作为数据(文件)的目标图像和目标信息的形式是任意的。例如，可以将目标图像和目标信息收集为一个数据(文件)，或者可以将它们单独设定为数据(文件)。例如，可以在与目标图像的发送路径不同的发送路径上传输与目标图像相关联的目标信息。此外，例如，与目标图像相关联的目标信息可以记录在与目标图像不同的记录介质中，或者可以记录在同一记录介质中的不同记录区域中。目标图像和目标信息可以组合成一个流数据或一个文件。
[0481]
目标图像可以是静止图像或运动图像。在运动图像的情况下，每帧的目标信息和目标图像可以相互关联。
[0482]
可以对部分数据(文件)而不是目标图像的全部数据执行“关联”。例如，在目标图像是包括多个帧的运动图像的情况下，目标信息可以与任意单位的目标图像(例如，多个帧、一个帧或帧中的一部分)相关联。
[0483]
注意，在目标图像和目标信息是单独的数据(文件)的情况下，通过向目标图像和目标信息两者分配相同的id(识别号)，可以将目标图像和目标信息彼此关联。此外，例如，在将目标图像和目标信息一起放在一个文件中的情况下，可以将目标信息添加到文件的头部等。
[0484]
<后处理设备>
[0485]
图29是示出对关联信息执行后处理的后处理设备的配置示例的框图。
[0486]
在图29中，后处理设备230包括区域指定单元231、图像处理单元232、显示单元233、记录单元234和发送单元235。区域指定单元231包括单眼图像位置信息修改单元241和单眼图像提取单元242。
[0487]
将其中整个图像、检测到的点光图像位置信息、点光图像位置信息和单眼图像位置信息相关联的关联信息从记录介质或发送介质(未示出)提供给后处理设备230。
[0488]
请注意，有许多方式可用于关联哪些类型的信息以及如何修改这些信息。例如，如果从检测到的点光图像位置信息和点光图像位置信息预先计算指示点光图像的位置偏差的点光图像位置偏差信息，并且整个图像或单眼图像与点光图像位置偏差信息相关联，则不必将检测到的点光图像位置信息和点光图像位置信息与整个图像等相关联。此外，可以预先修改单眼图像位置信息，并且修改后的单眼图像位置信息可以与整个图像或单眼图像相关联。在这种情况下，不需要在后处理中对单眼图像位置信息进行修改。此外，作为检测到的点光图像位置信息，例如，除了点光图像在整个图像上的位置本身之外，还可以采用在整个图像中出现点光图像的区域的图像部分的信息。在采用点光图像出现在整个图像中的区域的图像部分的信息作为检测到的点光图像位置信息的情况下，例如，可以从该信息获得点光图像在整个图像上的位置。
[0489]
将包括在关联信息中的单眼图像位置信息、检测到的点光图像位置信息以及点光图像位置信息提供给单眼图像位置信息修改单元241。将包括在关联信息中的整个图像提供给单眼图像提取单元242。
[0490]
单眼图像位置信息修改单元241通过使用包括在关联信息中的点光图像位置信息和检测到的点光图像位置信息来修改包括在关联信息中的单眼图像位置信息，并且将得到的修改后的单眼图像位置信息提供给单眼图像提取单元242。单眼图像位置信息修改单元241类似于单眼图像位置信息修改单元211(图28)地修改单眼图像位置信息。
[0491]
单眼图像提取单元242使用来自单眼图像位置信息修改单元241的修改后的单眼图像位置信息，获得指示在包括在关联信息中的整个图像上的单眼透镜310到314的单眼图像的区域的区域信息。
[0492]
然后，单眼图像提取单元242从整个图像中提取由区域信息指示的区域作为单眼图像，并根据需要将提取的单眼图像提供给图像处理单元232、显示单元233、记录单元234和发送单元235。
[0493]
注意，除了单眼图像之外，单眼图像提取单元242还可以根据需要向图像处理单元232、显示单元233、记录单元234和发送单元235提供整个图像和修改的单眼图像位置信息。
[0494]
图像处理单元232对来自单眼图像提取单元242的单眼图像执行图像处理，并且根据需要将图像处理的结果提供给显示单元233、记录单元234和发送单元235。例如，图像处理单元232可以使用来自单眼图像提取单元242的单眼图像和修改后的单眼图像位置信息来生成视差信息，并且可以使用视差信息和单眼图像来执行重新聚焦。
[0495]
显示单元233根据需要显示整个图像、单眼图像、来自单眼图像提取单元242的修改的单眼图像位置信息以及图像处理单元232的图像处理的结果。记录单元234根据需要在记录介质(未示出)中记录整个图像、单眼图像、来自单眼图像提取单元242的修改的单眼图像位置信息以及图像处理单元232的图像处理的结果。发送单元235根据需要经由发送介质(未示出)发送整个图像、单眼图像、来自单眼图像提取单元242的修改的单眼图像位置信息以及图像处理单元232的图像处理的结果。
[0496]
作为后处理，后处理设备230可以执行使用检测到的点光图像位置信息和点光图像位置信息修改单眼图像位置信息的处理，以及使用通过修改单眼图像位置信息而获得的修改的单眼图像位置信息从整个图像中提取单眼图像的处理。
[0497]
如上所述的后处理设备230可以设置在再现、显示单眼图像和执行针对单眼图像的图像处理的设备中。
[0498]
图30是示出对关联信息执行后处理的后处理设备的另一配置示例的框图。
[0499]
注意，在附图中，与图29中的后处理设备230相对应的部件被赋予相同的附图标记，并且在下文中，将适当地省略其描述。
[0500]
在图30中，后处理设备250包括区域指定单元231至发送单元235。区域指定单元231包括单眼图像位置信息修改单元241。
[0501]
因此，在包括区域指定单元231到发送单元235的方面，后处理设备250与图29中的后处理设备230相同。然而，后处理设备250与后处理设备230的不同之处在于区域指定单元231不包括单眼图像提取单元242。
[0502]
将其中多个单眼图像、检测到的点光图像位置信息、点光图像位置信息以及分别对应于多个单眼图像的多个单眼图像位置信息关联的关联信息从记录介质或发送介质(未示出)提供给后处理设备250。
[0503]
将包括在关联信息中的单眼图像位置信息、检测到的点光图像位置信息以及点光
图像位置信息提供给单眼图像位置信息修改单元241。根据需要将包括在关联信息中的单眼图像提供给图像处理单元232、显示单元233、记录单元234以及发送单元235。
[0504]
如参考图29所述，单眼图像位置信息修改单元241通过使用包括在关联信息中的点光图像位置信息和检测到的点光图像位置信息，修改包括在关联信息中的单眼图像位置信息。单眼图像位置信息修改单元241根据需要将通过修改单眼图像位置信息而获得的修改后的单眼图像位置信息提供给图像处理单元232、显示单元233、记录单元234和发送单元235。
[0505]
图像处理单元232对单眼图像执行图像处理，并根据需要将图像处理的结果提供给显示单元233、记录单元234和发送单元235。例如，与图29的情况类似，图像处理单元232可以使用单眼图像和修改后的单眼图像位置信息来生成视差信息，并且可以使用视差信息和单眼图像来执行重新聚焦。
[0506]
显示单元233根据需要显示整个图像、单眼图像、来自单眼图像提取单元242的修改的单眼图像位置信息、图像处理单元232的图像处理的结果、以及由单眼图像位置信息修改单元241获得的修改后的单眼图像位置信息。记录单元234根据需要记录单眼图像、修改的单眼图像位置信息、由图像处理单元232进行的图像处理的结果以及由单眼图像位置信息修改单元241获得的修改的单眼图像位置信息。发送单元235根据需要发送单眼图像、修改的单眼图像位置信息、由图像处理单元232进行的图像处理的结果以及由单眼图像位置信息修改单元241获得的修改的单眼图像位置信息。
[0507]
后处理设备250可以使用检测到的点光图像位置信息和点光图像位置信息来执行修改单眼图像位置信息的处理，作为后处理。注意，在图30中，整个图像可以包括在关联信息中。整个图像可以被提供给图像处理单元232到发送单元235并且可以被处理。
[0508]
如上所述的后处理设备250可以设置在再现、显示单眼图像以及执行针对单眼图像的图像处理的设备中。注意，如上所述，后处理设备230和后处理设备250可以作为后处理功能被设置在相机系统1中。
[0509]
<应用本技术的相机系统的其他实施例>
[0510]
<相机系统的第一另一实施例>
[0511]
图31是示出应用了本技术的相机系统的第一另一实施例的电气配置示例的框图。
[0512]
注意，在附图中，与图2中的那些部分相对应的部分被赋予相同的附图标记，并且在下文中，将适当地省略其描述。
[0513]
在图31中，相机系统300是透镜集成相机系统。相机系统300包括透镜单元320、图像传感器351、raw信号处理单元352、区域提取单元353、相机信号处理单元354、直通图像生成单元355、区域指定单元356、图像重新配置处理单元357、总线360、显示单元361、存储单元362、通信单元364、归档单元365、控制单元381、存储单元382和光学系统控制单元384。
[0514]
透镜单元320包括进给单元23。如参考图1和2所述，进给单元23包括单眼透镜310到314以及光源32l和32r。
[0515]
进给单元23在图31中未示出的镜筒21(图1)内沿着镜筒光轴的光轴方向移动。随着进给单元23的移动，包括在进给单元23中的单眼透镜310到314以及光源32l和32r也一体地移动。
[0516]
单眼透镜31
i
被配置为使得通过透镜的光的光路彼此独立。也就是说，在图像传感
器351的光接收面(例如，有效像素区域)上，在彼此不同的位置处发射通过单眼透镜31
i
的光，而不进入其他单眼透镜31
j
。在图像传感器351的光接收面上，单眼透镜31
i
的至少光轴位于彼此不同的位置，并且在图像传感器351的光接收面上，在彼此不同的位置发射已经通过单眼透镜31
i
的光中的至少一些光。
[0517]
因此，在由图像传感器351生成的拍摄图像(由图像传感器351输出的整个图像)中，经由单眼透镜31
i
形成的对象的图像在彼此不同的位置形成。换言之，从拍摄的图像中获得具有在单眼透镜31
i
的位置处的视点的图像(单眼图像)。
[0518]
图像传感器351是互补金属氧化物半导体(cmos)图像传感器，例如，类似于图像传感器51，对对象成像以生成拍摄的图像。图像传感器351的光接收面被由单眼透镜310到314聚集的光束照射。图像传感器351接收来自单眼透镜310到314的光束(照射光)，并执行光电转换，从而生成包括具有在单眼透镜31
i
处的视点的单眼图像的拍摄图像。
[0519]
图像传感器351可以是与图像传感器51类似的单色(所谓的单色)图像传感器，或者可以是其中例如以像素组排列拜耳阵列的滤色器的彩色图像传感器。即，由图像传感器351输出的拍摄图像可以是单色图像或彩色图像。在下文中，将基于图像传感器351是彩色图像传感器并且以raw格式生成和输出拍摄图像的假设来给出描述。
[0520]
注意，在本实施例中，raw格式是指保持图像传感器351的滤色器的布置的位置关系的状态下的图像，并且可以包括通过对从图像传感器351输出的图像执行诸如图像大小转换处理、降噪处理以及图像传感器351的缺陷校正处理之类的信号处理以及压缩编码而获得的图像。
[0521]
图像传感器351可以以raw格式输出拍摄的图像(整个图像)，它是通过光电转换照射光而生成的。例如，图像传感器351可以将raw格式的拍摄图像(整个图像)提供给总线360、raw信号处理单元352、区域提取单元353或区域指定单元356中的至少一个。
[0522]
例如，图像传感器351可以经由总线360将raw格式的拍摄图像(整个图像)提供给存储单元362，并将拍摄图像存储在存储介质363中。此外，图像传感器351可以经由总线360将raw格式的拍摄图像(整个图像)提供给通信单元364，以将拍摄图像发送到相机系统300的外部。此外，图像传感器351可以经由总线360将raw格式的拍摄图像(整个图像)提供给归档单元365，以将拍摄图像转换为文件。此外，图像传感器351可以经由总线360将raw格式的拍摄图像(整个图像)提供给图像重新配置处理单元357以执行图像重新配置处理。
[0523]
注意，图像传感器351可以是单板图像传感器，或者可以是包括多个图像传感器的一组图像传感器(也称为多板图像传感器)(例如三板图像传感器)。
[0524]
注意，在多板图像传感器的情况下，图像传感器不限于用于rgb的图像传感器。所有图像传感器可以是单色的，或者可以包括拜耳阵列等的滤色器。注意，在所有滤色器都是拜耳阵列的情况下，可以通过将所有阵列设定为相同并调整相互像素的位置关系来执行噪声降低，并且还可以通过改变rgb图像传感器的位置关系，利用所谓的空间像素移位的效果来改善图像质量。
[0525]
即使在这种多板成像装置的情况下，从每个图像传感器(即，从一个图像传感器)输出的拍摄图像中也包括多个单眼图像或多个视点图像。
[0526]
raw信号处理单元352对raw格式的图像执行与信号处理相关的处理。例如，raw信号处理单元352可以获取从图像传感器351提供的raw格式的拍摄图像(整个图像)。此外，
raw信号处理单元352可以对所获取的拍摄图像执行预定的信号处理。这种信号处理的内容是任意的。例如，信号处理可以是缺陷校正、噪声降低、压缩(编码)等，或者其他信号处理。当然，raw信号处理单元352还可以对拍摄的图像执行多种类型的信号处理。注意，可以对raw格式的图像执行的信号处理限于其中在信号处理之后的图像是处于如上所述保持图像传感器351的滤色器的布置的位置关系的状态下的图像的信号处理(在多板成像装置的情况下，图像保持r图像、g图像和b图像的状态)。
[0527]
raw信号处理单元352可以经由总线360将应用了信号处理的raw格式的拍摄图像(raw’)或压缩(编码)的拍摄图像(压缩raw)提供给存储单元362，并且将拍摄图像存储在存储介质363中。此外，raw信号处理单元352可以经由总线360将应用了信号处理的raw格式的拍摄图像(raw’)或压缩(编码)拍摄图像(压缩raw)提供给通信单元364以发送拍摄图像。此外，raw信号处理单元352可以经由总线360将应用了信号处理的raw格式的拍摄图像(raw’)或压缩(编码)的拍摄图像(压缩raw)提供给归档单元365，以将拍摄图像转换为文件。此外，raw信号处理单元352可以经由总线360将应用了信号处理的raw格式的拍摄图像(raw’)或压缩(编码)的拍摄图像(压缩raw)提供给图像重新配置处理单元357以执行图像重新配置处理。注意，在不需要区分和描述raw、raw'和压缩raw的情况下，它们被称为raw图像。
[0528]
区域提取单元353执行与从raw格式的拍摄图像中提取部分区域(切出部分图像)有关的处理。例如，区域提取单元353能够从图像传感器351取得raw格式的拍摄图像(整个图像)。此外，区域提取单元353可以获取指示从从区域指定单元356提供的拍摄图像中提取的区域的信息(也称为提取区域信息)。然后，区域提取单元353可以基于提取区域信息从拍摄图像中提取部分区域(切出部分图像)。
[0529]
例如，区域提取单元353可以从拍摄图像(整个图像)中切出具有在每个单眼透镜31
i
的位置处的视点的单眼图像。此外，在所拍摄的图像中，从中切出单眼图像的区域(与单眼图像相对应的区域)也被称为单眼图像区域。例如，区域提取单元353可以获取视点相关信息，该信息是从区域指定单元356提供的并且用于指定单眼图像区域作为提取区域信息的信息，并且可以从拍摄的图像中提取视点相关信息中指示的每个单眼图像区域，即，切出每个单眼图像。然后，区域提取单元353可以将切出的单眼图像(raw格式)提供给相机信号处理单元354。
[0530]
视点相关信息可以是例如与个体差反映位置信息或安装误差反映位置信息相对应的值，但不限于此，并且不需要为了区分或校正这样的个体差、安装误差等而进行设定。考虑到包括上述误差在内的各种误差，甚至可以修改仅仅指示拍摄图像上的单眼图像的区域与点光的位置之间的关系的信息。
[0531]
区域提取单元353可以组合从拍摄图像(整个图像)中切出的单眼图像以生成合成图像。通过将单眼图像组合成一个数据或一个图像来获得合成图像。例如，区域提取单元353可以生成一个图像，其中单眼图像被布置在平面中作为合成图像。区域提取单元353可以将生成的合成图像(raw格式)提供给相机信号处理单元354。
[0532]
此外，例如，区域提取单元353可以将整个图像提供给相机信号处理单元354。例如，区域提取单元353可以从所获取的拍摄图像中提取包括所有单眼图像的部分区域(即，切出包括所有单眼图像的部分图像)，并以raw格式将切出的部分图像(即，通过删除包括在拍摄图像中的所有单眼图像之外的区域的一部分或全部而获得的图像)作为整个图像提供
给相机信号处理单元354。在这种情况下要提取的区域的位置(范围)可以在区域提取单元353中预先确定，或者可以由从区域指定单元356提供的视点相关信息来指定。
[0533]
此外，区域提取单元353还可以以raw格式将所获取的拍摄图像(即，不是包括所有单眼图像的切出部分图像而是整个拍摄图像)作为整个图像提供给相机信号处理单元354。
[0534]
注意，区域提取单元353可以经由总线360将如上所述从拍摄图像中切出的raw格式的部分图像(整个图像、单眼图像或合成图像)提供给存储单元362、通信单元364、归档单元365、图像重新配置处理单元357等，类似于图像传感器351的情况。
[0535]
此外，区域提取单元353可以将raw格式的部分图像(整个图像、单眼图像或合成图像)提供给raw信号处理单元352以执行预定的信号处理或压缩(编码)。即使在这种情况下，raw信号处理单元352也可以经由总线360将应用了信号处理的raw格式的拍摄图像(raw’)或压缩(编码)的拍摄图像(压缩raw)提供给存储单元362、通信单元364、归档单元365、图像重配置处理单元357等。
[0536]
也就是说，整个图像、单眼图像或合成图像中的至少一个可以是raw图像。
[0537]
相机信号处理单元354对图像执行与相机信号处理相关的处理。例如，相机信号处理单元354可以获取从区域提取单元353提供的图像(整个图像、单眼图像或合成图像)。此外，相机信号处理单元354可以对获取的图像应用相机信号处理(相机处理)。例如，相机信号处理单元354可以对要处理的图像执行分离rgb的每种颜色以生成r图像、g图像以及b图像的颜色分离处理，每个图像具有与要处理的图像相同数量的像素(在使用诸如拜耳阵列之类的马赛克滤色器的情况下，去马赛克处理)、将在从rgb的颜色分离之后的图像的颜色空间转换为yc(亮度/色差)的yc转换处理等。此外，相机信号处理单元354可以对要处理的图像执行诸如缺陷校正、噪声降低、自动白平衡(awb)或伽马校正之类的处理。此外，相机信号处理单元354还可以压缩(编码)要处理的图像。当然，相机信号处理单元354可以对要处理的图像执行多个相机信号处理，并且还可以执行除上述示例以外的相机信号处理。
[0538]
注意，在下面的描述中，假设相机信号处理单元354获取raw格式的图像，对图像执行颜色分离处理或yc转换，并输出yc格式的图像(yc)。该图像可以是整个图像、单眼图像或合成图像。此外，可以对yc格式的图像(yc)进行编码，也可以不进行编码。即，从相机信号处理单元354输出的数据可以是编码数据或未编码图像数据。
[0539]
即，整个图像、单眼图像或合成图像中的至少一个可以是yc格式的图像(也称为yc图像)。
[0540]
此外，由相机信号处理单元354输出的图像可以是尚未应用完全显影处理的图像，并且可以是尚未应用与不可逆图像质量调整(颜色调整)相关的一些或所有处理(例如伽马校正和颜色矩阵)的图像，作为yc格式的图像(yc)。在这种情况下，可以将yc格式的图像(yc)基本上返回到raw格式的图像，而不会在随后的阶段、再现等中劣化。
[0541]
相机信号处理单元354可以经由总线360将已经应用了相机信号处理的yc格式的图像(yc)提供给存储单元362，并且将图像(yc)存储在存储介质363中。此外，相机信号处理单元354可以经由总线360将相机信号处理已经应用到的yc格式的图像(yc)提供给通信单元364以将图像发送到外部。此外，相机信号处理单元354可以经由总线360将相机信号处理已经应用到的yc格式的图像(yc)提供给归档单元365，以将图像转换为文件。此外，相机信号处理单元354可以经由总线360将相机信号处理已经应用到的yc格式的图像(yc)提供给
图像重新配置处理单元357以执行图像重新配置处理。
[0542]
此外，例如，相机信号处理单元354可以将yc格式的图像(yc)提供给直通图像生成单元355。
[0543]
注意，在存储介质363中存储raw格式的图像(整个图像、单眼图像或合成图像)的情况下，相机信号处理单元354可以从存储介质363读取raw格式的图像并执行信号处理。即使在这种情况下，相机信号处理单元354也可以经由总线360向显示单元361、存储单元362、通信单元364、归档单元365、图像重新配置处理单元357等提供相机信号处理已经应用到的yc格式的图像(yc)。
[0544]
此外，相机信号处理单元354可以对从图像传感器351输出的raw格式的拍摄图像(整个图像)执行相机信号处理，并且区域提取单元353可以从相机信号处理后的拍摄图像(整个图像)提取部分区域。
[0545]
直通图像生成单元355执行与直通图像的生成相关的处理。直通图像是显示给用户的图像，用于在拍摄期间或在拍摄准备期间(非记录期间)检查准备拍摄的图像。直通图像也称为实时取景图像或电子对电子(ee)图像。注意，直通图像是在拍摄静止图像时在拍摄之前的图像。然而，在拍摄运动图像时，显示不仅对应于准备拍摄期间的图像而且还对应于拍摄(记录)期间的图像的直通图像。
[0546]
例如，直通图像生成单元355可以获取从相机信号处理单元354提供的图像(整个图像、单眼图像或合成图像)。此外，例如，直通图像生成单元355可以通过执行将获取的图像转换为与显示单元361的分辨率相应的图像大小的图像大小(分辨率)转换来生成直通图像，该直通图像是用于显示的图像。直通图像生成单元355可以经由总线360将生成的直通图像提供给显示单元361以显示直通图像。
[0547]
区域指定单元356执行与要由区域提取单元353从拍摄图像中提取的区域的指定(设定)相关的处理。例如，区域指定单元356获取视点相关信息vi，用于指定要从拍摄图像中提取的区域，并且将视点相关信息vi提供给区域提取单元353作为提取区域信息。
[0548]
视点相关信息vi例如可以是与上述个体差反映位置信息相对应的值，但不限于此。视点相关信息vi例如指示拍摄图像中的单眼图像的设计位置、对已知拍摄图像成像时的位置等。
[0549]
视点相关信息vi例如包括指示拍摄图像中的单眼图像区域的单眼区域信息。单眼区域信息可以以任何方式表示单眼图像区域。例如，单眼图像区域可以由表示与拍摄图像中的单眼透镜31的光轴相对应的位置(光轴中心位置)的坐标(也称为单眼图像区域的中心坐标)和单眼图像(单眼图像区域)的分辨率(像素数)来表示。即，单眼区域信息可以包括拍摄图像中的单眼图像区域的中心坐标和单眼图像区域的分辨率。在这种情况下，可以根据单眼图像区域的中心坐标和单眼图像区域的分辨率(像素数)来指定单眼图像区域在整个图像中的位置。
[0550]
注意，为每个单眼图像区域设定单眼图像区域信息。也就是说，在拍摄图像包括多个单眼图像的情况下，视点相关信息vi可以针对每个单眼图像(每个单眼图像区域)包括用于识别单眼图像(区域)的视点识别信息(例如，id)和单眼区域信息。
[0551]
此外，视点相关信息vi可以包括其他任意信息。例如，视点相关信息vi可以包括视点时间信息，该视点时间信息指示从中提取单眼图像的拍摄图像的拍摄时间。
[0552]
区域指定单元356可以将视点相关信息vi提供给总线360。例如，区域指定单元356可以经由总线360将视点相关信息vi提供给存储单元362，并将视点相关信息vi存储在存储介质363中。此外，区域指定单元356可以经由总线360将视点相关信息vi提供给通信单元364以发送视点相关信息vi。此外，区域指定单元356可以经由总线360将视点相关信息vi提供给归档单元365，以将视点相关信息vi转换为文件。另外，区域指定单元356可以经由总线360将视点相关信息vi提供给图像重新配置处理单元357以用于图像重新配置处理。
[0553]
例如，区域指定单元356可以从控制单元381获取视点相关信息vi，并将视点相关信息vi提供给区域提取单元353和总线360。在此情况下，控制单元381经由存储单元382读取存储在存储介质383中的视点相关信息vi，并将视点相关信息vi提供给区域指定单元356。区域指定单元356将视点相关信息vi提供给区域提取单元353和总线360。
[0554]
以这种方式经由总线360提供给存储单元362、通信单元364或归档单元365的视点相关信息vi与其中的图像(整个图像、单眼图像或合成图像)相关联。例如，存储单元362可以将所提供的视点相关信息vi和图像(整个图像、单眼图像或合成图像)相互关联地存储在存储介质363中。此外，通信单元364可以将提供的视点相关信息vi与图像(整个图像、单眼图像或合成图像)相关联地发送到外部。此外，归档单元365可以生成一个文件，该文件包括相互关联的所提供的视点相关信息vi和图像(整个图像、单眼图像或合成图像)。
[0555]
此外，区域指定单元356可以获取从图像传感器351提供的raw格式的拍摄图像，基于拍摄图像生成视点相关信息vi
′
，并将生成的视点相关信息vi
′
提供给区域提取单元353和总线360。在此情况下，区域指定单元356从拍摄图像中指定每个单眼图像区域，并且生成指示单眼图像区域(例如，通过拍摄图像中的单眼图像区域的中心坐标和单眼图像区域的分辨率来指示单眼图像区域)的视点相关信息vi
′
。然后，区域指定单元356将生成的视点相关信息vi
′
提供给区域提取单元353和总线360。注意，区域指定单元356基于拍摄图像生成的点光信息si
′
可以与视点相关信息vi
′
一起被提供。
[0556]
点光信息是关于点光图像的信息，并且可以是但不限于例如与上述个体差点光位置信息或安装误差点光位置信息相对应的值。
[0557]
区域指定单元356可以从控制单元381获取视点相关信息vi，获取从图像传感器351提供的raw格式的拍摄图像，基于拍摄图像生成点光信息si’，将点光信息si’添加到视点相关信息vi中，并将视点相关信息vi提供给区域提取单元353和总线360。在这种情况下，控制单元381经由存储单元382读取存储在存储介质383中的视点相关信息vi，并且将视点相关信息vi提供给区域指定单元356。区域指定单元356使用点光信息si
′
来校正视点相关信息vi，并且生成校正后的视点相关信息vi
′
。区域指定单元356将视点相关信息vi
′
提供给区域提取单元353和总线360。
[0558]
此外，区域指定单元356可以从控制单元381获取视点相关信息vi，获取从图像传感器351提供的raw格式的拍摄图像，基于拍摄图像生成点光信息si
′
，使用点光信息si
′
校正视点相关信息vi，并将校正后的视点相关信息vi
′
提供给区域提取单元353和总线360。在这种情况下，控制单元381经由存储单元382读取存储在存储介质383中的视点相关信息vi，并且将视点相关信息vi提供给区域指定单元356。区域指定单元356使用点光信息si’来校正视点相关信息vi，以生成视点相关信息vi’。区域指定单元356将视点相关信息vi
′
提供给区域提取单元353和总线360。
[0559]
例如，点光信息si’可以是但不限于与上述安装误差点光位置信息或点光图像信息相对应的值。点光信息si’例如指示出现在拍摄图像中的点光图像的位置和/或点大小。
[0560]
这里，由于与进给单元23的移动相关联的各种偏移(例如，垂直于图像传感器351的光接收面的方向和进给单元23的移动方向之间的偏移，以及与进给单元23的移动相关联的单眼透镜31
i
的旋转偏移)，拍摄图像中的单眼图像的位置可以随着进给单元23的移动而偏移。
[0561]
在拍摄图像中的单眼图像的位置随着进给单元23的移动而偏移的情况下，当从由视点相关信息vi指示的拍摄图像的位置切出(提取)图像时，从作为单眼图像的(原始)单眼图像的单眼图像区域偏移的区域的图像。
[0562]
因此，区域指定单元356可以使用由从拍摄图像生成的点光信息si
′
指示的点光图像的位置和/或点大小来检测拍摄图像中的单眼图像的位置偏差(量)。
[0563]
然后，区域指定单元356可以根据单眼图像的位置偏差获得用于修改从拍摄图像中切出单眼图像的位置的信息，并将该信息提供给区域提取单元353。
[0564]
也就是说，区域指定单元356根据单眼图像的位置偏差来校正视点相关信息vi，以便表示位置偏差之后的单眼图像的位置，并且将通过校正获得的视点相关信息vi
′
提供给区域提取单元353。
[0565]
这里，存储介质383例如存储视点相关信息vi和点光信息si。点光信息si可以是但不限于例如与上述个体差点光位置信息相对应的值。点光信息si例如指示拍摄图像中的点光图像的设计位置和/或点大小、在已知拍摄图像的成像期间的位置和/或点大小等。
[0566]
视点相关信息vi和点光信息si是在相同定时获得的信息。例如，在视点相关信息vi是指示设计单眼图像的位置(视点)等的信息的情况下，点光信息si也是指示设计点光图像的位置等的信息。此外，例如，在视点相关信息vi是指示在对已知拍摄图像成像时检测到的单眼图像的位置等的信息的情况下，点光信息si也是指示在对已知拍摄图像成像时检测到的点光图像的位置等的信息。
[0567]
例如，区域指定单元356可以检测从拍摄图像生成的点光信息si和点光信息si’之间的差作为拍摄图像中的单眼图像的位置偏差。然后，区域指定单元356可以使用拍摄图像中的单眼图像的位置偏差，即，从拍摄图像生成的点光信息si和点光信息si’之间的差，来校正视点相关信息vi，以及生成视点相关信息vi
′
，其中已校正(修改)了拍摄图像中的单眼图像的位置偏差。
[0568]
另外，区域指定单元356可以使用从拍摄图像生成的点光信息si
′
来检测进给单元23的进给量。
[0569]
图像重新配置处理单元357执行与图像重新配置相关的处理。例如，图像重新配置处理单元357可以经由总线360从相机信号处理单元354或存储单元362获取yc格式的图像(整个图像、单眼图像或合成图像)。此外，图像重新配置处理单元357可以经由总线360从区域指定单元356或存储单元362获取视点相关信息。
[0570]
此外，图像重新配置处理单元357可以例如使用获取的图像和与获取的图像相关联的视点相关信息执行图像处理，例如，深度信息的生成和用于生成(重新配置)聚焦在任意对象上的图像的重新聚焦。例如，在要处理单眼图像的情况下，图像重新配置处理单元357使用每个单眼图像执行诸如深度信息的生成和重新聚焦之类的处理。此外，在要处理拍
摄图像或合成图像的情况下，图像重新配置处理单元357从拍摄图像或合成图像中提取每个单眼图像，并使用提取的单眼图像执行诸如生成深度信息和重新聚焦之类的处理。
[0571]
图像重新配置处理单元357可以经由总线360将生成的深度信息和重新聚焦的图像作为处理结果提供给存储单元362，并将处理结果存储在存储介质363中。此外，图像重新配置处理单元357可以经由总线360将生成的深度信息和重新聚焦的图像作为处理结果提供给通信单元364，以将处理结果发送到外部。此外，图像重新配置处理单元357可以经由总线360将生成的深度信息和重新聚焦的图像作为处理结果提供给归档单元365，以将处理结果转换为文件。
[0572]
图像传感器351、raw信号处理单元352、区域提取单元353、相机信号处理单元354、直通图像生成单元355、区域指定单元356、图像重新配置处理单元357、显示单元361、存储单元362、通信单元364以及归档单元365连接到总线360。总线360用作在这些块之间交换的各种数据的发送介质(发送路径)。注意，总线360可以通过有线或无线方式实现。
[0573]
显示单元361包括例如液晶面板、有机电致发光(el)面板等，并且与相机系统300的外壳一体地或分开地设置。例如，显示单元361可以设置在相机系统300的壳体的背面(与设置有透镜单元320的表面相对的表面)上。
[0574]
显示单元361执行与图像显示相关的处理。例如，显示单元361可以获取从直通图像生成单元355提供的yc格式的直通图像，将直通图像转换为rgb格式，并且显示rgb格式的图像。另外，例如，显示单元361还可以显示诸如相机系统300的菜单和设置之类的信息。
[0575]
此外，显示单元361可以获取和显示从存储单元362提供的yc格式的图像(整个图像、单眼图像或合成图像)。此外，显示单元361可以获取和显示从存储单元362提供的yc格式的缩略图。此外，显示单元361可以获取并显示从相机信号处理单元354提供的yc格式的图像(整个图像、单眼图像或合成图像)。
[0576]
存储单元362控制包括例如半导体存储器等的存储介质363的存储。存储介质363可以是可移除存储介质或内置于相机系统300中的存储介质。例如，存储单元362可以根据控制单元381或用户的操作等将经由总线360提供的图像(整个图像、单眼图像或合成图像)存储在存储介质363中。
[0577]
例如，存储单元362可以获取从图像传感器351或区域提取单元353提供的raw格式的图像(整个图像、单眼图像或合成图像)，并将图像存储在存储介质363中。此外，存储单元362可以获取应用了信号处理的raw格式的图像(整个图像、单眼图像或合成图像)或从raw信号处理单元352提供的raw格式的压缩(编码)图像(整个图像、单眼图像或合成图像)，并将图像存储在存储介质363中。此外，存储单元362可以获取从相机信号处理单元354提供的yc格式的图像(整个图像、单眼图像或合成图像)，并将图像存储在存储介质363中。
[0578]
此时，存储单元362可以获取从区域指定单元356提供的视点相关信息，并将视点相关信息与上述图像(整个图像、单眼图像或合成图像)相关联。即，存储单元362可以将图像(整个图像、单眼图像或合成图像)和视点相关信息彼此关联地存储在存储介质363中。也就是说，存储单元362用作将整个图像、单眼图像或合成图像中的至少一个与视点相关信息相关联的关联单元。
[0579]
此外，例如，存储单元362可以获取从图像重新配置处理单元357提供的深度信息和重新聚焦的图像，并且将该信息存储在存储介质363中。此外，存储单元362可以获取从归
档单元365提供的文件并将该文件存储在存储介质363中。该文件包括例如图像(整个图像、单眼图像或合成图像)和视点相关信息。即，在该文件中，图像(整个图像、单眼图像或合成图像)和视点相关信息彼此关联。
[0580]
此外，例如，存储单元362可以根据控制单元381、用户操作等读取存储在存储介质363中的数据、文件等，并经由总线360将读取的数据、文件等提供给相机信号处理单元354、显示单元361、通信单元364、归档单元365、图像重新配置处理单元357等。例如，存储单元362能够从存储介质363读取yc格式的图像(整个图像、单眼图像或合成图像)，将图像提供给显示单元361，并显示图像。此外，存储单元362可以从存储介质363读取raw格式的图像(整个图像、单眼图像或合成图像)，将图像提供给相机信号处理单元354，并且对图像应用相机信号处理。
[0581]
此外，存储单元362可以读取相互关联地存储在存储介质363中的图像(整个图像、单眼图像或合成图像)和视点相关信息的数据或文件，并将数据或文件提供给其他处理单元。例如，存储单元362可以从存储介质363读取相互关联的图像(整个图像、单眼图像或合成图像)和视点相关信息，以及将图像和视点相关信息提供给图像重新配置处理单元357以执行诸如深度信息的生成和重新聚焦之类的处理。此外，存储单元362可以从存储介质363读取彼此相关联的图像(整个图像、单眼图像或合成图像)和视点相关信息，以及将图像和视点相关信息提供给通信单元364以发送图像和视点相关信息。此外，存储单元362可以从存储介质363读取彼此相关联的图像(整个图像、单眼图像或合成图像)和视点相关信息，以及将图像和视点相关信息提供给归档单元365以将图像和视点相关信息转换为文件。
[0582]
注意，存储介质363可以是只读存储器(rom)或诸如随机存取存储器(ram)或闪存之类的可重写存储器。在可重写存储器的情况下，存储介质363可以存储任何信息。
[0583]
通信单元364通过任意通信方法与因特网上的服务器、有线或无线lan上的pc、其他外部设备等通信。例如，通信单元364可以根据控制单元381、用户的操作等，通过通信，通过流方法、上传方法等将图像(整个图像、单眼图像或合成图像)以及视点相关信息的数据或文件发送给通信伙伴(外部设备)。
[0584]
例如，通信单元364可以获取和发送从图像传感器351或区域提取单元353提供的raw格式的图像(整个图像、单眼图像或合成图像)。此外，通信单元364可以获取和发送对其应用了信号处理的raw格式的图像(整个图像、单眼图像或合成图像)或从raw信号处理单元352提供的压缩(编码)图像(整个图像、单眼图像或合成图像)。此外，通信单元364可以获取和发送从相机信号处理单元354提供的yc格式的图像(整个图像、单眼图像或合成图像)。
[0585]
此时，通信单元364可以获取从区域指定单元356提供的视点相关信息，并将视点相关信息与上述图像(整个图像、单眼图像或合成图像)相关联。即，通信单元364可以相互关联地发送图像(整个图像、单眼图像或合成图像)和视点相关信息。例如，在通过流方法发送图像的情况下，通信单元364重复从提供图像的处理单元获取要发送的图像(整个图像、单眼图像或合成图像)以及相互关联地发送从区域指定单元356提供的视点相关信息和图像的处理。也就是说，通信单元364用作将整个图像、单眼图像或合成图像中的至少一个与视点相关信息相关联的关联单元。
[0586]
此外，例如，通信单元364可以获取和发送从图像重新配置处理单元357提供的深度信息和重新聚焦的图像。此外，通信单元364可以获取和发送从归档单元365提供的文件。
该文件包括例如图像(整个图像、单眼图像或合成图像)和视点相关信息。即，在该文件中，图像(整个图像、单眼图像或合成图像)和视点相关信息彼此关联。
[0587]
归档单元365执行与文件生成相关的处理。例如，归档单元365可以获取从图像传感器351或区域提取单元353提供的raw格式的图像(整个图像、单眼图像或合成图像)。此外，归档单元365可以获取已应用信号处理的raw格式的图像(整个图像、单眼图像或合成图像)，或从raw信号处理单元352提供的raw格式的压缩(编码)图像(整个图像、单眼图像或合成图像)。此外，归档单元365可以获取从相机信号处理单元354提供的yc格式的图像(整个图像、单眼图像或合成图像)。此外，例如，归档单元365可以获取从区域指定单元356提供的视点相关信息。
[0588]
归档单元365可以通过将多个数据转换成文件并生成包括多个数据的一个文件，将多个获取的数据彼此关联。例如，归档单元365可以通过从图像和视点相关信息生成一个文件来将上述图像(整个图像、单眼图像或合成图像)和视点相关信息彼此关联。也就是说，归档单元365用作将整个图像、单眼图像或合成图像中的至少一个与视点相关信息相关联的关联单元。
[0589]
此外，例如，归档单元365可以获取从图像重新配置处理单元357提供的深度信息和重新聚焦图像，并将该信息转换为文件。此外，归档单元365可以根据从存储单元362提供的相互关联的图像(整个图像、单眼图像或合成图像)和视点相关信息生成一个文件。
[0590]
注意，归档单元365可以生成要归档的图像(例如，单眼图像)的缩略图图像，并且在生成的文件中包括缩略图图像。即，归档单元365可以通过生成文件将缩略图图像与图像(整个图像、单眼图像或合成图像)和视点相关信息相关联。
[0591]
归档单元365例如可以经由总线360将生成的文件(相互关联的图像和视点相关信息)提供给存储单元362，并且将该文件存储在存储介质363中。此外，例如，归档单元365可以经由总线360将生成的文件(相互关联的图像和视点相关信息)提供给通信单元364以发送文件。
[0592]
存储单元362、通信单元364和归档单元365也被称为关联单元70。关联单元70将图像(整个图像、单眼图像或合成图像)与视点相关信息相关联。例如，存储单元362可以使存储介质363与视点相关信息相关联地存储整个图像、单眼图像或合成图像中的至少一个。此外，通信单元364可以与视点相关信息相关联地发送整个图像、单眼图像或合成图像中的至少一个。此外，归档单元365可以通过从整个图像、单眼图像或合成图像中的至少一个和视点相关信息生成一个文件来将整个图像、单眼图像或合成图像和视点相关信息关联起来。
[0593]
关联单元70可以关联除图像(整个图像、单眼图像或合成图像)之外的点光信息和视点相关信息。
[0594]
控制单元381执行关于相机系统300的控制处理。即，控制单元381可以使相机系统300的每个单元执行处理。例如，控制单元381可以经由光学系统控制单元384使透镜单元320(单眼透镜31
i
中的每一个)针对成像对光学系统进行设定，例如孔径和焦点位置。此外，控制单元381可以控制图像传感器351以使图像传感器351执行成像(光电转换)并生成拍摄图像。
[0595]
此外，控制单元381可以将视点相关信息vi进而点光信息si提供给区域指定单元356，以指定要从拍摄图像中提取的区域。控制单元381可以经由存储单元382读取存储在存
储介质383中的视点相关信息vi和点光信息si，并将读取的信息提供给区域指定单元356。
[0596]
此外，控制单元381可以经由总线360获取图像，并且基于图像的亮度经由光学系统控制单元384控制孔径。此外，控制单元381可以基于图像的锐度经由光学系统控制单元384控制焦点。此外，控制单元381可以基于图像的rgb比率控制相机信号处理单元354以控制白平衡增益。
[0597]
存储单元382控制包括例如半导体存储器等的存储介质383的存储。存储介质383可以是可移除存储介质或内置存储器。存储介质383例如存储视点相关信息vi。视点相关信息vi是与透镜单元320(的每个单眼透镜31)和图像传感器351相对应的信息。即，视点相关信息vi是关于具有在透镜单元320的每个单眼透镜31的位置处的视点的单眼图像的信息，并且是用于指定单眼图像区域的信息。存储介质383可以进一步存储点光信息si。
[0598]
例如，存储单元382可以根据控制单元381或用户的操作读取存储在存储介质383中的视点相关信息vi和点光信息si，并将读取的信息提供给控制单元381。
[0599]
注意，存储介质383可以是rom或诸如ram或闪存之类的可重写存储器。在可重写存储器的情况下，存储介质383可以存储任意信息。
[0600]
此外，存储单元382和存储介质383可以由存储单元362和存储介质363代替。也就是说，要存储在存储介质383中的信息(视点相关信息vi等)可以存储在存储介质363中。在这种情况下，可以省略存储单元382和存储介质383。
[0601]
光学系统控制单元384在控制单元381的控制下控制透镜单元320(的进给单元23、单眼透镜31
i
等)。例如，光学系统控制单元384可以控制每个单眼透镜31
i
和孔径，以控制每个单眼透镜31
i
的焦距和f数中的一个或两个。注意，在相机系统300具有电聚焦调整功能的情况下，光学系统控制单元384可以控制透镜单元320(的每个单眼透镜31
i
)的焦点(焦距)。此外，光学系统控制单元384可以控制每个单眼透镜31
i
的孔径(f值)。
[0602]
注意，相机系统300可以包括通过手动操作设置在镜筒中的聚焦环来控制焦距的机构(物理配置)，而不是具有这样的电聚焦调整功能。在这种情况下，可以省略光学系统控制单元384。
[0603]
<视点相关信息等的关联>
[0604]
如上所述，在相机系统300中，经由透镜单元320(多个单眼透镜31
i
)在图像传感器351中拍摄对象，并且生成包括作为与单眼透镜31
i
相对应的图像的单眼图像的拍摄图像。相机系统300从拍摄的图像中提取一些或全部单眼图像，从而生成具有在单眼透镜31
i
的位置处的视点的单眼图像。由于从一个拍摄图像中提取的多个单眼图像是彼此不同的视点的图像，因此可以例如使用这些单眼图像来执行诸如通过多眼匹配的深度估计和用于抑制多眼透镜的附接误差的校正之类的处理。然而，为了执行处理，诸如单眼图像之间的相对位置之类的信息是必要的。
[0605]
因此，相机系统300将视点相关信息与经由具有彼此独立的光路的多个单眼透镜31
i
利用作为一个成像元件的图像传感器351对对象成像而生成的拍摄图像、从拍摄图像中提取的具有在多个单眼透镜31
i
的位置处的视点的多个单眼图像、或通过组合多个单眼图像而获得的合成图像相关联，视点相关信息是用于指定拍摄图像中的多个单眼图像的区域的信息。
[0606]
例如，关联单元70从区域指定单元356获取与图像(整个图像、单眼图像或合成图
像)相对应的视点相关信息，并将该图像与视点相关信息关联。例如，存储单元362使得存储介质363与视点相关信息相关联地存储整个图像、单眼图像或合成图像中的至少一个。此外，通信单元364与视点相关信息相关联地发送整个图像、单眼图像或合成图像中的至少一个。此外，归档单元365通过从整个图像、单眼图像或合成图像中的至少一个和视点相关信息生成一个文件，将整个图像、单眼图像或合成图像和视点相关信息关联起来。
[0607]
通过上述关联，不仅相机系统300，而且相机系统300以外的系统也可以使用视点相关信息，对单眼图像等执行高精度图像处理。
[0608]
在关联中，单眼图像等可与视点相关信息vi相关联。此外，在关联中，单眼图像等可与通过校正视点相关信息vi而获得的校正视点相关信息vi
′
相关联。此外，在关联中，单眼图像等可以与视点相关信息vi、点光信息si和点光信息si
′
相关联。此外，在关联中，单眼图像等可以与视点相关信息vi以及点光信息si和点光信息si'之间的差相关联。
[0609]
在将单眼图像等与视点相关信息vi
′
相关联的情况下，在将单眼图像等与视点相关信息vi、点光信息si和点光信息si
′
相关联的情况下，以及在将单眼图像等与视点相关信息vi以及点光信息si和点光信息si’之间的差相关联的情况下，即使拍摄图像中的单眼图像的位置偏差随着进给单元23的移动而发生，也可以准确地识别拍摄图像中每个单眼图像的位置(视点的位置)。
[0610]
<透镜单元320的附接位置的偏差的处理>
[0611]
在透镜集成相机系统300中，透镜单元320的附接位置可能由于制造误差而偏离。此外，透镜单元320的附接位置可以随着进给单元23的移动而偏移。当透镜单元320的附接位置偏移并且附接位置处发生附接误差时，降低了从拍摄图像中切出单眼图像并使用单眼图像计算视差信息的处理的精度。
[0612]
因此，区域指定单元356可以使用在拍摄图像中出现的点光图像，检测作为透镜单元320的附接位置的偏差(量)的附接误差。
[0613]
例如，区域指定单元356能够从拍摄图像中检测从光源32l和32r发射到图像传感器351的点光的入射范围，即，在拍摄图像中出现的点光图像，并且能够生成(检测)与点光图像相关的点光信息si
′
。
[0614]
此外，区域指定单元356可以检测点光信息si'和点光信息si之间的差，例如，由点光信息si'表示的点光图像的位置和由点光信息si表示的点光图像的位置之间的差，作为附接误差。
[0615]
然后，区域指定单元356可以使用附接误差校正视点相关信息vi，并生成视点相关信息vi
′
。例如，区域指定单元356可以根据点光信息si和点光信息si’，通过由点光信息si'表示的点光图像的位置和由点光信息si表示的点光图像的位置之间的差来校正由视点相关信息vi表示的单眼图像的位置，并生成视点相关信息vi’，作为用于指定随附接误差而偏离的单眼图像的位置的信息。
[0616]
区域提取单元353可以通过使用视点相关信息vi
′
从拍摄图像中切出单眼图像来准确地切出单眼图像。此外，区域提取单元353使用视点相关信息vi
′
来准确地指定单眼图像的视点的位置，并且可以使用单眼图像和视点的位置来准确地获得视差信息。
[0617]
这里，从拍摄图像生成点光信息si’的区域指定单元356可以说是检测从光源32l和32r发射到图像传感器351的点光的入射范围的检测单元。
[0618]
此外，通过使用点光信息si'和点光信息si之间的差作为附接误差来校正视点相关信息vi来生成视点相关信息vi'的区域指定单元356也可以说是根据检测单元的检测结果(即，拍摄图像上的光学图像)执行校正视点相关信息vi的处理的处理单元。
[0619]
<相机系统的第二其他实施例>
[0620]
图31是示出应用了本技术的相机系统的第二其他实施例的电气配置示例的框图。
[0621]
注意，在附图中，与图2和31中的部分相对应的部分被赋予相同的附图标记，并且在下文中，将适当地省略其描述。
[0622]
在图32中，相机系统400是透镜可互换相机系统。相机系统400包括相机机身410和多眼可互换透镜420(透镜单元)。在多眼可互换透镜420安装在相机机身410上的状态下，相机系统400具有与相机系统300基本相似的配置，并且基本上执行相似的处理。也就是说，相机系统400用作成像设备，其成像对象并生成与相机系统300类似的拍摄图像的图像数据。
[0623]
相机机身410具有多眼可互换透镜420和其他一般可互换透镜可以被附接和分离的配置，类似于具有多眼可互换透镜20等可以被附接或分离的配置的相机机身10。
[0624]
多眼可互换透镜420包括进给单元23。如参考图1和2描述的，进给单元23包括单眼透镜310到314以及光源32l和32r。
[0625]
进给单元23在图32中未示出的镜筒21(图1)内沿着镜筒光轴的光轴方向移动。随着进给单元23的移动，包括在进给单元23中的单眼透镜310到314以及光源32l和32r也整体地移动。
[0626]
在图32中，与相机系统300的情况类似，单眼透镜31
i
被配置为使得通过透镜的光的光路彼此独立。即，已经通过单眼透镜31
i
的光在图像传感器351的光接收面(例如，有效像素区域)上在彼此不同的位置处发射，而不进入其他单眼透镜31
i
。单眼透镜31
i
的至少光轴位于图像传感器351的光接收面上的彼此不同的位置处，并且在图像传感器351的光接收面上在彼此不同的位置处发射已经通过单眼透镜31
i
的至少一些光。
[0627]
因此，在相机系统400中，与相机系统300的情况类似，在由图像传感器351生成的拍摄图像(由图像传感器351输出的整个图像)中，经由单眼透镜31
i
形成的对象的图像在彼此不同的位置处形成。换句话说，从拍摄图像中获得具有在单眼透镜31
i
的位置处的视点的单眼图像。也就是说，通过将多眼可互换透镜420安装在相机机身410上并对对象成像，可以获得多个单眼图像。
[0628]
在相机系统400中，相机机身410包括图像传感器351、raw信号处理单元352、区域提取单元353、相机信号处理单元354、直通图像生成单元355、区域指定单元356、图像重新配置处理单元357、总线360、显示单元361、存储单元362、通信单元364、归档单元365、控制单元381和存储单元382。即，相机机身410具有除相机系统300的透镜单元320和光学系统控制单元384之外的配置。
[0629]
注意，除了上述配置之外，相机机身410还包括通信单元441。通信单元441与正确安装在相机机身410上的多眼可互换透镜420(的通信单元451)通信，并交换信息等。通信单元441可以通过任意通信方法与多眼可互换透镜420通信。通信可以是有线通信或无线通信。
[0630]
例如，通信单元441由控制单元381控制，与多眼可互换透镜420(的通信单元451)通信，并获取从多眼可互换透镜420提供的信息。此外，例如，通信单元441通过与多眼可互
换透镜420(的通信单元451)通信，将从控制单元381提供的信息提供给多眼可互换透镜420。通信单元441和多眼可互换透镜420之间交换的信息是任意的。例如，信息可以是诸如命令和控制参数之类的数据或控制信息。
[0631]
在相机系统400中，多眼可互换透镜420还包括光学系统控制单元384、通信单元451以及存储单元452。通信单元451与正确安装在相机机身410上的多眼可互换透镜420中的通信单元441进行通信。该通信实现相机机身410和多眼可互换透镜420之间的信息交换。通信单元451的通信方法是任意的，并且可以是有线通信或无线通信。此外，通过通信交换的信息可以是诸如命令和控制参数之类的数据或控制信息。
[0632]
例如，通信单元451获取经由通信单元441从相机机身410发送的控制信息和其他各种类型的信息。通信单元451根据需要将以这种方式获取的信息提供给光学系统控制单元384，并且可以使用该信息来控制进给单元23、单眼透镜31
i
等。
[0633]
此外，通信单元451可以将获取的信息提供给存储单元452，并将该信息存储在存储介质453中。此外，通信单元451可以经由存储单元452读取存储在存储介质453中的信息，并将读取的信息发送到相机机身410(通信单元441)。
[0634]
在相机系统400中，与多眼可互换透镜420对应的视点相关信息vi和点光信息si的存储位置是任意的。例如，视点相关信息vi和点光信息si可以存储在多眼可互换透镜420的存储介质453中。然后，例如，相机机身410的控制单元381可以经由通信单元451和通信单元441访问存储单元452以从存储介质453读取视点相关信息vi和点光信息si。然后，在获取视点相关信息vi和点光信息si之后，控制单元381可以向区域指定单元356提供和设定视点相关信息vi和点光信息si。
[0635]
例如，可以在时间上在成像之前的任何定时或触发之时执行这样的处理，例如当多眼可互换透镜420正确地安装在相机机身410上时，当相机系统400通电时，或者当相机系统400的驱动模式切换到可以执行对象的成像的成像模式时。
[0636]
这样，相机机身410可以使用与多眼可互换透镜420对应的视点相关信息vi和点光信息si，对拍摄图像和单眼图像执行图像处理。
[0637]
此外，控制单元381可以将从多眼可互换透镜420获取的多眼可互换透镜420的视点相关信息vi和点光信息si与多眼可互换透镜420的id一起提供给存储单元382以存储信息。在这种情况下，存储单元382将所提供的id、视点相关信息vi和点光信息si彼此关联地存储在存储介质383中。也就是说，相机机身410可以管理多眼可互换透镜420的视点相关信息vi、点光信息si和id。相机机身410可以管理多个多眼可互换透镜420的视点相关信息vi和点光信息si。
[0638]
这样，控制单元381下次可以获取多眼可互换透镜420的id，从而从存储单元382(存储介质383)读取与id相对应的视点相关信息vi和点光信息si。也就是说，控制单元381可以容易地获取与多眼可互换透镜420相对应的视点相关信息vi和点光信息si。
[0639]
此外，存储介质383可以预先与多眼可互换透镜420的id相关联地存储多个多眼可互换透镜420中的每个的视点相关信息vi和点光信息si。即，在此情况下，相机机身410预先管理多个多眼可互换透镜420的视点相关信息vi和点光信息si。
[0640]
这样，通过使用正确安装在相机机身410上的多眼可互换透镜420的id，控制单元381可以容易地从存储单元382(存储介质383)读取与id相对应的视点相关信息vi和点光信
息si。
[0641]
<多眼可互换透镜420的附接位置偏差的处理>
[0642]
在透镜可互换相机系统400中，与透镜集成相机系统300类似，由于制造误差或进给单元23的移动，多眼可互换透镜420的附接位置可能偏离。此外，在透镜可互换相机系统400中，多眼可互换透镜420的附接位置可能由于安装误差而偏离。当多眼可互换透镜420的附接位置偏离并且在附接位置处发生附接误差时，从拍摄图像中切出单眼图像并使用单眼图像计算视差信息的处理的精度降低。
[0643]
因此，区域指定单元356能够利用在拍摄图像中出现的点光图像，将附接误差检测为多眼可互换透镜420的附接位置的偏离(量)。
[0644]
例如，区域指定单元356可以从拍摄图像生成关于出现在拍摄图像中的点光图像的点光信息si
′
，并且检测点光信息si
′
和点光信息si之间的差作为附接误差。
[0645]
此外，区域指定单元356可以使用附接误差来校正视点相关信息vi，并且生成视点相关信息vi
′
作为用于指定随附接误差而偏离的单眼图像的位置的信息。
[0646]
然后，区域提取单元353可以使用视点相关信息vi
′
从拍摄图像准确地切出单眼图像。此外，区域提取单元353使用视点相关信息vi
′
来准确地指定单眼图像的视点的位置，并且可以使用单眼图像和视点的位置来准确地获得视差信息。
[0647]
如上所述，在相机系统300或400中，由于单眼透镜310至314以及光源32l和32r被整体地进给出，因此可以执行适当的处理。即，当附接误差、安装误差和各种其他误差的组合被称为单眼图像位置误差时，单眼透镜310到314以及光源32l和32r与进给单元23整体地移动，从而能够检测视点相关信息和检测到的点光的位置之间的位置偏差，并且指定整个图像中的单眼图像的准确位置，而不必担心在任何进给位置处由任何原因引起的单眼图像位置误差。
[0648]
<应用本技术的计算机的描述>
[0649]
接下来，可以通过硬件或软件执行区域指定单元52、图像处理单元53、位置计算单元57、点光图像检测单元62、进给量检测单元64、区域提取单元353、区域指定单元356等的一系列处理。在通过软件执行一系列处理的情况下，在通用计算机等中安装配置软件的程序。
[0650]
图33是示出安装了用于执行上述一系列处理的程序的计算机的实施例的配置示例的框图。
[0651]
程序可以预先记录在硬盘905或rom 903中，作为内置在计算机中的记录介质。
[0652]
或者，可以将程序存储(记录)在由驱动器909驱动的可移除记录介质911中。这样的可移除记录介质911可以作为所谓的软件包提供。这里，可移除记录介质911的示例包括软盘、光盘只读存储器(cd
‑
rom)、磁光(mo)盘、数字多功能盘(dvd)、磁盘、半导体存储器等。
[0653]
注意，除了如上所述将程序从可移除记录介质911安装到计算机之外，还可以经由通信网络或广播网络将程序下载到计算机并安装在内置硬盘905中。换言之，例如，程序可以经由用于数字卫星广播的人造卫星以无线方式从下载站点传送到计算机，或者经由诸如局域网(lan)或因特网之类的网络以有线方式传送到计算机。
[0654]
计算机包括中央处理器(cpu)902，并且输入/输出接口910经由总线901连接到cpu 902。
[0655]
当操作输入单元907等的用户通过输入/输出接口910输入命令时，cpu 902根据该命令执行存储在只读存储器(rom)903中的程序。或者，cpu 902将存储在硬盘905中的程序加载到随机存取存储器(ram)904中并执行该程序。
[0656]
结果，cpu 902执行根据流程图的上述处理或框图的上述处理。然后，cpu 902例如根据需要经由输入/输出接口910使输出单元906输出处理结果，通信单元908发送处理结果，并使硬盘905记录处理结果。
[0657]
注意，输入单元907由键盘、鼠标、麦克风等配置。此外，输出单元906由液晶显示器(lcd)、扬声器等构成。
[0658]
这里，在本说明书中，计算机根据程序执行的处理不一定必须按照作为流程图描述的顺序按时间顺序执行。换句话说，由计算机根据程序执行的处理还包括并行地或单独地执行的处理(例如，并行处理或由对象执行的处理)。
[0659]
此外，程序可以由一台计算机(处理器)处理，或者可以由多台计算机以分布式方式处理。此外，该程序可以被传送到远程计算机并被执行。
[0660]
此外，在本说明书中，术语“系统”是指多个配置元件(装置、模块(部件)等)的组，并且所有配置元件是否在同一外壳中是无关的。因此，容纳在单独外壳中并经由网络连接的多个设备和在一个外壳中容纳多个模块的一个设备都是系统。
[0661]
注意，本技术的实施例不限于上述实施例，并且可以在不脱离本技术的要点的情况下进行各种修改。
[0662]
例如，在本技术中，可以采用云计算的配置，其中一个功能通过网络由多个设备协作地分担和处理。
[0663]
此外，上述流程图中描述的步骤可以由一个设备执行，或者可以由多个设备分担和执行。
[0664]
此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个设备执行，或者可以由多个设备分担和执行。
[0665]
此外，本说明书中描述的效果仅仅是示例而不受限制，并且可以展示其他效果。
[0666]
注意，本技术可以采用以下配置。
[0667]
<1>一种可互换透镜，包括：
[0668]
镜筒；
[0669]
可移动单元，被配置为可相对于所述镜筒沿光轴移动；
[0670]
多个单眼透镜，被配置为能够与所述可移动单元一体地移动，并且被布置成使得通过各个单眼透镜发射的成像光的发射位置彼此不交叠；和
[0671]
一个或多个光源，被配置为可与所述可移动单元和所述多个单眼透镜一体地沿光轴移动，并且被布置成使得发射到设置在相机机身中的图像传感器的照射光的发射位置不与所述多个单眼透镜中的每个的成像光的发射位置交叠。
[0672]
<2>根据<1>的可互换透镜，其中
[0673]
所述一个或多个光源发射非平行光。
[0674]
<3>根据<2>的可互换透镜，其中
[0675]
图像传感器位于可移动单元被送出到最小程度的最小进给状态的情况下非平行光被聚集的聚集点和可移动单元被送出到最大程度的最大进给状态的情况下非平行光被
聚集的聚集点之间。
[0676]
<4>根据<2>的可互换透镜，其中
[0677]
在可移动单元被送出到最大程度的最大进给状态的情况下，非平行光被聚集的聚集点位于包括图像传感器的前侧和深度侧之一。
[0678]
<5>根据<2>至<4>中任一项的可互换透镜，其中
[0679]
光源被布置在与可移动单元的光轴的中心不同的位置处，并且在向光轴的中心倾斜的斜方向发射非平行光。
[0680]
<6>根据<1>至<5>中任一项的可互换透镜，包括：
[0681]
多个所述多个光源。
[0682]
<7>根据<1>至<6>中任一项所述的可互换透镜，还包括：
[0683]
存储单元，被配置为存储指示照射图像传感器的光源的位置的点光位置信息和指示图像传感器中的发射位置的单眼图像位置信息，所述发射位置是从所述多个单眼透镜发射的各成像光的发射位置。
[0684]
<8>一种信息处理装置，包括：
[0685]
检测单元，被配置为检测在由图像传感器拍摄的拍摄图像上的光图像，所述光图像是从透镜单元的光源发射的照射光的光图像，所述透镜单元包括：
[0686]
镜筒；
[0687]
可移动单元，被配置为可相对于所述镜筒沿光轴移动；
[0688]
多个单眼透镜，被配置为能够与所述可移动单元一体地移动，并且被布置成使得通过各个单眼透镜发射的成像光的发射位置彼此不交叠；和
[0689]
一个或多个光源，被配置为可与所述可移动单元和所述多个单眼透镜一体地沿光轴移动，并且被布置成使得发射到设置在相机机身中的图像传感器的照射光的发射位置不与所述多个单眼透镜中的每个的成像光的发射位置交叠；以及
[0690]
处理单元，被配置为根据检测单元的检测结果执行处理。
[0691]
<9>根据<8>的信息处理装置，其中
[0692]
检测单元检测拍摄图像中的光图像的大小。
[0693]
<10>根据<9>的信息处理装置，其中
[0694]
处理单元根据光图像的大小检测可移动单元的进给量。
[0695]
<11>根据<8>的信息处理装置，其中
[0696]
检测单元检测作为拍摄图像中的光图像的位置的检测光图像位置。
[0697]
<12>根据<11>的信息处理装置，其中
[0698]
处理单元根据检测光图像位置检测可移动单元的进给量。
[0699]
<13>根据<11>或<12>的信息处理装置，其中
[0700]
处理单元根据检测光图像位置指定成像单眼图像位置，该成像单眼图像位置是在拍摄图像中的以单眼透镜的位置作为视点的单眼图像的位置。
[0701]
<14>根据<13>的信息处理装置，还包括：
[0702]
存储单元，被配置为存储指示照射图像传感器的光源的位置的存储光图像位置，以及指示图像传感器中的从所述多个单眼透镜发射的各成像光的发射位置的存储单眼图像位置，其中
[0703]
处理单元基于存储光图像位置和检测光图像位置之间的关系来指定成像单眼图像位置。
[0704]
<15>根据<14>的信息处理装置，其中
[0705]
处理单元基于存储光图像位置和检测光图像位置之间的关系，通过校正存储单眼图像位置来指定成像单眼图像位置。
[0706]
<16>根据<13>至<15>中任一项所述的信息处理装置，还包括：
[0707]
关联单元，被配置为将拍摄图像与成像单眼图像位置相关联。
[0708]
<17>根据<14>或<15>的信息处理装置，还包括：
[0709]
关联单元，被配置为将存储光图像位置、检测光图像位置以及存储单眼图像位置与拍摄图像相关联。
[0710]
<18>根据<13>至<15>中任一项所述的信息处理装置，还包括：
[0711]
关联单元，被配置为将存储光图像位置、存储光图像位置和检测光图像位置之间的差以及存储单眼图像位置与拍摄图像相关联。
[0712]
<19>一种信息处理方法，包括：
[0713]
检测在由图像传感器拍摄的拍摄图像上的光图像的检测步骤，所述光图像是从透镜单元的光源发射的照射光的光图像，所述透镜单元包括：
[0714]
镜筒；
[0715]
可移动单元，被配置为可相对于所述镜筒沿光轴移动；
[0716]
多个单眼透镜，被配置为能够与所述可移动单元一体地移动，并且被布置成使得通过各个单眼透镜发射的成像光的发射位置彼此不交叠；和
[0717]
一个或多个光源，被配置为可与所述可移动单元和所述多个单眼透镜一体地沿光轴移动，并且被布置成使得发射到设置在相机机身中的图像传感器的照射光的发射位置不与所述多个单眼透镜中的每个的成像光的发射位置交叠；以及
[0718]
根据检测步骤的检测结果进行处理的处理步骤。
[0719]
<20>一种使计算机起如下作用的程序：
[0720]
检测单元，被配置为检测在由图像传感器拍摄的拍摄图像上的光图像，所述光图像是从透镜单元的光源发射的照射光的光图像，所述透镜单元包括：
[0721]
镜筒；
[0722]
可移动单元，被配置为可相对于所述镜筒沿光轴移动；
[0723]
多个单眼透镜，被配置为能够与所述可移动单元一体地移动，并且被布置成使得通过各个单眼透镜发射的成像光的发射位置彼此不交叠；和
[0724]
一个或多个光源，被配置为可与所述可移动单元和所述多个单眼透镜一体地沿光轴移动，并且被布置成使得发射到设置在相机机身中的图像传感器的照射光的发射位置不与所述多个单眼透镜中的每个的成像光的发射位置交叠；以及
[0725]
处理单元，被配置为根据检测单元的检测结果执行处理。
[0726]
标符清单
[0727]
10 相机机身
[0728]
11 相机安装座
[0729]
20 多眼可互换透镜
[0730]
21 镜筒
[0731]
22 透镜安装座
[0732]
23 进给单元
[0733]
310至31
4 单眼透镜
[0734]
32l、32r、32u、32d 光源
[0735]
41 存储单元
[0736]
42 通信单元
[0737]
43 控制单元
[0738]
51 图像传感器
[0739]
52 区域指定单元
[0740]
53 图像处理单元
[0741]
54 显示单元
[0742]
55 存储单元
[0743]
56 通信单元
[0744]
57 位置计算单元
[0745]
61 控制单元
[0746]
62 点光图像检测单元
[0747]
63 进给量信息存储单元
[0748]
64 进给量检测单元
[0749]
101 校准数据生成单元
[0750]
102 校准数据存储单元
[0751]
103 插值单元
[0752]
104 视差信息生成单元
[0753]
121 外壳
[0754]
122 led
[0755]
123，124 透镜
[0756]
211 单眼图像位置信息修改单元
[0757]
212 单眼图像提取单元
[0758]
221 关联单元
[0759]
230 后处理设备
[0760]
231 区域指定单元
[0761]
232 图像处理单元
[0762]
233 显示单元
[0763]
234 记录单元
[0764]
235 发送单元
[0765]
241 单眼图像位置信息修改单元
[0766]
242 单眼图像提取单元
[0767]
250 后处理设备
[0768]
300 相机系统
[0769]
320 透镜单元
[0770]
351 图像传感器
[0771]
352 raw信号处理单元
[0772]
353 区域提取单元
[0773]
354 相机信号处理单元
[0774]
355 直通图像生成单元
[0775]
356 区域指定单元
[0776]
357 图像重新配置处理单元
[0777]
360 总线
[0778]
361 显示单元
[0779]
362 存储单元
[0780]
363 存储介质
[0781]
364 通信单元
[0782]
365 归档单元
[0783]
370 关联单元
[0784]
381 控制单元
[0785]
382 光学系统控制单元
[0786]
400 相机系统
[0787]
410 相机机身
[0788]
420 多眼可互换透镜
[0789]
441、451 通信单元
[0790]
452 存储单元
[0791]
453 存储介质
[0792]
901 总线
[0793]
902 cpu
[0794]
903 只读存储器
[0795]
904 ram
[0796]
905 硬盘
[0797]
906 输出单元
[0798]
907 输入单元
[0799]
908 通信单元
[0800]
909 驱动器
[0801]
910 输入/输出接口
[0802]
911 可移除记录介质