摄像装置的制作方法

1.本公开涉及摄像装置。


背景技术：

2.通过灵活利用各自为窄带的多个波段例如数十个波段的谱信息，能够掌握在以往的rgb图像中无法掌握的对象物的详细物性。将取得这样的多波长的信息的相机称为“高光谱相机”。高光谱相机在食品检查、生物体检查、医药品开发及矿物的成分分析等各种领域中得到利用。
3.专利文献1公开了利用压缩感知的高光谱摄像装置的例子。该摄像装置具备：作为光透射率的波长依赖性相互不同的多个滤光器的阵列的编码元件、对透射了编码元件的光进行检测的图像传感器、以及信号处理电路。在将被摄体与图像传感器连结的光路上，配置有编码元件。图像传感器按每个像素对重叠有多个波段的成分的光同时进行检测，从而取得1个波长复用图像。信号处理电路利用编码元件的分光透射率(spectral transmittance)的空间分布的信息，对取得的波长复用图像适用压缩感知，从而重构关于多个波段中的各个波段的图像数据。
4.在先技术文献
5.专利文献
6.专利文献1：美国专利第9599511号说明书


技术实现要素：

7.本发明所要解决的课题
8.本公开提供用于减小与多个波段的图像的重构相伴的误差的技术。
9.用于解决课题的手段
10.本公开的一个方式所涉及的摄像装置具备：图像传感器；滤光器阵列，被配置在从对象物至所述图像传感器的光路上，包括以2维排列的多个滤光器，所述多个滤光器包括分光透射率相互不同的多个种类的滤光器；以及处理电路，基于由所述图像传感器取得的图像，生成4个以上的分光图像数据。所述4个以上的分光图像数据分别表现与4个以上的波段之中的1个波段对应的图像。所述滤光器阵列包括1个以上的特征部。所述处理电路基于由所述图像传感器取得的所述图像中的所述1个以上的特征部，检测所述滤光器阵列与所述图像传感器的相对位置，在检测出所述相对位置与预先设定的相对位置的偏差时，对所述偏差进行补偿。
11.本公开的其他方式所涉及的摄像装置具备：图像传感器；滤光器阵列，被配置在从对象物到所述图像传感器的光路上，包括以2维排列的多个滤光器，所述多个滤光器包括分光透射率相互不同的多个种类的滤光器；以及处理电路，基于由所述图像传感器取得的图像、以及表示所述多个滤光器的所述分光透射率的空间分布的数据，生成4个以上的分光图像数据。所述4个以上的分光图像数据分别表现与4个以上的波段之中的1个波段对应的图
像。所述处理电路执行：(a)第1动作，通过使所述滤光器阵列与所述图像传感器的相对位置变化而多次反复进行生成所述4个以上的分光图像数据的处理，从而生成多组的所述4个以上的分光图像数据；或者(b)第2动作，通过使由所述图像传感器取得的所述图像的坐标变化而多次反复进行生成所述4个以上的分光图像数据的处理，从而生成多组的所述4个以上的分光图像数据；所述处理电路将所述多组的所述4个以上的分光图像数据合成，从而生成输出数据。
12.本公开的概括性或者具体性的方式也可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的记录盘等记录介质实现，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合实现。计算机可读取的记录介质例如可以包括cd-rom(紧凑盘只读存储器(compact disc-read only memory))等非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由2个以上的装置构成的情况下，该2个以上的装置既可以配置在1个设备内，也可以分开配置在分离的2个以上的设备内。在本说明书及权利要求书中，“装置”不仅可以指1个装置，也可以指由多个装置构成的系统。
13.发明效果
14.根据本公开的一个方式，能够减小与多个波段的图像的重构相伴的误差。
附图说明
15.图1a是示意性地表示例示性的摄像装置的图。
16.图1b是表示摄像装置的其他构成例的图。
17.图1c是表示摄像装置的其他构成例的图。
18.图2a是示意性地表示滤光器阵列的例子的图。
19.图2b是表示对象波段所包含的多个波段各自的光的透射率的空间分布的一例的图。
20.图2c是表示图2a所示的滤光器阵列所包含的区域a1的分光透射率的例子的图。
21.图2d是表示图2a所示的滤光器阵列所包含的区域a2的分光透射率的例子的图。
22.图3a是用于说明对象波段与其包含的多个波段之间的关系的图。
23.图3b是用于说明对象波段与其包含的多个波段之间的关系的图。
24.图4a是用于说明滤光器阵列的某区域中的分光透射率的特性的图。
25.图4b是表示按每个波段对图4a所示的分光透射率进行平均化的结果的图。
26.图5是示意性地表示本公开的例示性的实施方式1所涉及的摄像装置的构成的图。
27.图6a是用于说明实施方式1中的滤光器阵列的图。
28.图6b是表示关于对象波段所包含的n个波段的、滤光器阵列的透射率的空间分布的一例的图。
29.图6c是表示滤光器阵列的变形例的图。
30.图6d是表示滤光器阵列的其他变形例的图。
31.图7是表示滤光器阵列上形成的对准标记的一例的图像。
32.图8a是表示从图像传感器观察的滤光器阵列的相对位置在x方向及y方向上偏差1像素量的情况下产生的滤光器阵列的透射率的变化率(单位：％)的例子的图。
33.图8b是表示生成的图像与正确图像之间的平均亮度的误差的例子的图。
34.图9a是表示生成的每个波段的图像的例子的图。
35.图9b是表示在不进行校正的情况下生成的每个波段的图像的例子的图。
36.图10是表示处理电路所执行的处理的概要的流程图。
37.图11是示意性地表示实施方式1的变形例所涉及的摄像装置的构成的图。
38.图12是示意性地表示实施方式1的其他变形例所涉及的摄像装置的构成的图。
39.图13是表示本公开的例示性的实施方式2所涉及的摄像装置的构成的示意图。
40.图14a是用于说明实施方式2的效果的第1图。
41.图14b是用于说明实施方式2的效果的第2图。
42.图14c是用于说明实施方式2的效果的第3图。
43.图15a是示意性地表示本公开的例示性的实施方式3中的滤光器阵列的例子的图。
44.图15b是示意性地表示实施方式3的变形例中的滤光器阵列的图。
45.图16是用于说明实施方式4中的信号处理的图。
46.图17是表示实施方式4中的信号处理的例子的流程图。
具体实施方式
47.以下说明的实施方式均表示概括性或者具体性的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤及步骤的顺序是一例，其主旨不在于限定本公开的技术。以下的实施方式中的构成要素之中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。各图是示意图，不一定是严密的图示。进而，在各图中，针对在实质上相同或者相似的构成要素赋予相同的标记。有时省略或者简化重复的说明。
48.在本公开中，电路、单元、装置、部件或者部的全部或者一部分、或者框图中的功能模块的全部或者一部分，例如能够由半导体装置、半导体集成电路(ic)或者包含lsi(large scale integration：大规模集成电路)的1个或者多个电子电路执行。lsi或者ic既可以被集成于1个芯片，也可以组合多个芯片而构成。例如，存储元件以外的功能模块也可以被集成于1个芯片。在此称为lsi或者ic，但根据集成的程度而叫法改变，也可以是被称为系统lsi、vlsi(very large scale integration：超大规模集成电路)或ulsi(ultra large scale integration：特大规模集成电路)的电路。在lsi的制造后被编程的现场可编程逻辑门阵列(fpga、field programmable gate array)或者能够重构lsi内部的接合关系或者设置lsi内部的电路划分的可重构逻辑器件(reconfigurable logic device)也能够以相同的目的使用。
49.进而，电路、单元、装置、部件或者部的全部或者一部分的功能或者动作，也能够通过软件处理来执行。在该情况下，软件被记录于1个或者多个rom、光盘、硬盘驱动器等非易失性记录介质，在软件由处理装置(processor)执行时，由该软件确定的功能由处理装置(processor)及周边装置执行。系统或者装置也可以具备记录了软件的1个或者多个非易失性记录介质、处理装置(processor)、以及所需的硬件设备例如接口。
50.以下说明本公开的实施方式所涉及的高光谱摄像装置的构成例、以及本发明人们所想到的见识。
51.图1a是示意性地表示例示性的摄像装置的图。该摄像装置具备与专利文献1所公
开的摄像装置同样的构成。摄像装置具备光学系统40、滤光器阵列100、图像传感器60和处理电路200。滤光器阵列100具有与专利文献1所公开的“编码元件”同样的构造及功能。光学系统40及滤光器阵列100被配置在从作为被摄体的对象物70入射的光的光路上。滤光器阵列100被配置在光学系统40与图像传感器60之间且从图像传感器60相离的位置上。在图1a中，例示了苹果作为对象物70的一例。对象物70不限于苹果，可以是任意的物体。处理电路200基于图像传感器60所生成的图像数据，关于作为检测对象的特定的波段(以下有时称为“对象波段”)所包含的多个波段中的各个波段，生成分光图像数据。在以下的说明中，将生成的多个波段的分光图像数据称为分离图像220w1、220w2、
···
、220wn，将它们总称为分离图像220。在本说明书中，有时将表示图像的信号(即，表现各像素的像素值的信号的集合)简称为“图像”。
52.滤光器阵列100是以行及列状排列的具有透光性的多个滤光器的阵列。多个滤光器包括分光透射率即光透射率的波长依赖性相互不同的多个种类的滤光器。滤光器阵列100按每个波长对入射光的强度进行调制并输出。在本说明书中将滤光器阵列100所进行的该过程称为“编码”。
53.图像传感器60是具有以2维排列的多个光检测元件(在本说明书中也称为“像素”)的黑白类型的光检测器。图像传感器60例如可以是ccd(电荷耦合器件(charge-coupled device))或者cmos(互补金属氧化物半导体(complementary metal oxide semiconductor))传感器。
54.处理电路200基于由图像传感器60取得的图像120，生成各自包括多个波段的信息的多个分离图像220w1、220w2、
···
220wn的数据。
55.图1b及图1c是表示摄像装置的其他构成例的图。在图1b的例中，滤光器阵列100被配置在对象物70与光学系统40之间。在图1c的例中，摄像装置具备2个光学系统40a及40b，在它们之间配置有滤光器阵列100。也可以像这些例子那样在滤光器阵列100与图像传感器60之间配置有光学系统。
56.图2a是示意性地表示滤光器阵列100的例子的图。滤光器阵列100具有以2维排列的多个区域。在本说明书中，有时将该区域称为“单元”。在各区域中，配置有具有个别设定的分光透射率的滤光器。在将入射光的波长设为λ时，分光透射率由函数t(λ)表现。分光透射率t(λ)可以取0以上且1以下的值。
57.在图2a所示的例中，滤光器阵列100具有以6行8列排列的48个矩形区域。这不过是例示，在实际用途中，可以设置比其更多的区域。其数量例如也可以与图像传感器60的像素数量为相同程度。滤光器阵列100所包括的滤光器数量例如在数十至数千万的范围内根据用途决定。
58.图2b是表示对象波段所包含的多个波段w1、w2、
···
、wn各自的光的透射率的空间分布的一例的图。在图2b所示的例中，各区域的浓淡的差异表现了透射率的差异。越淡的区域则透射率越高，越浓的区域则透射率越低。如图2b所示，光透射率的空间分布根据波段而不同。
59.图2c及图2d分别是表示图2a所示的滤光器阵列100所包含的区域a1及区域a2的分光透射率的例子的图。区域a1的分光透射率与区域a2的分光透射率相互不同。像这样，滤光器阵列100的分光透射率根据区域而不同。但是，并不一定需要全部区域的分光透射率都不
同。在滤光器阵列100中，多个区域中的至少一部分区域的分光透射率相互不同。滤光器阵列100包括分光透射率相互不同的2个以上的滤光器。在某例中，滤光器阵列100所包含的多个区域的分光透射率的模式的数量，可以与对象波段所包含的波段的数量n相同，或者为其以上。滤光器阵列100也可以被设计为半数以上的区域的分光透射率不同。
60.图3a及图3b是用于说明对象波段w与其包含的多个波段w1、w2、
···
、wn之间的关系的图。对象波段w可以根据用途而设定为各种范围。对象波段w例如可以是大致400nm至大致700nm的可见光的波段、大致700nm至大致2500nm的近红外线的波段、或者大致10nm至大致400nm的近紫外线的波段。或者，对象波段w也可以是中红外、远红外、太赫兹波、或者毫米波等电波段。像这样，使用的波段不限于可见光域。在本说明书中，为了方便，不限于可见光而将近紫外线、近红外线及电波等非可见光也称为“光”。
61.在图3a所示的例中，将n设为4以上的任意的整数，将对象波段w被n等分而成的各个波段设为波段w1、w2、
···
、wn。但是不限定于这样的例子。对象波段w所包含的多个波段也可以任意地设定。例如，也可以使带宽根据波段而不均。也可以在相邻的波段之间具有间隙或者重叠。在图3b所示的例中，带宽根据波段而不同，而且在相邻的2个波段之间具有间隙。像这样，多个波段只要相互不同即可，其决定方法是任意的。
62.图4a是用于说明滤光器阵列100的某区域中的分光透射率的特性的图。在图4a所示的例中，分光透射率关于对象波段w内的波长，具有多个极大值p1至p5、以及多个极小值。在图4a所示的例中，对象波段w内的光透射率以最大值为1且最小值为0的方式被归一化。在图4a所示的例中，在波段w2及波段w
n-1
等波段中，分光透射率具有极大值。像这样，各区域的分光透射率在多个波段w1至wn之中的多个波段中具有极大值。在图4a的例中，极大值p1、极大值p3、极大值p4及极大值p5为0.5以上。
63.如上，各区域的光透射率根据波长而不同。因此，滤光器阵列100使入射的光之中的某波段的成分较多地透射，而使其他波段的成分不那么多地透射。例如可以是，n个波段之中的k个波段的光的透射率比0.5大，剩余的n-k个波段的光的透射率小于0.5。k是满足2≤k＜n的整数。假如在入射光是均等地包含全部可见光的波长成分的白色光的情况下，滤光器阵列100按每个区域将入射光调制为关于波长具有离散的多个强度的峰的光，并将这些多波长的光重叠并输出。
64.图4b是作为一例表示按每个波段w1、w2、
···
、wn对图4a所示的分光透射率进行平均化的结果的图。通过按每个波段对分光透射率t(λ)进行积分并除以该波段的带宽，能够得到平均化的透射率。在本说明书中，将像这样按每个波段进行了平均化的透射率的值设为该波段中的透射率。在该例中，在取极大值p1、p3及p5的3个波段中，透射率突出地变高。特别是，在取极大值p3及p5的2个波段中，透射率超过0.8。
65.在图2a至图2d所示的例中，设想为各区域的透射率可以取0以上且1以下的任意值的灰阶的透射率分布。但是，不一定需要设为灰阶的透射率分布。例如，也可以采用各区域的透射率可以取大致0或者大致1中的某一个值的二进制标度的透射率分布。在二进制标度的透射率分布中，各区域使对象波段所包含的多个波段之中的至少2个波段的光的大部分透射，而使剩余的波段的光的大部分不透射。在此“大部分”是指大致80％以上。
66.也可以将全部单元之中的一部分、例如一半的单元置换为透明区域。这样的透明区域使对象波段所包含的全部波段w1至wn的光以相同程度的高透射率、例如80％以上的透
射率透射。在这样的构成中，多个透明区域例如能够配置为棋盘(checkerboard)状。即，在滤光器阵列100中的多个区域的2个排列方向上，光透射率根据波长而不同的区域与透明区域可以交替地排列。
67.表示这样的滤光器阵列100的分光透射率的空间分布的数据通过设计数据或者实测校准而事先取得，并存放于处理电路200所具备的存储介质。该数据在后述的运算处理中被利用。
68.滤光器阵列100例如可以通过使用多层膜、有机材料、衍射栅格构造或者包含金属的微细构造来构成。在使用多层膜的情况下，例如可以使用介电体多层膜或者包含金属层的多层膜。在该情况下，形成为各多层膜的厚度、材料及层叠顺序中的至少1个按每个单元而不同。由此，能够实现根据单元而不同的分光特性。通过使用多层膜，能够实现分光透射率的尖锐的升高及降低。通过使所含有的颜料或者染料根据单元而不同，或者使不同种类的材料层叠，可以实现使用有机材料的构成。通过按每个单元设置不同的衍射间距或者深度的衍射构造，可以实现使用衍射栅格构造的构成。在使用包含金属的微细构造的情况下，可以利用基于等离激元效应的分光来制作。
69.接下来，说明处理电路200的信号处理的例子。处理电路200基于从图像传感器60输出的图像120、以及滤光器阵列100的按每个波长的透射率的空间分布特性，重构多波长的分离图像220。在此，多波长意味着例如比由通常的彩色相机取得的rgb这3色的波段更多的波段。该波段的数量例如可以是4至100左右的数量。将该波段的数量称为波段数。根据用途，波段数也可以超过100。
70.想要求出的数据是分离图像220，将该数据设为f。如果将波段数设为n，则f是将各波段的图像数据f1、f2、
···
、fn综合而得到的数据。在此，如图1a所示，将图像的横向设为x方向，将图像的纵向设为y方向。如果将想求出的图像数据的x方向的像素数设为n，将y方向的像素数设为m，则图像数据f1、f2、
···
、fn分别是n
×
m像素的2维数据的集合。因此，数据f是元素数n
×m×
n的3维数据。另一方面，由滤光器阵列100进行编码及复用而取得的图像120的数据g的元素数是n
×
m。数据g能够通过下式(1)表现。
71.[数1]
[0072][0073]
在此，f1、f2、
···
、fn是具有n
×
m个元素的数据。因此，右边的矢量严密地说是n
×m×
n行1列的1维矢量。矢量g被变换为n
×
m行1列的1维矢量来表现并计算。矩阵h表现按每个波段以不同的编码信息对矢量f的各成分f1、f2、
···
、fn进行编码及强度调制、并将其相加的变换。因此，h是n
×
m行n
×m×
n列的矩阵。在本说明书中，有时将矩阵h称为“系统矩阵”。
[0074]
如果给出了矢量g和矩阵h，则通过对式(1)的反演问题求解，应该能够计算f。但是，要求出的数据f的元素数n
×m×
n比取得数据g的元素数n
×
m更多，因此该问题是不适定问题，无法直接求解。于是，处理电路200利用数据f所包含的图像的冗余性，利用压缩感知的方法求解。具体而言，通过对下式(2)进行求解，估计要求出的数据f。
[0075]
[数2]
[0076][0077]
在此，f’表现估计出的f的数据。上式的括号内的第1项表现估计结果hf与取得数据g的偏差量、即所谓残差项。在此将平方和设为残差项，但也可以将绝对值或者平方和平方根等设为残差项。括号内的第2项是正则化项或者稳定化项。式(2)意味着求出使第1项与第2项之和最小化的f。处理电路200通过回归的迭代运算使解收敛，能够计算最终的解f’。
[0078]
式(2)的括号内的第1项意味着求出取得数据g与通过矩阵h对估计过程中的f进行变换而得到的hf之差的平方和的运算。第2项的φ(f)是f的正则化中的制约条件，是反映了估计数据的稀疏信息的函数。该函数具有使估计数据平滑或者稳定的效果。正则化项例如可以通过f的离散余弦变换(dct)、小波变换、傅立叶变换或者总变分(tv)等表现。例如，在使用总变分的情况下，能够取得抑制了观测数据g的噪声影响的稳定的推测数据。各个正则化项的空间中的对象物70的稀疏性根据对象物70的纹理而不同。也可以选择使得对象物70的纹理在正则化项的空间中变得更稀疏的正则化项。或者，也可以在运算中包含多个正则化项。τ是权重系数。权重系数τ越大，则冗余的数据的削减量越多，压缩的比例越高。权重系数τ越小，则向解的收敛性越弱。权重系数τ被设定为使得f以某种程度收敛而且不过度压缩的适度的值。
[0079]
此外，在图1a至图1c的构成中，由滤光器阵列100编码的像在图像传感器60的摄像面上以模糊的状态被取得。因此，通过预先持有该模糊信息，并使该模糊信息反映至上述的系统矩阵h中，能够重构分离图像220。在此，模糊信息由点扩散函数(point spread function：psf)表现。psf是规定点像向周边像素的扩散程度的函数。例如，在图像上相当于1个像素的点像由于模糊而扩散至该像素周围的k
×
k像素的区域的情况下，psf可以作为表示对该区域内的各像素的亮度造成的影响的系数群即矩阵来规定。通过使基于psf的编码模式的模糊的影响反映至系统矩阵h，能够重构分离图像220。滤光器阵列100被配置的位置是任意的，可以选择使得滤光器阵列100的编码模式不会过度扩散而消失的位置。
[0080]
在以上的构成中，处理电路200关于与由图像传感器60摄像的区域相同或比其小的区域，按每个波段生成分离图像220。为了取得准确的分离图像220，要求预先准确地决定表示滤光器阵列100的分光透射率的空间分布的数据(例如，关于上述的系统矩阵h的信息)。表示滤光器阵列100的分光透射率的空间分布的数据，例如可以通过在设计时或者制造时使用出射属于各波段的波长的光的光源从滤光器阵列100的背后照射光并测定透射光的强度的实验来决定。决定的表示分光透射率的空间分布的数据被预先记录至处理电路200的存储介质。
[0081]
像这样，为了生成按波段的多个图像，准确地掌握滤光器阵列100的分光透射率的空间分布是重要的。如果在错误掌握滤光器阵列100的分光透射率的空间分布的状态下进行了上述的运算，则生成错误的分离图像。即，错误的分光透射率的空间分布导致波长分辨率的大幅降低。
[0082]
该课题在能够从摄像装置拆卸或安装滤光器阵列100的构成中特别显著。如果对象物70的种类或者要关注的波段变化，则最佳的滤光器阵列100的特性也变化。如果滤光器阵列100能够更换，则能够与对象物70或者用途相应地选择并安装最佳的滤光器阵列100。
在该情况下，按每个滤光器阵列100预先决定表示分光透射率的空间分布的数据，并存放至存储介质。
[0083]
但是，在滤光器阵列100能够拆装的情况下，滤光器阵列100与图像传感器60的相对位置有可能从预先设定的相对位置偏差。在发生了这样的偏差的情况下，即使在使用同一滤光器阵列100的情况下，从图像传感器60观察的滤光器阵列100的分光透射率的空间分布也发生变化。特别是，在滤光器阵列100中的多个滤光器以随机或者接近于随机的方式排列的情况下，如果相对位置偏差，则分光透射率的空间分布可能变得完全不同。例如，在滤光器阵列100与图像传感器60的相对位置变化了图像传感器60中的1个像素量的情况下，从图像传感器60观察的滤光器阵列100的分光透射率的空间分布以一个像素量变化。在滤光器阵列100以随机或者接近于随机的方式排列的情况下，以一个像素量偏差的滤光器可能与本来的滤光器具有完全不同的分光透射率。因此，使用预先准备的系统矩阵h而得到的运算的结果产生误差，有可能生成不准确的图像。换言之，波长分辨率有可能显著降低。
[0084]
如上，在取得多波长图像的高光谱相机中，滤光器阵列与图像传感器的相对位置的变化有时导致多波长图像的画质降低。特别是如上所述的例子那样，在用于构成多波长的分离图像220的运算中使用滤光器阵列100的分光透射率的空间分布信息的情况下，相对位置的变化对画质造成的影响变得显著。于是，在本公开的一个实施方式中，从由图像传感器取得的图像中，检测滤光器阵列100所具有的1个以上的特征部，基于该特征部的信息，能够检测滤光器阵列与图像传感器的相对位置的偏差。进而，通过导入对该偏差进行补偿的动作，能够解决上述的课题。例如，通过以物理方式对滤光器阵列与图像传感器的相对位置进行校正，或者对取得的图像数据或者表示滤光器阵列的分光透射率的空间分布的数据进行校正，能够减小由于相对位置的偏差引起的运算误差。根据本公开的某实施方式，能够防止由于滤光器阵列与图像传感器的相对位置相对于预先设定的相对位置变化而引起的波长分辨率的降低。
[0085]
本发明人们还想到了无论滤光器阵列与图像传感器的相对位置有无偏差都使得与生成多个波段的图像相伴的误差减小的运算方法。
[0086]
以下，说明本公开的实施方式的概要。
[0087]
本公开的一个方式所涉及的摄像装置具备：图像传感器；滤光器阵列，被配置在从对象物至所述图像传感器的光路上，包括以2维排列的多个滤光器，所述多个滤光器包括分光透射率相互不同的多个种类的滤光器；以及处理电路，基于由所述图像传感器取得的图像，生成4个以上的分光图像数据。所述4个以上的分光图像数据分别表现与4个以上的波段之中的1个波段对应的图像。所述滤光器阵列包括1个以上的特征部。所述处理电路基于由所述图像传感器取得的所述图像中的所述1个以上的特征部，检测所述滤光器阵列与所述图像传感器的相对位置，在检测出所述相对位置与预先设定的相对位置的偏差时，对所述相对位置的所述偏差进行补偿。
[0088]
根据上述构成，滤光器阵列在例如表面或者外周部具有1个以上的特征部。处理电路能够基于取得的图像所包括的该1个以上的特征部的位置、形状或者大小等信息，检测滤光器阵列与图像传感器的相对位置。处理电路在该相对位置从例如预先设定的初始的相对位置发生了变化时，执行对该相对位置的偏差进行补偿的动作。例如，可以执行以物理方式对滤光器阵列与图像传感器的相对位置进行校正、或者通过信号处理使相对位置的偏差的
影响减小的动作。通过这样的动作，能够减小由于相对位置的偏差引起的分光图像数据的误差。
[0089]
所述摄像装置也可以还具备使所述滤光器阵列移动的第1驱动装置。在该情况下，所述处理电路也可以对所述第1驱动装置进行控制来校正所述相对位置，从而对所述偏差进行补偿。
[0090]
根据上述构成，在检测出相对位置的偏差时，第1驱动装置使滤光器阵列移动，从而使该相对位置的偏差减小。由此，能够减小由于相对位置的偏差引起的分光图像数据的误差。第1驱动装置也可以使滤光器阵列旋转从而对相对位置的偏差进行补偿。
[0091]
所述摄像装置也可以还具备使所述图像传感器移动的第2驱动装置。在该情况下，所述处理电路也可以对所述第2驱动装置进行控制来校正所述相对位置，从而对所述偏差进行补偿。
[0092]
根据上述构成，在检测出相对位置的偏差时，第2驱动装置使图像传感器移动，从而使该相对位置的偏差减小。由此，能够减小由于相对位置的偏差引起的分光图像数据的误差。第2驱动装置也可以使图像传感器旋转从而对相对位置的偏差进行补偿。
[0093]
所述摄像装置也可以还具备：光学系统，被配置在将所述滤光器阵列与所述图像传感器连结的光路上，将经过所述滤光器阵列后的光所成的像形成在所述图像传感器的摄像面上；以及第3驱动装置，使由所述光学系统形成的所述像的位置变化。在该情况下，所述处理电路也可以对所述第3驱动装置进行控制来校正所述像的位置，从而对所述偏差进行补偿。
[0094]
根据上述构成，在检测出相对位置的偏差时，第3驱动装置使光学系统例如移动或者旋转，从而使由光学系统形成的像的位置变化。由此，能够减小由于相对位置的偏差引起的分光图像数据的误差。
[0095]
所述处理电路也可以基于由所述图像传感器取得的所述图像、以及表示所述多个滤光器的所述分光透射率的空间分布的数据，生成所述4个以上的分光图像数据。在该情况下，所述处理电路也可以对表示所述分光透射率的所述空间分布的所述数据进行校正，从而对所述偏差进行补偿。
[0096]
根据上述构成，处理电路在检测出相对位置的偏差时，对表示多个滤光器的分光透射率的空间分布的数据进行校正。表示多个滤光器的分光透射率的空间分布的数据例如相当于上述的矩阵h。通过对该数据进行校正，能够减小由于相对位置的偏差引起的分光图像数据的误差。
[0097]
所述处理电路也可以对由所述图像传感器取得的所述图像的坐标进行校正，从而对所述偏差进行补偿。
[0098]
根据上述构成，处理电路在检测出相对位置的偏差时，对由图像传感器取得的图像的坐标进行校正。在此，图像的坐标的校正，意味着在该图像所示的数据中对坐标与像素值的对应关系进行校正。图像的校正例如相当于对上述的矢量g进行平移或者旋转等坐标变换的操作。通过对取得的图像进行校正，能够减小由于相对位置的偏差引起的分光图像数据的误差。
[0099]
所述滤光器阵列也可以具有1个以上的对准标记。所述1个以上的特征部也可以是所述1个以上的对准标记。
[0100]
1个以上的对准标记例如可以形成在滤光器阵列的表面。对准标记以能够在图像上与其他部位识别的方式形成。例如，可以通过具有比周围的滤光器的透射率低的透射率的金属膜来形成对准标记。
[0101]
所述1个以上的对准标记各自也可以包括：在第1方向上延伸的第1部分、以及在与所述第1方向交叉的第2方向上延伸的第2部分。在该情况下，所述处理电路也可以基于由所述图像传感器取得的所述图像中的所述第1部分的长度与所述第2部分的长度之比对所述滤光器阵列的倾侧进行检测，进而执行使所述倾侧的影响减小的动作。
[0102]
所述1个以上的对准标记也可以包括多个对准标记。在该情况下，所述处理电路也可以基于由所述图像传感器取得的所述图像中的所述多个对准标记的位置关系对所述滤光器阵列的倾侧进行检测，进而执行使所述倾侧的影响减小的动作。
[0103]
滤光器阵列的倾侧，意味着滤光器阵列的姿态从预定的适当的姿态倾斜的状态。使倾侧的影响减小的动作，例如可以包括滤光器阵列的旋转或者图像传感器的旋转等动作。
[0104]
处理电路例如能够基于在第1方向上相离的2个对准标记的距离与在第2方向上相离的2个对准标记的距离之比，对滤光器阵列的倾侧进行检测。
[0105]
根据上述构成，能够减小由于滤光器阵列的倾侧引起的分光图像数据的误差。
[0106]
所述图像传感器可以具备各自输出与接受的光的强度相应的信号的多个光检测元件。所述处理电路也可以基于从所述多个光检测元件之中的接受经过了所述滤光器阵列中的区域后的光的光检测元件输出的信号，生成所述4个以上的分光图像数据。所述1个以上的对准标记既可以处于所述一部分区域的内侧，也可以处于所述一部分区域的外侧。
[0107]
在所述1个以上的对准标记处于所述区域的外侧的情况下，根据不被用于生成分光图像数据的区域的图像数据检测对准标记。因此，不会对生成的分光图像数据造成影响，而能够检测对准标记。
[0108]
所述1个以上的对准标记也可以处于在所述相对位置是预先设定的相对位置的情况下所述图像传感器能够摄像的范围的内侧。在该情况下，能够根据由图像传感器取得的图像检测对准标记，并基于其位置等信息，容易地检测滤光器阵列与图像传感器的相对位置的偏差。
[0109]
所述滤光器阵列也可以比在所述相对位置是预先设定的相对位置的情况下所述图像传感器能够摄像的范围大。所述1个以上的对准标记也可以处于所述范围的外侧。在该情况下，对准标记也可以被配置在能够摄像的范围的内侧与外侧的边界附近。在由图像传感器取得的图像中检测出对准标记的情况下，处理电路能够判断为产生了相对位置的偏差。
[0110]
本公开的其他方式所涉及的摄像装置具备：图像传感器；滤光器阵列，被配置在从对象物到所述图像传感器的光路上，包括以2维排列的多个滤光器，所述多个滤光器包括分光透射率相互不同的多个种类的滤光器；以及处理电路，基于由所述图像传感器取得的图像、以及表示所述多个滤光器的所述分光透射率的空间分布的数据，生成4个以上的分光图像数据。所述4个以上的分光图像数据分别表现与4个以上的波段之中的1个波段对应的图像。所述处理电路执行：
[0111]
(a)第1动作，通过使所述滤光器阵列与所述图像传感器的相对位置变化而多次反
复进行生成所述4个以上的分光图像数据的处理，从而生成多组的所述4个以上的分光图像数据；或者
[0112]
(b)第2动作，通过使由所述图像传感器取得的所述图像的坐标变化而多次反复进行生成所述4个以上的分光图像数据的处理，从而生成多组的所述4个以上的分光图像数据，
[0113]
所述处理电路将所述多组的所述4个以上的分光图像数据合成，从而生成输出数据。
[0114]
根据上述构成，通过执行所述第1动作或者所述第2动作，并将所述多组的所述4个以上的分光图像数据合成，能够减小分光图像数据所包含的误差。
[0115]
所述第1动作也可以包括：与所述相对位置的变化相应地，对表示所述分光透射率的所述空间分布的所述数据进行校正。
[0116]
所述第2动作也可以包括：与所述坐标的变化相应地，对表示所述分光透射率的所述空间分布的所述数据进行校正。
[0117]
以下，说明本公开的更具体的实施方式。其中，有时省略过于详细的说明。例如，有时省略已经公知的事项的详细说明及针对实质上相同的构成的重复说明。这是为了避免以下的说明过于冗长，而使得本领域技术人员易于理解。此外，发明人们为了使本领域技术人员充分理解本公开而提供了附图及以下的说明，其意图不在于通过这些对权利要求书所记载的主题进行限定。在以下的说明中，针对相同或者相似的构成要素附加相同的参照标记。在以下的说明中，使用在图中表示的xyz坐标。
[0118]
(实施方式1)
[0119]
图5是示意性地表示本公开的例示性的实施方式1所涉及的摄像装置的构成的图。本实施方式中的摄像装置具备滤光器阵列100、光学系统40a及40b、图像传感器60、处理电路200和可动台80。
[0120]
滤光器阵列100被配置在从对象物70到图像传感器60的光路上且从图像传感器60相离的位置。滤光器阵列100如上所述包括以2维排列的多个滤光器。多个滤光器包括分光透射率相互不同的多个种类的滤光器。多个种类的滤光器各自被设计为：在n个(n为4以上的整数)波段之中的2个以上的波段中光透射率示出极大值。
[0121]
光学系统40a被配置在对象物70与滤光器阵列100之间。光学系统40b被配置在滤光器阵列100与图像传感器60之间。光学系统40a及40b各自包括1个以上的透镜。光学系统40a及40b将经过滤光器阵列100后的来自对象物70的光所成的像形成在图像传感器60的摄像面上。
[0122]
图像传感器60如上所述具备在摄像面上以2维排列的多个光检测元件。各光检测元件例如包括光电二极管等光电转换元件，输出与受光量相应的电信号。图像传感器60例如可以是ccd或者cmos传感器、红外线阵列传感器、太赫兹阵列传感器、毫米波阵列传感器。图像传感器60不一定必须是黑白类型的传感器。例如也可以使用具有r/g/b、r/g/b/ir或者r/g/b/w的滤光器的彩色类型的传感器。通过使用彩色类型的传感器，能够增加与波长相关的信息量，能够提高分离图像220的重构的精度。但是，在使用彩色类型的传感器的情况下，空间方向(x，y方向)的信息量降低，因此与波长相关的信息量和分辨率之间处于权衡的关系。作为取得对象的波长范围可以任意地决定，不限于可视的波长范围，也可以是紫外、近
红外、中红外、远红外、微波/电波的波长范围。
[0123]
来自对象物70的光依次经过光学系统40a、滤光器阵列100及光学系统40b，并在图像传感器60的摄像面上成像。将与光学系统40a及40b的光轴平行且从对象物70朝向图像传感器60的方向设为z方向。滤光器阵列100被配置为与包含分别与z轴正交的x轴及y轴在内的xy平面大致平行。图像传感器60取得经过滤光器阵列100后的来自对象物70的光所成的图像。
[0124]
处理电路200基于从图像传感器60输出的图像数据、以及表示滤光器阵列100的分光透射率的空间分布的数据，生成与n个波段分别对应的图像数据、即分离图像220。表示滤光器阵列100的分光透射率的空间分布的数据被预先存放在处理电路200所具备的存储器中。处理电路200进行基于上述的式(2)的运算，从而生成与各波段对应的图像220。
[0125]
处理电路200例如可以通过数字信号处理器(dsp)、现场可编程逻辑门阵列(fpga)等可编程逻辑器件(pld)、或者中央运算处理装置(cpu)/图像处理用运算处理器(gpu)与计算机程序的组合来实现。通过将这样的计算机程序存放于存储器等记录介质，并由cpu执行该程序，能够执行用于生成分离图像220的运算处理。
[0126]
本实施方式中的处理电路200进而从由图像传感器60取得的图像中，检测滤光器阵列100中的1个以上的特征部。然后，基于该特征部的位置、形状或者大小等信息，检测滤光器阵列100与图像传感器60的相对位置。处理电路200在检测出该相对位置从预先设定的相对位置偏差时，执行用于对该偏差进行补偿的动作。在本实施方式中，对相对位置的偏差进行补偿的动作，包括对可动台80进行控制从而对滤光器阵列100与图像传感器60的相对位置进行校正的动作。
[0127]
可动台80是使滤光器阵列100的位置及姿态中的至少一方变化的驱动装置。滤光器阵列100被固定于可动台80。可动台80能够使滤光器阵列100与对象物70、光学系统40a及40b以及图像传感器60独立地移动或者旋转。可动台80能够进行使滤光器阵列100沿着x轴、y轴或z轴移动、在xy平面内、yz平面内或xz平面内旋转、或者将其组合而成的动作。可动台80也可以仅具有沿着x轴、y轴或者z轴移动的功能。可动台80的动作由处理电路200控制。本实施方式中的可动台80是电动式的驱动装置，但可动台80也可以是手动式的驱动装置。
[0128]
图6a是用于说明滤光器阵列100的图。图6a的左侧的图示意性地表示滤光器阵列100的构成。图6a的右侧的图表示滤光器阵列100中的某2个滤光器中的分光透射率的例子。图6b表示关于对象波段所包含的n个波段w1、w2、
···
、wn的、滤光器阵列100的透射率的空间分布的一例。在图6a及图6b中，表示了在滤光器阵列100的纵向及横向上分别10个正方形状的滤光器以格子状排列的区域，但这不过是例示。滤光器阵列100中的各滤光器的形状不限于正方形，可以是能够填充平面的任意的形状。另外，排列数不限于在纵向及横向上分别为10个，也可以是任意的数量。滤光器阵列100中的各滤光器的大小、以及滤光器阵列100的整体的大小可以取任意值。
[0129]
在图6a中，表示了滤光器阵列100所占的区域之中的、在未产生相对位置的偏差的情况下图像传感器60能够摄像的范围102、以及生成分离图像220的范围104的例子。如该例所示，生成分离图像220的范围104也可以比能够摄像的范围102小。在该情况下，处理电路200从由图像传感器60生成的图像数据中，提取与生成分离图像220的范围104对应的部分，并生成分离图像220。换言之，处理电路200基于从图像传感器60中的多个光检测元件之中
的、接受经过滤光器阵列100中的一部分区域(即生成分离图像220的范围104)后的光的光检测元件输出的信号，生成n个波段各自的图像数据。在图6a的例中，滤光器阵列100的仅一部分被包含在图像传感器60能够摄像的范围102中。
[0130]
图6a所示的滤光器阵列100在图像传感器60能够摄像的范围102的内侧具备多个对准标记106。在本实施方式中，4个对准标记106被配置在能够摄像的范围102的内侧的四角。各对准标记106具有在图像传感器60的摄像面成像时形成比图像传感器60的1个像素大的像的大小。对准标记106的数量、形状及大小不限定于图示的例子，可以任意地选择。
[0131]
生成分离图像220的范围104的大小与图像传感器60能够摄像的范围102的大小相同，或者比其小。在生成分离图像220的范围104比能够摄像的范围102小的情况下，对准标记106既可以如图6a所示处于生成分离图像220的范围104的外侧，也可以处于其内侧。
[0132]
在图6a中，作为一例表示了十字型的对准标记106，但对准标记106的形状只要能够识别其位置，则可以任意地决定。对准标记106的形状例如也可以是任意的多边形、圆的全部或一部分、或者它们的组合。
[0133]
如图6c所示，对准标记106也可以处于在滤光器阵列100与图像传感器60的相对位置位于预先设定的相对位置的情况下图像传感器能够摄像的范围102的外侧。在该情况下，在未产生相对位置的偏差的情况下，从取得的图像中检测不出对准标记106，但在产生了相对位置的偏差的情况下，检测出对准标记106。能够基于检测出的对准标记106的位置，对相对位置的偏差进行检测。
[0134]
如图6d所示，图像传感器60能够摄像的范围102也可以包括滤光器阵列100的外侧的区域。在该情况下，滤光器阵列100的内侧与外侧的边界部分107起到与对准标记106同等的作用。在这样的构成中，滤光器阵列100不包括明示的标记，而滤光器阵列100的将内侧与外侧分隔的外周部作为对准用的特征部发挥功能。
[0135]
图7是表示在滤光器阵列100上实际形成的对准标记106的一例的图像。在该例中，在滤光器阵列100的表面上形成有十字型的铬(cr)膜作为对准标记106。图7中的小正方形状的块表示各个滤光器。在该例中，各滤光器的一边的长度大致为8微米(μm)。十字型的对准标记106具有2个直线状部分交叉的形状。在照射了白色光的情况下，铬膜示出比周围的滤光器区域低的透射率。因此，如图7所示，作为暗部被观察到。此外，对准标记106不限于铬膜，只要能够与其他部分相区别，则可以由任意的材料构成。
[0136]
处理电路200通过检测图7所例示的十字型的对准标记106的中心坐标，能够检测从图像传感器60观察的滤光器阵列100的相对位置。
[0137]
图8a表示从图像传感器60观察的滤光器阵列100的相对位置在x方向及y方向上偏差了1个像素量的情况下产生的滤光器阵列100的透射率的变化率(单位：％)的例子。在此，将滤光器阵列100与图像传感器60的相对位置位于初始位置的情况下的透射率作为基准，表示了100格
×
100格的区域中的平均透射率的变化率(单位：％)。如图8a所示，仅通过使相对位置变化与图像传感器60的1个像素相应的量，就会产生透射率的变化。结果，处理电路200有可能生成与正确图像大为不同的图像。图8b是表示由处理电路200生成的图像与正确图像之间的平均亮度的误差的例子的图。如图所示，滤光器阵列100与图像传感器60的相对位置仅在x方向或者y方向上偏差1个像素量，平均亮度的误差就大为增加。
[0138]
像这样，滤光器阵列100与图像传感器60的相对位置的变化对图像生成的准确性
造成很大影响。因此，要求减小由于相对位置的变化造成的影响。
[0139]
在本实施方式中，具有对准标记106的滤光器阵列100能够检测图像传感器60与滤光器阵列100的相对位置。通过与检测出的相对位置的变化相应地对摄像装置的硬件或者针对取得的图像的处理进行校正，能够防止波长分辨率降低。
[0140]
图5所示的处理电路200与检测出的相对位置的变化相应地对可动台80进行控制，从而对滤光器阵列100的位置进行校正。由此，能够抑制由于相对位置的变化而引起的图像的品质的降低。
[0141]
图9a是表示由本实施方式中的处理电路200生成的每个波段的图像的例子的图。图9b是表示在不进行本实施方式中的校正的情况下生成的每个波段的图像的例子的图。在这些例中，相对于取得分光透射率的空间分布的数据的时刻，滤光器阵列100的位置在图像的纵向上变化了大致1.5个像素量。作为对象物70，使用分别使510nm、520nm、530nm的光通过的3个种类的滤光器，在从背后照射白色光的状态下进行了摄像。如图9b所示，在不进行校正的情况下，3个波段未被正确地分离，无法按每个波段生成正确的图像。即，波长分辨率降低。相对于此，在图9a所示的例中，由于对滤光器阵列100的位置进行了校正，因此清楚地显示了与3个种类的滤光器分别对应的点。即，抑制了波长分辨率的降低。
[0142]
如上，通过使用图5所示的摄像装置，能够对滤光器阵列100与图像传感器60的相对位置进行调整，能够防止由于该相对位置的变化而引起的波长分辨率的降低。
[0143]
图10是表示本实施方式中的处理电路200所执行的处理的概要的流程图。首先，在步骤s101中，处理电路200从图像传感器60，取得经过滤光器阵列100后的光所成的重叠有多个波长的成分的波长复用图像。接下来在步骤s102中，处理电路200从取得的图像中检测对准标记106，从而检测滤光器阵列100与图像传感器60的相对位置。在此，相对位置例如是指滤光器阵列100的中心的坐标相对于图像传感器60的摄像面的中心的坐标在x方向及y方向上的位移量。在步骤s103中，处理电路200判断滤光器阵列100与图像传感器60的相对位置是否相对于预先设定的初始的相对位置发生了变化。在此，初始的相对位置是指取得表示滤光器阵列100的分光透射率的空间分布的数据时的相对位置。在步骤s103中确认了相对位置的变化的情况下，向步骤s104前进。在步骤s104中，处理电路200指示可动台80以使滤光器阵列100与图像传感器60的相对位置返回至初始位置。响应于该指示，可动台80对滤光器阵列100的位置进行校正。在步骤s103中未确认到相对位置的变化的情况下，不执行步骤s104，而向步骤s105前进。在步骤s105中，处理电路200基于由图像传感器60取得的图像、以及表示滤光器阵列100的分光透射率的空间分布的数据，生成按波段的多个图像数据。
[0144]
通过以上的动作，能够检测滤光器阵列100与图像传感器60的相对位置相对于适当值的偏差，并校正相对位置以对偏差进行补偿。由此，能够抑制由于该相对位置的变化而引起的波长分辨率的降低。
[0145]
图11是示意性地表示本实施方式的变形例所涉及的摄像装置的构成的图。在本变形例中，摄像装置具备作为不是使滤光器阵列100而是使图像传感器60的位置变化的第2驱动装置的可动台82。图像传感器60被配置在可动台82之上。处理电路200对可动台82进行控制，从而使图像传感器60的位置沿着x轴、y轴及z轴之中的1个以上的轴变化。由此，对滤光器阵列100与图像传感器60的相对位置进行校正。也可以如图5所示的例子那样，设为能够在xy平面、yz平面及xz平面之中的1个以上的平面内使图像传感器60旋转。
[0146]
图12是示意性地表示其他变形例所涉及的摄像装置的构成的图。在本变形例中，未设置使滤光器阵列100或者图像传感器60移动的可动台。本变形例中的摄像装置具备：被配置在光学系统40b与图像传感器60之间的光学系统50、以及作为使光学系统50的位置变化的第3驱动装置的可动台84。光学系统50包括至少1个透镜。也可以替代透镜或者在透镜之外，设置反射镜等具有反射功能的光学元件。
[0147]
光学系统40a、40b及50被配置在将滤光器阵列100与图像传感器60连结的光路上，将经过滤光器阵列100后的光所成的像形成在图像传感器60的摄像面上。可动台84使光学系统50所包括的至少1个透镜移动或者旋转，从而使形成的像的位置变化。处理电路200通过对可动台84进行控制，能够使成像位置变化，对滤光器阵列100与图像传感器60的相对位置的偏差进行补偿。
[0148]
(实施方式2)
[0149]
图13是表示本公开的例示性的实施方式2所涉及的摄像装置的构成的示意图。本实施方式中，不是以物理方式对滤光器阵列100与图像传感器60的相对位置进行调整，而是由处理电路200通过信号处理对相对位置的偏差进行补偿。更具体而言，处理电路200对表示滤光器阵列100的分光透射率的空间分布的数据、或者由图像传感器60取得的图像进行校正，从而减小滤光器阵列100与图像传感器60的相对位置的变化的影响。
[0150]
表示滤光器阵列100的分光透射率的空间分布的数据，例如可以是表示上述的式(2)中的矩阵h的数据。表示分光透射率的空间分布的数据的校正，例如意味着对矩阵h的各成分进行校正以抵消或者减小被检测出的相对位置的变化。由图像传感器60取得的图像的校正，例如意味着对式(2)中的矢量g进行平行移动、旋转及扩大缩小中的某一个操作。作为一例，考虑从图像传感器60观察的滤光器阵列100的相对位置在图13所示的y方向上变化了图像传感器60的n个像素量的情况。在该情况下，处理电路200进行使式(2)中的矩阵h或者矢量g的各成分在y方向上平行移动n的操作。
[0151]
图14a至图14c是用于说明本实施方式的效果的图。图14a表示滤光器阵列100与图像传感器60的相对位置相对于初始的相对位置未发生变化的情况(与矢量g对应)下的3个波段的图像的复原结果的例子。图14b表示滤光器阵列100与图像传感器60的相对位置相对于初始的相对位置偏差(对应于矢量从g变化为g’)、且未对矩阵h进行校正的情况下的3个波段的图像的复原结果的例子。图14c表示滤光器阵列100与图像传感器60的相对位置相对于初始的相对位置偏差(对应于矢量g’)、且恰当地对矩阵进行了校正的情况(对应于矢量被校正为h’)下的3个波段的图像的复原结果的例子。在这些例中，与图9a及图9b的例子同样，作为对象物70，配置有分别使510nm、520nm、530nm的光透射的3个滤光器。如图14a所示，3个滤光器各自作为点显示的状态表现出正确的复原图像。在图14b的例中，未生成正确的图像。另一方面，如图14c所示，在恰当地对矩阵h进行了校正的情况下，确认到生成的图像更接近于图14a所示的图像。像这样，通过对矩阵h进行校正，能够防止波长分辨率降低。此外，在替代对矩阵h进行校正，而对表示取得的图像的矢量g进行校正的情况下，也能够得到同样的效果。
[0152]
如上，在本实施方式中，对相对位置的偏差进行补偿的动作，包括对表示滤光器阵列100中的多个滤光器的分光透射率的空间分布的数据、或者由图像传感器60取得的图像的坐标进行校正的动作。例如，处理电路200对表示滤光器阵列100的分光透射率的空间分
布的矩阵的数据、或者由图像传感器60取得的图像的数据进行校正。由此，能够抑制由于滤光器阵列100与图像传感器60的相对位置的变化而引起的波长分辨率的降低。
[0153]
(实施方式3)
[0154]
图15a是示意性地表示本公开的例示性的实施方式3中的滤光器阵列100的例子的图。本实施方式中的摄像装置的构成与图5所示的构成是同样的。在本实施方式中，处理电路200不是基于1个对准标记106的位置，而是基于多个对准标记106的位置关系对滤光器阵列100的倾侧进行检测。滤光器阵列100的倾侧，意味着滤光器阵列100相对于与光学系统40a及40b的光轴垂直的面的倾斜。在图15a所示的例中，处理电路200基于取得的图像，检测对准标记106的y方向的间隔l1以及对准标记106的x方向的间隔l2，从而对倾侧进行检测。在滤光器阵列100在图5所示的方向上发生了倾侧的情况下观测到l1比本来的长度短，在η方向上发生了倾侧的情况下观测到l2比本来的长度短。在图5所示的方向上以角度发生了倾侧的情况下，l1的长度成为本来的长度的倍。同样，在图5所示的η方向上以角度η1发生了倾侧的情况下，l2的长度成为本来的长度的cos(η1)倍。
[0155]
图15b是示意性地表示本实施方式的变形例中的滤光器阵列100的图。各对准标记106具有包括在y方向上延伸的第1部分以及在x方向上延伸的第2部分的形状。通过测定第1部分的长度l3、以及第2部分的长度l4，能够检测滤光器阵列100的倾侧。在该例中第1部分与第2部分正交，但也可以以与90度不同的角度交叉。处理电路200基于由图像传感器60取得的图像中的1个以上的对准标记106的第1部分与第2部分的长度之比，对滤光器阵列100的倾侧进行检测，并执行使倾侧的影响减小的动作。
[0156]
使倾侧的影响减小的动作，例如可以通过对图5所示的可动台80进行控制来执行。也可以替代图5所示的构成，例如采用图11所示的构成。在该情况下，可以使用能够使图像传感器60的朝向变化的可动台82。或者，也可以替代通过机械的驱动对相对位置进行校正，而与实施方式2同样地通过软件上的处理来减小倾侧的影响。
[0157]
(实施方式4)
[0158]
在以上的实施方式中，处理电路200基于由图像传感器60取得的图像中的滤光器阵列100的1个以上的特征部(例如对准标记106的部分)，检测滤光器阵列100与图像传感器60的相对位置。然后，在相对位置相对于预先设定的相对位置偏差时，执行对相对位置的偏差进行补偿的动作。
[0159]
相对于此，在实施方式4中，处理电路200执行以下的(a)及(b)中的某一个动作。
[0160]
(a)使滤光器阵列100与图像传感器60的相对位置变化，且与该相对位置的变化相应地对表示分光透射率的空间分布的数据进行校正，来多次反复进行生成n个波段各自的图像数据的处理，从而按每个波段生成多组图像数据。
[0161]
(b)使由图像传感器60取得的图像的坐标变化，且与该坐标的变化相应地对表示分光透射率的空间分布的数据进行校正，来多次反复进行生成n个波段各自的图像数据的处理，从而按每个波段生成多组图像数据。
[0162]
处理电路200按每个波段，通过进行平均化等处理来将多组的图像数据合成，从而生成输出数据。通过这样的动作，能够减小被生成的图像所包含的噪声。
[0163]
图16是用于说明本实施方式中的信号处理的图。在本实施方式中，使用某1个滤光器阵列100，有意地使滤光器阵列100与图像传感器60的相对位置变化而多次进行摄像。如
参照图8a说明的那样，在滤光器阵列100与图像传感器60的相对位置发生了变化的情况下，滤光器阵列100的分光透射率的空间分布变化。即，某1个滤光器阵列100作为具有不同的分光透射率分布的其他滤光器阵列100发挥功能。因此，在本实施方式中，能够得到与使用具有不同的分光透射率分布的n个种类(n为2以上的整数)的滤光器阵列100来生成图像的情况同等的效果。在对生成的n张图像进行了平均化的情况下，生成的图像被施加的噪声在统计上减小为1/√n倍。
[0164]
图17是表示本实施方式中的信号处理的例子的流程图。在该例中，与实施方式1同样使用图5所示的构成。处理电路200通过执行图10所示的步骤s101至s105的动作，在滤光器阵列100位于初始位置的状态下，生成按波段的多个图像。在该例中也进行基于对准标记对相对位置的校正处理，但也可以省略该校正处理。在该情况下，省略步骤s102、s103及s104，滤光器阵列100也可以不具有对准标记等特征部。接下来在步骤s106中，处理电路200判断使滤光器阵列100与图像传感器60的相对位置变化的次数是否达到了规定的次数(n次)。在该判断为否的情况下，处理电路200设定与原初始位置不同的新的初始位置(步骤s107)。例如，可以设定从原初始位置在x方向或者y方向等规定的方向上变化了微小的大小后的位置，作为新的初始位置。“微小的大小”例如可以是相当于图像传感器60的1个像素至数个像素的程度的大小。接下来，处理电路200对可动台80进行控制，使滤光器阵列100移动到设定的新的初始位置(步骤s108)。与其相应，也对在生成分光图像数据时使用的表示分光透射率的空间分布的数据进行校正。以后，反复进行步骤s101至s108的动作，直到在步骤s106中判断为是。在本实施方式中，步骤s108中的滤光器阵列100的移动通过物理上的移动来进行。也可以替代使滤光器阵列100移动，而使图像传感器60移动。或者，也可以替代在物理上使相对位置变化，而使由图像传感器60取得的图像的坐标变化。关于步骤s104中的相对位置的校正，也是利用物理上的移动及软件上的矩阵校正中的任一种方法都可以。处理电路200在反复执行了规定次数的步骤s101至s108的处理之后，对生成的n张图像进行平均化，从而生成合成后的输出数据并输出(步骤s109)。
[0165]
通过以上的动作，能够通过使用某1个滤光器阵列100的摄像来进行噪声去除处理。由此，能够减小所生成的高光谱图像的误差，并提高波长分辨率。
[0166]
以上的实施方式1至4各自的特征只要没有矛盾，也可以与其他实施方式的特征组合。例如，也可以将实施方式1中的机械性的相对位置的校正与实施方式2中的通过软件对相对位置的校正组合。另外，也可以将实施方式4的处理适用于图11至图13中的任一个构成。
[0167]
工业实用性
[0168]
本公开的技术例如在取得多波长的图像的相机及测定设备中是有用的。本公开的技术例如也能够应用于面向生物体/医疗/美容的传感、食品的异物/残留农药检查系统、遥感系统及车载传感系统。
[0169]
附图标记说明：
[0170]
40、50 光学系统
[0171]
60 图像传感器
[0172]
70 对象物
[0173]
80、82、84 可动台
[0174]
100 滤光器阵列
[0175]
102 能够摄像的范围
[0176]
104 生成分离图像的范围
[0177]
106 对准标记
[0178]
200 处理电路
[0179]
220 分离图像。