滤波器阵列及光检测系统的制作方法

1.本公开涉及滤波器阵列及光检测系统。


背景技术：

2.通过利用分别为窄带的许多个波段、例如几十个波段的光谱信息，能够掌握通过以往的rgb图像不能掌握的对象物的详细的物性。取得这样的多波长的信息的相机被称为“高光谱相机”。高光谱相机利用于食品检查、生物体检查、医药品开发及矿物的成分分析等各种领域。
3.专利文献1公开了利用压缩感测的高光谱摄像装置的例子。该摄像装置具备：编码元件，其为光透射率的波长依赖性互不相同的多个光学滤波器的阵列；图像传感器，检测透射了编码元件的光；以及处理电路。在将被摄体与图像传感器连结的光路上配置编码元件。图像传感器通过按每个像素同时检测叠加有多个波段的成分的光，取得1个波长复用图像。处理电路利用编码元件的分光透射率(spectral transmittance)的空间分布的信息对所取得的波长复用图像应用压缩感测，从而生成关于多个波段各自的图像数据。在专利文献1所公开的摄像装置中，使用在对象波长域内具有两个以上的透射率的峰值(即极大值)的光学滤波器阵列作为编码元件。
4.专利文献2公开了在反射层中使用电介质多层膜的法布里－珀罗共振器的滤波器阵列的例子。
5.现有技术文献
6.专利文献
7.专利文献1：美国专利第9599511号说明书
8.专利文献2：美国专利第9466628号说明书


技术实现要素：

9.发明要解决的课题
10.本公开的目的是提供能够使高光谱相机的波长分辨率提高的光检测系统、以及在该光检测系统中使用的滤波器阵列。
11.用来解决课题的手段
12.有关本公开的一技术方案的滤波器阵列，具备多个滤波器，该多个滤波器二维地排列，并且分别具有互不相同的透射光谱。上述多个滤波器包括：第1滤波器，透射光谱具有包括相互相邻的第1峰值及第2峰值的第1峰值群；以及至少1个第2滤波器，透射光谱具有包括相互相邻的第3峰值及第4峰值的第2峰值群，在上述第2峰值群中包含的多个峰值中，上述第3峰值的波长最接近于上述第1峰值的波长。上述第1峰值的上述波长与上述第2峰值的波长的第1间隔不同于上述第3峰值的上述波长与上述第4峰值的波长的第2间隔。当设上述第1间隔与上述第2间隔之差的绝对值为δfsr，设上述第1峰值的半值宽度为σ时，δfsr/σ≥0.25。
13.本公开的包含性或具体的形态也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的记录盘等记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合实现。计算机可读取的记录介质例如可以包括cd－rom(compact disc—read only memory)等的非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由两个以上的装置构成的情况下，该两个以上的装置既可以配置在1个设备内，也可以分开配置在分离的两个以上的设备内。在本说明书及权利要求书中，“装置”不仅可以指1个装置，还可以指由多个装置构成的系统。
14.发明效果
15.根据本公开的技术，能够使高光谱相机的波长分辨率提高。
附图说明
16.图1a是示意地表示例示性的实施方式的光检测系统的图。
17.图1b是表示滤波器阵列从图像传感器离开而配置的光检测系统的结构例的图。
18.图1c是表示滤波器阵列从图像传感器离开而配置的光检测系统的结构例的图。
19.图1d是表示滤波器阵列从图像传感器离开而配置的光检测系统的结构例的图。
20.图2a是示意地表示例示性的实施方式的滤波器阵列的例子的图。
21.图2b是表示对象波长域中包含的多个波长域各自的光的透射率的空间分布的一例的图。
22.图2c是表示图2a所示的滤波器阵列中包含的某滤波器的透射光谱的例子的图。
23.图2d是表示图2a所示的滤波器阵列中包含的另一滤波器的透射光谱的例子的图。
24.图3a是用来说明对象波长域与其中包含的多个波长域的关系的一例的图。
25.图3b是用来说明对象波长域与其中包含的多个波长域的关系的另一例的图。
26.图4a是用来说明滤波器阵列中的某滤波器的透射光谱的特性的图。
27.图4b是表示将图4a所示的透射光谱按每个波长域平均化的结果的图。
28.图5是示意地表示例示性的实施方式的光检测装置的剖视图。
29.图6是表示法布里-珀罗滤波器具有的透射光谱的例子的图。
30.图7是表示比较例的16种多模滤波器具有的透射光谱的图。
31.图8是表示正解图像的例子以及由具有单一的fsr的比较例的滤波器阵列重构的分离图像的例子的图。
32.图9是示意地表示法布里-珀罗滤波器的透射光谱的例子的图。
33.图10是表示正解图像的例子以及由具有两个fsr的滤波器阵列重构的分离图像的例子的图。
34.图11是表示在比较例中关于呈现局部解的波段6的正解图像和分离图像之间的均方误差与δfsr/σ的关系的图。
35.图12是表示关于波段6的正解图像和分离图像之间的均方误差与滤波器阵列中包含的第2滤波器的比例的关系的图。
36.图13是表示本实施方式的法布里-珀罗滤波器具有的透射光谱的计算结果的图。
37.图14a是示意地表示光检测装置的第1变形例的图。
38.图14b是示意地表示光检测装置的第2变形例的图。
39.图14c是示意地表示光检测装置的第3变形例的图。
40.图14d是示意地表示光检测装置的第4变形例的图。
41.图14e是示意地表示光检测装置的第5变形例的图。
42.图14f是示意地表示光检测装置的第6变形例的图。
具体实施方式
43.以下，说明本公开的例示性的实施方式。另外，以下说明的实施方式都表示包含性或具体的例子。因而，在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本公开的意思。并且，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。此外，各图是示意图，并不一定是严密地图示的。进而，在各图中有对于实质上相同的构成赋予相同的标号而将重复的说明省略或简化的情况。
44.在说明本公开的实施方式之前，说明作为本公开的基础的认识。
45.专利文献1公开了能够生成高析像度的多波长图像即关于多个波段各自的图像的摄像装置。在该摄像装置中，由被称为“编码元件”的光学元件将来自对象物的光的像进行编码而拍摄。编码元件例如具有二维地排列的多个区域。该多个区域中的至少两个区域各自的透射光谱在摄像对象的波长域内的多个波长域中分别具有透射率的极大值。多个区域例如可以与图像传感器的多个像素分别对应而配置。在使用该编码元件的拍摄中，各像素的数据包含多个波长域的信息。即，通过拍摄取得的图像数据是波长信息被压缩的数据。因而，持有二维数据就足够，能够抑制数据量。例如，即使在记录介质的容量有制约的情况下，也能够取得长时间的运动图像的数据。多波长图像通过根据拍摄取得的图像重构与多个波长域分别对应的多个图像而生成。在以下的说明中，将按每个波长域即波段生成的各个图像也称为“分离图像”。
46.编码元件例如可以由包括二维地排列的多个滤波器的滤波器阵列实现。多个滤波器分别例如可以具备包括干涉层的所谓法布里－珀罗共振器的构造。作为法布里－珀罗共振器，例如可以采用专利文献2中公开的构造。多个滤波器可以设计为，使各滤波器的透射光谱在摄像对象的波长域中具有多个峰值。如果使干涉层变薄，则多个峰值向短波长侧移位，如果使干涉层变厚，则多个峰值向长波长侧移位。干涉层的厚度不同的多个滤波器具有互不相同的透射光谱。
47.将透射光谱中的相互相邻的峰值的间隔称为fsr(free spectral range：自由光谱区)。根据本公开的发明人们的研究可知，在使用全部的滤波器的fsr相等的滤波器阵列生成多波长图像的情况下，关于某波长域的分离图像可能成为不正确。在此情况下，高光谱相机的波长分辨率下降。
48.本公开的实施方式的滤波器阵列被设计为，多个滤波器中的两个以上的滤波器具有不同的fsr。这样的滤波器阵列使生成不正确的分离图像的可能性降低。结果，能够使高光谱相机的波长分辨率提高。以下，简单地说明本公开的实施方式的滤波器阵列及具备该滤波器阵列的本公开的光检测系统。
49.(第1项目)
50.有关本公开的第1项目的滤波器阵列，具备多个滤波器，该多个滤波器二维地排
integration)或ulsi(ultra large scale integration)。也可以以相同的目的使用可在lsi的制造后编程的field programmable gate array(fpga)、或能够进行lsi内部的接合关系的重构或lsi内部的电路划分的设置的reconfigurable logic device。
67.进而，电路、单元、装置、部件或部的全部或一部分的功能或操作可以通过软件处理来执行。在此情况下，将软件记录到1个或多个rom、光盘、硬盘驱动器等的非暂时性记录介质中，在软件被处理装置(processor)执行时，由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的1个或多个非暂时性记录介质、处理装置(processor)及需要的硬件设备、例如接口。
68.(实施方式)
69.《光检测系统》
70.图1a是示意地表示本公开的例示性的实施方式的光检测系统400的图。光检测系统400具备光学系统40、滤波器阵列10、图像传感器60和处理电路200。滤波器阵列10具有与专利文献1中公开的“编码元件”同样的功能。因此，也可以将滤波器阵列10称为“编码元件”。光学系统40及滤波器阵列10配置在从对象物70入射的光的光路上。在图1a所示的例子中，滤波器阵列10配置在光学系统40与图像传感器160之间。
71.在图1a中，作为对象物70的一例而例示了苹果。对象物70并不限于苹果，可以是任意的物体。处理电路200基于图像传感器60所生成的图像数据，关于作为对象波长域的特定的波长域中包含的多个波段分别生成图像数据。在本说明书中将该图像数据称为“分光图像数据”。这里，将对象波长域中包含的波段的数量设为n(n是4以上的整数)。在以下的说明中，将生成的多个波段的分光图像数据称为分离图像220w1、220w2、
…
、220wn，将它们统称为分离图像220。在本说明书中，有时将表示图像的信号即表示构成图像的多个像素的像素值的信号的集合简单称为“图像”。
72.滤波器阵列10具备被排列为行及列状的透光性的多个滤波器。滤波器阵列10是光的透射光谱即光透射率的波长依赖性根据滤波器而不同的光学元件。滤波器阵列10将入射的光的强度按每个波长域调制并使其通过。
73.在图1a所示的例子中，滤波器阵列10配置在图像传感器60的附近或紧上方。这里“附近”是指以来自光学系统40的光的像在某种程度鲜明的状态下形成于滤波器阵列10的面上的程度接近。“紧上方”是指两者以几乎不发生间隙的程度接近。滤波器阵列10及图像传感器60也可以被一体化。在本说明书中，将具备滤波器阵列10及图像传感器60的装置称为“光检测装置300”。
74.光学系统40至少包括1个透镜。在图1a中表示为1个透镜，但光学系统40也可以由多个透镜的组合构成。光学系统40经由滤波器阵列10在图像传感器60的摄像面上形成像。
75.滤波器阵列10也可以从图像传感器60分离而配置。图1b至图1d是表示滤波器阵列10从图像传感器60分离而配置的光检测系统400的结构例的图。在图1b的例子中，滤波器阵列10配置在光学系统40与图像传感器60之间且从图像传感器60分离的位置。在图1c的例子中，滤波器阵列10配置在对象物70与光学系统40之间。在图1d的例子中，光检测系统400具备两个光学系统40a及40b，在它们之间配置有滤波器阵列10。如这些例子那样，也可以在滤波器阵列10与图像传感器60之间配置包括1个以上的透镜的光学系统。
76.图像传感器60具备二维地排列的多个光检测元件。图像传感器60可以是例如ccd
(charge－coupled device：电荷耦合器件)传感器、cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)传感器或红外线阵列传感器。光检测元件例如可以包括光电二极管。图像传感器60例如可以是单色型的传感器或彩色型的传感器。对象波长域可以任意地决定。对象波长域并不限于可视的波长域，也可以是紫外、近红外、中红外、远红外或微波的波长范围。
77.在图1a所示的例子中，多个光检测元件分别与多个滤波器中的1个对置而配置。多个光检测元件分别对于摄像对象的波长域的光具有灵敏度。具体而言，多个光检测元件分别具有对摄像对象的波长域的光进行检测所需要的实质性的灵敏度。例如，该波长域的光检测元件的外部量子效率可以是1％以上。光检测元件的外部量子效率也可以是10％以上。光检测元件的外部量子效率也可以是20％以上。在以下的说明中，将光检测元件也称为“像素”。
78.处理电路200可以是例如具备处理器和存储器等存储介质的集成电路。处理电路200基于由图像传感器60取得的图像120，生成分别包含多个波段的信息的多个分离图像220的数据。关于多个分离图像220及处理电路200的图像信号的处理方法的详细情况在后面叙述。另外，处理电路200也可以组装在光检测装置300中，也可以是通过有线或无线与光检测装置300电连接的信号处理装置的构成要素。
79.《滤波器阵列》
80.以下，说明本实施方式的滤波器阵列10。滤波器阵列10配置在从对象物入射的光的光路上，将入射光的强度按每个波长调制并输出。在本说明书中将由滤波器阵列即编码元件进行的该过程称为“编码”。
81.图2a是示意地表示滤波器阵列10的例子的图。滤波器阵列10包括二维地排列的多个滤波器。各滤波器具有单独设定的透射光谱。设入射光的波长为λ时，透射光谱由函数t(λ)表示。透射光谱t(λ)可以取0以上且1以下的值。
82.在图2a所示的例子中，滤波器阵列10具有排列为6行8列的48个矩形状的滤波器。这只不过是例示，在实际用途中，可以设计比其多的滤波器。其数量例如也可以是与图像传感器60的像素数相同的程度。滤波器阵列10中包含的滤波器的数量可在例如几十到几千万的范围中根据用途而决定。
83.图2b是表示对象波长域中包含的多个波长域w1、w2、
…
、wi各自的光的透射率的空间分布的一例的图。在图2b所示的例子中，各滤波器的浓淡的差异表示透射率的差异。越淡的滤波器透射率越高，越浓的滤波器透射率越低。如图2b所示，根据波长域而光透射率的空间分布不同。
84.图2c及图2d分别是表示图2a的滤波器阵列10的多个滤波器中包含的滤波器a1及滤波器a2的透射光谱的例子的图。滤波器a1的透射光谱和滤波器a2的透射光谱互不相同。这样，滤波器阵列10的透射光谱根据滤波器而不同。但是，并不一定需要全部滤波器的透射光谱不同。在滤波器阵列10中，多个滤波器中的至少两个滤波器的透射光谱互不相同。即，滤波器阵列10包括透射光谱互不相同的两个以上的滤波器。在一例中，滤波器阵列10中包含的多个滤波器的透射光谱的样式的数量可以与对象波长域中包含的波长域的数量i相同或为其以上。滤波器阵列10也可以被设计为，使半数以上的滤波器的透射光谱不同。
85.图3a及图3b是用来说明对象波长域w与其中包含的多个波长域w1、w2、
…
、wi的关
系的图。对象波长域w根据用途可以设定为各种各样的范围。对象波长域w例如可以是约400nm到约700nm的可视光的波长域、约700nm到约2500nm的近红外线的波长域、或约10nm到约400nm的近紫外线的波长域。或者，对象波长域w也可以是中红外、远红外、太赫兹波或毫米波等的电波域。这样，使用的波长域并不限于可视光域。在本说明书中，并不限于可视光，将近紫外线、近红外线及电波等非可视光也为了方便而称为“光”。
86.在图3a所示的例子中，设i为4以上的任意的整数，设将对象波长域w进行i等分而得到的各个域设为波长域w1、波长域w2、
…
、波长域wi。但是，并不限定于这样的例子。对象波长域w中包含的多个波长域也可以任意地设定。例如，也可以根据波长域而使带宽不均匀。也可以在相邻的波长域之间有间隙。在图3b所示的例子中，根据波长域而带宽不同，并且在相邻的两个波长域之间有间隙。这样，多个波长域只要互不相同即可，其决定方式是任意的。波长的分割数i也可以是3以下。
87.图4a是用来说明滤波器阵列10中的某滤波器的透射光谱的特性的图。在图4a所示的例子中，透射光谱关于对象波长域w内的波长具有多个极大值p1到极大值p5、以及多个极小值。在图4a所示的例子中，进行了正规化以使对象波长域w内的光透射率的最大值为1、最小值为0。在图4a所示的例子中，在波长域w2及波长域wi-1等波长域中，透射光谱具有极大值。这样，在本实施方式中，各滤波器的透射光谱在多个波长域w1到波长域wi中的至少两个波长域中具有极大值。根据图4a可知，极大值p1、极大值p3、极大值p4及极大值p5是0.5以上。
88.如以上这样，各滤波器的光透射率根据波长而不同。因而，滤波器阵列10使入射的光中的某波长域的成分较多地透射，而不怎么使其他波长域的成分透射。例如可以是，关于i个波长域中的k个波长域的光，透射率大于0.5，关于其余的i－k个波长域的光，透射率小于0.5。k是满足2≤k《i的整数。假如入射光是均等地包含全部可视光的波长成分的白色光的情况下，滤波器阵列10将入射光按每个滤波器调制为关于波长具有离散的多个强度的峰值的光，将这些多波长的光叠加并输出。
89.图4b是作为一例而表示将图4a所示的透射光谱按每个波长域w1、波长域w2、
…
、波长域wi平均化的结果的图。平均化的透射率通过将透射光谱t(λ)按每个波长域积分并除以该波长域的带宽而得到。在本说明书中，将这样按每个波长域平均化的透射率的值称为该波长域的透射率。在该例中，在取极大值p1、极大值p3及极大值p5的3个波长域中，透射率突出地变高。特别是，在取极大值p3及极大值p5的两个波长域中，透射率超过了0.8。
90.各滤波器的透射光谱的波长方向的分辨率可以设定为希望的波长域的带宽左右。换言之，在包含透射光谱曲线中的1个极大值的波长范围中，取与该极大值最接近的极小值和该极大值的平均值以上的值的范围的宽度可以设定为希望的波长域的带宽左右。在此情况下，如果将透射光谱例如通过傅里叶变换分解为频率成分，则相当于该波长域的频率成分的值相对地变大。
91.典型地，如图2a所示，滤波器阵列10具有被区划为栅格状的多个滤波器。这些滤波器的一部分或全部具有互不相同的透射光谱。滤波器阵列10中包含的多个滤波器的光透射率的波长分布及空间分布例如可以是随机分布或准随机分布。
92.随机分布及准随机分布的考虑方式如下。首先，滤波器阵列10的各滤波器可以考虑为根据光透射率而具有例如0到1的值的向量要素。这里，在透射率为0的情况下，向量要
素的值是0，在透射率为1的情况下，向量要素的值是1。换言之，可以将在行方向或列方向上排列为一列的滤波器的集合考虑为具有0到1的值的多维的向量。因而，可以说滤波器阵列10在列方向或行方向上具备多个多维向量。此时，随机分布是指任意的两个多维向量是独立的，即不平行。此外，准随机分布是指包含在一部分多维向量之间不独立的结构。因而，在随机分布及准随机分布中，以多个滤波器中包含的属于排列在1个行或列中的滤波器的集合的各滤波器的第1波长域的光的透射率的值为要素的向量、与以属于排列在其他的行或列中的滤波器的集合的各滤波器的第1波长域的光的透射率的值为要素的向量是相互独立的。关于与第1波长域不同的第2波长域也同样，以多个滤波器中包含的属于排列在1个行或列中的滤波器的集合的各滤波器的第2波长域的光的透射率的值为要素的向量、与以属于排列在其他的行或列中的滤波器的集合的各滤波器的第2波长域的光的透射率的值为要素的向量是相互独立的。
93.在将滤波器阵列10配置在图像传感器60的附近或者紧上方的情况下，滤波器阵列10中包含的多个滤波器的相互的间隔也可以与图像传感器60的像素间距大致一致。如果这样，则由滤波器阵列10中包含的某滤波器编码的光不与由相邻的滤波器编码的光混合就向像素入射。通过使得透射了各滤波器的光仅向对应的1个像素入射，能够使后述的运算变得容易。在将滤波器阵列10从图像传感器60分离而配置的情况下，也可以根据其距离使滤波器的间距变窄。
94.在图2a至图2d所示的例子中，滤波器阵列10具有各滤波器的透射率能够取0以上1以下的任意的值的灰阶的透射率分布。但是，并不一定需要设为灰阶的透射率分布。例如，也可以采用各滤波器的透射率能够取大约0或大约1的某个值的二进尺度的透射率分布。在二进尺度的透射率分布中，各滤波器使对象波长域中包含的多个波长域中的至少两个波长域的光的大部分透射，不使其余的波长域的光的大部分透射。这里，“大部分”是指大约80％以上。
95.也可以将全部滤波器中的一部分例如一半的滤波器替换为透明滤波器。这样的透明滤波器使对象波长域中包含的全部的波长域w1到波长域wi的光以相同程度的高透射率透射。该高透射率例如是0.8以上。在这样的结构中，多个透明滤波器例如可以以棋盘格(checkerboard)状配置。即，在滤波器阵列10中的多个滤波器的两个排列方向上，可以交替地排列光透射率根据波长而不同的滤波器和透明滤波器。在图2a所示的例子中，两个排列方向是横向及纵向。
96.表示这样的滤波器阵列10的分光透射率的空间分布的数据基于设计数据或实测定标而事前取得，被保存到处理电路200具备的存储介质中。该数据在后述的运算处理中被使用。
97.滤波器阵列10例如可以使用多层膜、有机材料、衍射栅格构造或包含金属的微细构造构成。在使用多层膜构成的情况下，例如可以使用电介质多层膜或包含金属层的多层膜。在此情况下可以形成为，按每个滤波器，各多层膜的厚度、材料及层叠顺序中的至少1个不同。由此，能够实现根据滤波器而不同的分光特性。通过使用多层膜，能够实现分光透射率的尖锐的上升及下降。使用有机材料的结构可以通过根据滤波器而使含有的颜料或染料不同、或使不同种类的材料层叠来实现。使用衍射栅格构造的结构可以通过设置按每个滤波器而不同的衍射间距或深度的衍射构造来实现。在使用包含金属的微细构造的情况下，
可以利用基于等离激元效应的分光来制作。
98.《处理电路》
99.接着，说明通过处理电路200重构多波长的分离图像220的方法。这里，多波长是指比例如由通常的彩色相机取得的rgb的3色的波长域多的波长域。该波长域的数量例如可以是4至100左右的数量。将该波长域的数量也称为“分光频带数”。根据用途，分光频带数也可以超过100。
100.想要求出的数据是分离图像220，将该数据表示为f。如果设分光频带数为w，则f是将各频带的图像数据f1、f2、
…
、fw整合后的数据。这里，如图1a所示，设图像的横向为x方向，设图像的纵向为y方向。如果设应求出的图像数据的x方向的像素数为n，设y方向的像素数为m，则图像数据f1、f2、
…
、fw分别是n
×
m像素的二维数据。因而，数据f是要素数n
×m×
w的三维数据。另一方面，由滤波器阵列10编码及复用而取得的图像120的数据g的要素数是n
×
m。数据g可以由以下的式(1)表示。
101.[数式1]
[0102][0103]
这里，f1、f2、
…
、fw是具有n
×
m个要素的数据。因而，右边的向量严格地讲是n
×m×
w行1列的一维向量。将向量g变换为n
×
m行1列的一维向量来表示，进行计算。矩阵h表示将向量f的各成分f1、f2、
…
、fw用按每个波长域而不同的编码信息进行编码及强度调制并将它们相加的变换。因而，h是n
×
m行n
×m×
w列的矩阵。
[0104]
如果给出了向量g和矩阵h，则通过求解式(1)的逆问题，应该能够计算f。但是，由于要求出的数据f的要素数n
×m×
w比取得数据g的要素数n
×
m多，所以该问题是不良设定问题，在这个状态下不能求解。所以，处理电路200利用数据f中包含的图像的冗长性，使用压缩感测的方法来求解。具体而言，通过解出以下的式(2)，来估计要求出的数据f。
[0105]
[数式2]
[0106][0107]
这里，f’表示估计出的f的数据。上式的括号内的第1项表示估计结果hf和取得数据g的偏差量，所谓的残差项。这里将平方和作为残差项，但也可以将绝对值或平方和平方根等作为残差项。括号内的第2项是后述的正则化项或稳定化项。式(2)意味着求出使第1项与第2项之和最小化的f。处理电路200可以通过递归性的反复运算使解收敛，来计算最终的解f’。
[0108]
式(2)的括号内的第1项是指求出取得数据g与用矩阵h对估计过程的f进行系统变换而得到的hf的差分的平方和的运算。第2项的φ(f)是f的正则化的制约条件，是反映了估计数据的稀疏信息的函数。作为作用，有使估计数据变得平滑或稳定的效果。正则化项例如可以通过f的离散余弦变换(dct)、小波变换、傅里叶变换或总变分(tv)等表示。例如，在使用总变分的情况下，能够取得抑制了观测数据g的噪声的影响的稳定的推测数据。各个正则化项的空间中的对象物70的稀疏性根据对象物70的纹理而不同。也可以选择对象物70的纹
理在正则化项的空间中更稀疏的正则化项。或者，也可以在运算中包含多个正则化项。τ是权重系数。权重系数τ越大，则冗长的数据的削减量越多，压缩的比例越高。权重系数τ越小，则向解的收敛性越弱。权重系数τ被设定为，f以某种程度收敛并且不会成为过压缩的适当的值。
[0109]
另外，在图1b至图1d的结构中，由滤波器阵列10编码的像可以在图像传感器60的摄像面上以模糊的状态取得。因而，可以预先持有该模糊信息，通过使该模糊信息反映到上述的系统矩阵h，来重构分离图像220。这里，模糊信息由点扩散函数(point spread function：psf)表示。psf是规定点像向周边像素的扩散程度的函数。例如，在图像上相当于1个像素的点像通过模糊而向该像素的周围的k
×
k像素的区域扩散的情况下，psf可以规定为表示对该区域内的各像素的亮度的影响的系数群、即矩阵。通过使基于psf的编码样式的模糊的影响反映到系统矩阵h，能够重构分离图像220。配置滤波器阵列10的位置是任意的，但可以选择滤波器阵列10的编码样式不会过度扩散而消失的位置。
[0110]
另外，这里表示了使用式(2)所示的压缩感测的运算例，但也可以使用其他的方法求解。例如，可以使用最大似然估计法或贝叶斯估计法等其他的统计方法。此外，分离图像220的数量是任意的，各波长域也可以任意地设定。在专利文献1中公开了重构方法的详细情况。在本说明书中援用专利文献1的全部公开内容。
[0111]
《具备法布里-珀罗滤波器的滤波器阵列》
[0112]
接着，参照图5，说明本实施方式的滤波器阵列10的具体的构造的例子。图5是示意地表示光检测装置300的例子的剖视图。该剖视图表示图2a所示的滤波器阵列10的1个行及图像传感器60的截面构造的例子。在图5所示的例子中，滤波器阵列10配置在图像传感器60上。图像传感器60中包含的多个光检测元件60a分别位于滤波器阵列10所包含的多个滤波器100中的对应的滤波器100的紧下方。滤波器阵列10和图像传感器60也可以分离。在此情况下，多个光检测元件60a分别也能够配置在接受透射了多个滤波器中的对应的1个滤波器的光的位置。各构成要素也可以配置为，使透射了多个滤波器的光经由反射镜向多个光检测元件60a分别入射。在此情况下，多个光检测元件60a各自没有配置在多个滤波器中的对应的1个滤波器的紧下方。
[0113]
本实施方式的滤波器阵列10中包含的全部的滤波器100具备共振构造。共振构造是指某波长的光在内部形成驻波而稳定地存在的构造。图5所示的共振构造包括第1反射层28a、第2反射层28b、以及第1反射层a与第2反射层28b之间的干涉层26。在第1反射层28a与干涉层26的界面以及第2反射层28b与干涉层26的界面处有反射面。各反射面的反射率例如可以是10％以上。第1反射层28a及第2反射层28b分别例如可以由从由电介质多层膜及金属薄膜构成的组中选择的至少1种形成。干涉层26可以由在特定的波长域中透明的电介质或半导体形成。干涉层26例如可以由从由si、si3n4、tio2、nb2o5、ta2o5构成的组中选择的至少1种形成。干涉层26的折射率及/或厚度根据滤波器100而不同。多个滤波器100各自的透射光谱在多个波长下具有透射率的极大值。
[0114]
另外，本实施方式的滤波器阵列10也可以包含不具有上述的共振构造的滤波器。例如，在滤波器阵列10中也可以包括透明滤波器或nd滤波器(neutral density filter：中性密度滤波器)等的不具有光透射率的波长依赖性的滤波器。
[0115]
在本说明书中，将具备上述的共振构造的滤波器100也称为“法布里-珀罗滤波
器”。法布里-珀罗滤波器是干涉滤波器的一种。也可以代替本实施方式的法布里-珀罗滤波器而使用例如由衍射栅格等构成的颜色分离滤波器等其他种类的干涉滤波器。
[0116]
接着，说明作为法布里-珀罗滤波器的滤波器100的透射光谱的例子。在干涉层26的厚度是规定值以上的情况下，滤波器100的透射光谱在对象波长域w内具有多个峰值。多个峰值通过在干涉层26内形成驻波而得到。在本说明书中，将在对象波长域w内具有多个峰值的滤波器称为“多模滤波器”。也可以不是干涉层26的厚度，而是适当地设计干涉层26的折射率来实现多模滤波器。或者，也可以适当地设计干涉层26的厚度及折射率双方来实现多模滤波器。
[0117]
图6是表示滤波器100具有的透射光谱的例子的图。在图6中，为了使说明的理解变得容易，将透射光谱中的多个峰值分别由多个洛伦兹(lorentzian)函数表现。关于表示透射光谱的以后的图也是同样的。图6所示的透射光谱是将实际的法布里-珀罗滤波器的透射光谱简单化而得到的。关于实际的法布里-珀罗滤波器的透射光谱的例子在后面叙述。在图6所示的例子中，以由实线表示的透射光谱为基准，如果使干涉层26变薄，则透射光谱如由虚线及单点划线表示那样向短波长侧移位。如果使干涉层26变厚，则透射光谱如由双点划线表示那样向长波长侧移位。即使干涉层26的厚度不同，透射光谱的相互相邻的峰值的间隔fsr也相等，是fsr＝50nm。
[0118]
在说明本实施方式的滤波器阵列10的具体的特性之前，参照图7及图8，说明比较例的滤波器阵列。比较例的滤波器阵列具备二维排列的100万个滤波器。该100万个滤波器包括以随机分布或准随机分布排列的16种多模滤波器。
[0119]
图7是表示比较例的16种多模滤波器具有的透射光谱的图。比较例的16种多模滤波器具有厚度各稍稍不同的干涉层26。在图7所示的例子中，450nm以上550nm以下的对象波长域w被分割为10个波长域。以下，将波长域称为“波段”。各波段的宽度是10nm。将10个波段从短波长侧起依次称为波段1、波段2、
…
、波段10。通过使多个滤波器100的干涉层26的厚度逐渐变化，如图7所示，能够将由粗线表示的透射光谱的多个峰值之间用其他15种透射光谱的多个峰值填埋。该比较例的16种多模滤波器全部具有相同的fsr。即，比较例的滤波器阵列具有单一的fsr。该例中的fsr相当于5个波段宽度。
[0120]
根据本公开的发明人的研究表明，在由具备比较例的滤波器阵列的光检测系统生成了每个波段的分离图像的情况下，一部分波段的分离图像不能正确地生成。以下，说明该问题。
[0121]
图8是表示在被正确地复原的情况下得到的各波段的正解图像的例子、以及由具备具有单一的fsr的比较例的滤波器阵列的光检测系统重构的各波段的分离图像的例子的图。如图8的上方部分所示，该例的正解图像仅对于波段1的波长具有超过噪声水平的像素值。相对于此，如图8的下方的部分所示，由具备比较例的滤波器阵列的光检测系统生成的分离图像不仅对于波段1，对于波段6也具有超过噪声水平的像素值。该分离图像与正解图像大为不同。在多个滤波器全部具有单一的fsr的情况下，如图7所示，全部滤波器的透射光谱每当波长移位与fsr相当的量就呈现同样的动态。换言之，比较例的全部的滤波器的透射光谱在对象波长域w中以相等的周期变化。例如，由粗实线表示的透射光谱在波段1及波段6中具有峰值，由粗虚线表示的透射光谱在波段3及波段8中具有峰值。
[0122]
在图7所示的例子中，在式(1)的矩阵h中，与波段1到波段5对应的成分和与波段6
到波段10对应的成分实质上相等。结果，应关于本来的波段生成的分离图像关于不同的波段也能够生成。这是因为，在矩阵h中与多个波段对应的成分相等或类似的情况下，在式(2)的递归性的反复运算中，图像数据f有可能不是最优解而是达到了错误的局部解。矩阵h中的与多个波段对应的成分的差异越小，图像数据f达到局部解的可能性越高。
[0123]
根据以上情况，在具有单一的fsr的比较例的滤波器阵列中，在比fsr宽的对象波长域w中正确地重构分离图像并不容易。因此，高光谱相机的对象波长域w被限制为fsr以下。
[0124]
所以，本公开的发明人为了解决上述问题而想到了本实施方式的滤波器阵列10的结构。以下，参照图9至图12，说明本实施方式的滤波器阵列10的例子。本实施方式的滤波器阵列10能够降低图像数据f达到局部解的可能性。因此，即使在例如使高光谱相机的对象波长域w扩大到fsr以上的情况下也能够生成更正确的分离图像。
[0125]
图9是表示本实施方式的滤波器阵列10的两个滤波器100的透射光谱的例子的图。滤波器阵列10包括多个第1滤波器和多个第2滤波器。多个第1滤波器的透射光谱互不相同，但具有共同的峰值间隔fsr1。同样，多个第2滤波器的透射光谱互不相同，但具有共同的峰值间隔fsr2。在图9中由单点划线表示的透射光谱例示了多个第1滤波器中的1个的透射光谱。该透射光谱具有包括相互相邻的第1峰值及第2峰值的多个峰值。第1峰值与第2峰值的间隔是fsr1。在图9中由实线表示的透射光谱例示了多个第2滤波器中的1个的透射光谱。该透射光谱具有包括相互相邻的第3峰值及第4峰值的多个峰值。该多个峰值中的第3峰值的波长最接近于第1峰值的波长。第3峰值及第4峰值的间隔是fsr2。设fsr1与fsr2之差的绝对值为δfsr，设第1峰值的半值宽度为σ。在图9所示的例子中，fsr2＝fsr1 δfsr》fsr1。具体而言，fsr1＝50nm，fsr2＝75nm及σ＝12nm。
[0126]
在本说明书中，将如上述那样透射光谱中的峰值的间隔为fsr1及fsr2的滤波器分别称为“第1滤波器”及“第2滤波器”。将第1滤波器及第2滤波器中包含的干涉层分别称为“第1干涉层”及“第2干涉层”。将第1干涉层的两侧的两个反射面称为“第1反射面”及“第2反射面”，将第2干涉层的两侧的两个反射面称为“第3反射面”及“第4反射面”。
[0127]
通过使干涉层26的厚度逐渐变化，与图7所示的例子同样，能够得到包括透射光谱互不相同的8种第1滤波器以及透射光谱互不相同的8种第2滤波器的16种多模滤波器。滤波器阵列10例如可以包括具有两个fsr的随机分布或准随机分布的16种多模滤波器。这样，本实施方式的滤波器阵列10包括透射光谱互不相同的多个第1滤波器以及透射光谱互不相同的多个第2滤波器。多个第1滤波器的透射光谱具有向短波长侧或长波长侧移位的同样的形状。关于多个第2滤波器的透射光谱也是同样的。
[0128]
图10是表示正解图像的例子以及由具备本实施方式的滤波器阵列10的光检测系统400重构的分离图像的例子的图。在图10所示的例子中，滤波器阵列10中包含的第1滤波器及第2滤波器与图9所示的例子同样满足fsr1＝50nm，fsr2＝75nm及σ＝12nm。与图8的下方的部分所示的例子不同，在图10的下方的部分所示的例子中，关于波段6的分离图像与正解图像同样，整体大致为黑色，仅关于波段1能得到具有超过噪声水平的像素值的分离图像。在本实施方式的滤波器阵列10中，不会全部的滤波器100的透射光谱以相等的周期变化。由此，在式(1)的矩阵h中，能够抑制与多个波段对应的成分相等或类似的可能性。结果，具有多个fsr的本实施方式的滤波器阵列10能够避免局部解而更正确地重构分离图像。
[0129]
图11是表示在比较例中呈现局部解的波段6中的分离图像相对于正解图像的均方误差(mean squared error：mse)与δfsr/σ的关系的例子的图。均方误差使用以下的式(3)计算。
[0130]
[数式3]
[0131][0132]
这里，n及m分别是横向及纵向的像素数。i
i，j
是位置(i，j)的像素的正解图像的像素值。i’i，j
是位置(i，j)的像素的分离图像的像素值。
[0133]
在图11所示的例子中，黑色圆、白色四边形及白色三角形分别表示fsr1/σ＝10、fsr1/σ＝5及fsr1/σ＝2.5的情况下的关系。δfsr＝0相当于使用具有单一的fsr的滤波器阵列的情况。如图11所示，δfsr/σ越减小，波段6中的mse越增加。即，δfsr/σ越减小，式(2)中的图像数据f达到局部解的可能性越高。当δfsr/σ《0.25时，mse几乎不依赖于fsr1/σ，而依赖于δfsr/σ。相对于此，当δfsr/σ≥0.25时，mse依赖于fsr1/σ及δfsr/σ双方。当δfsr/σ≥0.25及fsr1/σ》5时，mse随着δfsr/σ的增加而有效地减小，成为10以下。
[0134]
根据以上情况，当δfsr/σ≥0.25时，通过具有多个fsr的滤波器阵列10能够得到避免局部解的效果。结果，能够在比fsr1及fsr2宽的对象波长域w中更正确地重构分离图像。具有多个fsr的本实施方式的滤波器阵列10能够使高光谱相机的对象波长域w扩大到多个fsr中的最大的fsr以上。
[0135]
图12是表示波段6中的分离图像相对于正解图像的mse与滤波器阵列10中包含的第2滤波器的比例的关系的例子的图。滤波器阵列10中包含的第2滤波器的比例，是相对于滤波器阵列10中包含的多个第1滤波器的数量和多个第2滤波器的数量的合计的、多个第2滤波器的数量的比例。例如，在滤波器阵列10中包含的第2滤波器的比例为10％的情况下，滤波器阵列10中的多个第1滤波器的数量与多个第2滤波器的数量之比是9：1。在滤波器阵列10中包含的第2滤波器的比例为50％的情况下，滤波器阵列10中的多个第1滤波器的数量与多个第2滤波器的数量的比为5：5。
[0136]
如图12所示，如果滤波器阵列10中包含的第2滤波器的比例低于10％，则mse急剧地增加。因而，当滤波器阵列10中包含的第2滤波器的比例为10％以上时，避免局部解而能够更正确地重构分离图像的可能性变高。
[0137]
接着，参照图13说明本实施方式的滤波器阵列10中的两个滤波器100具有的透射光谱的具体的例子。图13是表示本实施方式的滤波器100具有的透射光谱的例子的图。该例的各滤波器100中的第1反射层28a及第2反射层28b分别由交替地层叠有tio2层及sio2层的电介质多层膜形成。滤波器100中的干涉层26由tio2层形成。在透射光谱的计算中，使用rsoft公司的作为基于严格耦合波理论(rcwa：rigorous coupled－wave analysis)的分析工具的diffractmod。
[0138]
图13所示的实线及单点划线分别表示干涉层26的厚度为633nm及750nm的法布里-珀罗滤波器的透射光谱。干涉层26的厚度为633nm的滤波器具有比干涉层26的厚度为750nm的滤波器大的fsr。干涉层26的厚度为750nm的滤波器是第1滤波器，干涉层26的厚度为633nm的滤波器是第2滤波器。
[0139]
在图13所示的例子中，δfsr＝5nm，半值宽度σ＝14nm。δfsr/σ＝0.36满足作为用来更正确地重构某波长域的分离图像的条件的δfsr/σ≥0.25。
[0140]
在实际的法布里-珀罗滤波器中，根据干涉层26的厚度及波长域而峰值的半值宽度σ可能不同。满足δfsr/σ≥0.25的峰值的半值宽度σ是滤波器阵列10中包含的多个第1滤波器及多个第2滤波器具有的峰值中的在应关注的波长域中存在的第1峰值的半值宽度。在图11所示的例子中应关注的波长域是波段6。另外，在本实施方式中将滤波器阵列10中的第1滤波器的透射光谱的第1峰值的半值宽度设为σ，但也可以将全部滤波器的透射光谱的峰值的半值宽度中的最大的半值宽度设为σ。
[0141]
在使干涉层26的厚度逐渐变化而实现透射光谱互不相同的多个第1滤波器的情况下，实际上多个第1滤波器具有的fsr可能某种程度上不同。在此情况下，也在将多个第1滤波器具有的fsr中的最大值设为fsr
1max
，将最小值设为fsr
1min
时，可以想到只要(fsr
1max-fsr
1min
)/σ《0.25，多个第1滤波器就全部具有相等的fsr1。关于多个第2滤波器具有的fsr2也是同样的。
[0142]
或者，根据上述的结果也可以认为，δfsr/σ《0.25的滤波器全部属于第1滤波器，δfsr/σ≥0.25的滤波器属于第2滤波器。在此情况下，如果第2滤波器的比例是10％以上，则能够在超过fsr的对象波长域w中更正确地重构分离图像。
[0143]
接着，参照图14a至图14f，说明图5所示的光检测装置300的变形例。
[0144]
图14a至图14f是示意地表示图5的光检测装置300的变形例的图。
[0145]
如图14a所示，在滤波器阵列10中，也可以将多个滤波器100分割。不需要将全部的滤波器100分割。也可以将一部分滤波器100分割。
[0146]
如图14b所示，也可以在一部分光检测元件60a上不配置滤波器100。换言之，在滤波器阵列10中，多个滤波器100中的至少1个也可以是透明的。
[0147]
如图14c所示，也可以在滤波器阵列10与图像传感器60之间设置空间。换言之，滤波器阵列10和图像传感器60也可以隔着空间而分离。
[0148]
如图14d所示，也可以将1个滤波器100跨多个光检测元件60a上配置。换言之，干涉层26也可以跨两个以上的滤波器100连续地设置。第1反射层28a及/或第2反射层28b也可以跨两个以上的滤波器100连续地设置。
[0149]
如图14e及图14f所示，也可以配置透明层27，使滤波器阵列10的阶差平坦化。换言之，滤波器阵列10也可以还具备使具备上述的共振构造的两个以上的滤波器100的阶差平坦化的透明层27。在图14e所示的例子中，在滤波器阵列10的第2反射层28b的上表面上存在阶差。在图14f所示的例子中，在滤波器阵列10的第1反射层28a的下表面上存在阶差。通过由透明层27使两个以上的滤波器100的阶差平坦化，容易在透明层27上配置其他部件。
[0150]
如图14e及图14f所示，也可以在滤波器阵列10上配置多个微透镜40a。多个微透镜40a分别配置在多个滤波器100的1个滤波器100上。换言之，滤波器阵列10还具备两个以上的微透镜40a。两个以上的微透镜40a分别配置在具备上述的共振构造的两个以上的滤波器100的1个滤波器100上。通过由两个以上的微透镜40a将入射光聚光，能够高效地检测光。
[0151]
产业上的可利用性
[0152]
本公开的光检测系统及滤波器阵列例如对于取得多波长的二维图像的相机及测量设备是有用的。本公开的光检测系统及滤波器阵列也能够应用于面向生物体、医疗、美容
的感测、食品的异物/残留农药检查系统、遥感系统及车载感测系统等。
[0153]
标号说明
[0154]
10滤波器阵列
[0155]
26干涉层
[0156]
27透明层
[0157]
28a第1反射层
[0158]
28b第2反射层
[0159]
40光学系统
[0160]
60图像传感器
[0161]
60a光检测元件
[0162]
70对象物
[0163]
100滤波器
[0164]
120图像
[0165]
200处理电路
[0166]
220分离图像
[0167]
300光检测装置
[0168]
400光检测系统。