图像处理装置、图像处理方法和图像处理程序与流程

1.本公开涉及图像处理装置、图像处理方法和图像处理程序。具体地，本公开涉及显微镜中的图像获取处理和计算处理，该显微镜是图像处理装置的一个示例。


背景技术：

2.能够以相对较低的成本引入并且执行容易的测量的显微镜被广泛地用作为观察对象的精细状态的装置。
3.作为与显微镜相关的技术，已知通过使用来自照明单元的入射角的差异来分析皮肤表面的颜色和斑点的技术(例如，专利文献1)。另外，已知以下技术：通过在距显微镜的顶端圆顶(tip dome)预定距离处布置的透明玻璃来减少对皮肤表面的成像中的散焦和失真(例如，专利文献2)。
4.引用列表
5.专利文献
6.专利文献1：日本专利申请特许公开第h10
‑
333057号
7.专利文献2：日本专利申请特许公开第2008
‑
253498号


技术实现要素：

8.本发明要解决的问题
9.常规技术可以提高由显微镜捕获的图像的质量。
10.然而，常规技术仅提高平面图像的质量，而难以获得再现对象的微小形状(凹凸)的3d图像。注意，非接触式3d测量装置、3d扫描仪等被用作为用于测量对象的微小形状的装置。然而，存在如下问题：引入这样的装置使成本相对增加。此外，根据飞行时间(tof)方法的测距装置相对便宜，但在某些情况下不够准确。
11.因此，本公开提出了能够以简单的配置执行高精度形状测量的图像处理装置、图像处理方法和图像处理程序。
12.问题的解决方案
13.为了解决上述问题，根据本公开的图像处理装置的样式是具有筒状部的图像处理装置，该筒状部置于被配置成捕获目标的图像的传感器与该目标之间，该图像处理装置包括：获取部，其被配置成获取根据点光源照射目标的光的反射光而获得的第一图像，以及根据点光源以外的光源照射目标的光的反射光而获得的第二图像；以及计算部，其被配置成基于筒状部的长度、第一图像和第二图像来计算形状信息，该形状信息是关于目标的表面形状的信息。
附图说明
14.图1是示出根据第一实施方式的图像处理装置的结构的视图。
15.图2是用于说明根据第一实施方式的计算处理的图。
16.图3是示出根据第一实施方式的头安装部的外部结构的视图。
17.图4是示出根据第一实施方式的头安装部的内部结构的视图。
18.图5是用于说明目标被来自点光源的光照射的情况的图。
19.图6是用于说明目标被环境光照射的情况的图。
20.图7是示出根据第一实施方式的图像处理的流程的处理框图。
21.图8是示出根据第一实施方式的计算处理的流程的处理框图。
22.图9是用于说明根据第一实施方式的计算处理的图。
23.图10是示出根据第一实施方式的图像处理装置的配置示例的图。
24.图11是示出根据第一实施方式的处理的流程的流程图。
25.图12是示出根据第二实施方式的头安装部的结构的视图。
26.图13是用于说明在第二实施方式中目标被宽范围光源照射的情况的图。
27.图14是示出根据第二实施方式的处理的流程的流程图。
28.图15是示出根据第三实施方式的头安装部的结构的视图。
29.图16是用于说明在第三实施方式中目标被点光源照射的情况的图。
30.图17是示出根据第四实施方式的头安装部的结构的视图。
31.图18是用于说明在第四实施方式中目标被点光源照射的情况的图。
32.图19是示出根据第五实施方式的头安装部的结构的视图。
33.图20是用于说明在第五实施方式中目标被点光源照射的情况的图。
34.图21是示出根据本公开的信息处理系统的配置示例的图。
35.图22是示出实现图像处理装置的功能的计算机的示例的硬件配置图。
具体实施方式
36.在下文中，将基于附图详细描述本公开的实施方式。注意，在以下每个实施方式中，相同的部分由相同的附图标记表示，从而省略重复的描述。
37.将按照以下项目的顺序描述本公开。
38.1.第一实施方式
[0039]1‑
1.根据第一实施方式的图像处理的示例
[0040]1‑
2.根据第一实施方式的图像处理装置的配置
[0041]1‑
3.根据第一实施方式的图像处理过程
[0042]
2.第二实施方式
[0043]
3.第三实施方式
[0044]
4.第四实施方式
[0045]
5.第五实施方式
[0046]
6.其他实施方式
[0047]6‑
1.图像处理系统
[0048]6‑
2.头安装部
[0049]6‑
3.其他
[0050]
7.根据本公开的图像处理装置的效果
[0051]
8.硬件配置
[0052]
(1.第一实施方式)
[0053]
[1
‑
1.根据第一实施方式的图像处理的示例]
[0054]
将参照图1至图6描述根据第一实施方式的图像处理装置100的概要。首先，将参照图1描述根据第一实施方式的图像处理装置100的结构。图1是示出根据第一实施方式的图像处理装置100的结构的视图。
[0055]
如图1中所示，图像处理装置100是以如下方式来使用的成像装置：用户手持该成像装置并且将传感器150转向成像目标，该成像装置通常被称为显微镜。注意，传感器150可以被解释为镜头、摄像装置等。
[0056]
图像处理装置100包括头安装部10，该头安装部10是放置在传感器150与目标之间的筒状机构。头安装部10是安装在图像处理装置100的顶端的机构，也称为顶端头，等等。头安装部10具有由各种材料构成的结构。用户使头安装部10与目标接触以对目标进行成像。由于传感器150与目标之间的距离是固定的，因此该配置可以防止在成像期间无法调节焦点(焦距)。
[0057]
如图1所示，假设成像目标侧是顶部并且图像处理装置100侧是底部，则根据第一实施方式的头安装部10在其侧面周围具有孔。因此，图像处理装置100可以在成像期间使用从头安装部10的周围入射的环境光。即，当环境光照射目标时，图像处理装置100可以通过暴露于反射光来执行成像。
[0058]
此外，图像处理装置100在头安装部10内部具有用于点光源的照射的机构，其细节将在后面描述。因此，图像处理装置100可以通过暴露于从点光源照射目标的光的反射光来执行成像。即，图像处理装置100可以在对目标进行成像时获取两种类型的图像，即根据从点光源照射对象的光的反射光而获得的第一图像(在下文中称为“点光源图像”以进行区分)，以及根据从点光源以外的光源照射目标的光的反射光而获得的第二图像(在下文中，称为“环境光图像”以进行区分)。注意，本说明书中的点光源理想地是指具有点形式的光源，但包括具有极小尺寸(例如，几毫米或更小)的光源，因为在现实中不存在具有点形式的光源。
[0059]
图像处理装置100基于所获取的两种类型的图像来计算到目标表面上的凹凸的微小形状的距离。换言之，图像处理装置100计算关于目标的表面形状的信息，即形状信息。
[0060]
这里，将参照图2描述由图像处理装置100执行的计算处理。图2是用于说明根据第一实施方式的计算处理的图。
[0061]
图2所示的示例示出了成像装置5如何对具有凹凸表面的目标11进行成像。注意，成像装置5是能够执行与根据第一实施方式的图像处理装置100的计算处理类似的计算处理的信息处理终端。
[0062]
成像装置5使用装置中包括的闪光机构等，使从点光源发射的光照射目标11以进行成像。另外，成像装置5使用环境光来对目标11成像，而不是使用装置中包括的闪光机构等(步骤s1)。
[0063]
通过步骤s1的处理，成像装置5获得点光源图像12和环境光图像14。成像装置5通过对两个图像应用称为brdf拟合法(也称为“两次捕获方法”)的方法获得目标11的表面上的法线信息。原因是brdf拟合法使得能够利用以下图像获得包括目标表面上的法线的各种参数：在其中已知成像目标如何被光照射的一个图像(本示例中为点光源图像12)，以及在
其中成像目标不是从特定方向被光源照射的另一图像(本示例中为环境光图像14)。注意，brdf拟合法例如在标题为“two
‑
shot svbrdf capture for stationary materials,miika aittala,siggraph 2015”等的公知文献中有所描述，因此在本文中不再详细描述。
[0064]
当已知成像装置5的图像传感器(镜头)到目标11的距离时，可以基于法线信息对目标11的表面进行测距，这将在下文中具体描述。因此，成像装置5可以计算形状信息，该形状信息是关于目标11的表面形状的信息(步骤s2)。
[0065]
结果，成像装置5可以获得包括目标11的形状信息的图像16。图2中所示的图像16概念性地将目标11的各种形状表示为图像数据。这种图像数据包括目标11的表面形状的数据。
[0066]
如上所述，成像装置5可以通过获得如下两个图像来获得目标11的形状信息：通过使点光源照射目标而获得的点光源图像12，以及根据基本均匀的光源(诸如环境光)而获得的环境光图像14。
[0067]
使用图2所示的计算方法使得图像处理装置100能够不仅获得二维信息而且获得三维信息(即，形状信息)，即使它是显微镜类型的成像装置。
[0068]
显微镜通常采用用塑料等均匀覆盖的、通常用于消除环境光的影响并且保持强度头安装部。同时，如图1所示，图像处理装置100包括设置有孔的头安装部10，因此不仅可以捕获点光源图像，而且可以捕获环境光图像。
[0069]
这里，将参照图3和图4详细描述头安装部10的结构。图3是示出根据第一实施方式的头安装部10的外部结构的视图。
[0070]
如图3所示，头安装部10由具有孔22的框架24构成，而不是具有密封结构。注意，在第一实施方式中，头安装部10理想地由具有相对低的反射率和透射率的材料(例如黑色玻璃、黑色塑料等)构成。该配置是为了控制额外环境光的入射量。
[0071]
接下来，将参照图4描述头安装部10的内部结构。图4是示出根据第一实施方式的头安装部10的内部结构的视图。
[0072]
如图4所示，头安装部10在内部具有与头安装部10相比尺寸很小的孔26以及在尺寸上与传感器150对应的用于成像的开口28。例如，孔26是用于使图像处理装置100中包括的光源穿过的孔。即，图像处理装置100可以通过让光穿过孔26来使点光源向目标11发射光。
[0073]
注意，尽管图4示出了孔26被设置在头安装部10内部的示例，但是头安装部10的内部结构不限于这种结构。例如，替代于孔26，头安装部10可以包括光源本身(例如，发光二极管(led)等)。在这种情况下，从图像处理装置100向头安装部10的光源提供电力，以向目标11发射光。
[0074]
接下来，将参照图5和图6描述从头安装部10发射的光。图5是用于说明目标11被来自点光源的光照射的情况的图。
[0075]
如图5所示，头安装部10穿过孔26向目标11发射光。在这种情况下，环境光穿过头安装部10外部的孔22。然而，由于环境光与穿过孔26发射的光相比其照度较低，因此环境光的影响几乎可以忽略。图像处理装置100可以通过调节在穿过孔26发射的光下的曝光以及对目标11进行成像来获得点光源图像12。
[0076]
此外，图像处理装置100可以通过在点光源关闭的情况下进行成像来获得除了点
光源图像12以外的图像。将参照图6描述这一点。图6是用于说明目标11被环境光照射的情况的图。
[0077]
如图6所示，在没有穿过头安装部10的从点光源发射的光的情况下，目标11被从头安装部10外部的孔22进入的环境光照射。图像处理装置100可以通过调节在穿过孔22发射的环境光下的曝光以及对目标11进行成像来获得环境光图像14。
[0078]
如上所述，图像处理装置100可以通过使用头安装部10来获取两种类型的图像，即点光源图像12和环境光图像14，其中头安装部10使点光源能够从内部发光，同时让环境光从孔22进入。如上所述，图像处理装置100可以使用两种类型的图像计算目标11的表面形状。
[0079]
接下来，将参照图7至图9详细描述用于计算目标11的形状的处理。图7是示出根据第一实施方式的图像处理的流程的处理框图。
[0080]
如图7所示，图像处理装置100对成像目标(例如，图2中所示的目标11)执行图像获取处理(步骤s11)。具体地，如图5和图6所示，图像处理装置100使用点光源和环境光获得点光源图像12和环境光图像14。
[0081]
随后，图像处理装置100使用两个图像和摄像装置参数执行上述brdf拟合处理(步骤s12)。注意，摄像装置参数包括例如焦距等。
[0082]
通过步骤s12的处理，图像处理装置100获得关于成像目标的表面法线的信息。此外，图像处理装置100还可以通过步骤s12的处理获得表面法线以外的信息(例如，目标的信息漫反射反照率、镜面反照率、各向异性、光泽度等)。
[0083]
此后，图像处理装置100基于表面法线、摄像装置参数和头安装长度来执行用于计算到目标的表面的距离的处理(步骤s13)。
[0084]
该过程使得图像处理装置100能够计算深度信息(depth)，即到目标的表面的距离，以生成包括表面形状信息的图像18。
[0085]
接下来，将参照图8详细描述步骤s13的距离计算处理。图8是示出根据第一实施方式的计算处理流程的处理框图。
[0086]
如图8所示，图像处理装置100使用在步骤s12中获得的法线信息执行高度图生成处理(步骤s13a)。在高度图生成处理中，基于法线信息将高度信息添加到目标表面的纹理。各种已知方法可用于高度图生成。例如，图像处理装置100基于以下表达式(1)来生成高度图。
[0087]
[数学式1]
[0088]
w＝∫∫
ω
(z
x
‑
p|2 |z
y
‑
q|2dxdy
ꢀꢀꢀ…
(1)
[0089]
如果可以评估各个值p、q和z，则上述表达式(1)给出了计算结果w。注意，在步骤s12中获得的法线信息被分配给p和q。p和q分别由以下表达式(2)和(3)表示。请注意，x和y表示坐标。
[0090]
[数学式2]
[0091][0092]
[数学式3]
[0093][0094]
这里，为了获得z，将离散傅立叶变换应用于上述表达式(1)，得出以下表达式(4)。注意，以下表达式(4)中的m和n表示作为处理目标的图像的宽度和高度。此外，重新整理下面的表达式(4)，得到下面的表达式(5)、(6)和(7)。
[0095]
[数学式4]
[0096][0097]
[数学式5]
[0098][0099]
[数学式6]
[0100][0101]
[数学式7]
[0102][0103]
傅里叶逆变换最终根据上述表达式(5)至(7)给出以下表达式(8)。
[0104]
[数学式8]
[0105][0106]
即，图像处理装置100可以通过获得法线信息来获得成像目标的高度信息(height)。
[0107]
此后，图像处理装置100获取摄像装置参数和头安装长度的信息，并且对获得的height执行深度转换处理(步骤s13b)。将参照图9描述这一点。
[0108]
图9是用于说明根据第一实施方式的计算处理的图。图9是示意性地示出图像传感器34与被摄体30之间的关系的图。在图9中，焦距f指示从图像传感器34到焦点位置32的距离。焦距f可以从摄像装置参数获得。此外，从焦点位置32到被摄体30的距离z对应于头安装长度，因此是已知值。根据图9所示的关系，距离z由例如以下表达式(9)表示。
[0109]
[数学式9]
[0110]
h＝δh/δp
ꢀꢀꢀ…
(9)
[0111]
在上述表达式(9)中，h对应于在步骤s13a中获得的高度图的值。此外，δp是图像传感器的每像素的长度，并且是已知值。这里，根据图9所示的几何关系，以下表达式(10)成立。
[0112]
[数学式10]
[0113]
δz＝δh
×
z/f
ꢀꢀꢀ…
(10)
[0114]
重新整理上述表达式(9)和(10)并且消除δh，给出以下表达式(11)。
[0115]
[数学式11]
[0116]
δz＝h
×
δp
×
z/f
ꢀꢀꢀ…
(ii)
[0117]
如上式(11)所示，可以从已知值h、δp、距离z和焦距f获得δh。如图9所示，δh是用于表示被摄体30的表面形状的数值。即，这样的方法使得图像处理装置100能够计算被摄体30的表面形状信息。
[0118]
返回图8继续描述。图像处理装置100基于在步骤s13b中获得的表面形状信息来生成包括表面形状信息的图像18。
[0119]
如上所述，根据第一实施方式的图像处理装置100包括放置在被配置成捕获目标的图像的传感器150与目标之间的头安装部10。另外，图像处理装置100获取根据点光源照射目标的光的反射光而获得的点光源图像，以及根据点光源以外的光源(例如，环境光)照射目标的光的反射光而获得的环境光图像。此外，图像处理装置100基于头安装长度、点光源图像和环境光图像来计算形状信息，形状信息是关于目标的表面形状的信息。
[0120]
如上所述，图像处理装置100通过在头安装部10与目标接触的情况下捕获图像时获取点光源图像和环境光图像这两种类型的图像，不仅可以计算二维信息，还可以计算表面形状的三维信息。因此，图像处理装置100可以以简单的配置并且通过简单的成像方法(像所谓的显微镜那样)来执行高精度的形状测量。
[0121]
[1
‑
2.根据第一实施方式的图像处理装置的配置]
[0122]
接下来，将参照图1至图9详细描述执行图像处理的图像处理装置100以及图像处理装置100中包括的头安装部10的配置，这将参照图1至图9进行了描述。
[0123]
图10是示出根据第一实施方式的图像处理装置100的配置示例的图。如图10所示，图像处理装置100包括头安装部10、存储部120、控制部130、传感器150、光源160和显示部170。注意，图10示出了功能配置，并且硬件配置可能与该功能配置不同。此外，图像处理装置100的功能可以在多个物理上分离的装置中以分布式方式实现。
[0124]
另外，虽然未示出，但是图像处理装置100可以包括用于从使用图像处理装置100的用户接收各种操作的输入部。输入部接收例如用于用户的成像操作的开始、结束等操作。
[0125]
另外，图像处理装置100可以包括用于与其它装置等进行通信的通信部。通信部例如由网络接口卡(nic)等实现。通信部可以是包括usb主机控制器、usb端口等的通用串行总线(usb)接口。此外，通信部可以是有线接口或无线接口。例如，通信部可以是无线lan系统或蜂窝通信系统的无线通信接口。通信部用作图像处理装置100的通信装置或传输装置。例如，通信部110以有线或无线方式连接到网络，并且经由网络向其它信息处理终端发送信息以及从其它信息处理终端接收信息等。
[0126]
头安装部10是放置在捕获目标图像的传感器150与目标之间的筒状机构。
[0127]
如图3所示，根据第一实施方式的头安装部10包括孔22和框架24。另外，如图4所
示，头安装部10在内部底部具有用作为点光源的孔26。
[0128]
即，头安装部10包括设置在底部中以从光源照射光到目标的孔26，以及设置在侧面中的孔22。这种结构使得头安装部10能够使来自点光源的光照射目标，并且在点光源关闭的情况下仅使环境光照射目标。
[0129]
注意，头安装部10可以包括光源160来代替图4中所示的孔26。在这种情况下，头安装部10包括尺寸与图4中所示的孔26相当的光源160，并且可以使光源160向目标发射光。
[0130]
此外，如图3所示，头安装部10优选地包括在侧面中以基本相同的间隔设置的多个孔22。这种配置使得头安装部10能够均匀地摄入环境光，而没有在特定点处的偏向分布。结果，后述的获取部131可以获得由均匀光照射的目标的图像，从而可以获取要与点光源图像进行比较的环境光图像。
[0131]
存储部120例如由诸如随机存取存储器(ram)或闪存的半导体存储元件或者诸如硬盘或光盘的存储装置实现。存储部120存储各种类型的数据。
[0132]
例如，存储部120临时存储通过成像获得的点光源图像和环境光图像，以用于根据本公开的图像处理。此外，存储部120可以存储用于根据本公开的计算处理各种参数，例如摄像装置参数和头安装长度。
[0133]
传感器150检测各种类型的信息。具体地，传感器150是具有捕获目标图像的功能的图像传感器，并且可以被解释为摄像装置。
[0134]
注意，传感器150可以检测图像处理装置100周围的环境信息、图像处理装置100的位置信息、连接到图像处理装置100的装置有关的信息等。
[0135]
另外，传感器150可以包括检测图像处理装置100周围的照度的照度传感器、检测图像处理装置100周围的湿度的湿度传感器、检测图像处理装置100的位置处的磁场的地磁传感器等。
[0136]
光源160包括光源和控制电路，该控制电路控制设置在图像处理装置100或头安装部10中的用于照射目标的光源的开/关。光源160例如由led等实现。
[0137]
控制部130例如由执行程序(例如，根据本公开的图像处理程序)的中央处理单元(cpu)、微处理单元(mpu)、图形处理单元(gpu)等来实现，该程序存储在图像处理装置100中，图像处理装置100使用随机存取存储器(ram)等作为工作区。替选地，控制部130是控制器，例如可以通过诸如专用集成电路(asic)或现场可编程门阵列(fpga)的集成电路来实现。
[0138]
如图10所示，控制部130包括获取部131、计算部132、图像生成部133和输出部134，并且实现或执行下述信息处理的功能和行为。注意，控制部130的内部配置不限于图10所示的配置，并且可以具有执行下述信息处理的其它配置。
[0139]
获取部131获取各种类型的信息。例如，获取部131获取由包括在图像处理装置100中的传感器150捕获的图像。
[0140]
例如，获取部131获取根据点光源照射目标的光的反射光而获得的第一图像(例如，图5所示的点光源图像12)，以及根据点光源之外的光源照射目标的光的反射光而获得的第二图像(例如，图6中所示的环境光图像14)。
[0141]
具体地，获取部131获取根据从设置在头安装部10的侧面中的孔22入射的环境光的反射光而获得的环境光图像。
[0142]
此外，在光源160不是被设置在图像处理装置100中而是设置在头安装部10中的情况下，获取部131获取根据设置在头安装部10中的点光源(光源160)照射目标的光的反射光而获得的点光源图像。
[0143]
获取部131将获取的信息适当地存储在存储部120中。另外，获取部131可以适当地从存储部120获取处理所需的信息。此外，获取部131可以通过传感器150或输入部获取处理所需的信息(摄像装置参数、头安装长度等)，或者可以经由网络从外部装置获取各种类型的信息。
[0144]
计算部132基于由获取部131获取的信息来计算到目标表面的距离。具体地，计算部132基于头安装长度、第一图像和第二图像来计算形状信息，该形状信息是关于目标的表面形状的信息。
[0145]
图像生成部133生成包括计算部132所计算的形状信息的图像。例如，图像生成部133在传感器150捕获的图像上反映对象表面的形状信息，并且进行渲染处理以生成包括目标形状信息的图像。
[0146]
输出部134输出各种类型的信息。例如，输出部134将由图像生成部133生成的图像的数据输出到显示部170。注意，显示部170是设置在图像处理装置100中的监视器(液晶显示器等)。输出部分134可以将图像数据输出到连接到图像处理装置100的外部监视器等，而不是将图像数据输出到设置在图像处理装置100中的监视器。
[0147]
[1
‑
3.根据第一实施方式的图像处理的过程]
[0148]
接下来，将参照图11至图13描述根据第一实施方式的图像处理的过程。图11是示出根据第二实施方式的处理的流程的流程图。
[0149]
如图11所示，图像处理装置100确定是否已经从用户接收到成像操作(步骤s101)。如果没有接收到成像操作(步骤s101；否)，则图像处理装置100待机，直到接收到成像操作。
[0150]
另一方面，如果已经接收到成像操作(步骤s101；是)，则图像处理装置100调节用于成像的曝光(步骤s102)。注意，在步骤s102中，图像处理装置100在光源160关闭的情况下调节针对环境光的曝光。
[0151]
在曝光调节之后，图像处理装置100获取通过环境光得到的图像(环境光图像)(步骤s103)。此后，图像处理装置100将所获取的环境光图像存储在存储部120中，并且打开点光源(光源160)(步骤s104)。
[0152]
之后，图像处理装置100调节针对点光源的曝光(步骤s105)。在曝光调节之后，图像处理装置100获取通过点光源得到的图像(点光源图像)(步骤s106)。此后，图像处理装置100将所获取的点光源图像存储在存储部120中，并且关闭点光源(步骤s107)。
[0153]
然后，如参照图7至图9所描述的，图像处理装置100根据所获取的两个图像计算目标的形状(步骤s108)。然后，图像处理装置100基于计算结果来生成与形状相关的图像(包括关于凹凸形状等的信息的图像)，并且将生成的图像输出到显示部170(步骤s109)。
[0154]
(2.第二实施方式)
[0155]
接下来，将描述第二实施方式。第一实施方式示出了以下示例：设置在头安装部10的侧面中的多个孔让环境光进入，并且因此目标被均匀光照射。这里，图像处理装置100可以不使环境光而是使人造的均匀光照射目标，以获取第二图像作为被均匀光照射的目标的图像。
[0156]
将参照图12描述上述要点。图12是示出根据第二实施方式的头安装部40的结构的视图。如图12的(a)所示，头安装部40在其底部(垂直于从传感器150侧发射的光的面)具有多个孔42。
[0157]
孔42是开放的，以使从图像处理装置100中包括的光源160发出的光穿过。即，根据第二实施方式的头安装部40包括设置在底部中以从光源160照射光到目标的多个孔42。
[0158]
在这种情况下，图像处理装置100包括与多个孔42一一对应的多个光源160。因此，根据第二实施方式的获取部131获取根据从多个孔42之一照射目标的光的反射光而获得的第一图像(点光源图像)，以及根据从多个孔42照射目标的光的反射光而获得的第二图像(这种图像被称为“宽范围光源图像”)。
[0159]
即，根据第二实施方式的图像处理装置100包括能够向目标发射均匀光而不是摄入环境光的宽范围光源。此外，头安装部40包括多个孔42，并且让从点光源或宽范围光源发出的光通过。图像处理装置100可以通过在点光源(仅是所提供的多个光源160中的一个)的照明与宽范围光源(例如，所提供的多个光源160中的全部光源)的照明之间进行切换，来连续获取两种类型的图像。
[0160]
根据第二实施方式的图像处理装置100，可以由宽范围的人造均匀光照射目标，像环境光一样，因此即使在无光环境下也可以不受影响地执行根据本公开的图像处理。
[0161]
注意，光源160可以不设置在图像处理装置100中，而是设置在头安装部40中。例如，如图12的(b)所示，头安装部40可以具有设置有多个光源46的结构。光源46是照射目标的点光源。在图12的(b)中，示出了在头安装部40中以环形形状嵌入多个光源46的结构。
[0162]
在这种情况下，根据第二实施方式的获取部131获取根据从设置在头安装部40中的光源46之一照射目标的光的反射光而获得的第一图像(点光源图像)，以及根据从设置在头安装部40中的多个光源46同时照射目标的光的反射光而获得的第二图像(宽范围光源图像)。这种配置还使得根据第二实施方式的图像处理装置100能够实现根据本公开的图像处理。
[0163]
图13示出了目标被宽范围光源照射的情况。图13是用于说明在第二实施方式中目标被宽范围光源照射的情况的图。如图13所示，宽范围光源均匀照射目标。该配置使得图像处理装置100能够获取宽范围图像48作为目标被光均匀照射的图像(类似于环境光图像14的图像)。注意，图像处理装置100可以如第一实施方式那样，在让环境光进入的情况下获取(捕获)宽范围图像48。
[0164]
接下来，将参照图14描述根据第二实施方式的图像处理的过程。图14是示出根据第二实施方式的处理的流程的流程图。
[0165]
如图14所示，图像处理装置100确定是否已经从用户接收到成像操作(步骤s201)。如果没有接收到成像操作(步骤s201；否)，则图像处理装置100待机，直到接收到成像操作。
[0166]
另一方面，如果已经接收到成像操作(步骤s201；是)，则图像处理装置100打开宽范围光源(步骤s202)。图像处理装置100调节针对宽范围光源的曝光(步骤s203)。
[0167]
在曝光调节之后，图像处理装置100获取通过宽范围光源得到的图像(宽范围光源图像)(步骤s204)。此后，图像处理装置100将所获取的宽范围光源图像存储在存储部120中，并且关闭宽范围光源(步骤s205)。
[0168]
随后，图像处理装置100打开点光源(步骤s206)。之后，图像处理装置100调节针对
点光源的曝光(步骤s207)。在曝光调节之后，图像处理装置100获取通过点光源得到的图像(点光源图像)(步骤s208)。此后，图像处理装置100将所获取的点光源图像存储在存储部120中，并且关闭点光源(步骤s209)。
[0169]
然后，如参照图7至图9所描述的，图像处理装置100根据所获取的两个图像计算目标的形状(步骤s210)。然后，图像处理装置100基于计算结果来生成与形状相关的图像(包括关于凹凸形状等的信息的图像)，并且将生成的图像输出到显示部170(步骤s211)。
[0170]
(3.第三实施方式)
[0171]
接下来，将描述第三实施方式。第二实施方式示出了设置在头安装部40的底部中的多个孔或光源导致获取宽范围光源图像的示例。这里，图像处理装置100可以具有还被配置成消除环境光的影响的头安装部40。
[0172]
将参照图15描述上述要点。图15是示出根据第三实施方式的头安装部50的结构的视图。图15所示的头安装部50包括如在第二实施方式中那样设置在其底部中的用于照射目标的多个点光源或孔，以及构成其侧面的低反射率材料。注意，低反射率材料是构成头安装部50等的材料之一，并且具有相对低的反射率，例如黑色玻璃或黑色纸。
[0173]
图16示出了目标被点光源照射的情况。图16是用于说明在第三实施方式中目标被点光源照射的情况的图。如图16所示，头安装部50通过设置在侧面的低反射率材料消除了环境光的影响。注意，尽管未示出，但是在目标被宽范围光源照射的情况下，头安装部50也可以消除环境光的影响，如图16所示的示例中那样。
[0174]
如上所述，在第三实施方式中，可以消除从外部发射到目标的环境光，因此图像处理装置100可以在几乎不受成像环境影响的情况下进行成像。注意，根据第三实施方式的处理过程类似于图14所示的过程。
[0175]
(4.第四实施方式)
[0176]
接下来，将描述第四实施方式。第三实施方式示出了头安装部50的侧面所采用的低反射率材料消除了环境光的影响的示例。这里，图像处理装置100可以具有被配置成适当地摄入环境光的头安装部50。
[0177]
将参照图17描述上述要点。图17是示出根据第四实施方式的头安装部60的结构的视图。
[0178]
图17中所示的头安装部60包括设置在其底部中以从光源照射光到目标的孔，以及在光源的出射方向上的偏振滤光器，以及包括在其侧面中的偏振透射滤光器。在这种情况下，获取部131获取根据穿过偏振滤光器从孔照射目标的光的反射光而获得的第一图像(点光源图像)，以及根据穿过偏振透射滤光器之后入射的环境光的反射光而获得的第二图像(宽范围光源图像)。在这种情况下，设置在头安装部60的底部中的偏振滤光器与包括在侧面中的偏振透射滤光器具有相同的偏振方向。
[0179]
注意，如在第二和第三实施方式中那样，头安装部60可以包括设置在底部中以从光源照射光到目标的多个孔。在这种情况下，获取部131获取根据穿过偏振滤光器从多个孔之一照射目标的光的反射光而获得的第一图像，以及根据穿过偏振滤光器从多个孔照射目标的光的反射光而获得的第二图像。
[0180]
替选地，如图12(b)所示，头安装部60还可以包括照射目标的多个点光源来代替如第二实施方式等中的孔。在这种情况下，获取部131获取根据穿过偏振透射滤光器后入射的
环境光的反射光或者根据设置在头安装部60中的多个点光源同时照射目标的光的反射光而获得的第二图像。
[0181]
将参照图18描述上述要点。图18是用于说明在第四实施方式中目标被点光源照射的情况的图。如图18所示，头安装部60包括设置在底部中的偏振滤光器62以及包括在侧面中的偏振透射滤光器。
[0182]
如图18所示，从图像处理装置100的光源160发射的光穿过偏振滤光器62照射目标。从内部发射的一部分偏振光穿过侧面中的偏振透射滤光器到达外部。同时，来自外部的环境光穿过侧面。注意，尽管未示出，但是在目标被宽范围光源照射的情况下，头安装部60也可以适当地摄入环境光，如图18所示的示例中那样。
[0183]
如上所述，在第四实施方式中，即使在没有周围光的环境下，图像处理装置100也可以进行成像而不受影响。另外，在有光的环境下，图像处理装置100可以摄入光。此外，根据第四实施方式的配置，从内部发出的光透射到外部，而不会在头安装部60内部反射，因此图像处理装置100可以在进一步消除反射的影响的情况下进行点光源照射。
[0184]
(5.第五实施方式)
[0185]
接下来，将描述第五实施方式。第四实施方式示出了以下示例：设置在头安装部60的底部中的偏振滤光器62以及设置在侧面中的偏振透射膜用于消除内部光源的反射的影响，并且使环境光进入。这里，图像处理装置100可以具有头安装部60，该头安装部60使用除偏振滤光器62之外的部件来实现与第四实施方式的效果类似的效果。
[0186]
将参照图19描述上述要点。图19是示出根据第五实施方式的头安装部70的结构的视图。
[0187]
图19所示的头安装部70包括设置在其底部中以从红外光源照射光到目标的孔，以及包括在其侧面中的红外光吸收滤光器72。即，在第五实施方式中，图像处理装置100包括红外光源作为光源160。例如，图像处理装置100包括发射近红外线的ir光源。另外，在这种情况下，图像处理装置100包括宽带图像传感器作为传感器150，该宽带图像传感器在从可见光到红外光的范围内具有灵敏度。
[0188]
在这种配置中，从图像处理装置100发射的ir光不会在内部反射，而是被侧面的红外光吸收滤光器72吸收。同时，环境光的可见光成分穿过侧面中的红外光吸收滤光器72照射目标。在这种情况下，获取部131获取根据从孔照射目标的红外光的反射光而获得的第一图像(点光源图像)，以及根据穿过红外光吸收滤光器72后入射的环境光的反射光而获得的第二图像(环境光图像)。
[0189]
此外，头安装部70可以包括设置在底部中以从红外光源照射光到目标的多个孔。在这种情况下，获取部131获取根据从多个孔之一照射目标的红外光的反射光而获得的第一图像，以及根据从多个孔照射目标的红外光的反射光而获得的第二图像(宽范围光源图像)。
[0190]
替选地，头安装部70还可以包括照射目标的多个红外光源来代替供红外光穿过的孔。在这种情况下，获取部131获取根据穿过红外光吸收滤光器72后入射的环境光的反射光或者根据设置在头安装部70中的多个红外光源同时照射目标的光的反射光而获得的第二图像(环境光图像或宽范围光源图像)。
[0191]
将参照图20描述上述要点。图20是用于说明在第五实施方式中目标被点光源照射
的情况的图。图20所示的头安装部70包括侧面(例如，侧面的内侧)中包括的红外光吸收滤光器72。
[0192]
如图20所示，从图像处理装置100的光源160发射的红外光在头安装部70内部行进，以照射目标。作为红外光的一部分并且发射到侧面的红外光74被侧面中的红外光吸收滤光器72吸收。同时，来自外部的环境光的可见光成分穿过侧面。注意，尽管未示出，但是在目标被宽范围光源照射的情况下，头安装部70也可以适当地吸收环境光，如图20所示的示例中那样。
[0193]
如上所述，在第五实施方式中，即使在没有周围光的环境下，图像处理装置100也可以进行成像而不受影响。另外，在有光的环境下，图像处理装置100可以吸收光。此外，根据第五实施方式的配置，从内部发出的光透射到外部而不会在头安装部70的内部反射，因此图像处理装置100可以在进一步消除反射的情况下进行点光源照射。另外，根据第五实施方式的配置，可以通过红外光照射对目标进行成像，因此可以通过可见光成分以外的光对目标进行成像(输出目标的图像数据)。
[0194]
(6.其他实施方式)
[0195]
可以以不同于实施方式的各种不同方式来实现根据上述每个实施方式的处理。
[0196]
[6
‑
1.图像处理系统]
[0197]
上述实施方式示出了以下示例：图像处理装置100包括传感器150和控制部130，并且图像处理装置100用作独立显微镜。然而，每个实施方式中描述的图像处理不仅可以由图像处理装置100执行，而且还可以由诸如显微镜的成像装置以及诸如个人计算机或平板终端的信息处理终端来执行。
[0198]
例如，根据本公开的图像处理可以由图21所示的信息处理系统1来执行。图21是示出根据本公开的信息处理系统的配置示例的图。如图21所示，信息处理系统1包括显微镜100a、信息处理终端200和显示器300。构成信息处理系统1的各个装置以有线或无线方式经由网络n连接，并且相互发送和接收信息。
[0199]
显微镜100a是包括图像传感器的成像装置。例如，显微镜100a至少包括图10所示的图像处理装置100的配置中的头安装部10、传感器150和光源160。用户将显微镜100a转向目标，以对目标等的表面的状态进行成像。显微镜100a将通过成像操作获得的图像数据发送到信息处理终端200。
[0200]
信息处理终端200是对从显微镜100a发送的图像数据执行信息处理的装置。例如，信息处理终端200至少包括图10所示的图像处理装置100的配置中的控制部130和存储部120。例如，信息处理终端200执行根据本公开的图像处理，并且生成具有形状信息的图像。然后，信息处理终端200将生成的图像数据发送到显示器300。
[0201]
显示器300是显示从信息处理终端200发送的图像数据的监视器装置。例如，显示器300至少包括图10所示的图像处理装置100的配置中的显示部170。
[0202]
如上所述，根据本公开的图像处理可以由包括各个装置的信息处理系统1执行，而不是由独立的图像处理装置100执行。即，根据本公开的图像处理可以也可以通过各种灵活的装置配置来实现。
[0203]
[6
‑
2.头安装部]
[0204]
上述每个实施方式示出了头安装部是安装在图像处理装置100的顶端的筒状部的
示例。然而，头安装部可以具有用于使目标与传感器150之间的距离保持恒定的其它结构，并且不必具有筒的形状。
[0205]
此外，在第三至第五实施方式中，已经描述了构成头安装部的材料，但是头安装部不限于上述材料。例如，头安装部可以具有其它配置，该其它配置几乎不将从内部发出的光反射到目标并且让来自外部的环境光穿过，并且不必采用如第四和第五实施方式所述的材料或配置。
[0206]
[6
‑
3.其他]
[0207]
在上述实施方式中描述的处理中，可以手动执行被描述为自动执行的处理中的全部或一部分，或者可以通过公知的方法自动执行被描述为手动执行的处理中的全部或一部分。此外，除非另有说明，否则文档和附图中所示的处理程序、具体名称以及包括各种类型的数据和参数在内的信息可以任意更改。例如，附图中所示的各种信息不限于所示的信息。
[0208]
此外，图中所示的各个装置的每个组成元件在功能上是概念性的。装置不一定如附图中所示地在物理上配置。即，各个装置的分布和集成的具体方式不限于图示的方式，并且部件中的所有或一部分可以根据各种负荷、使用条件等以任意单元在功能上或物理上进行分布和集成。
[0209]
另外，在处理细节的一致性的范围内，可以将上述实施方式和修改例适当地组合。此外，在实施方式中，已经将显微镜描述为图像处理装置的示例。然而，本公开的图像处理也适用于显微镜以外的成像装置。
[0210]
注意，本说明书中描述的效果仅仅是示例而不受限制，并且可以展现出其它效果。
[0211]
(7.根据本公开的图像处理装置的效果)
[0212]
如上所述，根据本公开的图像处理装置(实施方式中的图像处理装置100)具有放置在被配置成捕获目标的图像的传感器(实施方式中的传感器150)与目标之间的筒状部(实施方式中的头安装部10等)、获取部(实施方式中的获取部131)和计算部(实施方式中的计算部132)。获取部获取根据点光源照射目标的光的反射光而获得的第一图像(实施方式中的点光源图像)，以及根据不同于点光源的光源照射目标的光的反射光而获得的第二图像(实施方式中的环境光图像或宽范围光源图像)。计算部基于筒状部的长度、第一图像和第二图像来计算形状信息，该形状信息是关于目标的表面形状的信息。
[0213]
如上所述，根据本公开的图像处理装置基于根据点光源获得的第一图像以及根据点光源以外的光源(例如环境光)获得的第二图像来计算目标的形状信息。结果，图像处理装置即使具有像显微镜这样通常仅获得平面信息的装置配置，也可以以简单的配置执行高精度的形状测量。
[0214]
此外，筒状部包括设置在筒状部的底部中以从光源照射光到目标的第一孔，以及设置在筒状部的侧面中的第二孔。获取部获取根据从第一孔照射目标的光的反射光而获得的第一图像，以及根据从第二孔入射的环境光的反射光而获得的第二图像。即，图像处理装置在侧面中包括孔，而不是具有一般的密封的顶端头(所有面均由诸如塑料等低透光率材料构成的筒状部)，因此可以有效地摄入周围的环境光。
[0215]
此外，筒状部包括照射目标的点光源以及设置在筒状部的侧面中的孔。获取部获取根据设置在筒状部中的点光源照射目标的光的反射光而获得的第一图像，以及根据从孔入射的环境光的反射光而获得的第二图像。这种配置使得图像处理装置能够使点光源适当
地照射目标，从而获得高精度的点光源图像。
[0216]
此外，筒状部包括在侧面中以基本相同的间隔设置的多个孔。该配置使得图像处理装置能够通过平衡的环境光照射来获得环境光图像。
[0217]
此外，筒状部包括设置在筒状部底部中以从光源照射光到目标的多个孔。获取部获取根据从多个孔之一照射目标的光的反射光而获得的第一图像，以及根据从多个孔照射目标的光的反射光而获得的第二图像。该配置使得图像处理装置能够获得目标被均匀光照射而与周围环境无关的第二图像。
[0218]
此外，筒状部包括照射目标的多个点光源。获取部获取根据设置在筒状部中的点光源之一照射目标的光的反射光而获得的第一图像，以及根据设置在筒状部中的多个点光源同时照射目标的光的反射光而获得的第二图像。该配置使得图像处理装置能够获得目标被均匀光照射而与周围环境无关的第二图像。
[0219]
此外，筒状部包括照射目标的多个点光源，以及构成筒状部的侧面的低反射率材料。该配置使得图像处理装置能够即使在不适合成像的环境下(例如，周围太亮)也适当地执行根据本公开的图像处理。
[0220]
此外，筒状部包括设置在筒状部的底部中以从光源照射光到目标的孔、设置在光源的出射方向上的偏振滤光器、以及包括在筒状部的侧面中的偏振透射滤光器。获取部获取根据穿过偏振滤光器从孔照射目标的光的反射光而获得的第一图像，以及根据穿过偏振透射滤光器之后入射的环境光的反射光而获得的第二图像。该配置使得图像处理装置能够在抑制点光源的反射的同时适当地摄入环境光，从而适当地执行图像处理。
[0221]
此外，筒状部包括设置在底部中以从光源照射光到目标的多个孔。获取部获取根据穿过偏振滤光器从多个孔之一照射目标的光的反射光而获得的第一图像，以及根据穿过偏振滤光器从多个孔照射目标的光的反射光而获得的第二图像。该配置使得图像处理装置能够获得目标被均匀光照射而与周围环境无关的第二图像。
[0222]
此外，筒状部还包括照射目标的多个点光源。获取部获取根据穿过偏振透射滤光器后入射的环境光的反射光或者根据设置在筒状部中的多个点光源同时照射目标的光的反射光而获得的第二图像。该配置使得图像处理装置能够例如通过在适合成像的环境下使用环境光，并且通过在不适合成像的环境下使用所提供的光源，来灵活地执行图像处理。
[0223]
此外，筒状部包括设置在筒状部的底部中以从红外光源照射光到目标的孔，以及包括在筒状部的侧面中的红外光吸收滤光器。获取部获取根据从孔照射目标的红外光的反射光而获得的第一图像，以及根据穿过红外光吸收滤光器后入射的环境光的反射光而获得的第二图像。该配置使得图像处理装置能够在抑制点光源的反射的同时适当地摄入环境光，从而适当地执行图像处理。
[0224]
此外，筒状部包括设置在底部中以从红外光源照射光到目标的多个孔。获取部获取根据从多个孔之一照射目标的红外光的反射光而获得的第一图像，以及根据从多个孔照射目标的红外光的反射光而获得的第二图像。该配置使得图像处理装置能够获得目标被均匀光照射而与周围环境无关的第二图像。
[0225]
此外，筒状部还包括照射目标的多个红外光源。获取部获取根据从穿过红外光吸收滤光器后入射的环境光的反射光或者根据设置在筒状部中的多个红外光源同时照射目标的光的反射光而获得的第二图像。该配置使得图像处理装置能够例如通过在适合成像的
环境下使用环境光，并且通过在不适合成像的环境下使用所提供的光源，来灵活地执行图像处理。
[0226]
此外，图像处理装置还包括图像生成部(在实施方式中为图像生成部133)，该图像生成部被配置成生成包括所计算的形状信息的图像。该配置使得图像处理装置能够向用户提供包括形状信息的图像。
[0227]
(8.硬件配置)
[0228]
例如，根据上述每个实施方式的诸如图像处理装置100的信息装置由具有如图22所示的配置的计算机1000实现。在下文中，以根据实施方式的图像处理装置100为例进行说明。图22是示出实现图像处理装置100的功能的计算机1000的示例的硬件配置图。计算机1000包括cpu 1100、ram 1200、只读存储器(rom)1300、硬盘驱动器(hdd)1400、通信接口1500和输入/输出接口1600。计算机1000的部件通过总线1050连接。
[0229]
cpu 1100基于存储在rom 1300或hdd 1400中的程序进行操作，并且控制每个单元。例如，cpu 1100将存储在rom 1300或hdd 1400中的程序加载到ram 1200中，并且执行与各种程序对应的处理。
[0230]
rom 1300存储引导程序，诸如当计算机1000启动时由cpu 1100执行的基本输入输出系统(bios)、依赖于计算机1000的硬件的程序等。
[0231]
hdd 1400是非暂态地记录由cpu 1100执行的程序、该程序使用的数据等的计算机可读记录介质。具体地，hdd 1400是用于记录根据本公开的图像处理程序的记录介质。图像处理程序是程序数据1450的示例。
[0232]
通信接口1500是用于将计算机1000连接到外部网络1550(例如，因特网)的接口。例如，cpu 1100经由通信接口1500从其他装置接收数据以及将由cpu 1100生成的数据发送至其他装置。
[0233]
输入/输出接口1600是用于将计算机1000与输入/输出装置1650连接的接口。例如，cpu 1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。此外，cpu 1100经由输入/输出接口1600将数据发送到诸如显示器、扬声器或打印机的输出装置。此外，输入输出接口1600可以用作为读取记录在预定记录介质上的程序等的介质接口。该介质例如是诸如数字通用盘(dvd)或相变可重写盘(pd)的光学记录介质、诸如磁光盘(mo)的磁光记录介质、带介质、磁记录介质、半导体存储器等。
[0234]
例如，在计算机1000用作根据第一实施方式的信息处理装置100的情况下，计算机1000的cpu 1100通过执行在ram 1200上加载的图像处理程序来实现控制部130等的功能。此外，hdd 1400存储根据本公开的图像处理程序以及保存在存储部120中的数据。注意，cpu 1100从hdd 1400读取程序数据1450以执行程序，但在其它示例中，可以经由外部网络1550从其它装置获取这些程序。
[0235]
此外，本技术还可以如下所述来配置。
[0236]
(1)
[0237]
一种图像处理装置，其具有筒状部，所述筒状部置于被配置成捕获目标的图像的传感器与所述目标之间，所述图像处理装置包括：
[0238]
获取部，其被配置成获取根据点光源照射所述目标的光的反射光而获得的第一图像，以及根据所述点光源以外的光源照射所述目标的光的反射光而获得的第二图像；以及
[0239]
计算部，其被配置成基于所述筒状部的长度、所述第一图像和所述第二图像来计算计算形状信息，所述形状信息是关于所述目标的表面形状的信息。
[0240]
(2)
[0241]
根据(1)所述的图像处理装置，其中，
[0242]
所述筒状部包括：
[0243]
设置在所述筒状部的底部中以从光源照射光到所述目标的第一孔，以及设置在所述筒状部的侧面中的第二孔，并且
[0244]
所述获取部获取根据从所述第一孔照射所述目标的光的反射光而获得的所述第一图像，以及根据从所述第二孔入射的环境光的反射光而获得的第二图像。
[0245]
(3)
[0246]
根据(1)或(2)所述的图像处理装置，其中，
[0247]
所述筒状部包括：
[0248]
照射所述目标的所述点光源，以及设置在所述筒状部的侧面中的孔，并且
[0249]
所述获取部获取根据设置在所述筒状部中的所述点光源照射所述目标的光的反射光而获得的所述第一图像，以及根据从所述孔入射的环境光的反射光而获得的所述第二图像。
[0250]
(4)
[0251]
根据(2)或(3)所述的图像处理装置，其中，
[0252]
所述筒状部包括：
[0253]
在所述侧面以基本相同的间隔设置的多个孔。
[0254]
(5)
[0255]
根据(1)至(4)中任一项所述的图像处理装置，其中，
[0256]
所述筒状部包括：
[0257]
设置在所述筒状部的底部中以从光源照射光到所述目标的多个孔，并且
[0258]
所述获取部获取根据从所述多个孔之一照射所述目标的光的反射光而获得的所述第一图像，以及根据从所述多个孔照射所述目标的光的反射光而获得的所述第二图像。
[0259]
(6)
[0260]
根据(1)至(5)中任一项所述的图像处理装置，其中，
[0261]
所述筒状部包括：
[0262]
照射所述目标的多个点光源，并且
[0263]
所述获取部获取根据从设置在所述筒状部中的点光源之一照射所述目标的光的反射光而获得的所述第一图像，以及根据从设置在所述筒状部中的所述多个点光源同时照射所述目标的光的反射光而获得的所述第二图像。
[0264]
(7)
[0265]
根据(6)所述的图像处理装置，其中，
[0266]
所述筒状部包括：
[0267]
照射所述目标的多个点光源，以及构成所述筒状部的侧面的低反射率材料。
[0268]
(8)
[0269]
根据(1)至(7)中任一项所述的图像处理装置，其中，
[0270]
所述筒状部包括：
[0271]
设置在所述筒状部的底部中以从光源照射光到所述目标的孔，设置在所述光源的发射方向上的偏振滤光器，以及包括在所述筒状部的侧面中的偏振透射滤光器，并且
[0272]
所述获取部获取根据穿过所述偏振滤光器从所述孔照射所述目标的光的反射光而获得的所述第一图像，以及根据穿过所述偏振透射滤光器之后入射的环境光的反射光而获得的所述第二图像。
[0273]
(9)
[0274]
根据(8)所述的图像处理装置，其中，
[0275]
所述筒状部包括：
[0276]
设置在所述底部中以从所述光源照射光到所述目标的多个孔，并且
[0277]
所述获取部获取根据穿过所述偏振滤光器从所述多个孔之一照射所述目标的光的反射光而获得的所述第一图像，以及根据穿过所述偏振滤光器从所述多个孔照射所述目标的光的反射光而获得的所述第二图像。
[0278]
(10)
[0279]
根据(8)或(9)所述的图像处理装置，其中，
[0280]
所述筒状部还包括：
[0281]
照射所述目标的多个所述点光源，并且
[0282]
所述获取部获取根据穿过所述偏振透射滤光器之后入射的环境光的反射光或者根据从设置在所述筒状部中的所述多个点光源同时照射所述目标的光的反射光而获得的所述第二图像。
[0283]
(11)
[0284]
根据(1)至(10)中任一项所述的图像处理装置，其中，
[0285]
所述筒状部包括：
[0286]
设置在所述筒状部的底部中以从红外光源照射光到所述目标的孔，以及包括在所述筒状部的侧面中的红外光吸收滤光器，并且
[0287]
所述获取部获取根据从所述孔照射所述目标的红外光的反射光而获得的所述第一图像，以及根据穿过所述红外光吸收滤光器之后入射的环境光的反射光而获得的所述第二图像。
[0288]
(12)
[0289]
根据(11)所述的图像处理装置，其中，
[0290]
所述筒状部包括：
[0291]
设置在所述底部中以从所述红外光源照射光到所述目标的多个孔，并且
[0292]
所述获取部获取根据从所述多个孔之一照射所述目标的红外光的反射光而获得的所述第一图像，以及根据从所述多个孔照射所述目标的红外光的反射光而获得的所述第二图像。
[0293]
(13)
[0294]
根据(11)或(12)所述的图像处理装置，其中，
[0295]
所述筒状部还包括：
[0296]
照射所述目标的多个红外光源，并且
[0297]
所述获取部获取根据穿过所述红外光吸收滤光器之后入射的环境光的反射光或者根据从设置在所述筒状部中的所述多个红外光源同时照射所述目标的光的反射光而获得的所述第二图像。
[0298]
(14)
[0299]
根据(1)至(13)中任一项所述的图像处理装置，还包括：
[0300]
图像生成部，其被配置成生成包括所计算的形状信息的图像。
[0301]
(15)
[0302]
一种图像处理方法，包括：
[0303]
由具有筒状部的图像处理装置执行以下操作，其中所述筒状部置于被配置成捕获目标的图像的传感器与所述目标之间：
[0304]
获取根据从点光源照射所述目标的光的反射光而获得的第一图像，以及根据从所述点光源以外的光源照射所述目标的光的反射光而获得的第二图像；以及
[0305]
基于所述筒状部的长度、所述第一图像和所述第二图像来计算形状信息，所述形状信息是关于所述目标的表面形状的信息。
[0306]
(16)
[0307]
一种图像处理程序，用于使具有筒状部的图像处理装置用作为以下部分，其中所述筒状部置于被配置成捕获目标的图像的传感器与所述目标之间：
[0308]
获取部，其获取根据从点光源照射所述目标的光的反射光而获得的第一图像，以及根据从所述点光源以外的光源照射所述目标的光的反射光获得的第二图像；以及
[0309]
计算部，其基于所述筒状部的长度、所述第一图像和所述第二图像来计算形状信息，所述形状信息是关于所述目标的表面形状的信息。
[0310]
附图标记列表
[0311]
10 头安装部
[0312]
100 图像处理装置
[0313]
120 存储部
[0314]
130 控制部
[0315]
131 获取部
[0316]
132 计算部
[0317]
133 图像生成部
[0318]
134 输出部
[0319]
150 传感器
[0320]
160 光源
[0321]
170 显示部