图像处理装置、图像处理方法和程序与流程

1.本公开涉及图像处理装置、图像处理方法和程序。更具体地，本公开涉及用于更容易地仿真透镜的图像处理装置、图像处理方法和程序。


背景技术：

2.迄今为止，已经提出了以这样的方式根据用户设置仿真虚拟透镜，使得在生成的图像被提供给用户之前从包括视点彼此不同的多个图像的多视图图像生成看起来像是通过仿真透镜拍摄的图像(例如，参见ptl 1)。
3.[引文列表]
[0004]
[专利文献1]
[0005]
[ptl 1]
[0006]
pct专利公开no.wo2015/037472


技术实现要素：

[0007]
[技术问题]
[0008]
本公开旨在更容易地仿真这种虚拟透镜。
[0009]
[问题的解决方案]
[0010]
根据本技术的一个方面，提供了一种图像处理装置，包括：像差表生成部，被配置为生成像差表，作为包括从通过用户界面选择的并作为仿真目标的透镜的像差导出的会聚光线向量的表；以及，聚光处理部，被配置为通过使用像差表和多视图图像执行生成通过所选择的透镜拍摄的被摄体的虚拟拍摄的图像的聚光处理。
[0011]
根据本技术的另一方面，提供了一种图像处理方法，包括：生成像差表，作为包括从通过用户界面选择的并作为仿真目标的透镜的像差导出的会聚光线向量的表；以及通过使用像差表和多视图图像执行生成通过所选择的透镜拍摄的被摄体的虚拟拍摄的图像的聚光处理。
[0012]
根据本技术的另一方面，提供了一种程序，用于使计算机用作：像差表生成部，被配置为生成像差表，作为包括从通过用户界面选择的并作为仿真目标的透镜的像差导出的会聚光线向量的表；以及，聚光处理部，被配置为通过使用像差表和多视图图像执行生成通过所选择的透镜拍摄的被摄体的虚拟拍摄的图像的聚光处理。
[0013]
通过使用根据本技术的一些方面的图像处理装置、图像处理方法和程序，生成像差表，作为包括从通过用户界面选择的并作为仿真目标的透镜的像差导出的会聚光线向量的表，以及，通过使用像差表和多视图图像执行生成通过所选择的透镜拍摄的被摄体的虚拟拍摄的图像的聚光处理。
附图说明
[0014]
图1是描绘示例性相机的透视图。
[0015]
图2是描绘示例性整体图像的图。
[0016]
图3是描绘示例性个眼(facet)图像的图。
[0017]
图4是描绘示例性合成图像的图。
[0018]
图5描绘了图示拍摄的图像和深度图像的示例的图。
[0019]
图6是解释透镜仿真的图。
[0020]
图7是描绘示例性显像画面的图。
[0021]
图8是描述示例性输入/输出设置部的图。
[0022]
图9是描绘示例性校准文件的图。
[0023]
图10是列出包括在显像设置文件中的示例性参数的图。
[0024]
图11是描绘示例性深度估计部的图。
[0025]
图12是描绘示例性透镜选择部的图。
[0026]
图13是描述示例性透镜设置部的图。
[0027]
图14是描绘另一个示例性显像画面的图。
[0028]
图15是描绘另一个示例性输入/输出设置部的图。
[0029]
图16是描绘另一个示例性透镜选择部的图。
[0030]
图17是描绘另一个示例性透镜设置部的图。
[0031]
图18描绘了图示其它示例性合成图像的图。
[0032]
图19是描绘计算机的示例性主要配置的框图。
[0033]
图20是描绘由计算机实现的功能的功能框图。
[0034]
图21是解释透镜仿真处理的示例性流程的流程图。
[0035]
图22是解释从图21连续的透镜仿真处理的示例性流程的流程图。
[0036]
图23是解释组合处理的示例流程的流程图。
具体实施方式
[0037]
下面描述用于实现本公开的一种模式(下文中称为实施例)。按照以下次序进行描述。
[0038]
1.透镜仿真
[0039]
2.第一实施例(显像处理装置)
[0040]
3.附加笔记
[0041]
《1.透镜仿真》
[0042]
《多视图图像》
[0043]
例如，可以像图1中的相机10那样配置用于生成包括具有彼此不同的视点的多个图像并且是执行透镜仿真所必需的多视图图像的成像装置。具有内置图像传感器的相机10通过接收通过透镜收集的光并且通过对收集的光进行光电转换来拍摄被摄体，从而生成被摄体的多视图图像。
[0044]
相机10具有部署在其图像传感器前面(在光入射侧)并配备有多个(例如，5个)个眼光学系统的镜筒。多眼光学系统被配置为提供彼此独立的透射光的光路。即，透过镜筒的各个个眼光学系统的光不入射到任何其它个眼光学系统上，并且照射由个眼光学系统照亮的图像传感器的光接收表面(例如，有效像素区域)上相互不同的位置之一。在图像传感器
的光接收表面上，各个个眼光学系统的光轴至少定位在由个眼光学系统的光轴所占据的相互不同的斑点之一处。透过各个个眼光学系统的光的至少一部分照射图像传感器的光接收表面上相互不同的位置之一。
[0045]
因此，在由图像传感器生成的拍摄的图像(即，从图像传感器输出的整体图像)中，由各单个个眼光学系统形成的被摄体的图像出现在相互不同的位置。换句话说，从所拍摄的图像获得具有来自各单个个眼光学系统的视点的图像。
[0046]
例如，整体图像20(诸如图2中所示的图像)由拍摄被摄体的相机10获取。整体图像20包括与各单个个眼光学系统中的每一个对应的个眼图像(即，通过对来自被摄体并通过各单个个眼光学系统入射的光进行光电转换而获得的图像)。在图2的示例的情况下，整体图像20中包括五个个眼图像。
[0047]
要注意的是，整体图像20可以是由图像传感器生成的整个拍摄的图像或从拍摄的图像中剪切的部分图像(但包括所有个眼图像)。此外，整体图像20可以是raw格式图像或yc格式的图像。要注意的是，整体图像20中包括的个眼图像的数量可以是任何数量(但取决于相机10中部署的个眼光学系统的数量)。
[0048]
各个个眼图像的一部分被剪切以生成视点图像，其视点来自对应的个眼光学系统。在图2的示例的情况下，可以从整体图像20的五个视点图像区域21(即，视点图像区域210、视点图像区域211、视点图像区域212、视点图像区域213和视点图像区域214)剪切图像。从视点图像区域21剪切的图像各自被视为视点图像。即，可以从整体图像20获得多视图图像。换句话说，获取整体图像20基本上等同于获得多视点图像。
[0049]
此外，在另一个示例中，可以通过相机10拍摄被摄体来获得多个视点图像(诸如图3中所示的图像)。在图3中，视点图像220、视点图像221、视点图像222、视点图像223和视点图像224与相机10的各单个个眼光学系统对应(即，这些是其视点来自个眼光学系统的视点图像)。即，视点图像22可以说是从整体图像20的上面提到的各个视点图像区域21剪切的图像。多视图图像就是以这种方式获取的。
[0050]
虽然图3描绘了由相机10在单个图像拍摄中获得的示例性视点图像22，但视点图像22的数量可以是任何数量(但取决于部署在相机10中的个眼光学系统的数量)。
[0051]
此外，在另一个示例中，多视点合成图像23(诸如图4中所示的图像)可以通过相机10拍摄被摄体来获得。图4中的多视点合成图像23是包括多个视点图像22被合成为单个图像(即，帧)的图像。显然，各个视点图像22可以从多视点合成图像23被剪切出来。即，可以从多视点合成图像23获得多视图图像。换句话说，获取多视点合成图像23基本上等同于获得多视图图像。
[0052]
如上所述，相机10可以通过拍摄被摄体来获取多视图图像。例如，多视图图像可以用在诸如深度信息的生成和使用深度信息的重新聚焦处理之类的处理中。
[0053]
应当注意的是，可以使用任何合适的方法来生成多视图图像。除相机10以外的装置或系统可以被用于图像生成。例如，可以通过使用用作相互不同的视点的多个相机(即，多个图像传感器)拍摄被摄体来生成多视点图像。
[0054]
《多视图图像的使用》
[0055]
例如，给定包括视点彼此不同的多个视点图像的多视图图像，可以使用立体匹配技术，以获得指示在多视图图像中到被摄体的距离的深度数据，该深度数据被用于通过叠
加构成多视图图像的视点图像来生成图像。然后可以将生成的图像提供给用户。
[0056]
诸如以上所述的那些技术可以被用于从多视图图像生成深度图像31(诸如图5的子图a中所示的图像)。深度图像31是其中将从拍摄的图像的各个像素到被摄体的距离视为像素值的图像。即，深度图像31是转换成图像的深度数据。此外，以由深度图像31确定的比例构成多视图图像的视点图像被叠加(组合)以形成虚拟拍摄的图像32(诸如图5的子图b中所示的图像)。
[0057]
上述技术例如使得有可能通过根据期望设置焦点距离来生成虚拟拍摄的图像32。即，可以通过根据期望设置作为与透镜相关的参数的透镜参数来生成虚拟拍摄的图像32。换句话说，利用虚拟透镜集，能够以仿真通过虚拟透镜拍摄的被摄体的图像的方式生成虚拟拍摄的图像。即，可以执行透镜仿真。
[0058]
例如，设置虚拟透镜40(诸如图6中所示的那个)。作为来自被摄体的入射光的光线向量41进入虚拟透镜40。通过虚拟透镜40的入射光形成光线向量42。然后仿真(即，模拟)包括从光线向量42获取拍摄的图像的图像传感器43的成像系统。随后，根据这个仿真从多视图图像生成虚拟拍摄的图像。
[0059]
上述种类的透镜仿真允许仿真期望规格的光学系统。即，用于仿真的目标可以是实际光学系统，或者是不真实的光学系统。这种仿真允许再现由不同光学系统获得的拍摄的图像。例如，容易再现由其光圈大于用于生成多视图图像的光学系统的光圈的光学系统获取的拍摄的图像；其分辨率高于多视图图像的分辨率的拍摄的图像；处于比多视图图像的角度更宽的角度的拍摄的图像；或者比多视图图像具有更窄的视角和更长的焦点距离的拍摄的图像。因此，有可能容易地再现通过使用高性能透镜获得的拍摄的图像或再现由不真实的光学系统获取的拍摄的图像。即，能够以较低的成本生成更多样化的拍摄的图像(虚拟拍摄的图像)。
[0060]
《通过透镜选择设置像差》
[0061]
本公开提出生成像差表，作为包括从通过用户界面选择的并作为仿真目标的透镜的像差导出的会聚光线向量的表，并且通过使用像差表和多视图图像执行生成通过所选择的透镜拍摄的被摄体的虚拟拍摄的图像的聚光处理。
[0062]
以这种方式，有可能消除设置像差相关的参数的工作，从而更容易地执行透镜仿真。
[0063]
要注意的是，通过聚光处理生成的拍摄的图像是使用所选择的透镜通过虚拟图像拍摄而获得的图像。因此，可以说拍摄的图像是虚拟拍摄的图像。此处选择的透镜可以或可以不用于实际的图像拍摄，并且可以存在或可以不存在于现实世界中。
[0064]
《显像画面》
[0065]
上述使用多视图图像的透镜仿真可以通过根据用户的操作输入执行所涉及的处理的应用程序来实现。例如，应用程序可以使监视器显示gui(图形用户界面)用于接受用户对作为仿真目标的透镜的选择。
[0066]
例如，可以使显示部显示用户界面，该用户界面包括与作为仿真目标的候选透镜对应的图标。与通过用户界面选择的图标对应的透镜的透镜参数可以被用于生成像差表。
[0067]
图7中所示的显像画面100是由应用程序在监视器上显示的gui，用于执行多视图图像显像处理。在多视图图像显像处理中，应用程序通过使用如上所述的多视图图像执行
透镜仿真，例如，以生成通过仿真透镜拍摄的被摄体的虚拟拍摄的图像。此时，应用程序使监视器显示显像画面100(诸如图7中所示的画面)，并接受根据显像画面100执行的用户操作。
[0068]
如图7中所描绘的，显像画面100包括选项卡显示部101和gui显示部102。选项卡显示部101显示用于改变出现在gui显示部102中的gui的选项卡。在图7的示例的情况下，选项卡显示部101显示选项卡101a(tab1)、选项卡101b(tab2)、选项卡101c(cgle)和选项卡101d(gen_onj)。要在选项卡显示部101中显示的选项卡的数量可以是任何数量。
[0069]
gui显示部102显示与在选项卡显示部101中选择的选项卡对应的gui。在图7的示例中，选择选项卡101a，因此在gui显示部102中显示与选项卡101a对应的gui。这个gui是旨在用于透镜仿真的gui。
[0070]
如图7中所示，这个gui包括拍摄图像显示部110、输入/输出设置部111、深度估计部112和透镜仿真部113。
[0071]
拍摄图像显示部110可以显示在使用仿真透镜的图像拍摄中由聚光处理生成并由聚光处理导致的拍摄的图像(虚拟拍摄的图像)，作为聚光处理的结果。通过检查显示在拍摄图像显示部110中的拍摄的图像，用户可以识别聚光处理的结果。
[0072]
要注意的是，可以通过使用分辨率降低的多视图图像来执行透镜仿真。在这种情况下，由仿真得到的虚拟拍摄的图像的分辨率低于原始多视图图像(即，尚未降低分辨率的多视图图像)的分辨率。即，拍摄图像显示部110显示分辨率降低的虚拟拍摄的图像。换句话说，拍摄图像显示部110能够以比通过实际图像拍摄获得的原始多视图图像的分辨率低的分辨率来显示虚拟拍摄的图像。这使得有可能抑制由聚光处理和由此产生的结果的显示而造成的负载增加。因此，以更高的速度执行聚光过程和由此产生的结果的显示，而不会招致更高的成本。例如，拍摄图像显示部110因此能够以更高的速度显示聚光处理的结果。要注意的是，显然，原始的多视图图像可以用于聚光处理。在这种情况下，作为聚光处理的结果，获得具有与原始多视图图像的分辨率相同的分辨率的虚拟拍摄的图像。即，拍摄图像显示部110能够以与原始多视点图像的分辨率相同的分辨率显示虚拟拍摄图像。
[0073]
输入/输出设置部111是用于输入关于输入/输出设置的信息的gui。深度估计部112是用于深度估计的gui。透镜仿真部113是用于透镜仿真的gui。透镜仿真部113包括透镜选择部121和透镜设置部122。透镜选择部121是用于选择作为仿真的目标的透镜的gui。透镜设定部122是用于设置透镜的gui。下面解释这些gui中的每一个的配置。
[0074]
《输入/输出设置部》
[0075]
图8描绘了输入/输出设置部111的示例。输入/输出设置部111是用于输入关于输入/输出设置的信息的gui。通过输入/输出设置部111输入的信息被用于进行输入/输出设置的应用程序接受。
[0076]
例如，输入/输出设置部111包括输入文件指定栏131a和参考按钮131b。输入文件指定栏131a是用于设置要输入的文件(该文件也被称为输入文件)的gui。输入文件包括例如用于聚光处理的多视图图像的数据。即，由指定的输入文件指定要输入的多视图图像。用户可以操作例如键盘等以使用字符和符号将文件名和地址输入到输入文件指定栏131a。由输入到输入文件指定栏131a的文件名和地址指定的文件被设置为输入文件。即，将例如包括在输入文件中的多视图图像的数据加载到应用程序中。
[0077]
参考按钮131b是用于通过使用文件管理gui来指定输入文件的gui按钮。当用户操作参考按钮131b时，文件管理gui被激活。用户通过使用文件管理gui来指定文件。当文件被指定时，文件的文件名和地址被输入到输入文件指定栏131a。即，文件被设置为输入文件。具体而言，加载例如包括在输入文件中的多视图图像的数据。
[0078]
输入/输出设置部111还包括输出文件夹指定栏132a和参考按钮132b。输出文件夹指定栏132a是用于设置要向其输出包括例如由于聚光处理而得到的拍摄的图像的数据的文件的文件夹(也称为输出文件夹)的gui。用户可以操作例如键盘等以使用字符和符号将文件夹名称和地址输入到输出文件夹指定栏132a。由输入到输出文件夹指定栏132a的文件夹名称和地址指定的文件夹被设置为输出文件夹。即，生成的文件存储到输出文件夹中。
[0079]
参考按钮132b是用于通过使用文件管理gui来指定输出文件夹的gui按钮。当用户操作参考按钮132b时，文件管理gui被激活。用户通过使用文件管理gui来指定文件夹。当文件夹被指定时，文件夹的文件夹名称和地址被输入到输出文件夹指定栏132a。即，该文件夹被设置为输出文件夹。具体而言，生成的文件被存储到输出文件夹中。
[0080]
输入/输出设置部111还包括校准文件指定栏133a和参考按钮133b。校准文件指定栏133a是用于设置描述例如用于识别关于视点之间的畸变的信息的校准数据的文件(该文件也被称为校准文件)的gui。即，通过校准文件的指定来设置用于视点之间的校准的校准数据。用户可以操作例如键盘等以使用字符和符号将文件名和地址输入到校准文件指定栏133a。由输入到校准文件指定栏133a的文件名和地址指定的文件被设置为校准文件。即，例如，加载包括在校准文件中的校准数据。
[0081]
参考按钮133b是用于通过使用文件管理gui来指定校准文件的gui按钮。当用户操作参考按钮133b时，文件管理gui被激活。用户通过使用文件管理gui来指定文件。当文件被指定时，文件的文件名和地址被输入到校准文件指定栏133a。即，该文件被设置为校准文件。具体而言，例如，加载包括在校准文件中的校准数据。
[0082]
图9中所示的表151是校准文件中描述的信息的示例。例如，型号模式是指示相机10的模式的信息。基线长度是指示各单个个眼光学系统之间的距离的信息。cmn是指示所涉及的个眼光学系统的数量(即，视点的数量)的信息。depthmax初始值是指示后面将讨论的最大深度值(depthmax)的初始值的信息。edge初始值是指示将在后面描述的edge的初始值的信息。
[0083]
raw_width是指示raw图像的宽度的信息，即，由相机10的图像传感器获得的整体拍摄的图像的宽度(水平方向的分辨率)。raw_height是指示整体拍摄的图像的高度(垂直方向的分辨率)的信息。pros_width是指示各个视点图像的宽度(水平方向的分辨率)的信息。pros_height是指示各个视点图像的高度(垂直方向的分辨率)的信息。
[0084]
centrepros[n].x(n是0和4之间的整数)表示由相机10的图像传感器获得的整体拍摄的图像中各个视点图像的中心的x坐标。centrepros[n].y(n是0和4之间的整数)表示整体拍摄的图像中各个视点图像的中心的y坐标。注意的是，符号n表示视点图像的标识号(来自各个个眼光学系统)。例如，由于图1中的相机10具有五个视点，因此n被设置为0、1、2、3或4。
[0085]
校准图表宽度[mm]是指示用于校准的图表(图表也称为校准图表)的宽度之长[mm]的信息(例如，参见pct专利公开no.wo2019/078032)。校准图表宽度[像素]是指示校准
图表在分辨率[像素]方面的宽度的信息。另外，相机到校准图表距离[mm]是指示在用于校准的图像拍摄时从相机10到校准图表的距离[mm]的信息(即，校准图表深度值)。
[0086]
当指定校准文件时设置上述信息项。自然，校准文件的内容不限于任何具体内容。例如，可以包括与图9的示例中所描绘的不同的校准数据。可以不包括图9中描绘的校准数据的部分数据。
[0087]
再次参考图8进行描述，输入/输出设置部111包括显像设置文件指定栏134a和参考按钮134b。显像设置文件指定栏134a是用于设置文件(该文件也被称为显像设置文件)的gui，该文件中描述诸如视点计数信息和基线长度之类的硬件信息。用户可以操作例如键盘等以使用字符和符号将文件名和地址输入到显像设置文件指定栏134a。由输入到显像设置文件指定栏134a的文件名和地址指定的文件被设置为显像设置文件。即，例如，加载包括在显像设置文件中的硬件信息。
[0088]
参考按钮134b是用于通过使用文件管理gui来指定显像设置文件的gui按钮。当用户操作参考按钮134b时，文件管理gui被激活。用户通过使用文件管理gui来指定文件。当指定文件时，文件的文件名和地址被输入到显像设置文件指定栏134a。即，该文件被设置为显像设置文件。具体而言，例如，加载包括在显像设置文件中的硬件信息。
[0089]
图10中所示的表152是显像设置文件中描述的硬件信息的示例。例如，显像设置文件包括各种硬件信息，诸如模型信息、基线长度、视点计数、经校准的值、depthmax初始值、edge初始值、处理余裕、分辨率、处理分辨率、临时值、滤色器信息、视点n中心坐标、焦点距离、表示用于检测透镜安装误差的点光(spot light)的坐标的led坐标(例如，参见pct专利公开no.wo2019/78032)、指示点光的工艺分辨率的led工艺分辨率(例如，参见pct专利公开no.wo2019/78032)，以及校准时间信息。这些信息项是在指定显像设置文件时设置的。自然，显像设置文件的内容不限于任何具体内容。例如，可以包括除图10中所描绘的以外的硬件信息。可以不包括图10中描绘的硬件信息的部分信息。
[0090]
再次参考图8进行描述，输入/输出设置部111包括hdr(高动态范围)文件指定栏135a和参考按钮135b。hdr文件指定栏135a是用于设置文件(该文件也被称为hdr文件)的gui，该文件使得能够估计饱和亮度值。用户可以操作例如键盘等以使用字符和符号将文件名和地址输入到hdr文件指定栏135a。由输入到hdr文件指定栏135a的文件名和地址指定的文件被设置为hdr文件。即，加载hdr文件中包括的信息。
[0091]
参考按钮135b是用于使用文件管理gui指定hdr文件的gui按钮。当用户操作参考按钮135b时，文件管理gui被激活。用户使用文件管理gui指定文件。当文件被指定时，文件的文件名和地址被输入到hdr文件指定栏135a。即，加载hdr文件中包括的信息。
[0092]
输入/输出设置部111还包括阈值指定栏136、增益指定栏137和hdr按钮138。
[0093]
阈值指定栏136是用于设置阈值(th)的gui。用户可以操作例如键盘等来将阈值输入到阈值指定栏136。输入到阈值指定栏136的数值被设置为阈值。
[0094]
增益指定栏137是用于设置增益的gui。用户可以操作例如键盘等以将增益以数字方式输入到增益指定栏137。输入到增益指定栏137的数值被设置为增益。
[0095]
hdr按钮138是用于开始hdr处理的gui。当用户操作hdr按钮138时，开始hdr处理。此时，在hdr文件指定栏135a中指定的hdr文件被用于执行处理。顺便提及，这里要使用的hdr文件和hdr处理可以是例如在pct专利公开no.wo2016/175043中公开的那些。
[0096]
《深度估计部》
[0097]
图11是描绘深度估计部112的示例的图。深度估计部112是用于输入关于深度估计的信息的gui。通过深度估计部112输入的信息被应用程序接受，用于深度估计。
[0098]
例如，深度估计部112包括深度图像(深度图)显示栏161和计算按钮162。深度图像显示栏161是用于显示深度图像的gui，该深度图像包括由深度估计产生的被摄体中像素的深度值。即，显示在深度图像显示栏161中的深度图像包括通过深度估计估计的深度值。
[0099]
计算按钮162是用于指定深度估计(深度计算)的开始的gui。当用户操作计算按钮162时，开始深度估计。
[0100]
深度估计部112还包括深度文件指定栏163a和参考按钮163b。深度文件指定栏163a是用于设置在外部输入深度数据的情况下要使用的文件(该文件也称为深度文件)的gui。用户可以操作例如键盘等以使用字符和符号将文件名和地址输入到深度文件指定栏163a。由输入到深度文件指定栏163a的文件名和地址指定的文件被设置为深度文件。即，例如，加载深度文件中包括的深度数据。
[0101]
参考按钮163b是用于通过使用文件管理gui来指定深度文件的gui按钮。当用户操作参考按钮163b时，文件管理文件gui被激活。用户通过使用文件管理gui来指定文件。当文件被指定时，文件的文件名和地址被输入到深度文件指定栏163a。即，文件被设置为深度文件。具体而言，例如，加载深度文件中包括的深度数据。
[0102]
深度估计部112还包括边缘(edge)指定栏165、max指定栏166、cs指定栏167、伽玛(gamma)指定栏168和ale指定栏169。edge指定栏165是用于指定edge阈值设置的gui，该edge阈值设置用于通过使用图像拍摄时的快门速度/增益值从信号中分离噪声。用户可以操作例如键盘等以将值以数字方式输入到edge指定栏165。输入到edge指定栏165的数值被设置为edge阈值。
[0103]
max指定栏166是用于指定用于检测最大像素错位量的范围的gui。用户可以操作例如键盘等以将值以数字方式输入到max指定栏166。输入到max指定栏166的数值被设置为最大像素错位检测范围max。
[0104]
cs指定栏167是用于在校准时指定无限距离的gui。用户可以操作例如键盘等以将值以数字方式输入到cs指定栏167。输入到cs指定栏167的数值被设置为校准时的无限距离(cs)。
[0105]
伽玛指定栏168是用于指定在深度估计时使用的伽玛曲线的gui。用户可以操作例如键盘等以将值以数字方式输入到伽玛指定栏168。输入到伽玛指定栏168的数值被设置为伽玛值。
[0106]
ale指定栏169是用于指定在校准数据拍摄时可以在旋转方向上被校正的旋转角ale的gui。用户可以操作例如键盘等以将值以数字方式输入到ale指定栏169。输入到ale指定栏169的数值被设置为在校准数据拍摄时可以在旋转方向上校正的旋转角ale。
[0107]
《透镜选择部》
[0108]
图12是描绘透镜选择部121的示例的图。透镜选择部121是用于指定作为仿真的目标的透镜的gui。通过透镜选择部121输入的信息被应用程序接受，用于透镜模拟。
[0109]
例如，透镜选择部121包括透镜图标显示部171、添加按钮172、删除按钮173和处理结果保存部174。
[0110]
透镜图标显示部171是用于选择作为仿真的目标的透镜的gui，并且包括与作为仿真的目标的候选的透镜对应的图标。在图12中所示的示例的情况下，显示透镜图标181-1至181-4。在无需为了解释的目的而将透镜图标181-1至181-4彼此区分开的情况下，它们被称为透镜图标181。
[0111]
透镜图标181-1至181-4与彼此不同的透镜对应。各个透镜图标181被指派互不相同的透镜参数值。例如，如果用户选择透镜图标181之一，那么选择(设置)与所选择的透镜图标181对应的透镜作为仿真的目标。即，设置与所选择的透镜图标181对应的透镜参数值。
[0112]
然后通过使用所设定的参数对透镜进行仿真，设置透镜的像差，并相应地执行聚光处理。聚光处理的结果(即，拍摄的图像)显示在拍摄的图像显示部110中。以这种方式，应用程序可以仿真与所选择的透镜图标181对应的透镜。
[0113]
仿真透镜要求设置许多参数。当如上所述选择期望的透镜的图标时，用户等可以更容易地仿真透镜。
[0114]
特别地，与透镜图标181相关联的透镜参数包括用于指定像差的参数。当用户等选择一个透镜图标181时，指定对应的像差。
[0115]
此外，透镜图标显示部171显示与如上所述作为仿真的目标的候选透镜对应的透镜图标181。即，透镜图标显示部171显示作为仿真的候选的透镜的列表。因此，通过参考透镜图标显示部171，用户等可以容易地识别仿真目标候选。
[0116]
顺便提及，透镜图标181-1至181-3是与预先准备的透镜对应的图标，即，与预先设置其透镜参数的透镜(预设透镜)(即，测试透镜)对应的图标。即，即使用户等没有创建任何透镜图标，透镜图标显示部171也可以显示与预先准备的这种透镜对应的透镜图标181。这允许用户等选择作为仿真的目标的透镜，而无需处理繁琐的任务(诸如生成透镜图标)。
[0117]
相反，透镜图标181-4是与用户等生成的透镜对应的图标，即，与用户等已设置透镜参数的透镜对应的图标(用户设置)。即，如上所述，透镜图标显示部171可以显示与由用户等生成的透镜对应的透镜图标181。这使用户等能够选择作为仿真的目标的具有更多不同规格的透镜。
[0118]
优选地，可以允许用户等通过拖动一个透镜图标181并将其放到拍摄图像显示部110中来选择要聚焦的被摄体。
[0119]
例如，当用户等将显示在透镜图标显示部171中的透镜图标181拖放到拍摄图像显示部110中时，与被拖放的透镜图标181对应的透镜被设置为作为仿真的目标的透镜。而且，被拖动的透镜图标181在显示在拍摄图像显示部110中的拍摄的图像内被移动和放下的位置被设置为要聚焦的位置。即，通过使用与被拖放的透镜图标181对应的透镜参数来仿真透镜并设置其像差。然后以聚焦在透镜图标181被放下的位置的方式执行聚光处理。聚光处理的结果(即，拍摄的图像)显示在拍摄图像显示部110中。以这种方式，用户不仅可以更容易地设置作为仿真的目标的透镜，而且可以更容易地设置要聚焦的位置。
[0120]
要注意的是，要聚焦的位置可以是包括以图标被放下的位置为中心的多个像素的区域。作为另一种替代方案，可以将存在于图标被放下的位置处的被摄体识别为图像，然后可以聚焦识别出的被摄体。注意的是，在透镜图标显示部171中显示的透镜图标181的数量可以是任何数量并且图12中的示例不限于可以显示的透镜图标181的数量。
[0121]
添加按钮172是用于将新的透镜图标181添加到透镜图标显示部171的gui按钮。例
如，当用户等操作添加按钮172时，生成与在后面讨论的透镜设置部122中设置的透镜参数相关联的透镜图标181。附加生成的透镜图标181显示在透镜图标显示部171中。即，新的透镜图标181被添加到透镜图标显示部171。
[0122]
删除按钮173是用于删除在透镜图标显示部171中显示的透镜图标181的gui按钮。例如，当用户等操作删除按钮173时，用户等从显示在透镜图标显示部171中的那些当中选择的透镜图标181被删除。这禁止将与被删除的透镜图标181对应的透镜选择为仿真的目标。要注意的是，可以被删除的透镜图标181可以限于由用户等添加的那些图标。换句话说，可以防止预设的透镜图标181被删除。
[0123]
处理结果保存部174包括用于设置与保存仿真的结果(聚光处理的结果)、即保存在拍摄图像显示部110中显示的虚拟拍摄的图像相关的信息的gui。例如，处理结果保存部174包括图像质量选择部191、保存按钮192和焦点范围设置部193。图像质量选择部191是供用户选择保存虚拟拍摄的图像的图像质量(分辨率)的gui。例如，图像质量选择部191可以包括具有选项“正常图像质量”和“低图像质量”的单选按钮。通过操作图像质量选择部191，用户可以选择保存虚拟拍摄的图像的图像质量(分辨率)。即，以用户选择的图像质量(分辨率)保存虚拟拍摄的图像。
[0124]
如上所述，可以将分辨率降低的多视图图像用于透镜仿真以减少负载。在那种情况下，显示在拍摄图像显示部110中的虚拟拍摄的图像具有比拍摄的图像的分辨率低的分辨率。通过操作图像质量选择部191，用户可以选择以仿真时的分辨率或以与原始多视点图像的分辨率相同的分辨率来保存虚拟拍摄的图像。
[0125]
例如，当用户选择“低图像质量”时，以透镜仿真时使用的分辨率保存虚拟拍摄的图像。即，在拍摄图像显示部110中显示的虚拟拍摄的图像(仿真的结果)被保存，其图像质量不变。因此，在这种情况下，以较低的负载(以较高的速度)保存虚拟拍摄的图像。
[0126]
相反，当用户选择“普通图像质量”时，以与原始多视图图像的分辨率相同的分辨率保存虚拟拍摄的图像。在这种情况下，通过使用原始多视图图像来再现仿真。即，生成并保存与在拍摄图像显示部110中显示的图像除分辨率不同以外相似的虚拟拍摄的图像(即，与从显示在拍摄图像显示部110中的虚拟拍摄的图像增强了其分辨率的图像相同的虚拟拍摄图像)。
[0127]
要注意的是，在此，作为保存时的图像质量(分辨率)的选项的示例，指示了两种：仿真时的分辨率(低图像质量)；以及与原始多视图图像(正常图像质量)的分辨率相同的分辨率。但是，这个示例不限制可根据期望选择的图像质量(分辨率)选项。例如，有可能以比原始多视图图像的分辨率(图像质量)低(更低图像质量)但比仿真时的分辨率(图像质量)高(高高图像质量)的分辨率(图像质量)来保存虚拟拍摄的图像。可替代地，能够以比仿真时的分辨率低(更低图像质量)的分辨率保存虚拟拍摄的图像。即，能够以期望的分辨率(图像质量)保存虚拟拍摄的图像。
[0128]
要注意的是，作为另一种替代方案，可以在保存时将虚拟拍摄的图像的分辨率(图像质量)转换成期望的分辨率(图像质量)。虽然已经对虚拟拍摄的图像进行了上述解释，但也能够以期望的分辨率(图像质量)保存深度图像。
[0129]
保存按钮192是用于执行保存的gui按钮。例如，当用户等操作保存按钮192时，显示在拍摄图像显示部110中的虚拟拍摄的图像(聚光处理的结果)被保存到存储介质上，例
如，具有由图像质量选择部191选择的图像质量。此外，焦点范围设置部193是用于输入指定焦点距离的信息的gui。
[0130]
《透镜设置部》
[0131]
图13描绘了透镜设置部122的示例。透镜设置部122是用于设置(定制)透镜参数的gui。通过透镜设置部122输入的信息被应用程序接受，用于透镜仿真。
[0132]
透镜设置部122包括简化透镜仿真结果显示部201、图像高度输入栏202a、图像高度设置滑动条202b、焦点位置输入栏202c和焦点位置设置滑动条202d。
[0133]
简化透镜仿真结果显示部201显示表示以点光源作为被摄体进行的聚光处理的结果的虚拟拍摄的图像。例如，在通过使用图像高度输入栏202a或通过图像高度设置滑动条202设置的水平图像高度处的点光源距离通过使用焦点位置输入栏202c或焦点位置设置滑动条202d设置的焦平面一距离的情况下，简化透镜仿真结果显示部201实时显示产生的模糊。这允许用户等在视觉上(直观地)理解通过使用将在后面讨论的gui指定的各种像差的影响。
[0134]
透镜设置部122包括用于输入透镜中的光圈值的光圈输入栏203a和用于显示设置的光圈的样子的光圈显示部203b，作为用于进行光圈相关设置的gui。透镜设置部122还包括用于以数字方式输入透镜的焦点位置的焦点位置输入栏204a和用于通过旋钮位置设置焦点位置的焦点位置滑动条204b，作为用于进行与焦点位置相关的设置的gui。
[0135]
透镜设置部122还包括用于进行与像差相关的设置的gui。例如，透镜设置部122包括用于设置像散的gui、用于设置球面像差的gui、用于设置彗形像差的gui、用于设置畸变像差的gui以及用于设置场曲的gui，作为上述的gui。
[0136]
例如，透镜设置部122包括用于以数字方式输入像散系数的像散系数输入栏205a和用于通过旋钮位置设置像散系数的像散系数滑动条205b，作为用于设置像散的gui。而且，例如，透镜设置部122包括用于以数字方式输入球面像差系数的球面像差系数输入栏206a和用于通过旋钮位置设置球面像差系数的球面像差系数滑动条206b，作为用于设置球面像差的gui。另外，例如，透镜设置部122包括用于以数字方式输入彗形像差系数的彗形像差系数输入栏207a和用于通过旋钮位置设置彗形像差系数的彗形像差系数滑动条207b，作为用于设置彗形像差的gui。此外，例如，透镜设置部122包括用于以数字方式畸变像差系数的畸变像差系数输入栏208a和用于通过旋钮位置设置畸变像差系数的畸变像差系数滑动条208b，作为用于设置畸变像差的gui。而且，例如，透镜设置部122包括用于以数字方式输入场曲系数的场曲系数输入栏209a和用于通过旋钮位置设置场曲系数的场曲系数滑动条209b，作为用于设置场曲的gui。
[0137]
顺便提及，这些像差被称为赛德尔(seidel)五像差。
[0138]
透镜设置部122还包括作为由用户操作以从预定文件加载透镜设置的gui按钮的加载按钮210和作为由用户操作以将透镜设置导出到预定文件的gui按钮的导出按钮211。
[0139]
透镜设置部122还包括在其被使用时用于指定外部焦点图的焦点图输入栏212a和参考按钮212b。焦点图表示其中为各个拍摄的图像像素(即，对于其位置)登记视差信息的图信息。
[0140]
用户等可以操作上述gui来改变与光圈、焦点位置和像差相关的设置中的至少一个。在发生此类改变的情况下，瞬间(实时)执行聚光处理，并且处理的结果(即，虚拟拍摄的
图像)以反映改变的参数的方式同时显示在拍摄图像显示部110中。
[0141]
因此，可以更容易地执行透镜仿真。
[0142]
《其它图像组合处理》
[0143]
可以执行其它图像组合处理以将根据聚光处理产生的虚拟拍摄的图像与组合目标图像组合，该组合目标图像是诸如cg图像之类的某个其它图像。在这种情况下，能够以将针对组合目标图像设置的深度数据和关于虚拟拍摄的图像的深度数据相加的方式执行组合处理(深度处置组合处理)。图14描绘了在进行如上所述的其它图像组合处理的情况下的显像画面100的示例。例如，当用户等在显像画面100的选项卡显示部101中选择选项卡101c时，使gui显示部102显示与选择的选项卡101c对应的其它图像组合处理gui。
[0144]
如图14中所描绘的，这个gui包括复合图像显示部310、输入/输出设置部311和透镜仿真部313。此外，透镜仿真部313包括透镜选择部321和透镜设置部322。
[0145]
复合图像显示部310显示复合图像，该复合图像将组合目标图像与通过仿真的透镜进行图像拍摄获得并通过聚光处理生成的拍摄的图像(虚拟拍摄的图像)进行组合。另外，在复合图像显示部310中，用户等可以进行组合目标图像与虚拟拍摄的图像的组合。
[0146]
与拍摄图像显示部110一样，复合图像显示部310可以显示根据聚光处理产生的虚拟拍摄的图像。因此，用户等可以将组合目标图像310a与虚拟拍摄的图像进行组合。
[0147]
要注意的是，与拍摄图像显示部110的情况一样，复合图像显示部310可以显示分辨率低于通过实际图像拍摄获得的原始多视图图像的分辨率的虚拟拍摄的图像。这使得例如有可能抑制由聚光处理、其结果的显示以及与组合目标图像的组合引起的负荷增加。因此，有可能在不增加成本的情况下以更高的速度执行诸如聚光处理、其结果的显示和组合图像的显示之类的处理。要注意的是，复合图像显示部310自然也能够以与原始多视图图像的分辨率相同的分辨率显示虚拟拍摄的图像。即，可以将原始多视图图像用在聚光处理中，并且作为聚光处理的结果，可以获取分辨率与原始多视图图像的分辨率相同的虚拟拍摄的图像。
[0148]
《输入/输出设置部》
[0149]
与输入/输出设置部111一样，输入/输出设置部311是用于输入与输入/输出设置相关的信息的gui。通过输入/输出设置部311输入的信息被应用程序接受，用于进行输入/输出设置。图15描绘了输入/输出设置部311的示例。
[0150]
例如，输入/输出设置部311包括深度文件指定栏331a和参考按钮331b，作为用于指定包括深度数据的深度文件的gui。例如，用户等通过将文件名和地址输入到深度文件指定栏331a或者通过操作参考按钮331b来激活文件管理gui，并且使用文件管理gui指定要被输入的深度文件。
[0151]
输入/输出设置部311还包括rgb文件指定栏332a和参考按钮332b，作为用于指定包括rgb图像的rgb文件的gui。例如，用户等通过将文件名和地址输入到rgb文件指定栏332a或者通过操作参考按钮332b来激活文件管理gui，并且使用激活的文件管理gui指定要输入的rgb文件。
[0152]
要注意的是，rgb文件是与包括r、g和b像素的像素值的rgb数据对应的一般所谓的拍摄的图像(raw图像)。相反，深度图像是与rgb图像对应并且通过指派给深度值的颜色来成像的深度数据。换句话说，深度图像是以像素颜色(像素值)表示从rgb图像中的各个像素
到被摄体的距离(深度值)的图信息。
[0153]
要注意的是，rgb图像可以不是bayer阵列raw图像。此外，拍摄的图像中的色彩空间不限于任何特定的，并且可以不是rgb图像。例如，色彩空间可以是yuv、ycbcr或ypbpr图像等。此外，拍摄的图像可以不是彩色图像。例如，拍摄的图像可以是单一颜色图像，诸如单色图像或棕褐色图像。即，rgb图像可以是采取该图像形式的任何图像。
[0154]
输入/输出设置部311还包括psf文件指定栏333a和参考按钮333b，作为用于指定包括与点扩散函数相关的信息的psf(点扩散函数)文件的gui。例如，用户等通过将文件名和地址输入到psf文件指定栏333a或者通过操作参考按钮333b来激活文件管理gui，并且使用激活的文件管理gui指定要输入的psf文件。
[0155]
输入/输出设置部311还包括输出文件夹指定栏334a和参考按钮334b，作为用于指定将由其它图像组合处理得到的复合图像的文件输出到的文件夹的gui。例如，用户等通过向输出文件夹指定栏334a输入文件夹名称和地址或者通过操作参考按钮334b来激活文件管理gui，并使用激活的文件管理gui指定要向其输出复合图像文件的文件夹。输入/输出设置部311还包括向其输入帧速率的fpsx2输入栏335。
[0156]
《透镜选择部》
[0157]
再次参考图14进行描述，透镜仿真部313是与透镜仿真相关的gui。在透镜仿真部313中，透镜选择部321是与选择作为仿真的目标的透镜相关的gui。图16中描绘了透镜选择部321的示例。
[0158]
如图16中所描绘的，透镜选择部321例如包括透镜图标显示部341和处理结果保存部342。与透镜图标显示部171一样，透镜图标显示部341是用于选择作为仿真的目标的透镜的gui，并且显示与作为仿真的目标的候选的透镜对应的图标。在图16的示例中，显示透镜图标351-1至351-4。在为了解释的目的而无需将透镜图标351-1至351-4彼此区分开的情况下，它们被称为透镜图标351。
[0159]
透镜图标351-1至351-4分别类似于透镜图标181-1至181-4。如在透镜图标显示部171的情况下，当用户选择透镜图标351之一时，例如，与所选择的透镜图标351对应的透镜被选择(设置)为用于仿真的目标。即，设置与所选择的透镜图标351对应的透镜参数值。此外，利用设置的参数对透镜进行仿真，设置透镜的像差，并相应地执行聚光处理。聚光处理的结果(拍摄的图像)显示在复合图像显示部310中。
[0160]
即，当使用与选项卡101c对应的其它图像组合处理gui时，用户等也可以更容易地仿真透镜。特别地，与透镜图标351相关联的透镜参数包括用于指定像差的参数。通过选择透镜图标181，用户等可以指定相关的像差。
[0161]
此外，如上所述，透镜图标显示部341显示与作为仿真的目标的候选的透镜对应的透镜图标351。因此，通过参考透镜图标显示部341，用户等可以容易地识别仿真目标候选。
[0162]
要注意的是，透镜图标351-1至351-3是与先前提供的透镜对应的图标，即，与预先准备好透镜参数的透镜(测试透镜)对应的图标(即，预设透镜图标)。这允许用户等选择作为仿真的目标的透镜，而无需处理繁琐的任务(诸如生成透镜图标)。
[0163]
相反，透镜图标351-4是与用户等生成的透镜对应的图标，即，与用户等已设置透镜参数的透镜对应的图标(用户设置)。这使用户等能够选择具有更多不同规格的透镜作为仿真的目标。
[0164]
此外，与透镜图标显示部171的情况一样，用户等可以通过将显示在透镜图标显示部341中的透镜图标351之一拖放到复合图像显示部310中来优选地选择要聚焦的被摄体。即，可以通过使用与被拖放的透镜图标351对应的透镜参数来仿真透镜并设置其像差。然后可以以聚焦在定位于透镜图标351已被移动到的目的地处的被摄体上的方式来执行聚光处理。聚光处理的结果(拍摄的图像)可以显示在复合图像显示部310中。
[0165]
要注意的是，在透镜图标显示部341中显示的透镜图标351的数量可以是任何数量，并且图16中的示例不限于可以显示的透镜图标351的数量。
[0166]
处理结果保存部342是与处理结果保存部174相似的gui。处理结果保存部342包括图像质量选择部361、保存按钮362和焦点范围设置部363。图像质量选择部361是与图像质量选择部191相似的gui。保存按钮362是与保存按钮192相似的gui。焦点范围设置部363是与焦点范围设置部193相似的gui。
[0167]
《透镜设置部》
[0168]
再次参考图14进行描述，透镜设置部322是用于设置(定制)透镜参数的gui。通过透镜设置部322输入的信息被应用程序接受，用于透镜仿真。图17中描绘了透镜设置部322的示例。
[0169]
如图17中所描绘的，透镜设置部322包括简化透镜仿真结果显示部371、图像高度输入栏372a、图像高度设置滑动条372b、焦点位置输入栏372c和焦点位置设置滑动条372d。简化透镜仿真结果显示部371是与简化透镜仿真结果显示部201相似的gui。图像高度输入栏372a是与图像高度输入栏202a相似的gui。图像高度设置滑动条372b是与图像高度设置滑动条202b相似的gui。焦点位置输入栏372c是与焦点位置输入栏202c相似的gui。焦点位置设置滑动条372d是与焦点位置设置滑动条202d相似的gui。
[0170]
透镜设置部322还包括光圈输入栏373作为用于进行光圈相关的设置的gui。光圈输入栏373是与光圈输入栏203a相似的gui。透镜设置部322还包括焦点位置输入栏374a和用于通过旋钮位置设置焦点位置的焦点位置滑动条374b，作为进行与焦点位置相关的设置的gui。焦点位置输入栏374a是与焦点位置输入栏204a相似的gui。焦点位置滑动条374b是与焦点位置滑动条204b相似的gui。
[0171]
透镜设置部422还包括用于进行与像差相关的设置的gui。例如，透镜设置部322包括用于设置像散的gui、用于设置球面像差的gui、用于设置彗形像差的gui、用于设置畸变像差的gui以及用于设置场曲的gui，如上所述的gui。
[0172]
例如，透镜设置部322包括像散系数输入栏375a和像散系数滑动条375b，作为用于设置像散的gui。像散系数输入栏375a是与像散系数输入栏205a相似的gui。像散系数滑动条375b是与像散系数滑动条205b相似的gui。
[0173]
例如，透镜设置部322还包括球面像差系数输入栏376a和球面像差系数滑动条376b，作为用于设置球面像差的gui。球面像差系数输入栏376a是与球面像差系数输入栏206a相似的gui。球面像差系数滑动条376b是与球面像差系数滑动条206b相似的gui。
[0174]
例如，透镜设置部322还包括彗形像差系数输入栏377a和彗形像差系数滑动条377b，作为用于设置彗形像差的gui。彗形像差系数输入栏377a是与彗形像差系数输入栏207a相似的gui。彗形像差系数滑动条377b是与彗形像差系数滑动条207b相似的gui。
[0175]
例如，透镜设置部322还包括畸变像差系数输入栏378a和畸变像差系数滑动条
378b，作为用于设置畸变像差的gui。畸变像差系数输入栏378a是与畸变像差系数输入栏208a相似的gui。畸变像差系数滑动条378b是与畸变像差系数滑动条208b相似的gui。
[0176]
例如，透镜设置部322还包括场曲系数输入栏379a和场曲系数滑动条379b，作为用于设置场曲的gui。场曲系数输入栏379a是与场曲系数输入栏209a相似的gui。场曲系数滑动条209b是与场曲系数滑动条209b相似的gui。
[0177]
透镜设置部322还包括负载按钮380和导出按钮381。负载按钮380是与负载按钮210相似的gui。导出按钮381是与导出按钮211相似的gui。
[0178]
《其它图像组合作品》
[0179]
如上所述，用户等可以执行将组合目标图像与复合图像显示部310中显示的拍摄的图像进行组合的工作(该工作也被称为其它图像组合工作)。例如，优选地在对拍摄的图像进行深度处理之后执行其它图像组合工作。
[0180]
例如，用户等在拖放操作中确定要组合的组合目标图像(例如，cg(计算机图形)图像)在x和y坐标中的位置。在被拖动的同时，显示作为整体的组合目标图像。当被放下时，组合目标图像以反映拍摄的图像的遮挡的方式显示。例如，在组合目标图像310a如图18的子图a中所描绘的那样在前景中的情况下，组合目标图像310a优先于拍摄的图像被显示(即，拍摄的图像被显示为使得与组合目标图像310a重叠的拍摄的图像的部分看起来隐藏在组合目标图像310a后面)。在组合目标图像310a如图18中的子图b中所描绘的那样在背景中的情况下，所拍摄的图像优先于组合目标图像310a被显示(即，所拍摄的图像被显示为使得组合目标图像310a的与拍摄的图像重叠的部分看起来隐藏在拍摄的图像后面)。
[0181]
在选择组合目标图像的同时，用户等通过例如操作鼠标滚轮来确定组合目标图像的深度位置。可以根据深度位置控制组合目标图像的尺寸。此外，组合被摄体图像的种类不受限制，并且可以是cg图像或拍摄的图像。另外，要与拍摄的图像组合的组合目标图像的数量可以是任何数量。此外，还可以在复合空间中执行透镜仿真。
[0182]
《2.第一实施例》
[0183]
《计算机》
[0184]
接下来解释用于执行上述应用程序的设备。图19描绘了实施对其应用本技术的图像处理装置的计算机的主要配置示例。图19中所示的计算机500是执行安装在其中的应用程序(软件)以通过使用多视图图像来执行上述透镜仿真和其它图像组合处理的装置。在这种情况下的计算机的变体包括一个内置专用硬件和通用个人计算机或能够根据安装在其中的各种程序执行各种功能的类似装备。在执行应用程序时，计算机500通过使用上面“1.透镜仿真”段落中讨论的gui(在显像画面100上)来接受用于仿真的目标的透镜的选择。计算机500生成像差表，作为包括从所选择的透镜的像差导出的会聚光线向量的表，并使用该像差表来执行聚光处理，其中生成通过所选择的透镜拍摄的被摄体的拍摄的图像。以这种方式，要由用户执行的设置像差相关的参数的工作或多或少地减少为透镜选择的工作。透镜仿真因此更容易执行。
[0185]
要注意的是，图19中描绘的主要处理部和主要数据流并非详尽无遗。即，计算机500还可以包括在图19中未示出为框的处理部以及在图中未由箭头指示的处理和数据流。
[0186]
在图19中，计算机500具有经由总线504互连的cpu(中央处理单元)501、rom(只读存储器)502和ram(随机存取存储器)503。
[0187]
总线504还与输入/输出接口510连接。输入/输出接口510与输入部511、输出部512、存储部513、通信部514和驱动器515连接。
[0188]
例如，输入部511包括键盘、鼠标、麦克风、触摸面板和输入端子。例如，输出部512包括显示单元、扬声器和输出端子。例如，存储部513包括硬盘、ram盘和非易失性存储器。例如，通信部514包括网络接口。驱动器515驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动记录介质521。
[0189]
在如上所述配置的计算机500中，cpu 501例如通过经由输入/输出接口510和总线504将存储在存储部513中的应用程序加载到ram 503中、并通过执行加载的应用程序，执行上面提到的一系列处理。根据需要，ram 503还可以存储cpu 501执行各种处理所需的数据。
[0190]
要由计算机500执行的应用程序在使用之前可以作为封装介质记录在例如可移动记录介质521上。在那种情况下，可以将携带应用程序的合适的可移动记录介质521附接到驱动器515，应用程序经由输入/输出接口510从附接的介质被安装到存储部513中。
[0191]
应用程序也可以经由诸如局域网、互联网、数字卫星广播之类的有线或无线传输介质提供。在那种情况下，应用程序在被安装到存储部513中之前可以由通信部514接收。
[0192]
作为另一种替代方案，应用程序可以预先安装在rom 502或存储部513中。
[0193]
图20是将由计算机500执行应用程序所实现的功能描述为功能框的功能框图。如图20中所描绘的，计算机500可以拥有诸如仿真处理部531、组合处理部532、gui处理部533、图像生成部534和输出文件生成部535之类的功能框。下面解释这些功能框中的每一个。
[0194]
《仿真处理部》
[0195]
例如，仿真处理部531通过使用图7中所示的显像画面100来执行与透镜仿真相关的处理。例如，仿真处理部531可以包括诸如输入/输出设置部541、深度估计部542、光线插值部543、像差表生成部544和聚光处理部545之类的功能框。
[0196]
输入/输出设置部541例如使用诸如输入/输出设置部111和311之类的gui执行与输入/输出设置相关的处理。例如，当用户等通过诸如输入/输出设置部111或311之类的gui操作输入部511时，输入/输出设置部541基于由输入部511接受的操作来执行处理。例如，当输入部511从用户等接受文件输入指令和指定输入文件的操作时，输入/输出设置部541可以执行加载与指定文件等相关的信息的处理。作为另一个示例，当输入部511从用户等处接受文件输出指令和指定输出文件夹的操作时，输入/输出设置部541可以在指定的输出文件夹中生成文件。例如，输入/输出设置部541可以在深度估计之前进行这些输入/输出设置。
[0197]
例如，深度估计部542使用诸如深度估计部112之类的gui来执行与深度估计相关的处理。例如，当用户等通过诸如深度估计部112之类的gui操作输入部511时，深度估计部542基于由输入部511接受的操作来执行处理。例如，当输入部511从用户等处接受指定参数的操作时，深度估计部542可以通过使用指定的参数估计来自多视图图像的被摄体的深度来生成深度数据(或深度图)。例如，深度估计部542可以在光线插值之前执行深度估计。
[0198]
光线插值部543通过使用多视图图像和深度数据来执行光线插值。光线插值涉及通过经由插值处理生成构成拍摄的图像中包括的视点图像之间的视点的那些视点图像来增加用于生成虚拟拍摄的图像的视点图像的数量。随着视点图像的数量如此增加，从包括通过插值处理生成的视点图像在内的更多视点图像生成虚拟图像。这使得有可能生成具有更高分辨率的虚拟拍摄的图像。但是，在不生成高分辨率的虚拟拍摄的图像的情况下，光线
插值部543的处理是不必要的。例如，光线插值部543可以在生成像差表之前执行光线插值处理。
[0199]
像差表生成部544例如使用显像画面100上的诸如透镜选择部121和透镜设置部122之类的gui执行与像差表的生成相关的处理。例如，当用户等通过诸如透镜选择部121和透镜设置部122之类的gui操作输入部511时，像差表生成部544基于由输入部511接受的操作执行处理。例如，当用户等通过透镜选择部121选择作为仿真的目标的透镜或通过诸如透镜设置部122之类的gui定制透镜参数时，在操作被输入部511接受的情况下，像差表生成部544可以通过使用所选择的透镜的参数或定制的透镜参数来生成像差表作为包括从五个像差导出的会聚光线向量的表。
[0200]
聚光处理部545可以使用像差表和多视图图像并执行聚光处理，以便生成通过所选择的透镜拍摄的被摄体的拍摄的图像(虚拟拍摄的图像)。要注意的是，聚光处理部545可以通过使用具有期望的分辨率的多视图图像来执行聚光处理。例如，聚光处理部545可以通过使用分辨率低于通过实际图像拍摄获得的原始多视图图像的分辨率的多视图图像来执行聚光处理，从而生成其分辨率低于原始多视图图像的分辨率的虚拟拍摄的图像。
[0201]
可替代地，在通过深度估计最终确定深度图之后，在启用透镜仿真部113并且接受所选择的透镜的情况下，光线插值部543可以执行光线插值并保持经插值的光线信息。这使得有可能清楚地区分重负载的光线插值处理与深度估计处理。此外，在选择透镜时执行光线插值且其后改变一些透镜参数的情况下，可以通过简单地生成像差表或执行聚光处理来获得虚拟拍摄的图像。即，能够以更高的速度获取虚拟拍摄的图像(聚光处理的结果)。
[0202]
《其它图像组合处理部》
[0203]
其它图像组合处理部532使用例如图14中所描绘的显像画面100(用于与选项卡101c对应的其它图像组合处理的gui)执行与其它图像组合处理相关的处理。当用户等通过gui对输入部511进行操作时，其它图像组合处理部532根据由输入部511接受的操作通过将组合目标图像与通过聚光处理生成的虚拟拍摄的图像进行组合来生成复合图像。
[0204]
《gui处理部》
[0205]
gui处理部533执行与显示在输出部512中(例如，在其监视器上)的gui相关的处理。例如，gui处理部533可以为图像生成部534生成诸如gui之类的显示图像。而且，当通过所显示的gui操作输入部511时，gui处理部533可以根据由输入部511接受的操作控制仿真处理部531、其它图像组合处理部532和图像生成部534以执行与接受的操作对应的处理。另外，例如，gui处理部533可以获得通过所显示的gui输入到输入部511的信息，并将获取的信息供应给仿真处理部531、其它图像组合处理部532和图像生成部534。即，gui处理部533可以控制如何接受输入信息以及如何执行图像显示。
[0206]
《图像生成部》
[0207]
图像生成部534执行与生成显示图像(例如，显像画面100)相关的处理。例如，图像生成部534在gui处理部503的控制下生成显示图像。此时，图像生成部534例如可以通过使用从gui处理部503等供应的信息来生成显示图像。图像生成部534例如可以使显像画面100反映诸如输入到输入部511的文件名和路径之类的信息(即，生成包括文件名和路径的显像画面100)。图像生成部534也可以使显像画面100反映例如由聚光处理部545生成的虚拟拍摄的图像或由其它图像组合处理部532生成的复合图像(即，生成包括虚拟拍摄的图像或复
合图像的显像画面100)。图像生成部534还可以将生成的显示图像供应给输出部512(例如，供应给其监视器)以供显示。
[0208]
《输出文件生成部》
[0209]
输出文件生成部535执行与生成输出文件相关的处理。例如，输出文件生成部535可以生成输出文件，向其输出由聚光处理部545生成的虚拟拍摄的图像或由其它图像组合处理部532生成的复合图像。输出文件生成部535可以将生成的输出文件供应给存储部513进行存储，使通信部514将输出文件传输到另一个装置，或者使驱动器415将输出文件记录到可移动记录介质521。即，输出文件生成部535可以控制输出文件(例如，虚拟拍摄的图像或复合图像)的输出(例如，存储、传输或记录)。例如，输出文件生成部535能够以比仿真时更高的分辨率(例如，与原始多视图图像的分辨率相同的分辨率)输出(例如，存储、传输或记录)虚拟拍摄的图像或复合图像。显然，输出文件生成部535也能够以仿真时的分辨率输出(例如，存储、传输或记录)虚拟拍摄图像或复合图像。即，输出文件生成部535可以控制输出时的虚拟拍摄的图像的分辨率或复合图像的分辨率。
[0210]
通过执行应用程序来实现由上述功能块指示的功能，计算机500可以例如执行“1.透镜仿真”段落中讨论的处理，从而提供其中提到的有利效果。
[0211]
《透镜仿真处理的流程》
[0212]
接下来参考图21和22中的流程图解释由上述执行应用程序的计算机500执行的透镜仿真处理的示例性流程。
[0213]
当开始透镜仿真处理时，gui处理部533在图21的步骤s501中使监视器显示gui(显像画面100)，从而开始接受输入。
[0214]
例如，在步骤s502中，输入/输出设置部541参考通过显像画面100上的输入/输出设置部111输入到输入部511等的信息进行输入/输出设置。
[0215]
在步骤s503中，例如，深度估计部542基于在步骤s502中进行的输入/输出设置的结果以及通过显像画面100上深度估计部112输入到输入部511的信息通过执行深度估计来生成深度数据。
[0216]
在步骤s504中，gui处理部533例如确定是否在显像画面100上的透镜选择部121中选择了任何透镜图标181。在确定选择了任何透镜图标181的情况下，控制转移到步骤s505。
[0217]
在步骤s505中，例如，光线插值部543通过使用在步骤s502中进行的输入/输出设置的结果、在步骤s503中生成的深度数据以及与在步骤s504中选择的透镜图标181对应的透镜的参数来执行光线插值。在步骤s505中的处理完成后，控制转移到步骤s507。
[0218]
可替代地，在确定步骤s504中没有选择透镜图标181的情况下，控制转移到步骤s506。例如，在步骤s506中，gui处理部533确定是否在显像画面100上的透镜设置部122中改变了任何参数。在确定要改变任何参数的情况下，控制转移到步骤s507。
[0219]
在步骤s507中，像差表生成部544通过使用设置的参数(选择透镜的参数，或定制的参数)来生成像差表。
[0220]
在步骤s508中，聚光处理部545通过使用在步骤s507中生成的像差表执行聚光处理，并生成通过所选择的透镜拍摄的虚拟拍摄的图像。
[0221]
在步骤s509中，图像生成部534通过使用虚拟拍摄的图像生成显示图像。在步骤s510中，图像生成部534使输出部512的监视器显示显示图像。在步骤s510中的处理完成后，
控制转移到图22中的步骤。
[0222]
可替代地，在步骤s506中确定没有改变参数的情况下，控制转移到图22中的步骤。
[0223]
在图22的步骤s521中，输出文件生成部535确定是否输出数据。在确定要输出数据的情况下，控制转移到步骤s522。在步骤s522中，输出文件生成部535生成输出数据。在步骤s523中，输出文件生成部535输出输出数据。例如，输出文件生成部535可以将生成的输出数据存储到存储部513中，使通信部514将输出数据传输到另一个装置，或者使驱动器515将输出数据记录到可移动记录介质521中。在步骤s523中的处理完成后，控制转移到步骤s524。可替代地，在步骤s521中确定不输出数据的情况下，控制转移到步骤s524。
[0224]
在步骤s524中，gui处理部533确定是否终止透镜仿真处理。在确定不终止透镜仿真处理的情况下，控制返回到图21中的步骤s502，并且重复后续步骤。当在图22的步骤s524中确定要终止透镜仿真处理的情况下，结束透镜仿真处理。
[0225]
当如上所述进行处理时，用户等可以更容易地执行透镜仿真。
[0226]
《其它图像组合处理的流程》
[0227]
接下来参考图23中的流程图解释由上述执行应用程序的计算机500实现的其它图像组合处理的示例性流程。当开始其它图像组合处理时，步骤s551至s554的处理以与透镜仿真处理(图20)中的步骤s501至s503和步骤s505的处理相似的方式被执行。
[0228]
在步骤s555中，其它图像组合处理部532设置组合目标图像的位置。在步骤s556中，其它图像组合处理部532通过组合组合目标图像与虚拟拍摄的图像来生成复合图像。在步骤s557中，图像生成部534通过使用复合图像来生成显示图像并且使输出部512的监视器显示所生成的显示图像。
[0229]
而且，以与图22中的步骤s521至s524的处理相似的方式对复合图像执行步骤s558至s561的处理。当在步骤s561中确定要终止其它图像组合处理的情况下，结束其它图像组合处理。
[0230]
当如上所述执行处理时，用户等可以更容易地执行图像组合。
[0231]
《3.附加说明》
[0232]
《硬件》
[0233]
以上解释的一系列处理可以或者通过软件(应用)或者通过硬件来执行。
[0234]
《本技术的适用目标》
[0235]
本技术适用于期望的配置。例如，本技术可以作为诸如系统lsi(大规模集成)等形式的处理器、使用多个处理器等的模块、使用多个模块等的单元或附加其它功能的单元集之类的装置的一部分来实现。
[0236]
例如，本技术还可以应用于包括多个装置的网络系统。例如，本技术可以被实现为云计算设置，其中由多个装置经由网络在共享的基础上执行处理。例如，本技术可以在向诸如计算机、移动信息处理终端或iot(物联网)设备之类的期望终端提供服务的云服务设置中实现。
[0237]
顺便提及，在本描述中，术语“系统”是指多个组件(例如，设备或模块(部分))的聚合。是否所有组件都安装在同一个外壳中并不重要。因此，系统可以被配置为具有容纳在单独的外壳中并经由网络互连的多个装置，或者具有在容纳多个模块的单个外壳中的单个装置。
[0238]
《本技术的适用领域和用途》
[0239]
对其应用本技术的系统、装置、处理部等可以被用于任何类型的领域中的任何期望的目的，诸如例如，运输、医疗保健、犯罪预防、农业、畜牧业、采矿、美容护理、工厂、家用电器、气候和自然监测。
[0240]
《其它》
[0241]
本技术不限于上面讨论的实施例，并且能够以各种变化实现，只要它们在本技术的范围内即可。
[0242]
例如，在前述段落中解释为一个装置(或处理部)的任何配置都可以被划分为多个装置(或处理部)。相反，以上解释为多个装置(或处理部)的配置可以统一为一个装置(或处理部)。而且，各个装置(或处理部)的配置显然可以补充有上面讨论的配置以外的一个或多个配置。另外，装置(或处理部)的配置的一部分可以被包括在另一个装置(或处理部)的配置中，条件是配置和工作对于整个系统来说基本保持相同。
[0243]
另外，例如，上述程序可以由任何装置执行。在这种情况下，该装置只需要被布置为拥有必要的功能(例如，功能块)并获得必要的信息。
[0244]
而且，例如，一个流程图中的各个步骤可以由单个装置或由多个装置在共享的基础上执行。另外，在单个步骤包括多个处理的情况下，这些处理可以或者由单个装置或者由多个装置在共享的基础上执行。换句话说，可以将包括在单个步骤中的多个处理作为多个步骤的处理来执行。相反，被解释为包括多个步骤的过程可以作为单个步骤来执行。
[0245]
包括用于由计算机执行的步骤的处理的程序可以以如下方式执行，即，描述程序的步骤的处理例如按时间顺序(即，按照本说明书中解释的顺序)执行，与其它程序并行执行，或者以其它适当的定时方式(诸如在根据需要调用程序时)执行。即，只要步骤之间没有冲突，上述步骤的处理就可以按照与上述顺序不同的顺序执行。另外，描述程序的步骤的处理可以与其它程序的处理并行或结合执行。
[0246]
此外，例如，与本技术相关的多种技术可以各自独立地实现，只要它们之间没有不一致即可。显然，可以组合实现任何数量的这些技术。例如，结合一个实施例讨论的一些或所有技术可以结合在另一个实施例中解释的一些或所有技术来实现。另外，上面讨论的任何技术中的一些或全部可以结合上面未描述的另一种技术来实现。
[0247]
要注意的是，本公开还能够以下面的配置来实现。
[0248]
(1)一种图像处理装置，包括：
[0249]
像差表生成部，被配置为生成像差表，作为包括从通过用户界面选择的并作为仿真目标的透镜的像差导出的会聚光线向量的表；以及
[0250]
聚光处理部，被配置为通过使用像差表和多视图图像执行生成通过所选择的透镜拍摄的被摄体的虚拟拍摄的图像的聚光处理。
[0251]
(2)如上述段落(1)所述的图像处理装置，还包括：
[0252]
显示控制部，被配置为在显示部上显示用户界面，
[0253]
其中用户界面包括各自与作为仿真的目标的候选的透镜对应的图标，以及
[0254]
像差表生成部通过使用透镜参数来生成像差表，该透镜参数对应于通过用户界面选择的图标当中的相应的一个。
[0255]
(3)如上述段落(2)所述的图像处理装置，其中用户界面包括与预先设置了透镜参
数的透镜对应的图标作为图标。
[0256]
(4)如上述段落(2)所述的图像处理装置，其中用户界面包括与用户已设置透镜参数的透镜对应的图标作为图标。
[0257]
(5)如上述段落(2)所述的图像处理装置，其中用户界面还包括通过聚光处理生成的虚拟拍摄的图像。
[0258]
(6)如上述段落(5)所述的图像处理装置，其中聚光处理部响应于通过用户界面对所选择的图标的拖放操作而执行聚光处理从而使得生成虚拟拍摄的图像，该虚拟拍摄的图像中图标被放到的位置被聚焦。
[0259]
(7)如上述段落(5)所述的图像处理装置，其中聚光处理部通过使用分辨率降低的多视图图像执行聚光处理从而使得生成虚拟拍摄的图像，该虚拟拍摄的图像的分辨率低于要降低分辨率的多视图图像的分辨率，以及
[0260]
用户界面还包括由聚光处理生成并且其分辨率低于要降低分辨率的多视图图像的分辨率的虚拟拍摄的图像。
[0261]
(8)如上述段落(7)所述的图像处理装置，还包括：
[0262]
存储控制部，被配置为以比将虚拟拍摄的图像显示为用户界面时的分辨率高的分辨率将虚拟拍摄的图像存储到存储介质上。
[0263]
(9)如上述段落(2)所述的图像处理装置，其中用户界面包括用于更新与所选择的图标对应的透镜参数的用户界面，以及
[0264]
像差表生成部通过使用通过用户界面更新的透镜参数来生成像差表。
[0265]
(10)如上述段落(2)所述的图像处理装置，其中用户界面包括表示聚光处理的结果并且将点光源作为其被摄体的虚拟拍摄的图像。
[0266]
(11)根据上述段落(2)所述的图像处理装置，其中用户界面至少包括用于进行与光圈相关的设置的用户界面或者用于进行与焦点位置相关的设置的用户界面。
[0267]
(12)如上述(2)所述的图像处理装置，其中用户界面包括用于进行与像差相关的设置的用户界面。
[0268]
(13)如上述段落(1)所述的图像处理装置，还包括：
[0269]
光线插值部，被配置为在选择作为仿真的目标的透镜之后执行光线插值。
[0270]
(14)如上述段落(13)所述的图像处理装置，还包括：
[0271]
深度估计部，被配置为在执行光线插值之前执行深度估计。
[0272]
(15)如上述段落(14)所述的图像处理装置，其中用户界面包括用于进行与深度估计相关的设置的用户界面，以及
[0273]
深度估计部根据通过用户界面进行的关于深度估计的设置来执行深度估计。
[0274]
(16)如上述段落(14)所述的图像处理装置，还包括：
[0275]
输入/输出设置部，被配置为在执行深度估计之前进行输入/输出设置。
[0276]
(17)如上述段落(16)所述的图像处理装置，其中用户界面包括用于输入与输入/输出设置相关的信息的用户界面，以及
[0277]
输入/输出设置部参考通过用户界面输入的关于输入/输出设置的信息进行输入/输出设置。
[0278]
(18)如上述段落(1)所述的图像处理装置，还包括：
[0279]
其它图像组合处理部，被配置为将虚拟拍摄的图像与组合目标图像组合。
[0280]
(19)一种图像处理方法，包括：
[0281]
生成像差表，作为包括从通过用户界面选择的并作为仿真目标的透镜的像差导出的会聚光线向量的表；以及
[0282]
通过使用像差表和多视图图像执行生成通过所选择的透镜拍摄的被摄体的虚拟拍摄的图像的聚光处理。
[0283]
(20)一种程序，用于使计算机用作：
[0284]
像差表生成部，被配置为生成像差表，作为包括从通过用户界面选择的并作为仿真目标的透镜的像差导出的会聚光线向量的表；以及
[0285]
聚光处理部，被配置为通过使用像差表和多视图图像执行生成通过所选择的透镜拍摄的被摄体的虚拟拍摄的图像的聚光处理。
[0286]
[附图标记列表]
[0287]
10：相机
[0288]
100：显像画面
[0289]
101：选项卡显示部
[0290]
102：gui显示部
[0291]
110：拍摄图像显示部
[0292]
111：输入/输出设置部
[0293]
112：深度估计部
[0294]
113：透镜仿真部
[0295]
121：透镜选择部
[0296]
122：透镜设置部
[0297]
171：透镜图标显示部
[0298]
172：添加按钮
[0299]
173：删除按钮
[0300]
174：处理结果保存部
[0301]
181：透镜图标
[0302]
310：复合图像显示部
[0303]
311：输入/输出设置部
[0304]
313：透镜仿真部
[0305]
321：透镜选择部
[0306]
322：透镜设置部
[0307]
500：计算机
[0308]
531：仿真处理部
[0309]
532：其它图像组合处理部
[0310]
533：gui处理部
[0311]
534：图像生成部
[0312]
535：输出文件生成部
[0313]
541：输入设置部
[0314]
542：深度估计部
[0315]
543：光线插值部
[0316]
544：像差表生成部
[0317]
545：聚光处理部