信息处理设备、信息处理方法和存储介质与流程

1.本发明涉及信息处理设备、信息处理方法和存储介质。


背景技术：

2.已知一种被称为沙姆原理(scheimpflug principle)的技术，其通过使摄像面进行旋转(进行倾斜控制)来调整焦平面，从而使摄像面朝向与用于拍摄被摄体的图像的摄像系统的光轴垂直的平面倾斜，进而改变拍摄场景的景深。根据该技术，减少景深将使得能够获得使除主被摄体之外的部分模糊的图像，并且在不缩小光圈的情况下增加景深将使得能够在抑制由于光量不足而引起的被摄体的噪声或模糊的同时获得在整个摄像区域上具有清晰焦点的图像。
3.日本专利特开2008-205569公开了通过在聚焦于主被摄体时进行倾斜控制来拍摄使除主被摄体之外的部分模糊的肖像的摄像设备。此外，日本专利特开2018-056810公开如下的技术：通过采用使摄像面绕任意点作为旋转进行轴旋转的配置，使摄像面绕倾斜控制中所指定的聚焦点进行旋转。


技术实现要素：

4.根据本发明的一个实施例，一种信息处理设备，包括：控制部件，用于进行倾斜控制并且进行焦点控制，所述倾斜控制用于使摄像元件相对于与摄像光学系统的光轴垂直的平面绕旋转轴倾斜，所述焦点控制用于在所述光轴的方向上移动调焦透镜；设置部件，用于在摄像单元所获得的拍摄图像中设置对象区域；以及确定部件，用于基于与所述图像中的旋转轴的位置相对应的位置以及所述图像中的对象区域的位置来确定所述调焦透镜的位置的校正量，其特征在于，所述控制部件基于所述校正量来移动所述调焦透镜。
5.根据本发明的另一实施例，一种信息处理方法，包括：进行倾斜控制并且进行焦点控制，所述倾斜控制用于使摄像元件相对于与摄像光学系统的光轴垂直的平面绕旋转轴倾斜，所述焦点控制用于在所述光轴的方向上移动调焦透镜；在摄像单元所获得的拍摄图像中设置对象区域；以及基于与所述图像中的旋转轴的位置相对应的位置以及所述图像中的对象区域的位置来确定所述调焦透镜的位置的校正量，其特征在于，基于所述校正量来移动所述调焦透镜。
6.一种存储有程序的非暂时性计算机可读存储介质，所述程序在由计算机执行时使得所述计算机进行上述的信息处理方法。
7.通过以下(参考附图)对示例性实施例的描述，本发明的进一步特征将变得清楚。
附图说明
8.图1是示出根据第一实施例的信息处理设备的功能配置的示例的框图；
9.图2a和2b是各自示出根据第一实施例的倾斜控制中的焦点位置校正的示例的图；
10.图3a至3c是各自示出根据第一实施例的倾斜控制中的焦点位置校正的示例的图；
11.图4是用于说明根据第一实施例的焦点位置校正量的计算的图；
12.图5是示出根据第一实施例的倾斜角和焦点校正量之间的关系的示例的图；
13.图6是根据第一实施例的信息处理方法的处理示例的流程图；
14.图7是根据第一实施例的倾斜控制的处理示例的流程图；
15.图8是根据第一实施例的包括焦点校正的处理示例的流程图；
16.图9是示出根据第二实施例的倾斜角和焦点校正量之间的关系的示例的图；
17.图10是根据第二实施例的包括焦点校正的处理示例的流程图；
18.图11是示出根据第三实施例的计算机的功能配置的框图；
19.图12是示出根据第三实施例的出现两个被摄体的拍摄图像的示例的图；以及
20.图13是根据第三实施例的信息处理方法的处理示例的流程图。
具体实施方式
21.在日本专利特开2008-205569中所公开的技术中，由于倾斜控制的旋转轴是固定的，并且对摄像元件的中心线上的被摄体进行焦点调整，因此在被摄体不存在于中心线上的情况下，焦点将改变并且变得模糊。另一方面，在日本专利特开2018-056810中所公开的技术中，可以聚焦于指定的焦点上，但是需要复杂的硬件配置来驱动作为旋转轴的任意点。
22.本发明的实施例可以使用简单的硬件配置来在维持聚焦于摄像区域中的任意区域的同时进行倾斜控制。
23.在后文中，将参考附图详细描述实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但是不对发明进行要求所有这些特征的限制，并且可以适当地组合多个这样的特征。此外，在附图中，对相同或类似的配置给出相同的附图标记，并且省略了对其的冗余描述。
24.[第一实施例]
[0025]
根据第一实施例的信息处理设备包括摄像元件和摄像光学系统。另外，根据本实施例的信息处理设备在摄像单元所拍摄到的图像中设置对象区域，并且根据倾斜控制通过计算对象区域的焦点位置的校正量来校正焦点位置，该倾斜控制是为了改变摄像元件和摄像光学系统之间的相对姿态而进行的。
[0026]
图1示出根据实施例的信息处理设备的功能配置的示例。根据本实施例的信息处理设备100的摄像光学系统通过使用与一般的摄像光学系统相同的处理来形成被摄体图像。因此，将省略各个处理的详细描述。信息处理设备100包括沿光轴方向移动以改变焦距的变焦透镜101、沿光轴方向移动以调整焦点位置的调焦透镜102以及用于调整光量的光圈部103。通过摄像光学系统的光经由带通滤波器(bpf)104和滤色器105在摄像元件106上形成作为光学图像的被摄体图像。bpf 104可以沿着摄像光学系统的光路移动。
[0027]
摄像元件106对被摄体图像进行光电转换。在从摄像元件106输出的模拟电信号(摄像信号)经过agc 107所进行的增益调整、并且由ad转换器108转换为数字信号之后，将转换后的信号输入到信号处理单元109。信号处理单元109对输入的数字信号执行各种图像处理以生成图像信号。接下来，信号处理单元109经由通信单元110将图像信号输出到通过有线或无线通信连接到信息处理设备100的监视装置111。监视装置111向信息处理设备100中的区域设置单元112、倾斜控制单元114或焦点控制单元117输出诸如命令等的控制信号，
以使各个处理单元进行(稍后描述的)处理。
[0028]
区域设置单元112基于来自通信单元110的指令在摄像元件上的被摄体图像中设置要设置聚焦于的对象区域。对象区域是由一个或多个像素形成的区域，并且例如可以将要设置成对焦的期望被摄体出现的区域设置为对象区域。稍后将参考图6的流程图描述对象区域的设置的细节。评价值计算单元113从ad转换器108或信号处理单元109获得对象区域的rgb像素值或亮度值。接下来，评价值计算单元113计算使用自动聚焦(af)控制的焦点评价值。在本实施例中，将假设焦点评价值是与特定频率的对比度相关的评价值。然而，本发明不特别限于此，并且焦点评价值可以是例如指示由于相位差等引起的距离信息的值。
[0029]
倾斜控制单元114基于来自通信单元110的指令向倾斜驱动单元115指示倾斜控制的目标位置。在本实施例中，倾斜控制的目标位置由相对于摄像元件106或摄像光学系统的基本姿态的旋转角表示。此外，假设倾斜角是指从摄像元件106的基本姿态进行到给定姿态的倾斜控制的控制量(旋转角)。在本实施例中，在以下描述中将假设摄像光学系统的主平面的基本姿态与摄像元件106的基本姿态平行。
[0030]
根据本实施例的倾斜控制是通过使摄像面相对于与进行被摄体的摄像的光轴垂直的平面发生倾斜来使设置成聚集的焦平面发生倾斜的控制。在本实施例中，通过旋转摄像元件106或摄像光学系统来进行倾斜控制，从而使得能够设置成聚集于地面上或者诸如建筑物等的平面上的整个被摄体上。例如，由用户操作诸如按钮或拨盘等的输入装置来进行倾斜控制。
[0031]
倾斜驱动单元115将基于从倾斜控制单元114指示的目标位置来使摄像元件106或摄像光学系统倾斜。假设倾斜驱动单元115将使摄像元件106倾斜，并且该操作将在后文中简称为“倾斜控制”。另外，在本实施例中，将假设倾斜驱动单元115将通过使用如(稍后描述的)图2或3所示的摄像元件106的中心处的中心轴作为旋转轴来执行控制。然而，旋转轴不限于该位置。注意，在该示例中，将假设摄像元件的中心轴是连接摄像元件的两个短边的中点的轴。注意，在以下描述中，假设将在相对于基本姿态在-90
°
到 90
°
的范围内进行倾斜控制。
[0032]
注意，尽管在本实施例中将描述通过如上所述旋转摄像元件106来进行倾斜控制，但是也可以通过旋转摄像光学系统来进行倾斜控制。在这种情况下，摄像元件106和摄像光学系统的位置和姿态之间的关系将与如下的情况相同：摄像元件106已经在与摄像光学系统的旋转方向相反的方向上绕摄像光学系统的旋转轴作为旋转中心旋转了相同的旋转宽度。因此，也将以与该情况相同的方式通过使用下面所描述的方法来计算焦点校正值。
[0033]
在要进行倾斜控制的情况下，校正量计算单元116将确定要由焦点控制单元117进行的焦点校正的校正量(焦点校正量)。根据本实施例的焦点校正量是根据倾斜控制在区域设置单元112所设置的对象区域中为了维持聚焦而进行的焦点校正中所使用的校正量。尽管在本文中将基于倾斜控制的控制量来计算焦点校正量，但稍后将参考图4给出其详细描述。焦点控制单元117基于所计算出的焦点校正量或来自通信单元110的指令向焦点驱动单元118指定焦点位置。焦点驱动单元118基于焦点控制单元117所指示的焦点位置来控制调焦透镜102的位置。另外，在用户已指示停止倾斜控制的情况下，校正量计算单元116可以通过将与停止指令相对应的位置(摄像元件停止的时间点的姿态)设置为目标位置来重新计算校正量。
[0034]
[倾斜控制]
[0035]
在后文中将参考图2a和2b以及图3a至3c描述与根据本实施例的信息处理设备所进行的倾斜控制相对应的焦点位置校正。图2a是示出聚焦于光轴上的被摄体上的点a的倾斜控制之前的状态的示例的示意图。在图2a的示例中，已经调整了焦点，使得焦点将在到点a的被摄体距离l上。另外，由于光学系统的主平面和摄像元件平行配置，因此光学系统的平面和摄像元件将与焦平面平行。另外，点a存在于焦平面(稍后描述)的旋转轴上。注意，“设置成聚集”是指在根据摄像光学系统的容许弥散圆(permissible circle of confusion)的设置所确定的景深的范围内拍摄被摄体。尽管在本实施例中将基本上由af进行焦点调整，但是由于其是众所周知的处理，因此将省略对其的描述。
[0036]
图2b是示出绕摄像元件的中心轴作为旋转轴的倾斜控制之后的状态的示例的示意图。当进行倾斜控制时，焦平面也基于沙姆原理而旋转。因此，进行倾斜控制将使得能够设置成聚集于给定平面上的被摄体的从近距离到远距离的整个范围上。注意，此时，焦平面将绕与倾斜旋转轴(摄像元件的旋转轴)相对应的位置作为轴来旋转。在本实施例中，与焦平面的倾斜旋转轴相对应的轴是焦平面上的设置在与摄像元件的倾斜旋转轴上的被摄体图像相对应的位置处的线。在图2b中，通过倾斜控制旋转焦平面，使得焦平面将与该平面上的被摄体的整个表面一致。尽管由于沙姆原理是已知原理，因此将省略详细描述，但其是如下原理：当光学系统的主平面和摄像元件的摄像面在给定单线上相交时，焦平面将在与该线相同的线上相交。假设f是焦距，l是被摄体距离，以及α是俯角，倾斜角b将基于沙姆原理如下表示。
[0037][0038]
注意，在要在与图2a和2b所示的示例中的方向相反的方向上进行倾斜控制的情况下，由于焦平面也将在相反方向上旋转，因此景深将变浅。因此，将可能使除被摄体上的点a以外的点更加模糊。
[0039]
图3a是示出设置成聚焦于被摄体上的不在光轴上的点b的倾斜控制之前的状态的另一示例的示意图。在图3a的示例中，调整焦点使得将设置成聚焦于到点b的被摄体距离l。另外，由于摄像光学系统的主平面和摄像元件平行配置，因此摄像光学系统的平面和摄像元件与焦平面平行。另外，与倾斜控制相对应的焦平面的旋转轴通过图2a和2b的点a，并且点b落在旋转轴之外。由于在以与图2a和2b的示例相同的方式进行倾斜控制的情况下焦平面将绕与摄像元件106的旋转轴相对应的位置作为旋转轴来旋转，因此被摄体的不在焦平面的旋转轴上的点b将由于落在焦平面之外而模糊。
[0040]
图3b是示出以与图2b相同的方式进行了倾斜控制之后的状态的示例的示意图。如上所述，在本示例中点b失焦，并且优选执行焦点校正以防止该点b的模糊。图3c是由根据本实施例的信息处理设备100进行这种焦点校正的情况的示意图。图3c的示例示出在焦平面旋转时通过焦点校正来维持设置成聚焦于点b的状态。
[0041]
在后文中将参考图4来描述计算用于根据倾斜控制校正焦点位置的焦点校正量的示例。在图4中，区域设置单元112在拍摄图像中设置对象区域。在该示例中，区域设置单元112将拍摄图像中的表示在低于倾斜旋转轴的部分中存在的被摄体的区域设置为对象区域。接下来，校正量计算单元116根据倾斜控制的控制量来计算将设置成聚焦于对象区域的
焦点校正量。在本文中，焦点校正量β计算如下。
[0042]
β＝(tanα2
–
tanα1)
×
k...(2)
[0043]
在以上等式中，通过倾斜控制来控制摄像元件106从倾斜角α1旋转到倾斜角α2，并且k是从摄像元件106上的旋转轴到被摄体的中心像素的距离。
[0044]
图5是表示倾斜角和焦点校正量β之间的关系的图。在该示例中，该图不是线性的，并且即使在以相同量进行倾斜控制的情况下，焦点校正量的变化量也根据针对基本姿态的控制量而变化。由于在相对于基本姿态在-90
°
到 90
°
的范围内进行摄像元件106的倾斜控制，因此与控制量相对应的焦点校正量将随着相对于基本姿态的控制量的绝对值的增加而增加。
[0045]
注意，焦点校正量的计算方法不特别限于等式(2)。例如，校正量计算单元116可以通过将等式(2)的焦点校正量β除以调焦透镜的灵敏度来计算简单的校正量，并且可以通过求解与灵敏度相对应的高阶方程或多项式来计算更准确的校正量。
[0046]
在后文中将参考图6描述根据本实施例的信息处理设备100要进行的处理。图6是示出信息处理设备100所进行的主要处理的示例的流程图。
[0047]
在步骤s601中，区域设置单元112设置对象区域。在本实施例中，区域设置单元112将用户所指定的任意区域设置为对象区域。另外，区域设置单元112可以将用于检测特定对象物体的功能所检测到的位置自动设置为对象区域。例如，区域设置单元112可以使用af功能来设置成聚焦于所检测到的被摄体上，并且将指示该被摄体的区域设置为对象区域。
[0048]
在步骤s602中，焦点驱动单元118对对象区域进行聚焦。焦点驱动单元118可以通过例如af功能自动进行聚焦。另外，例如，焦点驱动单元118还可以使用手动聚集(mf)功能来根据正观看拍摄图像的用户的手动输入进行聚焦。在这种情况下，焦点驱动单元118可以通过放大对象区域的显示来向用户显示辅助信息以便于用户的观看，并且呈现对象区域上的聚焦度，等等。
[0049]
在步骤s603中，倾斜控制单元114判断用户是否发出了倾斜控制指令。在用户发出了倾斜控制指令的情况下，处理将进入步骤s604。否则，再次确认用户是否发出了倾斜控制指令。
[0050]
在步骤s604中，校正量计算单元116计算由摄像元件从被摄体图像中的旋转轴到对象区域的距离。在本实施例中，校正量计算单元116计算从旋转轴到对象区域的中心像素的距离。在步骤s605中，倾斜控制单元114获得在步骤s603中所确认的指令中设置的倾斜控制的目标位置。可以仅将一个点指定为倾斜控制的目标位置。例如，可以设置-1
°
到 1
°
的公差范围，并且可以将落入该范围内的点确定为目标位置。在步骤s606中，校正量计算单元116判断从摄像元件106上的旋转轴到被摄体的距离的值(从与图像中的旋转轴的位置相对应的位置到对象区域的位置的距离的值，或者从对应于与图像中的旋转轴的位置相对应的位置的位置到对象区域的位置的距离的值)是否为0。如果判断为该值为0，则在由于即使进行倾斜控制对象区域上的焦点也不会偏移而确定为不需要焦点控制时，处理将进入步骤s607。否则，在确定为需要焦点控制时，处理将进入步骤s608。在步骤s607中将进行倾斜控制，并且在步骤s608中将进行倾斜控制和焦点控制。在步骤s607或步骤s608的处理之后，处理结束。
[0051]
在后文中，将分别参考图7和8描述步骤s607的处理和步骤s608的处理。图7是示出
要在步骤s607中进行的倾斜控制的详细处理的示例的流程图。
[0052]
在步骤s701中，倾斜驱动单元115开始朝向步骤s605中获得的倾斜控制的目标位置的倾斜控制。在步骤s702中，倾斜驱动单元115判断在该时间点倾斜角是否到达目标位置。在倾斜角到达目标位置的情况下，处理结束。否则，处理进入步骤s703。
[0053]
在步骤s703中，倾斜控制单元114判断用户是否在倾斜驱动操作期间发出了停止指令。在发出了停止指令的情况下，处理进入步骤s704。否则，处理进入步骤s702。在步骤s704中，倾斜驱动单元115在与该停止指令相对应的位置中停止倾斜驱动操作，并且处理结束。
[0054]
图8是示出要在步骤s608中进行的倾斜控制和焦点控制的详细处理的示例的流程图。在步骤s801中，倾斜控制单元114获得当前倾斜角作为倾斜开始位置。在步骤s802中，校正量计算单元116计算根据倾斜控制要执行的校正量和与该校正量相对应的焦点目标位置。在本实施例中，通过上述等式(2)来计算校正量。
[0055]
在步骤s803中，校正量计算单元116设置用于进行焦点校正的焦点驱动速度。在本实施例中，焦点驱动速度是指用于控制调焦透镜的位置以执行焦点校正的速度。校正量计算单元116可以根据预先确定的倾斜控制驱动操作的控制速度来设置焦点驱动速度。在倾斜控制的驱动和焦点控制的驱动不同步的情况下，在倾斜驱动操作期间维持聚焦于焦点区域的效果将降低。从这个观点看，根据本实施例的校正量计算单元116将设置焦点驱动速度，使得焦点驱动时间将等于倾斜控制的总驱动时间。即，校正量计算单元116将设置焦点驱动速度，使得焦点位置的校正将与倾斜控制的完成同时完成。例如，通过将倾斜驱动量(倾斜开始位置和倾斜目标位置之间的差)除以倾斜驱动速度(
°
/sec)来计算倾斜控制的驱动时间。
[0056]
在本实施例中，倾斜驱动单元115以预定速度进行倾斜控制。由于与倾斜控制量相对应的焦点校正量随着相对于基本姿态的倾斜控制量的绝对值的增加而增加，因此校正量计算单元116可以将焦点驱动速度设置为随着倾斜角的绝对值在0
°
到90
°
的范围内的增加而增加。另外，校正量计算单元可以根据在进行倾斜控制之前的倾斜角的绝对值的值，来设置倾斜驱动操作期间的焦点驱动速度。
[0057]
在步骤s804中，倾斜驱动单元115开始朝向步骤s605中获得的目标位置的倾斜驱动，并且焦点驱动单元118开始朝向在步骤s802中计算出的焦点目标位置控制调焦透镜的位置。在步骤s805中，倾斜驱动单元115和焦点驱动单元118判断倾斜角和焦点位置是否已到达其各自的目标位置。在倾斜角和焦点位置这两者都已到达各自的目标位置的情况下，处理结束。否则，处理进入步骤s806。
[0058]
在步骤s806中，倾斜控制单元114判断用户是否在倾斜驱动操作期间发出了停止指令。在发出了停止指令的情况下，处理进入步骤s807。否则，处理返回到步骤s805。在步骤s807中，倾斜驱动单元115在与停止指令相对应的位置停止倾斜驱动操作。
[0059]
在步骤s808中，焦点控制单元117通过将与倾斜驱动停止指令相对应的位置设置为目标位置，来重新计算焦点校正量和与该焦点校正量相对应的焦点目标位置。在步骤s809中，焦点驱动单元118根据重新计算出的焦点目标位置来控制调焦透镜的位置。
[0060]
根据这种处理，将可以根据倾斜控制来计算与目标位置的位置相对应的校正量，并且通过使用该校正量来校正焦点位置。因此，将可以使用具有固定倾斜控制旋转轴的简
单硬件配置，以通过在维持聚焦于摄像区域中的任意区域的同时进行倾斜控制来改变景深。另外，通过设置成使得倾斜控制的驱动时间将与焦点控制的驱动时间相等，这将可以在一个倾斜驱动操作中维持聚焦于对象区域。
[0061]
[第二实施例]
[0062]
根据第一实施例的信息处理设备设置焦点控制，使得倾斜控制和焦点控制将具有相等的驱动时间。即，设置成使得将针对一个倾斜控制操作进行一个焦点控制操作。另一方面，根据本实施例的信息处理设备将在一个倾斜控制操作期间多次重复地进行焦点校正量的计算和焦点位置的校正。通过多次进行校正，将可以每次重复地将焦点位置控制在最佳状态。注意，根据本实施例的信息处理设备的配置和处理与第一实施例的图1和6所示的除步骤s608中所示的处理(图8的处理)之外的处理相同，并且将省略对其的冗余描述。
[0063]
在后文中将参考图9和10描述根据本实施例的信息处理设备所要进行的处理。在本实施例中，预定的倾斜角控制量s将被设置为一个步长，并且将通过针对各个步长重新计算焦点校正量来进行焦点位置校正。图9是通过在图5所示的表示倾斜角和焦点校正量β之间的关系的图上绘制辅助线以使得能够容易地参考针对各个倾斜角控制量s的焦点校正量而获得的图。
[0064]
在图9的示例中，附图标记p1指示倾斜控制的开始位置，并且附图标记p2指示倾斜控制的各个目标位置，并且示出开始位置和各个目标位置之间的针对各个控制量s的焦点校正量。在本实施例中，针对各个控制量s来计算如图9所示的焦点校正量，并且每次校正焦点位置。注意，尽管本文假设在一个焦点校正操作期间的焦点驱动速度将是恒定的，但是可以根据需要精细地调整焦点驱动速度。另外，尽管在本实施例中将根据等式(2)来计算各个焦点校正量，但是也可以采用如下的格式：存储用于获得焦点校正量的表数据或系数等，并且通过参考这些表数据或系数等来进行校正。另外，尽管控制量s被设置成使得倾斜角通过本实施例中的针对各个步长的驱动操作而将从开始位置恰好到达目标位置，但是本发明并不特别限于此。例如，可以配置成使得：将针对各个控制量s来计算焦点校正量，直到紧挨着到达目标位置之前要进行的控制为止，并且通过将控制量从此时的倾斜角设置到目标位置来计算仅针对最终控制操作的焦点校正量。
[0065]
图10是示出根据本实施例的信息处理设备在步骤s608中要进行的倾斜控制和焦点控制的详细处理的示例的流程图。在步骤s1001中，倾斜控制单元114获得当前倾斜角作为倾斜开始位置。在步骤s1002中，倾斜控制单元114设置倾斜控制的一个步长的控制量s。用户将控制量s的值设置为期望值。倾斜控制期间的聚焦维持效果随着控制量的值的减少而增加，并且倾斜控制所需的时间随着控制量的值的增加而减少。
[0066]
在步骤s1003中，校正量计算单元116计算与一个步长相对应的焦点校正量。在该示例中，校正量计算单元116基于该时间点的倾斜角和一个步长的控制量s来计算焦点校正量。在步骤s1004中，倾斜驱动单元115和焦点驱动单元118进行一个步长的倾斜驱动操作和焦点驱动操作。在一个步长的倾斜驱动操作和焦点驱动操作这两者都完成了之后，处理进入步骤s1005。
[0067]
在步骤s1005中，倾斜控制单元114判断倾斜角是否到达了步骤s608中设置的目标位置。在判断为倾斜角到达了目标位置的情况下，处理结束。否则，处理进入步骤s1006。在步骤s1006中，倾斜控制单元114判断用户是否在倾斜驱动操作期间发出了停止指令。在发
出了停止指令的情况下，倾斜驱动单元115在与该停止指令相对应的位置停止倾斜驱动操作，并结束处理。否则，将判断为要进行下一步长的倾斜驱动操作和焦点驱动操作，并且处理返回到步骤s1003。
[0068]
根据该处理，可以针对一个倾斜控制操作进行两个或更多个焦点校正操作。因此，通过在每次重复焦点校正操作时顺次进行控制以将焦点位置设置在最佳状态，可以改善维持聚焦于对象区域的效果。
[0069]
[第三实施例]
[0070]
根据本实施例的信息处理设备通过进行倾斜控制和焦点控制来自动调整焦点位置，以设置成聚焦于被摄体图像中的两个对象区域。信息处理设备100能够自动调整焦点位置以设置成聚焦于距信息处理设备100的不同距离处的两个被摄体。由于根据本实施例的信息处理设备100具有与第一实施例的图1所示的配置相同的配置并且可以进行相同的处理，因此将省略冗余描述。
[0071]
下面将参考图12和13来描述根据本实施例的信息处理设备100所进行的处理。图12示出根据本实施例的信息处理设备所拍摄的图像的示例。在该示例中，被摄体1201定位在比被摄体1202更靠近信息处理设备100的距离处。在到两个被摄体的距离之间存在差异的情况下，通过进行通常的摄像操作，景深可能变得不足，并且可能无法设置成聚焦于这两个被摄体。因此，根据本实施例的倾斜控制单元114将决定倾斜控制的控制量，以通过校正焦点位置来设置成聚焦于被摄体1201和1202这两者。即，根据本实施例的信息处理设备将决定倾斜控制量和焦点校正量，使得通过以与第一实施例相同的方式进行倾斜控制和焦点控制能够将这两个被摄体设置在焦平面上。
[0072]
根据本实施例的区域设置单元112以与第一实施例相同的方式设置摄像元件上的被摄体图像中的两个对象区域。在本文中，焦点驱动单元118可以首先基于评价值计算单元113从各个对象区域计算出的焦点评价结果来优先设置成聚焦于这两个对象区域其中之一。焦点驱动单元118可以例如设置成聚焦于针对各个对象区域所设置的优先级程度更高的对象区域，或者可以设置成聚焦于基于在进行聚焦之前的焦点评价值而选择的对象区域，并且用于选择要设置成聚焦于的对象区域的方法不特别受限。可以通过用户选择等的输入来设置针对各个对象区域所设置的优先级程度。还可以根据检测对象的类型来设置该优先级程度(例如，设置成使得优先设置成聚焦于特定被摄体等)。还可以根据诸如用于对更靠近信息处理设备100的被摄体出现的对象区域设置更高优先级程度的条件等的预定条件来设置优先级程度。为了后文的描述方便，假设图12的被摄体1201和1202将用作区域设置单元112要设置的两个对象区域的被摄体，并且假设将优先设置成聚焦于被摄体1201。
[0073]
倾斜控制单元114在维持聚焦于被摄体1201同时，通过以与第一实施例相同的方式进行倾斜控制和焦点控制来决定将使得设置成聚焦于被摄体1202的倾斜控制的目标位置。倾斜控制单元114可以例如基于在倾斜控制(并且伴随着用于维持聚焦于被摄体1201的焦点校正)期间的被摄体1202上的区域的焦点评价值来检测用于设置成聚焦于被摄体1202的倾斜控制的目标位置。倾斜控制单元114还可以计算共同倾斜控制位置，其中在该共同倾斜控制位置，通过维持聚焦于被摄体1201来进行倾斜控制的情况下的调焦透镜位置与通过在首先设置成聚焦于被摄体1202之后维持聚焦来进行倾斜控制的情况下的调焦透镜位置将一致。在这种情况下，可以通过例如使用等式(2)来计算上述共同倾斜控制位置。
[0074]
注意，在从利用摄像传感器的被摄体图像中的旋转轴到被摄体1201的距离k为零的情况下，倾斜控制将不会改变被摄体1201上的聚焦状态。因此，在k为零的情况下，校正量计算单元116可以在不考虑被摄体1201上的聚焦的情况下，以与第一实施例相同的方式来计算要经过倾斜控制的被摄体1202的任意位置的焦点校正量。另外，由于可以认为当k接近零时，因倾斜控制而引起的被摄体1201上的聚焦状态的变化将最小化到足以忽略，因此可以将预定范围设置成约为零，并且如果k的值落在该范围(例如，-0.5或更大到 0.5或更小的范围)内，则可以将k的值确定为零。
[0075]
图13是示出根据本实施例的信息处理设备所进行的处理的示例的流程图。在步骤s1301中，区域设置单元112在摄像元件上的被摄体图像中设置两个对象区域。在步骤s1302中，区域设置单元112将这两个对象区域其中之一设置为要优先设置成聚焦于的区域(在后文中被称为焦点区域)。在步骤s1303中，区域设置单元112将步骤s1302中未设置为焦点区域的区域设置为要通过倾斜控制设置成聚焦于的区域(在后文中被称为倾斜区域)。
[0076]
在步骤s1304中，倾斜控制单元114基于焦点区域的焦点评价值来调整焦点。这里，通过af功能来设置成聚集于焦点区域。
[0077]
在步骤s1305中，校正量计算单元116计算从利用摄像元件的被摄体图像中的旋转轴到焦点区域的距离k。在判断为k为0的情况下，处理进入步骤s1307。否则，处理进入步骤s1308。
[0078]
在步骤s1307中，校正量计算单元116计算要经过倾斜控制的位置的焦点校正量。可以基于例如图像或基于用户的操作来决定倾斜控制位置。在步骤s1307之后，处理进入步骤s1309。
[0079]
在步骤s1308中，倾斜控制单元114在维持聚焦于焦点区域的同时，通过进行与第一实施例相同的倾斜控制和焦点控制来决定倾斜控制目标位置，使得将设置成聚焦于倾斜区域。在步骤s1308之后，处理进入步骤s1309。
[0080]
在步骤s1309中，倾斜驱动单元115和焦点驱动单元118将基于在步骤s1307或步骤s1308中决定的倾斜控制位置以及根据该倾斜控制位置所决定的调焦透镜位置来进行驱动操作。随后，处理结束。
[0081]
根据该处理，可以通过进行倾斜控制和焦点控制来同时设置成聚焦于两个焦点目标被摄体。例如，通过使用af功能首先设置成聚焦于一个被摄体，并且随后进行倾斜控制和焦点控制，使得在维持聚焦于第一被摄体的同时，将在另一被摄体上设置焦点位置。因此，可以自动设置成聚焦于在距摄像设备的不同距离处的这两个被摄体。
[0082]
[第四实施例]
[0083]
在上述实施例中，例如，图1等所示的各个处理单元由专用硬件实现。然而，信息处理设备100中所包括的部分或全部处理单元可以由计算机实现。在本实施例中，根据上述各个实施例的处理的至少一部分由计算机执行。
[0084]
图11是示出计算机的基本配置的框图。在图11中，处理器1110例如是cpu，并且控制整个计算机的操作。存储器1120例如是ram，并且临时存储程序和数据等。计算机可读存储介质1130例如是硬盘或cd-rom等，并且存储程序和数据等以供长期存储。在本实施例中，将存储在存储介质1130中并且用于实现相应单元的功能的各个程序读出到存储器1120。通过使处理器1110根据存储器1120上的程序而操作来实现各个单元的功能。
[0085]
在图11中，输入接口1140是用于从外部设备获得信息的接口。此外，输出接口1150是用于向外部设备输出信息的接口。总线1160连接上述单元，并且使得能够交换数据。
[0086]
其它实施例
[0087]
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
[0088]
尽管已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。以下权利要求的范围应给予最广泛的解释，以涵盖所有这样的修改和等效的结构与功能。