成像装置、控制成像装置的方法和程序与流程

1.本公开涉及成像装置、成像装置的控制方法和程序。


背景技术：

2.已知一种根据图像捕获者的操作执行控制的成像装置。例如，在下面的专利文献1描述了监视图像捕获者是否正注视取景器并且在图像捕获者未注视取景器的情况下停止移动图像的捕获的技术。
3.引文列表
4.专利文献
5.专利文献1：日本专利申请特许公开no.2008-306533


技术实现要素：

6.本发明要解决的问题
7.如专利文献1中所述，期望不仅对图像捕获者主动执行预定操作的状态而且对图像捕获者的其它状态适当地执行控制。
8.本公开的目的是例如提供成像装置、成像装置的控制方法和程序，即使在图像捕获者尚未确定凝视目标的状态(未确定状态)下也能够执行适当控制。
9.问题的解决方案
10.本公开提供例如，
11.一种成像装置，包括
12.控制单元，其以与基于视线信息确定的图像捕获者的状态是尚未确定凝视目标的凝视目标未确定状态这一事实对应的方式执行控制。
13.此外，本公开提供例如，
14.一种控制成像装置的方法，该方法包括
15.使控制单元以与基于视线信息确定的图像捕获者的状态是尚未确定凝视目标的凝视目标未确定状态这一事实对应的方式执行控制。
16.此外，本公开提供例如，
17.一种用于使计算机执行控制成像装置的方法的程序，该方法包括
18.使控制单元以与基于视线信息确定的图像捕获者的状态是尚未确定凝视目标的凝视目标未确定状态这一事实对应的方式执行控制。
附图说明
19.图1是用于解释根据实施例的成像装置的配置示例的框图。
20.图2是图示视线检测结果的分布的示例的图。
21.图3是图示根据实施例的由成像装置执行的处理的流程的流程图。
22.图4a至4c是用于解释在图像捕获者的状态是凝视目标未选择状态的情况下执行
的控制的示例的图。
23.图5是用于解释在图像捕获者的状态是凝视目标未选择状态的情况下执行的控制的流程的示例的图。
24.图6是用于解释在图像捕获者的状态是空闲状态的情况下执行的控制的流程的示例的图。
25.图7是用于解释在图像捕获者的状态是空闲状态的情况下执行的控制的流程的另一个示例的图。
26.图8是用于解释在图像捕获者的状态是空闲状态的情况下执行的控制的流程的另一个示例的图。
27.图9是用于解释在图像捕获者的状态是空闲状态的情况下执行的控制的流程的另一个示例的图。
28.图10是用于解释修改的流程图。
29.图11是用于解释修改的流程图。
具体实施方式
30.在下文中，将参考附图描述本公开的实施例等。注意的是，将按以下次序给出描述。
31.《一个实施例》
32.《修改》
33.以下描述的实施例等是本公开的优选具体示例，并且本公开的内容不限于该实施例等。
34.《一个实施例》
35.[成像装置的配置示例]
[0036]
首先，将参考图1描述根据实施例的成像装置(成像装置100)的配置示例。成像装置100包括控制单元101、光学成像系统102、透镜驱动驱动器103、成像元件104、图像信号处理单元105、编解码器单元106、存储单元107、接口108、输入单元109、显示单元110、麦克风111、检测单元112、af控制单元113和视线检测单元114。控制单元101包括作为功能块的图像捕获者状态确定单元101a，该图像捕获者状态确定单元101a基于视线信息来确定图像捕获者的状态。
[0037]
控制单元101包括中央处理单元(cpu)、随机存取存储器(ram)、只读存储器(rom)等。cpu根据存储在rom中的程序执行各种处理并发出命令，从而综合控制整个成像装置100和每个单元。此外，控制单元101以与基于视线信息确定的图像捕获者的状态是未确定凝视目标的凝视目标未确定状态这一事实对应的方式执行控制。稍后将描述由控制单元101执行的处理的细节。
[0038]
光学成像系统102包括用于将来自被摄体的光聚焦在成像元件104上的成像透镜、用于移动成像透镜以执行聚焦和变焦的驱动机构、快门机构、光圈机构等。这些基于来自控制单元101和透镜驱动驱动器103的控制信号被驱动。通过光学成像系统102获得的被摄体的光学图像在成像元件104上形成。
[0039]
透镜驱动驱动器103例如包括微型计算机，并且基于从af控制单元113或信息处理
装置200供给的聚焦控制信息沿着光轴方向移动成像透镜预定量，从而执行自动对焦以聚焦在目标被摄体上。此外，光学成像系统102的驱动机构、快门机构、光圈机构等的操作在控制单元101的控制下被控制。因此，曝光时间(快门速度)和光圈值(f值)被调整。
[0040]
成像元件104将从被摄体入射并通过成像透镜获得的光光电转换成电荷量并输出成像信号。然后，成像元件104将像素信号输出到图像信号处理单元105。作为成像元件104，使用电荷耦合器件(ccd)、互补金属氧化物半导体(cmos)等。
[0041]
成像元件104包括作为正常像素的红色(r)像素、绿色(g)像素和蓝色(b)像素，以及执行相位差检测的相位差检测像素。有可能使用从相位差检测像素输出的相位差信息来执行所谓的相位差自动对焦(af)。注意的是，相位差检测像素可以仅作为相位差检测像素发挥功能并且也可以不作为普通像素发挥功能，或者可以通过两个独立的光电二极管构成一个像素来进行成像和相位差检测。注意的是，相位差检测可以由相位差检测专用的af传感器来执行。
[0042]
图像信号处理单元105通过对从成像元件104输出的成像信号的相关双采样(cds)处理、自动增益控制(agc)处理、模拟/数字(a/d)转换等来执行采样和保持以维持高信噪比(s/n)以创建图像信号。此外，图像信号处理单元105对用于记录的图像信号执行记录处理，并对用于显示的图像信号执行显示处理。
[0043]
编解码器单元106对经过预定处理的图像信号执行例如用于记录和通信的编码处理。
[0044]
存储单元107是例如诸如硬盘或闪存之类的大容量存储介质。由图像信号处理单元105和编解码器单元106处理的视频数据和图像数据基于预定标准以压缩状态或未压缩状态存储。此外，还与数据相关联地存储包括附加信息(诸如关于存储的数据的信息、指示成像位置的成像位置信息以及指示成像日期和时间的成像时间信息)的可交换图像文件格式(exif)。
[0045]
接口108是与另一个设备、互联网等的接口。接口108可以包括有线或无线通信接口。此外，更具体而言，有线或无线通信接口可以包括诸如3tte的蜂窝通信、wi-fi、蓝牙(注册商标)、近场通信(nfc)、以太网(注册商标)、高清多媒体接口(hdmi)(注册商标)、通用串行总线(usb)等。
[0046]
注意的是，成像装置100可以包括能够连接到互联网、其它设备等的通信单元，诸如无线局域网(lan)、广域网(wan)或无线保真(wifi)。此外，成像装置100和外部设备之间的通信可以是诸如近场通信(nfc)或zigbee(注册商标)之类的短距离无线通信，或者诸如wifi系留、通用串行总线(usb)系留或蓝牙(注册商标)系留之类的系留连接(tethering connection)。
[0047]
由图像捕获者使用输入单元109向成像装置100给出各种指令。当图像捕获者对输入单元109进行输入时，与输入对应的控制信号被生成并供给控制单元101。然后，控制单元101执行与控制信号对应的各种处理。输入单元109的示例包括用于快门输入的快门按钮、用于各种操作的物理按钮、触摸面板、与作为显示单元110的显示器一体配置的触摸屏等。
[0048]
显示单元110是显示设备，包括显示作为经过显示处理的显示图像信号的直通图像、经过记录图像处理并存储在存储单元107中的图像/视频、图形用户界面(gui)等的显示器、电子取景器(evf)显示器等。
[0049]
麦克风111是用于在记录时记录声音的声音收集设备。
[0050]
检测单元112使用从成像元件104供给的相位差信息执行用于确定焦点位置的af检测并计算散焦量。散焦量被供给af控制单元113。
[0051]
af控制单元113基于由检测单元112计算出的散焦量生成指示聚焦在视角中的哪个位置(例如，xy坐标信息)以及成像装置100的透镜驱动驱动器103移动透镜多少以聚焦在目标被摄体上的聚焦控制信息。聚焦控制信息是用于在成像装置100中执行自动聚焦控制的信息。
[0052]
视线检测单元114检测图像捕获者的视线并将检测结果供给控制单元101。
[0053]
[关于视线信息和图像捕获者的状态的确定]
[0054]
接下来，将描述由视线检测单元114检测作为用户的图像捕获者的视线的处理的具体示例。例如，视线检测单元114捕获图像捕获者的眼睛的图像，并使用眼睛的图像来检测图像捕获者的视线方向。即，视线检测单元114例如包括捕获被捕获者的眼睛的相机单元和检测图像捕获者的视线方向的单元。相机单元可以包括发射红外光等的光发射单元。
[0055]
作为检测图像捕获者的视线方向的方法，可以应用已知的方法。例如，有可能应用角膜反射法，其中从光发射单元发射红外光等并且来自角膜的反射被检测视线方向的单元用于基于瞳孔的位置检测图像捕获者的视线方向。此外，例如，可以应用通过图像识别来识别诸如内眼角或外眼角之类不移动的点并根据眼睛的虹膜的位置估计视线方向的方法。
[0056]
视线检测单元114例如在成像装置100的evf中提供。视线检测单元114例如在成像装置100的壳体中提供。例如，视线检测单元114可以在其上设置有显示单元110的成像装置100的壳体的表面上提供。
[0057]
由视线检测单元114检测到的视线方向被供给控制单元101。
[0058]
控制单元101的图像捕获者状态确定单元101a根据从视线检测单元114供给的视线检测结果生成视线信息。视线信息是例如指示视线检测结果的分布的信息。具体而言，如图2中所示，视线信息是视线检测结果pa的分布，这是与视线检测单元114检测到的视线方向对应的部分。针对显示单元110的每个适当区域ar获得视线信息。区域ar可以以像素为单位或者以m像素
×
n像素的块为单位(m和n是适当的正数)。图像捕获者状态确定单元101a基于视线信息中包括的视线检测结果pa的分布来确定图像捕获者的状态。
[0059]
基于视线检测结果pa的分布，图像捕获者状态确定单元101a确定图像捕获者的状态是否是凝视被摄体的状态，即，其中作为凝视目标的被摄体已被确定的状态(下文中适当地称为凝视目标确定状态)，或尚未确定凝视目标的状态(下文中适当地称为凝视目标未确定状态)。在本实施例中，图像捕获者状态确定单元101a确定状态是作为凝视目标未确定状态的示例并且其中尚未选择凝视目标的状态(下文中适当地称为凝视对象未选择状态)，还是作为凝视目标未确定状态的另一个示例并且其中图像捕获者在图像捕获中的集中程度低于凝视目标未确定状态下的集中程度的状态(下文中适当地称为空闲状态)。
[0060]
其中图像捕获者的状态是凝视目标确定状态的具体示例包括其中图像捕获者在跟随某个被摄体的同时执行图像捕获或者执行其中期望的被摄体被聚焦的图像捕获的状态。此外，作为其中图像捕获者的状态是凝视目标未选择状态的具体示例，是难以确定某个被摄体和另一个被摄体中的哪一个被聚焦以捕获图像的状态。其中图像捕获者的状态是空闲状态的具体示例包括图像捕获者在观看鸟巢的同时注视取景器并等待鸟返回鸟巢的状
态，以及在图像捕获中足球比赛中场休息期间或在图像捕获中棒球比赛中攻防改变的场景期间图像捕获者的状态。
[0061]
图像捕获者状态确定单元101a例如基于视线检测结果pa的分布来确定图像捕获者的状态是否为上述三种状态中的任何一种。例如，如图2中所示，图像捕获者状态确定单元101a获得与显示单元110的x轴方向和y轴方向都对应的视线检测结果pa的分布的值的直方图，并获得与其每个峰对应的方差。然后，在存在其方差小于预定值的峰的情况下，图像捕获者状态确定单元101a确定图像捕获者的状态是凝视目标确定状态。
[0062]
此外，在视线检测结果的分布不具有方差值小于预定值的峰的情况下，图像捕获者状态确定单元101a确定图像捕获者的状态是凝视目标未确定状态。更具体而言，在由视线信息指示的视线检测结果的分布仅具有方差值大于预定值的多个峰的情况下，即，在所有峰的方差值都大于预定值的情况下，图像捕获者状态确定单元101a确定图像捕获者的状态是凝视目标未选择状态。在视线检测结果的分布具有大于预定值的方差值的情况下，图像捕获者状态确定单元101a确定图像捕获者的状态是空闲状态。
[0063]
注意的是，图像捕获者状态确定单元101a可以基于由视线检测单元114检测到的用户视线的轨迹来确定图像捕获者的状态。例如，在预定时间内用户的视线轨迹落入一定范围内的情况下，图像捕获者状态确定单元101a确定图像捕获者的状态是凝视目标确定状态。此外，在预定时间内用户的视线轨迹在显示图像上的多个位置之间往复(例如，可以使用两个或三个或更多个位置)的情况下，图像捕获者状态确定单元101a确定图像捕获者的状态是凝视目标未确定状态。此外，在预定时间内用户的视线轨迹不规则分布的情况下，图像捕获者状态确定单元101a确定用户的状态是空闲状态。换句话说，空闲状态是与视线信息所指示的视线检测结果的轨迹比凝视目标确定状态下的轨迹更宽的情况对应的图像捕获者的状态。
[0064]
此外，图像捕获者状态确定单元101a可以基于具有等于或大于预定值的锐度并且在视线检测结果的分布的直方图被平滑时出现的峰的数量来确定图像捕获者的状态。例如，图像捕获者状态确定单元101a在具有锐度的峰的个数为1的情况下确定图像捕获者的状态是凝视目标确定状态，在具有锐度的峰的数量在2至4的范围内的情况下确定像捕获者的状态是凝视目标未选择状态，并且在具有锐度的峰的数量是5或更多的情况下确定图像捕获者的状态是空闲状态。
[0065]
[处理的流程]
[0066]
(整体处理流程)
[0067]
接下来，将参考图3的流程图描述由成像装置100执行的处理(整个处理)的流程。例如，当接通成像装置100的电源时或者当模式移至成像模式时，执行下面描述的处理。根据由陀螺传感器或压敏传感器的检测结果，可以在用户处于抬起成像装置100并捕获图像的姿势的阶段开始处理。此外，可以在视线检测单元114检测到视线之后开始处理。可以在检测视线的同时重复该处理。此外，除非另有说明，否则以下描述的处理由控制单元101执行。这同样类似地适用于其它处理流程的描述。
[0068]
在步骤st11中，图像捕获者状态确定单元101a基于视线检测单元114的视线检测结果检测(生成)视线信息。然后，处理前进到步骤st12。
[0069]
在步骤st12中，图像捕获者状态确定单元101a基于视线信息确定图像捕获者的状
态。在图像捕获者的状态是凝视目标确定状态的情况下，处理前进到步骤st13。在图像捕获者的状态是凝视目标未选择状态的情况下，处理前进到步骤st14。在图像捕获者的状态是空闲状态的情况下，处理前进到步骤st15。
[0070]
在步骤st13中，控制单元101以与图像捕获者的状态(即，凝视目标确定状态)对应的方式执行控制。该控制是根据图像捕获者的状态执行辅助的控制，并且其具体示例包括显示af指针和使af指针与凝视目标被摄体对准或对凝视目标被摄体执行af的控制。
[0071]
在步骤st14中，控制单元101以与图像捕获者的状态(即，凝视目标未选择状态)对应的方式执行控制。在步骤st15中，控制单元101以与图像捕获者的状态(即，凝视目标的空闲状态)对应的方式执行控制。
[0072]
(与凝视目标未选择状态对应的控制的具体示例)
[0073]
接下来，将描述与凝视目标未选择状态对应的控制的具体示例。在图像捕获者的状态是凝视目标未选择状态的情况下，控制单元101确定焦点区域，使得焦点区域包括目标被摄体。注意的是，包括目标被摄体意味着包括目标被摄体的至少一部分。此外，确定焦点区域意味着将显示单元110中的部分区域确定为焦点区域。此外，被摄体是通过已知的图像识别处理识别出的被摄体。例如，控制单元101基于在图像捕获者的状态变为凝视目标未选择状态之前的成像状况来确定目标被摄体。作为示例，控制单元101基于在图像捕获图像的状态变为凝视目标未选择状态之前作为凝视目标的被摄体来确定目标被摄体。注意的是，可以将当前显示在显示单元110上的显示图像中占据最大区域的被摄体或具有最大运动的被摄体确定为目标被摄体。
[0074]
具体示例将参考图4进行描述。图4a是图示在图像捕获者的状态是凝视目标确定状态的状态下获得的捕获图像的示例(显示在显示单元110上的显示图像的示例)的图。如图4a中所示，图像捕获者凝视作为凝视目标被摄体的击球手bh。af控制单元113被控制为使击球手bh的脸成为焦点。af方框21和af指针22显示在击球手bh的脸上。
[0075]
在此，假设通过改变视角将捕获的图像从图4a中所示的捕获的图像改变为图4b中所示的捕获的图像。在这种情况下，要进行af的击球手bh的显示位置随着视角的改变而改变。在图4b中所示的捕获的图像中，图像捕获者处于对关注哪个被摄体犹豫不决的状态，即，图像捕获者的状态是凝视目标未选择状态。通常，由于假设图像捕获者想要持续聚焦于图像捕获者到目前一直凝视的目标(在这个示例中是击球手bh的脸)，因此控制单元101控制af控制单元113，使得焦点在击球手bh的脸上。根据这种控制，如图4c中所示，af方框21和af指针22显示在击球手bh的脸上。
[0076]
接下来，参考图5的流程图，将描述与凝视目标未选择状态对应的控制(处理)的流程的示例。例如，在图像捕获者状态确定单元101a确定图像捕获者的状态是凝视对象未选择状态的情况下，执行以下描述的处理。此外，可以在检测视线的同时重复下述处理。
[0077]
在步骤st21中，控制单元101以与图像捕获者的状态是凝视目标未选择状态的情况对应的方式开始控制。然后，处理前进到步骤st22。
[0078]
在步骤st22中，确定在凝视目标确定状态下焦点对准的被摄体(在这个示例中是目标被摄体)是否包括在当前捕获的图像中。在包括焦点对准的被摄体的情况下(是)，处理前进到步骤st23。
[0079]
在步骤st23中，执行控制以聚焦在凝视目标确定状态下焦点对准的被摄体上。从
步骤st22至步骤st23的处理是上面参考图4a至4c描述的处理。
[0080]
在步骤st22的确定处理中，在当前捕获的图像中不包括在凝视目标确定状态下焦点对准的被摄体的情况下(否)，处理前进到步骤st24。
[0081]
在步骤st24中，通过执行被摄体识别处理等来确定当前捕获的图像中是否包括与在凝视目标确定状态下焦点对准的被摄体相同类型的被摄体。在包括相同类型的被摄体的情况下(是)，处理前进到步骤st25。
[0082]
在步骤st25中，将与在凝视目标确定状态下焦点对准的被摄体相同类型的被摄体确定为目标被摄体，并且执行控制以聚焦在该被摄体上。
[0083]
在步骤st24的确定处理中，在当前捕获的图像中不包括与在凝视目标确定状态下焦点对准的目标相同类型的被摄体的情况下(否)，处理前进到步骤st26。
[0084]
在步骤st26中，当前显示在显示单元110上的被摄体当中具有最大面积的被摄体被确定为目标被摄体，并且执行控制以聚焦在被摄体上。
[0085]
作为与步骤st24相关的处理的具体示例，例如，在要捕获在赛马中混合了多个人和多匹马的图像，并且图像捕获者的状态变为凝视目标未选择状态的情况下，确定在状态变为凝视目标未选择状态之前聚焦的类型(例如，包括人在内的动物的类型、人的属性类型(诸如性别和种族)，以及物体的类型(诸如桌子、房屋和球))是否包括在当前捕获的图像中。在包括人的情况下，执行控制以聚焦到人身上。在不包括人的情况下，执行控制以聚焦到具有大面积的被摄体(例如，马)上。
[0086]
注意的是，在图像捕获者的状态是凝视目标未选择状态的情况下，控制单元101可以高亮所显示的目标被摄体。高亮显示的示例包括其中目标被摄体的亮度增加、目标被摄体周围的亮度降低、目标被摄体闪烁，以及在目标被摄体上或附近显示标记的显示模式。
[0087]
(与空闲状态对应的控制的具体示例)
[0088]
接下来，将描述与凝视目标未选择状态对应的控制的具体示例。在确定图像捕获者的状态是空闲状态的情况下，例如，执行控制以通过停止部分功能或降低性能来将成像装置100设置为省电模式。例如，降低evf显示器的显示帧速率以将成像装置100切换到省电模式。此外，在图像捕获者的状态是空闲状态的情况下，假设图像捕获者在许多运动员参加的运动的图像捕获中寻找被摄体的场景。因此，为了使得容易捕获被摄体，执行控制以加宽距离测量范围并自动加宽聚焦区域(聚焦宽模式)。此外，在图像捕获者的状态从空闲状态以外的状态(例如，凝视目标确定状态或凝视目标未选择状态)改变为空闲状态的情况下，可以使视角比空闲状态以外的状态下的视角更宽。此外，在图像捕获者的状态是集中程度低的空闲状态的情况下，在空闲状态下有可能错过重要的场景。因此，执行控制(图像存储控制)以将通过图像捕获连续捕获的图像自动存储在缓冲存储器中。在下文中，将更具体地描述与空闲状态对应的控制。
[0089]
(第一示例)
[0090]
图6是图示与空闲状态对应的控制的流程的第一示例的流程图。第一示例是其中控制单元101在图像捕获者的状态是空闲状态的情况下从多种控制方法当中选择与成像情况对应的控制方法的示例，并且更具体而言，是其中从多种控制方法当中选择与作为成像情况的成像模式对应的控制方法的示例。注意的是，可以在检测视线的同时重复下述处理。
[0091]
在步骤st31中，图像捕获者状态确定单元101a确定图像捕获者的状态是空闲状
态，并且控制单元101以与空闲状态对应的方式开始控制。然后，处理前进到步骤st32。
[0092]
在步骤st32中，执行控制以加宽距离测量范围并自动加宽聚焦区域，并且成像装置100的设置被设置为聚焦宽模式。注意的是，不一定设置聚焦宽模式(同样适用于其它示例)。然后，处理前进到步骤st33。
[0093]
在步骤st33中，确定成像装置100的成像模式。在此，在成像模式是程序自动模式(下文中适当地称为p模式)的情况下，处理前进到步骤st34。在成像模式是快门速度优先模式(下文中适当地称为s模式)的情况下，处理前进到步骤st35。在成像模式是任何其它模式(例如，自动模式)的情况下，处理前进到步骤st36。
[0094]
在步骤st34中，执行控制以设置用于加宽视角的宽视角模式，从而以更宽的视角执行图像捕获。由于p模式一般在图像捕获者是初学者或初学者的情况下设置，因此设置宽视角模式以辅助这样的图像捕获者。
[0095]
在步骤st35中，执行控制以设置用于将通过图像捕获连续捕获的图像存储在缓冲存储器(例如，环形缓冲器)中的存储模式。在模式是s模式的情况下，由于假设捕获具有相对快速运动的被摄体的图像的场景，因此存储模式被设置为不会错过决定性场景。可以根据空闲状态的时间段来增加环形缓冲区的缓冲区长度。
[0096]
在步骤st36中，执行控制以设置用于降低成像装置100中的功耗的省电模式。省电模式的具体示例除了上述控制之外还包括限制用于从成像元件104输出的频带的控制、降低显示单元110的亮度的控制等。
[0097]
(第二示例)
[0098]
图7是图示与空闲状态对应的控制的流程的第二示例的流程图。第二示例是其中控制单元101在图像捕获者的状态是空闲状态的情况下从多种控制方法当中选择与成像情况对应的控制方法的示例，并且更具体而言，是其中从多种控制方法当中选择与作为成像情况的被摄体的类型对应的控制方法的示例。注意的是，可以在检测视线的同时重复下述处理。
[0099]
在步骤st41中，图像捕获者状态确定单元101a确定图像捕获者的状态是空闲状态，并且控制单元101以与空闲状态对应的方式开始控制。然后，处理前进到步骤st42。
[0100]
在步骤st42中，执行控制以加宽距离测量范围并自动加宽聚焦区域，并且成像装置100的设置被设置为聚焦宽模式。然后，处理前进到步骤st43。
[0101]
在步骤st43中，执行被摄体识别处理以确定被摄体。在被摄体包括移动的被摄体(例如，人、动物、车辆等)的情况下，处理前进到步骤st44。在被摄体(例如，仅风景)不包括移动的被摄体的情况下，处理前进到步骤st45。
[0102]
在步骤st44中，由于被摄体包括移动的被摄体，因此执行控制以设置存储模式，以免错过决定性场景。另一方面，在步骤st45中，由于不包括移动的被摄体，因此执行控制以设置省电模式。
[0103]
(第三示例)
[0104]
图8是图示与空闲状态对应的控制的流程的第三示例的流程图。第三示例是其中在图像捕获者的状态是空闲状态的情况下，控制单元101从多种控制方法当中选择与空闲状态的持续时间对应的控制方法的示例。注意的是，可以在检测视线的同时重复下述处理。
[0105]
在步骤st51中，图像捕获者状态确定单元101a确定图像捕获者的状态是空闲状
态，并且控制单元101以与空闲状态对应的方式开始控制。然后，处理前进到步骤st52。
[0106]
在步骤st52中，执行控制以加宽距离测量范围并自动加宽聚焦区域，并且成像装置100的设置被设置为聚焦宽模式。然后，处理前进到步骤st53。
[0107]
在步骤st53中，确定其中图像捕获者的状态是空闲状态的状态是否持续了预定时间(例如，1分钟至数分钟)或更长。如果状态持续(是)，那么处理前进到步骤st54。如果状态不持续(否)，那么处理前进到步骤st55。
[0108]
在步骤st54中，执行控制以在成像装置100中设置存储模式。在步骤st55中，执行控制以在成像装置100中设置省电模式。
[0109]
作为这个示例的具体情况，例如，假设捕获鸟或野生动物的图像。在人是等待动物的专业摄影师的情况下，检测到用户正在看取景器并且视线存在，但视线不集中，即，状态是空闲状态。在空闲状态下已经过去一段时间(例如，1分钟或更长)的情况下，基于用户等待动物但不知道动物何时会到达该地点的假设，执行控制以设置存储模式。另一方面，在空闲状态不持续的情况下，基于用户没有等待的假设，执行控制以设置省电模式。
[0110]
(第四示例)
[0111]
图9是图示与空闲状态对应的控制的流程的第四示例的流程图。第四示例是其中控制单元101在图像捕获者的状态是空闲状态的情况下从多种控制方法当中选择与成像情况对应的控制方法的示例，并且更具体而言，是其中从多种控制方法当中选择作为成像情况的与捕获的图像中的改变对应的控制方法的示例。注意的是，可以在检测视线的同时重复下述处理。
[0112]
在步骤st61中，图像捕获者状态确定单元101a确定图像捕获者的状态是空闲状态，并且控制单元101以与空闲状态对应的方式开始控制。然后，处理前进到步骤st62。
[0113]
在步骤st62中，执行控制以加宽距离测量范围并自动加宽聚焦区域，并且成像装置100的设置被设置为聚焦宽模式。然后，处理前进到步骤st63。
[0114]
在步骤st63中，确定图像的改变是否在阈值内。例如，基于当前帧与过去帧(例如，在时间上比当前帧早一帧的帧)之间的相关性来确定图像的改变。在相关性等于或大于某个水平的情况下，确定图像的改变在阈值内。在相关性小于某个水平的情况下，确定图像的改变大于阈值。在图像的改变在阈值内的情况下(是)，处理前进到步骤st64。此外，在图像的改变大于阈值的情况下，处理前进到步骤st65。
[0115]
在步骤st64中，执行控制以在成像装置100中设置存储模式。在步骤st65中，执行控制以在成像装置100中设置省电模式。
[0116]
作为这个示例的具体情况，例如，假设捕获鸟或野生动物的图像，如上述第三示例中那样。在人是等待动物的专业摄影师的情况下，检测到用户正在看取景器并且视线存在，但视线不集中，即，状态是空闲状态。在这种情况下，一般而言，大部分捕获了捕获中的风景，但图像中的改变小。因此，在图像中的改变小的情况下，为了不漏掉决定性的场景(例如，其中捕获动物的场景)，执行控制以设置存储模式。另一方面，在图像中的改变大的情况下，确定情况不是上述情况，并且执行控制以设置省电模式。
[0117]
根据上述本实施例，有可能不仅在图像捕获者主动执行预定操作的状态下而且在图像捕获者处于另一种状态(具体而言，图像捕获者的状态是凝视目标未选择状态或空闲状态)的情况下执行适当的控制。
[0118]
《修改》
[0119]
虽然上面已经具体描述了本公开的一个实施例，但是本公开的内容不限于上述实施例，并且基于本公开的技术构思的各种修改是可能的。
[0120]
在上述实施例中，可以存在不以与基于视线信息确定的图像捕获者的状态对应的方式执行控制的情况。图10是图示在这种情况下执行的处理的流程的流程图。注意的是，将适当地省略与图3中描述的内容重叠的内容的描述。
[0121]
在步骤st11的处理之后，执行与步骤st71相关的处理。在步骤st71中，确定图像捕获者是否正在操作成像装置100的设置。设置的操作的示例包括与快门速度和iso感光度相关的设置的操作。可以基于根据操作生成的操作信号的存在或不存在或者由在输入单元109中提供的拨盘等传感器的感测的结果来确定成像装置100的设置是否正在被操作。
[0122]
在步骤st71中正在操作设置的情况下(是)，处理前进到步骤st72，并且一系列处理结束。在步骤st71中没有操作设置的情况下(否)，处理前进到步骤st12。由于已经描述了步骤st12之后的处理，因此将省略冗余的描述。
[0123]
当图像捕获者执行主动设置操作时，执行根据图像捕获者的状态的控制，并执行根据该控制的设置，该设置有可能与图像捕获者所期望的设置不同。在本示例中，由于确定是否正在执行与设置相关的操作，因此有可能避免上述不便。
[0124]
图11是图示在不执行根据基于视线信息确定的图像捕获者的状态的控制的另一种情况下执行的处理的流程的流程图。在步骤st11的处理之后，执行与步骤st81相关的处理。
[0125]
在步骤st81中，确定成像装置100的模式是否是手动模式(在下文中适当地称为m模式)。在成像装置100的模式是m模式的情况下(是)，处理前进到步骤st82，并且一系列处理结束。在成像装置100的模式不是m模式的情况下(否)，处理前进到步骤st12。由于已经描述了步骤st12之后的处理，因此将省略冗余的描述。
[0126]
在图像捕获者是高级人员的情况下，可以存在不期望以与图像捕获者的状态对应的方式执行控制的情况。在这种情况下，图像捕获者可以通过将成像装置100的模式设置为m模式来避免上述不便。注意的是，不仅可以设置m模式，而且可以设置其中不执行根据图像捕获者的状态的控制的专用模式。
[0127]
在上述实施例中，在确定图像捕获者的状态时可以考虑时间因素。例如，即使在基于视线信息确定图像捕获者的状态是空闲状态的情况下，也可以在该状态持续预定时间(例如，五秒)或更长时间的情况下开始根据空闲状态的控制。
[0128]
注意的是，在上述实施例中，图像捕获者状态确定单元101a可以确定图像捕获者的状态中的任何一种。
[0129]
在根据上述实施例的处理中，可以执行基于机器学习的处理，即，使用通过预先执行的学习获得的学习模型的处理。
[0130]
在上述实施例和修改中描述的配置、方法、步骤、形状、材料、数值等仅仅是示例，并且与上述不同的配置、方法、步骤、形状、材料、数值等可以根据需要使用，或者可以将在上述实施例和修改中描述的配置、方法、步骤、形状、材料、数值等替换为已知的那些。此外，实施例和修改中的配置、方法、步骤、形状、材料、数值等可以在不发生技术矛盾的范围内彼此组合。
[0131]
注意的是，本公开的内容不应当被解释为受本说明书中例示的效果的限制。
[0132]
本公开还可以采用以下配置。
[0133]
(1)
[0134]
一种成像装置，包括
[0135]
控制单元，其以与基于视线信息确定的图像捕获者的状态是尚未确定凝视目标的凝视目标未确定状态这一事实对应的方式执行控制。
[0136]
(2)
[0137]
(1)所述的成像装置，其中
[0138]
凝视目标未确定状态是与视线信息所指示的视线检测结果的分布不具有方差值小于预定值的峰这一事实对应的图像捕获者的状态。
[0139]
(3)
[0140]
(1)或(2)所述的成像装置，其中
[0141]
控制单元基于视线信息确定图像捕获者的状态。
[0142]
(4)
[0143]
(1)至(3)中的任一项所述的成像装置，其中
[0144]
在图像捕获者的状态是作为凝视目标未确定状态的尚未选择凝视目标的凝视目标未选择状态的情况下，控制单元确定聚焦区域以使得聚焦区域包括目标被摄体。
[0145]
(5)
[0146]
(4)所述的成像装置，其中
[0147]
在图像捕获者的状态是凝视目标未选择状态的情况下，控制单元基于图像捕获者的状态变为凝视目标未选择状态之前的成像情况来确定目标被摄体。
[0148]
(6)
[0149]
(5)所述的成像装置，其中
[0150]
控制单元基于在图像捕获者的状态变为凝视目标未选择状态之前作为凝视目标的被摄体来确定目标被摄体。
[0151]
(7)
[0152]
(4)至(6)中的任一项所述的成像装置，其中
[0153]
凝视目标未选择状态是与视线信息所指示的视线检测结果的分布仅具有方差值大于预定值的多个峰这一事实对应的图像捕获者的状态。
[0154]
(8)
[0155]
(4)至(6)中的任一项所述的成像装置，其中
[0156]
凝视目标未选择状态是与视线信息所指示的视线检测结果的轨迹在显示图像上的多个位置之间往复这一事实对应的图像捕获者的状态。
[0157]
(9)
[0158]
(1)至(8)中的任一项所述的成像装置，其中
[0159]
在图像捕获者的状态是作为未确定状态的空闲状态的情况下，当图像捕获者的状态从空闲状态以外的状态改变为空闲状态时，控制单元使视角比空闲状态以外的状态下更宽。
[0160]
(10)
[0161]
(1)至(8)中的任一项所述的成像装置，其中
[0162]
在图像捕获者的状态是作为未确定状态的空闲状态的情况下，控制单元执行省电控制。
[0163]
(11)
[0164]
(1)至(8)中的任一项所述的成像装置，其中
[0165]
在图像捕获者的状态是作为未确定状态的空闲状态的情况下，控制单元执行图像存储控制。
[0166]
(12)
[0167]
(1)至(8)中的任一项所述的成像装置，其中
[0168]
在图像捕获者的状态是作为未确定状态的空闲状态的情况下，当图像捕获者的状态从空闲状态以外的状态改变为空闲状态时，控制单元使距离测量范围比空闲状态以外的状态下更宽。
[0169]
(13)
[0170]
(1)至(8)中的任一项所述的成像装置，其中
[0171]
在图像捕获者的状态是空闲状态的情况下，控制单元从多种控制方法当中选择与成像情况对应的控制方法。
[0172]
(14)
[0173]
(13)所述的成像装置，其中
[0174]
在图像捕获者的状态是空闲状态的情况下，控制单元从所述多种控制方法当中选择与作为成像情况的成像模式对应的控制方法。
[0175]
(15)
[0176]
(13)所述的成像装置，其中
[0177]
在图像捕获者的状态是空闲状态的情况下，控制单元从所述多种控制方法当中选择与作为成像情况的被摄体的类型对应的控制方法。
[0178]
(16)
[0179]
(13)所述的成像装置，其中
[0180]
在图像捕获者的状态是空闲状态的情况下，控制单元从所述多种控制方法当中选择与作为成像情况的空闲状态的持续时间对应的控制方法。
[0181]
(17)
[0182]
(9)至(16)中的任一项所述的成像装置，其中
[0183]
空闲状态是与视线信息所指示的视线检测结果的分布具有大于预定值的方差值这一事实对应的图像捕获者的状态。
[0184]
(18)
[0185]
(9)至(16)中的任一项所述的成像装置，其中
[0186]
空闲状态是与视线信息所指示的视线检测结果的轨迹比在已确定凝视目标的凝视目标确定状态下更宽这一事实对应的图像捕获者的状态。
[0187]
(19)
[0188]
一种控制成像装置的方法，该方法包括
[0189]
使控制单元以与基于视线信息确定的图像捕获者的状态是尚未确定凝视目标的
凝视目标未确定状态这一事实对应的方式执行控制。
[0190]
(20)
[0191]
一种用于使计算机执行控制成像装置的方法的程序，该方法包括
[0192]
使控制单元以与基于视线信息确定的图像捕获者的状态是尚未确定凝视目标的凝视目标未确定状态这一事实对应的方式执行控制。
[0193]
附图标记列表
[0194]
100
ꢀꢀꢀ
成像装置
[0195]
101
ꢀꢀꢀ
控制单元
[0196]
101a
ꢀꢀ
图像捕获者状态确定单元
[0197]
114
ꢀꢀꢀ
视线检测单元