成像装置、控制成像装置的方法及程序与流程

1.本公开涉及成像装置、控制成像装置的方法及程序。


背景技术：

2.在配备自动对焦(af)功能的成像装置中，对焦位置一般用诸如矩形之类的框(下文中适当地称为af框)来显示(例如，参见专利文献1)。af框通过叠加在捕获的图像上的所谓屏幕显示(osd)来显示。
3.引文列表
4.专利文献
5.专利文献1：日本专利申请特许公开no.2016-218106


技术实现要素：

6.本发明要解决的问题
7.在成像中用户注视图像的点一般是期望被成像的点，但是如果在该点处显示af框，那么用户难以在与af框叠加的点处确认被摄体。另一方面，如果不显示af框，那么存在用户难以理解其是否对焦的问题。
8.本公开的目的是提供一种能够适当地显示作为af框等的叠加信息的成像装置、控制该成像装置的方法及程序。
9.问题的解决方案
10.例如，本公开提供了一种成像装置，包括显示图像生成单元，该显示图像生成单元基于用于显示叠加信息的叠加信息显示区域和基于视线信息指认的注视区域来执行生成将叠加信息和捕获的图像叠加的显示图像的视线对应性显示图像生成处理。
11.此外，例如，本公开提供了一种控制成像装置的方法，该方法包括使显示图像生成单元基于用于显示叠加信息的叠加信息显示区域和基于视线信息指认的注视区域来执行生成将叠加信息和捕获的图像叠加的显示图像的视线对应性显示图像生成处理。
12.此外，例如，本公开提供了一种程序，用于使计算机执行使显示图像生成单元基于用于显示叠加信息的叠加信息显示区域和基于视线信息指认的注视区域来执行生成将叠加信息和捕获的图像叠加的显示图像的视线对应性显示图像生成处理的控制方法。
附图说明
13.图1是用于解释根据实施例的成像装置的配置示例的框图。
14.图2是解释指认注视区域的处理中所参考的图。
15.图3是解释根据实施例的显示图像生成单元的处理中所参考的图。
16.图4是解释根据实施例的显示图像生成单元的处理中所参考的图。
17.图5是解释根据实施例的显示图像生成单元的处理中所参考的图。
18.图6是解释根据实施例的显示图像生成单元的处理中所参考的图。
19.图7是解释根据实施例的显示图像生成单元的处理中所参考的图。
20.图8是解释根据实施例的显示图像生成单元的处理中所参考的图。
21.图9是解释根据实施例的显示图像生成单元的处理中所参考的图。
22.图10是图示由根据实施例的成像装置执行的处理的流程的流程图。
23.图11是用于解释根据成像模式等确定是否执行视线对应性显示图像生成处理的第一示例的图。
24.图12是用于解释根据成像模式等确定是否执行视线对应性显示图像生成处理的第一示例流程图。
25.图13是用于解释根据成像模式等确定是否执行视线对应性显示图像生成处理的第二示例的图。
26.图14是用于解释根据成像模式等确定是否执行视线对应性显示图像生成处理的第二示例的流程图。
27.图15是用于解释根据成像模式等确定是否执行视线对应性显示图像生成处理的第三示例的图。
28.图16是用于解释根据成像模式等确定是否执行视线对应性显示图像生成处理的第三示例的流程图。
29.图17是用于解释修改变型的图。
具体实施方式
30.在下文中，将参考附图描述本公开的实施例等。注意的是，将按以下次序给出描述。
31.《第一实施例》
32.《第二实施例》
33.《修改变型》
34.以下描述的实施例等是本公开的优选具体示例，并且本公开的内容不限于这些实施例等。
35.《第一实施例》
36.[成像装置的配置示例]
[0037]
首先，将参考图1描述根据实施例的成像装置(成像装置100)的配置示例。成像装置100包括控制单元101、光学成像系统102、透镜驱动器103、成像元件104、图像信号处理单元105、编解码器单元106、存储单元107、接口108、输入单元109、显示单元110、麦克风111、检测单元112、af控制单元113和视线检测单元114。控制单元101包括注视区域指认单元101a和显示图像生成单元101b作为功能块。
[0038]
控制单元101包括中央处理单元(cpu)、随机存取存储器(ram)、只读存储器(rom)等。cpu根据存储在rom中的程序执行各种处理并发出命令，从而综合控制整个成像装置100和每个单元。注视区域指认单元101a基于视线信息指认用户在显示单元110上注视的注视区域。此外，显示图像生成单元101b执行基于用于显示叠加信息的叠加信息显示区域和基于视线信息指认的注视区域来生成其中叠加信息和捕获的图像被叠加的显示图像的视线对应性显示图像生成处理。注意的是，稍后将描述由显示图像生成单元101b执行的视线对
应性显示图像生成处理的细节。
[0039]
光学成像系统102包括：用于将来自被摄体的光聚焦在成像元件104上的成像透镜、用于移动成像透镜以执行聚焦和变焦的驱动机构、快门机构、光圈机构等。这些基于来自控制单元101和透镜驱动器103的控制信号被驱动。通过光学成像系统102获得的被摄体的光学图像在成像元件104上形成。
[0040]
透镜驱动驱动器103例如包括微型计算机，并且基于从af控制单元113或信息处理装置200供给的聚焦控制信息沿着光轴方向移动成像透镜预定量，从而执行自动对焦以聚焦在目标被摄体上。此外，光学成像系统102的驱动机构、快门机构、光圈机构等的操作在控制单元101的控制下被控制。因此，曝光时间(快门速度)和光圈值(f值)被调整。
[0041]
成像元件104将从被摄体入射并通过成像透镜获得的光光电转换成电荷量并输出成像信号。然后，成像元件104将像素信号输出到图像信号处理单元105。作为成像元件104，使用电荷耦合器件(ccd)、互补金属氧化物半导体(cmos)等。
[0042]
成像元件104包括作为正常像素的红色(r)像素、绿色(g)像素和蓝色(b)像素，以及执行相位差检测的相位差检测像素。有可能使用从相位差检测像素输出的相位差信息来执行所谓的相位差自动对焦(af)。注意的是，相位差检测像素可以仅作为相位差检测像素发挥功能并且也可以不作为普通像素发挥功能，或者可以通过两个独立的光电二极管构成一个像素来进行成像和相位差检测。注意的是，相位差检测可以由相位差检测专用的af传感器来执行。
[0043]
图像信号处理单元105通过对从成像元件104输出的成像信号的相关双采样(cds)处理、自动增益控制(agc)处理、模拟/数字(a/d)转换等来执行采样和保持以维持高信噪比(s/n)以创建图像信号。此外，图像信号处理单元105对用于记录的图像信号执行记录处理，并对用于显示的图像信号执行显示处理。
[0044]
编解码器单元106对经过预定处理的图像信号执行例如用于记录和通信的编码处理。
[0045]
存储单元107是例如诸如硬盘或闪存之类的大容量存储介质。由图像信号处理单元105和编解码器单元106处理的视频数据和图像数据基于预定标准以压缩状态或未压缩状态存储。此外，还与数据相关联地存储包括附加信息(诸如关于存储的数据的信息、指示成像位置的成像位置信息以及指示成像日期和时间的成像时间信息)的可交换图像文件格式(exif)。
[0046]
接口108是与另一个设备、互联网等的接口。接口108可以包括有线或无线通信接口。此外，更具体而言，有线或无线通信接口可以包括诸如3tte的蜂窝通信、wi-fi、蓝牙(注册商标)、近场通信(nfc)、以太网(注册商标)、高清多媒体接口(hdmi)(注册商标)、通用串行总线(usb)等。
[0047]
注意的是，成像装置100可以包括能够连接到互联网、其它设备等的通信单元，诸如无线局域网(lan)、广域网(wan)或无线保真(wifi)。此外，成像装置100和外部设备之间的通信可以是诸如近场通信(nfc)或zigbee(注册商标)之类的短距离无线通信，或者诸如wifi系留、通用串行总线(usb)系留或蓝牙(注册商标)系留之类的系留连接(tethering connection)。
[0048]
由用户使用输入单元109向成像装置100给出各种指令。当用户对输入单元109进
行输入时，与输入对应的控制信号被生成并供给控制单元101。然后，控制单元101执行与控制信号对应的各种处理。输入单元109的示例包括用于快门输入的快门按钮、用于各种操作的物理按钮、触摸面板、与作为显示单元110的显示器一体配置的触摸屏等。
[0049]
显示单元110是显示设备，诸如显示作为经过显示处理的显示图像信号的直通图像、经过记录图像处理并存储在存储单元107中的图像/视频、图形用户界面(gui)等的显示器。
[0050]
麦克风111是用于在记录时记录声音的声音收集设备。
[0051]
检测单元112使用从成像元件104供给的相位差信息执行用于确定焦点位置的af检测并计算散焦量。散焦量被供给af控制单元113。
[0052]
af控制单元113基于由检测单元112计算出的散焦量生成指示聚焦在视角中的哪个位置(例如，xy坐标信息)以及成像装置100的透镜驱动器103移动透镜多少以聚焦在目标被摄体上的聚焦控制信息。聚焦控制信息是用于在成像装置100中执行自动聚焦控制的信息。
[0053]
视线检测单元114通过检测用户的视线来生成视线检测结果。生成的视线检测结果从视线检测单元114供给控制单元101。
[0054]
[关于视线信息和注视区域]
[0055]
接下来，将描述由视线检测单元114检测用户视线的处理的具体示例。例如，视线检测单元114对用户(图像捕获者)的眼睛进行成像并且使用眼睛的图像来检测用户的视线方向。即，视线检测单元114包括例如对用户的眼睛进行成像的相机单元和检测用户的视线方向的单元。相机单元可以包括发射红外光等的光发射单元。
[0056]
作为检测用户的视线方向的方法，可以应用已知的方法。例如，有可能应用发射红外光等并使用来自角膜的反射的角膜反射方法，以基于瞳孔的位置检测用户的视线方向。此外，例如，可以应用通过图像识别识别诸如内眼角或外眼角之类的不移动的点并根据眼睛的虹膜的位置估计视线方向的方法。
[0057]
视线检测单元114例如在成像装置100的取景器中提供。视线检测单元114可以在成像装置100的壳体中提供。例如，视线检测单元114可以在其上设置有显示单元110的成像装置100的壳体的表面上提供。
[0058]
由视线检测单元114检测到的视线方向被供给控制单元101。
[0059]
控制单元101的注视区域指认单元101a根据从视线检测单元114供给的视线检测结果生成视线信息。视线信息是例如指示视线检测结果的分布的信息。具体而言，如图2中所示，视线信息是视线检测结果pa的分布(其是与显示单元110上的视线方向对应的部分)。为显示单元110的每个适当区域ar来获得视线信息。区域ar可以以像素为单位或者以m像素
×
n像素的块为单位(m和n是适当的正数)。注视区域指认单元101a基于视线检测结果pa的分布将用户注视的区域指认为注视区域。例如，如图2中所示，注视区域指认单元101a获得与显示单元110上的x轴方向和y轴方向都对应的视线检测结果pa的分布的值(下文中适当地称为注视级别)的直方图，并指认与其峰对应的一个或多个区域ar作为注视区域ga。此外，注视区域指认单元101a可以通过以预定分辨率划分直方图来获得每个点的方差值，并将方差值等于或大于阈值的区域指认为注视区域ga。此外，具有被确定为预定值的面积以及从注视水平高的区域延伸到该面积变为该预定值的区域的注视区域可以被设置为注视
区域ga。此外，注视级别等于或大于阈值的区域可以被设置为注视区域ga。
[0060]
注意的是，视线信息可以是指示视线检测结果pa的轨迹的信息。例如，在视线检测结果pa的轨迹在约数秒的预定时间内落入特定区域的情况下，注视区域指认单元101a也可以将该区域确定为注视区域ga。
[0061]
[显示图像生成单元的处理的具体示例]
[0062]
接下来，将描述由显示图像生成单元101b执行的处理的具体示例。在本示例中，将基于指示捕获的图像中的焦点对准的对焦信息显示的af框作为叠加信息的示例进行描述。
[0063]
注意的是，叠加信息可以被划分为与显示单元110的显示内容或成像装置100的状态相关联的信息(下文中适当地称为动态叠加信息)和能够将显示位置改变到适当位置而虽然值被改变但不涉及整体的移动的信息(下文中适当地称为固定叠加信息)。动态叠加信息的显示的示例除了上述af框之外，还包括指示等于或高于设定值的亮部分的斑马纹显示、指示具有高频分量的部分(焦点对准的部分)的峰化显示、指示成像装置100的倾斜度的水平指示符等。af框、峰化显示和斑马线显示也可以是指示成像装置100中捕获的图像的状态的图像状态信息。固定叠加信息的显示的示例包括电池的剩余容量、可以被捕获的图像的数量、快门速度、iso感光度等。
[0064]
从另一个角度来看，叠加信息是指示成像装置100的状态的成像装置状态信息。成像装置状态信息是指示成像装置100的设置的设置信息。设置信息的示例包括快门速度、光圈值、iso感光度、模式拨盘、闪光模式等。除设置信息以外的成像装置状态信息的示例包括电池的剩余容量、可以捕获的图像数量等。
[0065]
图3图示了在显示单元110上显示的直通图像的示例。在显示单元110上，显示图像ima，该图像ima包括作为被摄体的作为儿童的人sa以及两只鹿sb和sc。
[0066]
在此，考虑由注视区域指认单元101a将人sa的面部中央附近确定为注视区域ga并且在指认的部分中显示矩形af框的示例。注意的是，在图3中，实际显示的af框(下文中适当地称为af框21a)显示得比其它af框21更暗。包括显示的多个af框21a的区域与用于显示叠加信息的叠加信息显示区域ar1对应。此外，虽然在图3等中图示了注视区域ga，但限定注视区域ga的点线基本上不显示在显示单元110上。但是，注视区域ga可以以用户可以识别注视区域ga的模式显示。
[0067]
如图3中所示，在注视区域ga和叠加信息显示区域ar1不重叠的情况下，af框21a以正常显示模式(矩形形状)显示。但是，如图4中所示，在注视区域ga中显示af框21a的情况下，可能难以理解人sa的表情，并且可能会错过快门场景(这可以是开始捕获移动的图像的定时)。因此，显示图像生成单元101b执行基于注视区域ga与用于显示af框21a的叠加信息显示区域ar1之间的重叠状态生成显示图像的视线对应性显示图像生成处理。在本实施例中，基于注视区域ga和叠加信息显示区域ar1是否彼此重叠，更具体而言，在注视区域ga和叠加信息显示区域ar1彼此重叠的情况下，显示图像生成单元101b执行视线对应性显示图像生成处理。注意的是，显示图像生成单元101b可以在注视区域ga与叠加信息显示区域ar1彼此重叠的区域的尺寸或比率等于或大于某个值的情况下执行视线对应性显示图像生成处理。
[0068]
具体而言，由显示图像生成单元101b执行的视线对应显示图像生成处理是执行重叠对应性显示图像生成处理的处理，其中，在叠加信息显示区域ar1与注视区域ga彼此重叠
的情况下，叠加信息显示区域ar1与注视区域ga彼此重叠的重叠区域中的af框(下文中适当地称为af框21b)与作为其它区域的非重叠区域中的af框21a在显示单元110上的显示图像中的显示形式不同。
[0069]
(第一具体示例)
[0070]
作为重叠对应性显示图像生成处理的第一具体示例，如图5中所示，显示图像生成单元101b生成显示图像，其中使得叠加信息显示区域ar1和注视区域ga彼此重叠的重叠区域中的af框21b的显示模式是半透明，并且叠加信息显示区域ar1和注视区域ga不重叠的非重叠区域中af框21a的显示模式被设置为与正常透射率相似的透射率。生成的图像显示在显示单元110上。通过经由半透明等增加重叠区域中的af框21b的透射率，用户可以确认注视区域ga中的被摄体。注意的是，透射率可以用以下等式表示，其中透射率是t。
[0071]
输出图像＝捕获的图像
×
t osd图像
×
(1-t)
[0072]
(透射率与图像处理的α值对应，一般称为alpha混合)
[0073]
注意的是，半透明性不一定是50％的透射率，并且例如可以是等于或高于可以视觉识别人sa的面部的预定透射率的透射率。
[0074]
在这个示例中，af框21b的透射率可以根据重叠区域中的位置而变化。例如，在重叠区域中，af框21b的透射率可以在重叠区域的外边缘附近的区域和除重叠区域的外边缘附近的区域以外的区域之间变化。具体而言，可以使在除重叠区域的外边缘附近的区域以外的区域中的af框21b的透射率低于在重叠区域的外边缘附近的区域中的af框21b的透射率。
[0075]
(第二具体示例)
[0076]
作为重叠对应性显示图像生成处理的第二具体示例，如图6中所示，显示图像生成单元101b生成显示图像，其中使得叠加信息显示区域ar1和注视区域ga彼此重叠的重叠区域中af框21b的显示形状与叠加信息显示区域ar1和注视区域ga不重叠的非重叠区域中af框21a的显示形状不同。例如，重叠区域中的af框21b具有比非重叠区域中的af框21a大的矩形显示形状，使得用户可以确认重叠区域中的人sa的面部。利用这种处理，用户可以确认注视区域ga中的被摄体。
[0077]
此外，在本示例中，如图7中所示，显示图像生成单元101b可以生成其中重叠区域中的af框21b的框线被细化的显示图像，并且该显示图像可以显示在显示单元110。由于af框21b的框细，因此用户可以更容易地确认重叠区域的部分的图像。注意的是，af框21b的形状在默认显示模式下保持时，框的外边缘的粗细度可以减小。
[0078]
此外，如图8中所示，可以改变重叠区域中的af框21b的形状。例如，af框21b可以具有矩形形状、圆形形状、椭圆形形状或多边形形状。af框21b的形状可以根据重叠区域中的位置而变化。
[0079]
(第三具体示例)
[0080]
重叠对应性显示图像生成处理的第三具体示例是其中生成使注视区域ga醒目的显示图像，同时如上述第一具体示例和第二具体示例中那样改变重叠区域中的af框21b的透射率和框的显示形状的示例。具体而言，如图9中所示，显示图像生成单元101b可以将重叠区域之外的区域的辉度降低半色调等，使得重叠区域的图像比其它区域更醒目。在本示例中，可以生成并显示其中重叠区域的显示图像最容易被看到、叠加信息显示区域ar1第二
容易看到并且其它部分最难被看到的显示图像。
[0081]
作为另一个具体示例，在注视区域ga中的重叠信息是不需要在注视区域ga中显示的叠加信息的情况下，可以将叠加信息的显示位置移动到注视区域ga的外部。即，叠加信息显示区域可以被设置为不与注视区域重叠的区域。不需要在注视区域ga中显示的叠加信息的示例是固定叠加信息。此外，在区域彼此重叠的情况下，可以移动叠加信息以使得面积小于当前重叠区域。
[0082]
[处理的流程]
[0083]
图10是图示由成像装置100执行的处理流程的流程图。例如，当开启成像装置100的电源时，执行下述处理。根据陀螺传感器或压敏传感器的检测结果，可以在用户处于抬起成像装置100并捕获图像的姿势的阶段开始处理。此外，可以在视线检测单元114检测到视线之后开始处理。可以在检测视线的同时重复该处理。在步骤st11中，开始视线对应性显示图像生成处理。然后，处理前进到步骤st12。
[0084]
在步骤st12中，基于从af控制单元113供给的聚焦控制信息，控制单元101确定用于在显示单元110上显示作为叠加信息的示例的af框21a的叠加信息显示区域ar1。然后，处理前进到步骤st13。
[0085]
在步骤st13中，确定注视区域ga。即，注视区域指认单元101a基于视线检测单元114的视线检测结果指认显示单元110的注视区域ga。然后，处理前进到步骤st14。
[0086]
在步骤st14中，控制单元101确定叠加信息显示区域ar1与注视区域ga是否重叠。在步骤st14的确定是“否”的情况下，处理前进到步骤st16。
[0087]
在步骤st16中，由于叠加信息显示区域ar1和注视区域ga不重叠，因此显示图像生成单元101b生成以诸如矩形之类的正常显示模式(默认显示模式)显示af框21a的显示图像。生成的显示图像显示在显示单元110上(参见图3)。
[0088]
在步骤st14的确定处理中，确定叠加信息显示区域ar1与注视区域ga是否重叠。在步骤st14中的确定是“是”的情况下，处理前进到步骤st15。
[0089]
在步骤st15中，显示图像生成单元101b执行生成重叠对应性显示图像的重叠对应性显示图像生成处理。重叠对应性显示图像是改变重叠区域中的af框21b的透射率或显示形状或使重叠区域醒目的图像(参见图5至9)。重叠对应性显示图像显示在显示单元110上。
[0090]
根据上述本实施例，有可能防止用户注视的注视区域的显示内容由于af框等osd而变得难以查看。因此，作为用户注意力集中的部分的注视区域中的显示内容变得容易查看，因此有可能适当地确定用户按快门的时刻或用户捕获移动的图像的定时。
[0091]
《第二实施例》
[0092]
接下来，将描述第二实施例。注意的是，在第二实施例的描述中，对与上述那些相同或相似的配置标注相同的附图标记，并适当地省略重复的描述。此外，除非另有说明，否则第一实施例中描述的事项可以应用于第二实施例。
[0093]
第二实施例是根据成像模式、对成像装置100的操作以及叠加信息的特性来确定是否执行第一实施例中描述的视线对应性显示图像生成处理的实施例。
[0094]
[第一示例]
[0095]
第一示例是根据成像模式确定是否执行视线对应性显示图像生成处理的示例。图11是用于解释本示例的概要的表。如图11中所示，在成像模式(mode)是auto(自动)模式和
光圈优先模式的情况下，不执行(停止)视线对应性显示图像生成处理。另一方面，在成像模式是program(程序)模式和快门速度优先模式的情况下，执行(执行)视线对应性显示图像生成处理。
[0096]
在auto模式下，一般假设成像装置100的用户是初学者。因此，在成像模式是auto模式的情况下，不执行视线对应性显示图像生成处理。即，为了帮助初学者用户，重叠区域中的af框以正常显示模式(矩形形状)显示。
[0097]
在program模式(保留曝光等一些设置的模式)下，由于假设用户期望执行成像装置100的控制功能，因此执行视线对应性显示图像生成处理。
[0098]
光圈优先模式被假设为在重视模糊等而要对诸如风景之类的具有较少运动的物体进行成像的情况下设置的成像模式。因此，在成像模式是光圈优先模式的情况下，为了可靠地向用户通知af是否准确的信息，不执行视线对应性显示图像生成处理，并且重叠区域中的af框以正常显示模式(矩形形状)显示。
[0099]
假设快门速度优先模式是为了捕获快速移动的被摄体的瞬间而设置的成像模式。即，假设用户想要实时确认被摄体。因此，在设置了快门速度优先模式的情况下，执行视线对应性显示图像生成处理，使得用户可以容易地确认注视区域ga中的显示内容。
[0100]
图12是图示根据本实施例的处理的详细流程的流程图。在步骤st211中，控制单元101确定信息是固定叠加信息还是动态叠加信息，并确定重叠信息的类型。在此，在确定重叠信息是上述动态叠加信息的情况下，处理前进到步骤st212。
[0101]
在步骤st212中，控制单元101确定成像模式。作为确定的结果，在成像模式是auto模式或光圈优先模式的情况下，处理前进到步骤st213。在步骤st213中，不执行视线对应性显示图像生成处理。
[0102]
在步骤st212的确定处理中确定结果是program模式或快门速度有线模式的情况下，处理前进到步骤st214。在步骤st214中，由显示图像生成单元101b执行视线对应性显示图像生成处理。
[0103]
在步骤st211的确定处理中确定叠加信息是固定叠加信息的情况下，处理前进到步骤st215。
[0104]
在步骤st215中，控制单元101确定是否有必要显示固定叠加信息。在此，在控制单元101确定有必要显示固定叠加信息的情况下，处理前进到步骤st216，并且处理结束而不执行视线对应性显示图像生成处理。在控制单元101确定不需要显示固定叠加信息的情况下，处理前进到步骤st216，并且执行视线对应性显示图像生成处理。
[0105]
例如，在步骤st215中，控制单元101如下确定显示固定叠加信息的必要性。在成像装置100的快门按钮处于半按下状态(下文中适当地称为s1状态)的情况下，由于用户处于捕获图像的姿势，因此控制单元101确定不需要显示固定叠加信息。作为另一个示例，在固定叠加信息是电池剩余容量，且电池剩余容量充足(例如，等于或大于阈值(例如，70％))的情况下，显示电池剩余电量的需求低。因此，在电池的剩余容量充足的情况下，控制单元101确定不需要显示电池的剩余容量。另一方面，在电池的剩余容量小于阈值的情况下，控制单元101确定有必要显示电池的剩余容量。
[0106]
此外，作为另一个示例，控制单元101基于注视区域ga与显示固定叠加信息的叠加信息显示区域重叠的时间段来确定显示固定叠加信息的必要性。在注视区域ga与显示固定
叠加信息的叠加信息显示区域重叠的时间段等于或长于阈值(例如，数10秒)的情况下，控制单元101确定，假设用户已经检查了固定叠加信息的内容，那么有必要显示固定叠加信息。另一方面，在注视区域ga与显示固定叠加信息的叠加信息显示区域重叠的时间段比阈值(例如，数10秒)短的情况下，控制单元101确定不需要显示固定叠加信息。
[0107]
此外，作为另一个示例，控制单元101根据固定叠加信息与主要被摄体的叠加程度来确定显示固定叠加信息的必要性。可以使用其中多个被摄体中最大的被摄体是主要被摄体等的已知的方法来指认主要被摄体。在固定叠加信息与主要被摄体的叠加程度等于或大于一定水平的情况下，有必要使主要被摄体容易查看，因此控制单元101确定不需要显示固定叠加信息。此外，在固定叠加信息与主要被摄体的叠加程度小于一定水平的情况下，主要被摄体的显示不受固定叠加信息的阻碍，因此控制单元101确定有必要显示固定叠加信息。
[0108]
注意的是，如在本示例中，确定叠加信息的类型是因为，在叠加信息是固定叠加信息的情况下，叠加信息常常显示在显示单元110的外边缘附近，并且常常不与注视区域ga重叠。因此，通过确定显示固定叠加信息的必要性，可以适当地显示固定叠加信息。
[0109]
[第二示例]
[0110]
第二示例是根据用户在每种成像模式下的操作状态来确定是否执行视线对应性显示图像生成处理的示例。注意的是，将适当省略与上述根据本实施例的第一示例的处理相似的处理的重复描述。此外，在本示例中，将描述快门按钮的按下状态(s0状态(未按下快门按钮的状态)/s1状态(半按下快门按钮的状态))作为用户的操作状态的示例。
[0111]
图13是用于解释本示例的概要的表。如图13中所示，在auto模式下，一般假设成像装置100的用户是初学者。因此，在成像模式是auto模式的情况下，无论快门按钮的状态如何，都不执行视线对应性显示图像生成处理。即，为了帮助初学者用户，重叠区域中的af框以正常显示模式(矩形形状)显示。
[0112]
在program模式(保留曝光等一些设置的模式)下，假设用户期望执行成像装置100的控制功能，因此无论快门按钮的状态如何，都执行视线对应性显示图像生成处理。
[0113]
光圈优先模式被假设为在重视模糊等要对诸如风景之类的具有较少运动的物体进行成像的情况下设置的成像模式。在光圈优先模式下在状态是s0状态的情况下，假设用户处于确认被摄体的阶段，因此执行视线对应性显示图像生成处理以便容易地确认被摄体。另一方面，在快门按钮处于s1状态的情况下，由于认为已经确认了成像的构图并且即将执行成像，因此不执行视线对应性显示图像生成处理，换句话说，以正常模式显示af框，并且将关于af是否准确的信息提供给用户。
[0114]
快门速度优先模式被假设为是为了捕获快速移动的被摄体的瞬间而设置的成像模式。在成像模式是快门速度优先模式并且状态是s0状态的情况下，认为用户跟踪被摄体，但是停止视线对应性显示图像生成处理，以便用户可以确认要被跟踪的被摄体的对焦状态。在状态是s1状态的情况下，由于认为用户继续等待捕获图像的好时机，因此执行视线对应性显示图像生成处理。
[0115]
图14是图示根据本实施例的处理的详细流程的流程图。由于确定叠加信息的类型的处理(根据步骤st211的处理)、确定成像模式的处理(根据步骤st212的处理)以及在叠加信息是固定叠加信息的情况下的处理(根据步骤st215至st217的处理)与上述第一实施例中的处理相似，因此将省略重复的描述。
[0116]
在根据步骤st212的确定处理中成像模式是auto模式的情况下，处理前进到步骤st213。在成像模式是auto模式的情况下，不管快门按钮的状态如何，都不执行视线对应性显示图像生成处理，而执行正常显示图像的生成处理。此外，在成像模式是program模式的情况下，处理前进到步骤st214，并且不管快门按钮的状态如何，都执行视线对应性显示图像生成处理。
[0117]
在根据步骤st212的确定处理中成像模式是光圈优先模式的情况下，处理前进到步骤st221。在步骤st221中，控制单元101确定快门按钮的状态。在此，如果快门按钮的状态是s1状态，那么不执行视线对应性显示图像生成处理，而执行正常显示图像生成处理。此外，如果快门按钮的状态是s0状态，那么由显示图像生成单元101b执行视线对应性显示图像生成处理。
[0118]
在根据步骤st222的确定处理中成像模式是快门速度优先模式的情况下，处理前进到步骤st222。在步骤st222中，控制单元101确定快门按钮的状态。在此，如果快门按钮的状态是s0状态，那么不执行视线对应性显示图像生成处理，而执行正常显示图像生成处理。此外，如果快门按钮的状态是s1状态，那么由显示图像生成单元101b执行视线对应性显示图像生成处理。
[0119]
[第三示例]
[0120]
第三示例是根据用户在每种成像模式下的操作状态来确定是否执行视线对应性显示图像生成处理的示例。注意的是，将适当省略与上述根据本实施例的第一和第二示例的处理相似的处理的重复描述。此外，在本示例中，除了第二示例之外，是否执行视线对应性显示图像生成处理还根据作为用户的操作状态的对其指派了af-on功能的按钮是否被按下来确定。注意的是，af-on是指在期望分开地执行af和快门释放的情况下通过按下预定按钮(一般而言，是相机背面上的可以用拇指按下的按钮)激活af。通常，af框在快门按钮处于s1状态的状态下或在对其指派了af-on(即，af-on功能)的按钮被按下的状态下显示。
[0121]
图15是用于解释本示例的概要的表。如图15中所示，在auto模式下，一般假设成像装置100的用户是初学者。因此，在成像模式是auto模式的情况下，无论快门按钮的状态如何，都不执行视线对应性显示图像生成处理。即，为了帮助初学者用户，重叠区域中的af框以正常显示模式(矩形形状)显示。
[0122]
在program模式(保留曝光等一些设置的模式)中，假设用户期望执行成像装置100的控制功能，因此无论快门按钮的状态如何，都执行视线对应性显示图像生成处理。
[0123]
光圈优先模式被假设为在重视模糊等要对诸如风景之类的具有较少运动的物体进行成像的情况下设置的成像模式。在模式是光圈优先模式并且af-on或快门按钮处于s0状态的情况下，执行视线对应性显示图像生成处理，以便在检查af框的同时易于查看被摄体。此外，在快门按钮处于s1状态的情况下，由于认为已经确认了成像的构图并且即将执行成像，因此不执行视线对应性显示图像生成处理，换句话说，以正常模式显示af框，并且将关于af是否准确的信息提供给用户。
[0124]
快门速度优先模式被假设为是为了捕获快速移动的被摄体的瞬间而设置的成像模式。在成像模式是快门速度优先模式并且af-on或快门按钮处于s0状态的情况下，不执行视线对应性显示图像生成处理并且优先考虑af框的显示。此外，在快门按钮的状态为s1状态的情况下，考虑到用户继续等待捕获图像的好时机，因此执行视线对应性显示图像生成
处理。
[0125]
图16是图示根据本示例的处理的详细流程的流程图。由于确定叠加信息的类型的处理(根据步骤st211的处理)、确定成像模式的处理(根据步骤st212的处理)以及在叠加信息是固定叠加信息的情况下的处理(根据步骤st215至st217的处理)与上述第一实施例中的处理相似，因此将省略重复的描述。
[0126]
在根据步骤st212的确定处理中成像模式是auto模式的情况下，处理前进到步骤st213。在成像模式是auto模式的情况下，不管快门按钮的状态如何，都不执行视线对应性显示图像生成处理，而执行正常显示图像的生成处理。此外，在成像模式是program模式的情况下，处理前进到步骤st214，并且不管快门按钮的状态如何，都执行视线对应性显示图像生成处理。
[0127]
在根据步骤st212的确定处理中成像模式是光圈优先模式的情况下，处理前进到步骤st231。在步骤st231中，控制单元101确定快门按钮的状态并确定是否设置了af-on。在此，如果af-on或快门按钮处于s0状态，那么处理前进到步骤st214，并且由显示图像生成单元101b执行视线对应性显示图像生成处理。如果快门按钮的状态是s1状态，那么不执行视线对应性显示图像生成处理，而执行正常显示图像生成处理。
[0128]
在根据步骤st212的确定处理中成像模式是快门速度优先模式的情况下，处理前进到步骤st232。在步骤st232中，控制单元101确定快门按钮的状态并确定是否设置了af-on。在此，如果快门按钮的状态是s1状态，那么不执行视线对应性显示图像生成处理，而执行正常显示图像生成处理。此外，如果af-on或快门按钮处于s0状态，那么由显示图像生成单元101b执行视线对应性显示图像生成处理。
[0129]
《修改变型》
[0130]
虽然上面已经具体描述了本公开的多个实施例，但是本公开的内容不限于上述实施例，并且基于本公开的技术思想的各种修改变型是可能的。
[0131]
在上述实施例中，重叠对应性显示图像生成处理可以是根据基于显示图像中的视线信息确定的注视级别的分布确定重叠区域中的叠加信息的显示形式的处理。例如，重叠对应性显示图像生成处理可以是随着注视级别增加而增加重叠区域中的叠加信息的显示形式与非重叠区域中的叠加信息的显示形式之间的差异的处理。
[0132]
此外，重叠对应性显示图像生成处理可以是根据注视级别的分布以逐级方式改变重叠区域中的叠加信息的显示形式的处理。例如，如图17中所示，假设在重叠区域中存在注视级别高于阈值的区域ar31和注视水平低于阈值的区域ar32。在这种情况下，区域ar31中的af框21的显示形式和区域ar32中的af框21的显示形式以逐级方式改变。例如，af框21显示在具有第一透射率的区域ar31中，而af框21显示在具有低于第一透射率的第二透射率的区域ar32中。即，用户可以容易地查看具有高注视级别的区域中的被摄体。
[0133]
此外，如图17中所示，区域ar31(第一区域的示例)中的af框21的第一显示形式、在与区域ar31不同的重叠区域中的区域ar32(第二区域的示例)中的af框21的第二显示形式以及非重叠区域中的af框21的显示形式可以不同。具体而言，区域ar31中的af框21的显示形式与非重叠区域中的af框21的显示形式之间的差异可以大于区域ar32的显示形式与非重叠区域中的af框21的显示形式之间的差异。
[0134]
作为注视级别，注视级别可以根据视线的轨迹来确定。例如，可以根据视线的轨迹
指认用户注视的注视区域，并且可以根据距注视区域的重心的距离来改变注视级别。改变程度(如何改变显示形式)可以根据距注视区域的重心的距离来确定，而不使用注视级别。
[0135]
在注视级别是实施例中描述的分布的值的情况下，注视级别可以被缩放以使得注视级别的最大值与af帧的最大透射率对应。可以提供与注视级别对应的透射率的表，并根据该表确定af帧的透射率。
[0136]
此外，在上述多个显示示例中，对于非重叠区域中的注视区域中的af框，可以执行形成与重叠区域中的af框相似的显示形状等的处理。
[0137]
注视区域不限于当前注视区域，并且可以是包括基于基于注视轨迹的移动向量预测的并且用户将注视的区域的区域。
[0138]
在根据上述实施例的处理中，可以执行基于机器学习的处理，即，使用通过预先执行的学习获得的学习模型的处理。
[0139]
叠加信息显示区域只要是显示叠加信息的区域即可。叠加信息显示区域可以是显示叠加信息的其它信息的显示区域。
[0140]
显示图像生成单元可以根据用户对成像装置的操作的多个阶段中的每一个来确定是否执行视线信息对应性显示图像生成处理。多个阶段的示例包括从s0状态到s1状态的阶段和s1状态中的af-on。可以在从s0状态到s1状态的阶段中执行视线信息对应性显示图像生成处理。在s1状态的af-on阶段，可以不执行视线信息对应性显示图像生成处理，而以正常显示模式显示af框。
[0141]
在上述实施例和修改变型中描述的配置、方法、步骤、形状、材料、数值等仅仅是示例，并且可以根据需要使用与上述不同的配置、方法、步骤、形状、材料、数值等，或者可以将在上述实施例和修改变型中描述的配置、方法、步骤、形状、材料、数值等替换为已知的那些。此外，实施例和修改变型中的配置、方法、步骤、形状、材料、数值等可以在不发生技术矛盾的范围内彼此组合。
[0142]
注意的是，本公开的内容不应被解释为受本说明书中例示的效果的限制。
[0143]
本公开还可以采用以下配置。
[0144]
(1)
[0145]
一种成像装置，包括
[0146]
显示图像生成单元，基于用于显示叠加信息的叠加信息显示区域和基于视线信息指认的注视区域，来执行生成将叠加信息和捕获的图像叠加的显示图像的视线对应性显示图像生成处理。
[0147]
(2)
[0148]
根据(1)所述的成像装置，其中
[0149]
视线对应性显示图像生成处理是基于叠加信息显示区域与注视区域之间的重叠状态生成显示图像的处理。
[0150]
(3)
[0151]
根据(2)所述的成像装置，其中
[0152]
视线对应性显示图像生成处理是根据叠加信息显示区域与注视区域是否彼此重叠来生成显示图像的处理。
[0153]
(4)
[0154]
根据(3)所述的成像装置，其中
[0155]
视线对应性显示图像生成处理是执行重叠对应性显示图像生成处理的处理，其中，在显示图像中，使叠加信息显示区域与注视区域彼此重叠的情况下，在叠加信息显示区域与注视区域彼此重叠的重叠区域中的叠加信息与作为另一个区域的非重叠区域中的叠加信息处于不同的显示形式。
[0156]
(5)
[0157]
根据(4)所述的成像装置，其中
[0158]
重叠对应性显示图像生成处理是使叠加信息在叠加信息显示区域内的重叠区域与非重叠区域中处于不同的显示形式的处理。
[0159]
(6)
[0160]
根据(5)所述的成像装置，其中
[0161]
重叠对应性显示图像生成处理是在重叠区域中使叠加信息的显示形式半透明的处理。
[0162]
(7)
[0163]
根据(5)所述的成像装置，其中
[0164]
重叠对应性显示图像生成处理是使叠加信息的显示形状在叠加信息显示区域内的重叠区域与非重叠区域之间不同的处理。
[0165]
(8)
[0166]
根据(5)所述的成像装置，其中
[0167]
重叠对应性显示图像生成处理是根据基于显示图像中的视线信息确定的注视级别的分布来确定重叠区域中的叠加信息的显示形式的处理。
[0168]
(9)
[0169]
根据(8)所述的成像装置，其中
[0170]
重叠对应性显示图像生成处理是根据注视级别的分布以逐级方式改变重叠区域中的叠加信息的显示形式的处理。
[0171]
(10)
[0172]
根据(8)所述的成像装置，其中
[0173]
重叠对应性显示图像生成处理包括第一区域中的叠加信息的第一显示形式、与第一区域不同并包括在重叠区域中的第二区域中的叠加信息的第二显示形式以及非重叠区域中的叠加信息的第三显示形式，作为重叠区域中的叠加信息的显示形式，以及
[0174]
在第一区域中的注视级别高于第二区域中的注视级别的情况下，第一显示形式与第三显示形式之间的差异大于第二显示形式与第三显示形式之间的差异。
[0175]
(11)
[0176]
根据(3)至(10)中的任一项所述的成像装置，其中
[0177]
在叠加信息显示区域与注视区域彼此重叠的情况下，显示图像生成单元执行将叠加信息显示区域设置为与注视区域不重叠的区域的重叠对应性显示图像生成处理。
[0178]
(12)
[0179]
根据(1)至(11)中的任一项所述的成像装置，其中
[0180]
叠加信息是指示成像装置的状态的成像装置状态信息。
[0181]
(13)
[0182]
根据(1)至(11)中的任一项所述的成像装置，其中
[0183]
叠加信息是指示成像装置中的捕获的图像的状态的图像状态信息。
[0184]
(14)
[0185]
根据(15)所述的成像装置，其中
[0186]
图像状态信息是捕获的图像的对焦信息。
[0187]
(15)
[0188]
根据(1)至(14)中的任一项所述的成像装置，其中
[0189]
显示图像生成单元根据成像模式确定是否执行视线信息对应性显示图像生成处理。
[0190]
(16)
[0191]
根据(1)至(14)中的任一项所述的成像装置，其中
[0192]
显示图像生成单元根据对成像装置的多个阶段的用户操作中的每个阶段来确定是否执行视线信息对应性显示图像生成处理。
[0193]
(17)
[0194]
根据(1)至(16)中的任一项所述的成像装置，其中
[0195]
视线信息是指示视线检测结果的分布的信息。
[0196]
(18)
[0197]
根据(1)至(16)中的任一项所述的成像装置，其中
[0198]
视线信息是指示视线检测结果的轨迹的信息。
[0199]
(19)
[0200]
一种控制成像装置的方法，该方法包括：使显示图像生成单元基于用于显示叠加信息的叠加信息显示区域和基于视线信息指认的注视区域，来执行生成将叠加信息和捕获的图像叠加的显示图像的视线对应性显示图像生成处理。
[0201]
(20)
[0202]
一种程序，用于使计算机执行使显示图像生成单元基于用于显示叠加信息的叠加信息显示区域和基于视线信息指认的注视区域来执行生成将叠加信息和捕获的图像叠加的显示图像的视线对应性显示图像生成处理的控制方法。
[0203]
附图标记列表
[0204]
100
ꢀꢀꢀ
成像装置
[0205]
101
ꢀꢀꢀ
控制单元
[0206]
101a 注视区域指认单元
[0207]
101b 显示图像生成单元
[0208]
114
ꢀꢀꢀ
视线检测单元