电子装置及其控制方法和记录介质与流程

1.本发明涉及被配置为检测用户的视线且可以通过视线输入进行操作的电子装置、该电子装置的控制方法、以及存储介质。


背景技术：

2.近年来，已知有基于用户的视线(以下称为“视线输入”)而操作的电子装置。特别是在用户希望向电子装置(诸如数字照相机或游戏机等)输入用以快速地指定或移动期望位置的指示的情况下，视线输入是有效的。日本特开平9-114846论述了按显示顺序优先与在根据用户的视线所计算出的注视点处显示的图像类似的图像的技术。根据日本特开平9-114846，如果安装了专用软件，则可以在根据用户的视线所计算出的注视点处显示指针(pointer)，因此用户可以观看用户的注视点和注视点的移动。
3.由于日本特开平9-114846中所论述的技术不显示根据用户的视线所计算出的注视点，因此不能检查注视点是否对应于用户正在观看的位置。在注视点不对应于用户正在观看的位置的情况下，可能优先了用户不想要的类似图像。根据tobii technology ab,“streaming”,tobii ghost software,《https://gaming.tobii.com/software/ghost/》(于2020年10月7日在因特网上搜索)，显示表示注视点的指针。然而，由于指针总是显示在任何显示物体上面，因此难以观看目标显示物体，结果用户可能会对指针感到恼火。


技术实现要素：

4.本发明涉及如下的技术，通过该技术，在通过视线输入进行操作时，在用户进行确定操作之后比在进行该确定操作之前更容易观看由注视点指定的位置(指定位置)。
5.根据本发明的各种实施例，一种电子装置，包括：检测单元，其被配置为检测显示单元上的基于用户观看的视线的注视点；以及控制单元，其被配置为将表示所述注视点的指示器显示在所述显示单元上，其中，在用户对操作单元进行了操作的情况下，所述控制单元进行控制，以将显示项显示在所述注视点处，并且将所述指示器和所述显示项以改变的显示顺序显示。
6.一种用于控制电子装置的控制方法，所述控制方法包括：检测显示单元上的基于用户观看的视线的注视点；以及进行控制，以将表示所述注视点的指示器显示在所述显示单元上，其中，在用户对操作单元进行了操作的情况下进行控制，以将显示项显示在所述注视点处，并且将所述指示器和所述显示项以改变的显示顺序显示。
7.一种存储有程序的计算机可读记录介质，所述程序用于使计算机执行电子装置的控制方法，所述控制方法包括：检测显示单元上的基于用户观看的视线的注视点；以及进行控制，以将表示所述注视点的指示器显示在所述显示单元上，其中，在用户对操作单元进行了操作的情况下进行控制，以将显示项显示在所述注视点处，并且将所述指示器和所述显示项以改变的显示顺序显示。
8.通过以下参考附图对示例实施例的说明，本发明的更多特征将变得明显。
附图说明
9.图1a和图1b是示出根据本发明的示例实施例的数字照相机的外观图。
10.图2是示出根据本发明的示例实施例的数字照相机的结构的框图。
11.图3是示出根据本发明的示例实施例的控制数字照相机的处理的流程图。
12.图4a1至图4a3和图4b1至图4b3是示出根据本发明的示例实施例的摄像模式处理中的、对表示用户的注视点的视线指针以及框的显示进行控制的处理的流程图。
13.图5a和图5b是根据本发明的示例实施例的设置菜单画面。
14.图6a至图6j是各自示出根据本发明的示例实施例的表示用户的注视点的视线指针以及框的显示示例的图。
15.图7a和图7b是示出根据本发明的示例实施例的显示单元上所显示的对象的显示顺序的图。
16.图8是示出根据本发明的示例实施例的个人计算机(pc)的外观图。
17.图9a至图9d是示出在将本发明的示例实施例应用于pc的情况下的显示示例的图。
具体实施方式
18.以下将参考附图来详细说明本发明的各种示例实施例。
19.要注意，以下的示例实施例仅仅是本发明的实现的示例，并且可以根据应用了本发明的设备的个体构造和各种条件来适当地修改或改变本发明的实施例。因此，本发明决不限于以下的示例实施例。
20.《数字照相机100的外观图》
21.以下将参考附图来说明本发明的各种示例实施例。
22.图1a和图1b是示出作为本发明可应用于的设备的示例的数字照相机100的外观图。图1a是示出数字照相机100的正面立体图，并且图1b是示出数字照相机100的背面立体图。在图1a和图1b中，显示单元28是显示图像和各种类型的信息的显示单元，并且设置于数字照相机100的背面。触摸面板70a是可以进行触摸操作的操作构件。触摸面板70a检测对显示单元28的显示面(操作面)的触摸操作。取景器外显示单元43是设置在数字照相机100的取景器外部的显示单元，并且显示诸如快门速度和光圈等的数字照相机100的各种设置值。
23.快门按钮61是用于发出摄像指示的操作单元。模式选择开关60是用于选择各种模式的操作单元。端子盖40是保护用于将外部装置的连接线缆连接到数字照相机100的连接器(未示出)的盖。主电子拨盘71是操作单元70的旋转操作构件，并且通过转动主电子拨盘71来改变诸如快门速度和光圈等的设置值。电源开关72是用于开启/关闭数字照相机100的操作构件。副电子拨盘73是操作单元70的用于移动所选择的框并给送图像的旋转操作构件。操作单元70的四向键74是包括可沿四个方向按下的按钮的操作构件，并且基于按下四向键74的方向来进行操作。设置(set)按钮75是操作单元70的按钮，并且主要用于确定所选择的项。运动图像按钮76用于发出用以开始/停止运动图像的摄像(记录)的指示。按下操作单元70的自动调焦开启(af-on(af开启))按钮77以开始自动调焦(af)操作(自动焦点调节)。尽管af操作主要响应于快门按钮61的按下而开始，但也可以通过按下af-on按钮77来发出用以开始af操作的指示。在可被设置为不响应于快门按钮61的按下而进行af操作的数字照相机100中，可以分开发出af开始指示和摄像指示。通过按下af-on按钮77、然后按下快
门按钮61，在af位置固定的状态下进行摄像，或者即使在af不可操作的情形下也进行摄像。在摄像待机状态(在摄像模式中使用摄像单元22开始摄像、不进行摄像所用的准备、以及在摄像模式中数字照相机100正在等待的状态)下按下操作单元70的自动曝光(ae)锁定按钮78，以固定曝光状态。具体地，使用固定的用户期望的曝光值来进行摄像。操作单元70的再现按钮79是用于在摄像模式和再现模式之间改变的操作按钮。在摄像模式期间按下再现按钮79以改变为再现模式，并且显示单元28显示记录介质200上所记录的图像中的最新图像。按下操作单元70的对焦按钮84来以在按下对焦按钮84时设置的光圈值使镜头对焦，以检查聚焦范围(景深)。按下操作单元70的菜单按钮81以在显示单元28上显示各种设置所要使用的菜单画面。操作单元70的放大按钮82是用于在摄像模式中的实时取景显示期间启用或禁用放大模式的操作按钮。通过启用放大模式然后操作主电子拨盘71来放大或缩小实时取景图像。在再现模式中，放大按钮82用作放大再现图像并增加放大率的放大按钮。多控制器83是包括方向键和按钮的操作构件。可以在八个方向上操作该方向键，并且可以按下该按钮。进行基于推按多控制器83的相应方向的操作。用户可以使用四向键74、设置按钮75和多控制器83来在显示单元28上所显示的菜单画面上直观地设置各种设置。取景辅助按钮(未示出)是设置于镜头单元150或用于将数字照相机100连接到镜头单元150的镜头适配器的操作按钮。取景辅助按钮是布置在如下位置处的操作构件，在该位置处，用户可以在摄像期间用该用户的右手把持握持部90并用该用户的左手把持镜头单元150时，用该用户的左手按下取景辅助按钮。
24.操作单元70包括作为用于接收用户操作的输入单元的各种操作构件。操作单元70包括推式按钮、旋转拨盘和触摸传感器，并且至少包括快门按钮61、触摸面板70a、主电子拨盘71、电源开关72、副电子拨盘73、四向键74、设置按钮75、运动图像按钮76、af-on按钮77、ae锁定按钮78、再现按钮79、菜单按钮81、放大按钮82、多控制器83、对焦按钮84和取景辅助按钮。视线确定功能是将af框更新到基于注视点的位置的功能，并且数字照相机100可以包括具有视线确定功能的专用按钮，或者视线确定功能可被指派给具有另一功能的操作构件。视线确定功能可被指派给的操作构件是af-on按钮77、ae锁定按钮78、多控制器83的推式按钮、对焦按钮84和取景辅助按钮。af-on按钮77、ae锁定按钮78和多控制器83布置于在用户用该用户的右手食指操作快门按钮61的同时在不会干扰摄像的情况下该用户可操作的位置处。具体地，在用户用该用户的右手把持握持部90时，af-on按钮77、ae锁按钮78和多控制器83在数字照相机100的背面部的中央位置的上侧(更靠近快门按钮61的一侧)(其在被摄体的相反侧)，并且在电子取景器(evf)29的右手侧(更靠近握持部90的一侧)。视线确定功能可被指派给的操作构件不限于设置于数字照相机100的背面部的操作构件，并且可以是用户在操作快门按钮61的同时可以操作的任何操作构件。例如，视线确定功能可被指派给设置于正面部(被摄体侧)或镜头单元150的操作构件，诸如对焦按钮84或取景辅助按钮等。在这种情况下，操作构件的位置不限于数字照相机100的背面，并且可以是用户用除操作快门按钮61的右手食指以外的手指可以对操作构件进行操作的任何位置。用户可以指派视线确定功能并且具有另一功能的操作构件是具有当在操作快门按钮61的同时被操作时不会使数字照相机100从摄像模式改变的功能的按钮、或者具有不会对通过操作快门按钮61而执行摄像功能进行干扰的功能的按钮。此外，可以采用可被指派各种功能且可被按下的按钮。可选地，可以响应于对向左和向右可操作的操作条或者可转动的环所进行的操
作来触发功能，或者用大的压力按下能够检测以下所述的按压力的触摸面板70a而不是按钮。
25.通信端子10是数字照相机100与以下所述的(可移除的)镜头单元150进行通信所用的通信端子。目镜16是取景器(透视型取景器)的目镜，并且用户可以通过目镜16查看取景器内显示单元的evf 29上所显示的视频图像。眼睛接近检测单元57是检测拍摄图像的用户的眼睛是否放置到目镜16的眼睛检测传感器。盖202是储存记录介质200的槽所用的盖。握持部90是具有在用户把持数字照相机100时该用户的右手容易把持的形状的把持单元。在用户通过用右手的小指、无名指和中指把持握持部90来把持数字照相机100的状态下，在该用户的右手食指可容易操作的位置处布置有快门按钮61和主电子拨盘71。此外，在上述状态下，在右手拇指可操作的位置处布置有副电子拨盘73。
26.图2是示出根据本示例实施例的数字照相机100的结构的示例的框图。在图2中，镜头单元150是安装有可更换的摄像镜头的镜头单元。透镜103通常由多个透镜构成，但在图2中简单地示出为单个透镜。通信端子6是镜头单元150与数字照相机100进行通信所用的通信端子。镜头单元150经由通信端子6和通信端子10与系统控制单元50进行通信，并且镜头单元150中的镜头系统控制电路4经由光阑驱动电路2控制光阑1。然后，镜头单元150通过经由af驱动电路3使透镜103移位来调节透镜103的焦点。
27.快门101是在系统控制单元50的控制下自由地控制摄像单元22的曝光时间的焦平面快门。
28.摄像单元22是包括电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器的图像传感器，并且将光学图像转换成电气信号。模拟/数字(a/d)转换装置23用于将从摄像单元22输出的模拟信号转换成数字信号。
29.图像处理单元24对来自a/d转换装置23的数据或来自以下所述的存储器控制单元15的数据进行预定像素插值、诸如缩小等的调整大小处理、以及颜色转换处理。此外，图像处理单元24使用所拍摄到的图像数据来进行预定计算处理。基于从图像处理单元24获取到的计算结果，系统控制单元50控制曝光和测距。因此，进行通过镜头(ttl)af处理、ae处理和预发光闪光(ef)处理。图像处理单元24进一步使用所拍摄到的图像数据进行预定计算处理，并使用所获得的计算结果进行ttl自动白平衡(awb)处理。
30.存储器控制单元15控制a/d转换装置23、图像处理单元24和存储器32之间的数据发送和接收。从a/d转换装置23输出的数据经由图像处理单元24和存储器控制单元15或者直接经由存储器控制单元15被写入存储器32。存储器32存储由摄像单元22获取到然后由a/d转换装置23转换成数字数据的图像数据、以及要显示在显示单元28或evf 29上的图像数据。存储器32具有足以存储预定数量的静止图像以及预定时间的运动图像和音频的容量。
31.存储器32还用作图像显示所用的存储器(视频存储器)。写入存储器32的显示所用的图像数据经由存储器控制单元15显示在显示单元28或evf 29上。显示单元28和evf 29基于来自存储器控制单元15的信号在液晶装置(lcd)或有机电致发光(el)显示器上进行显示。由a/d转换装置23从模拟数据转换成数字数据并被存储在存储器32中的数据被顺次传送到显示单元28或evf29并被显示以进行实时取景显示(lv显示)。在下文，以实时取景方式显示的图像将被称为实时取景图像(lv图像)。
32.红外发光二极管166是用于检测取景器中的画面上的用户的视线的发光元件，并
向用户的眼球(眼睛)161发射红外光。从红外发光二极管166发射的红外光被眼球(眼睛)161反射，并且所反射的红外光行进到分色镜162。分色镜162仅反射红外光并使可见光透过。光路改变的反射红外光穿过摄像透镜163并在视线检测传感器164的摄像面上成像。摄像透镜163是视线检测光学系统的光学构件。视线检测传感器164包括诸如ccd图像传感器等的图像传感器。
33.视线检测传感器164将入射的反射红外光光电转换成电气信号，并将该电气信号输出到视线检测电路165。视线检测电路165包括至少一个处理器。视线检测电路165基于从视线检测传感器164输出的信号来根据用户的眼球(眼睛)161的图像或移动检测用户的视线，并将所检测到的信息输出到系统控制单元50。分色镜162、摄像透镜163、视线检测传感器164、红外发光二极管166和视线检测电路165形成视线检测块160。视线检测块160是接收视线输入的接收单元其中之一。
34.在本发明的各种实施例中，使用视线检测块160通过角膜反射法来检测视线。角膜反射法是如下的方法，该方法通过基于从红外发光二极管166发射的并从眼球(眼睛)161(特别是角膜)反射的红外光与眼球(眼睛)161的瞳孔的位置之间的关系检测眼睛的移动，来检测用户的视线的方向。存在诸如使用黑眼和白眼之间的光反射率的差异的巩膜反射法等的各种其它视线检测方法。也可以采用除上述方法以外的可以检测视线的任何视线检测方法。
35.取景器外显示单元43经由取景器外显示单元驱动电路44显示包括快门速度和光圈的数字照相机100的各种设置值。
36.非易失性存储器56是电可擦除且可编程的存储器，并且例如使用闪速只读存储器(闪速rom)。非易失性存储器56存储系统控制单元50的操作所用的常数以及程序。这里的程序是用于执行根据本示例实施例的以下所述的各种流程图的程序。
37.系统控制单元50是包括至少一个处理器或电路的控制单元，并且控制整个数字照相机100。系统控制单元50执行非易失性存储器56中所存储的程序以实现根据本示例实施例的以下所述的处理。系统存储器52例如是随机存取存储器(ram)，并且系统控制单元50的操作所用的常数和变量以及从非易失性存储器56读取的程序被展开到系统存储器52上。此外，系统控制单元50通过控制存储器32和显示单元28来控制显示。
38.系统计时器53是测量在各种类型的控制中所使用的时间和内置时钟的时间的时间测量单元。
39.模式选择开关60是操作单元70的操作构件，并且使系统控制单元50的操作模式在静止图像拍摄模式和运动图像拍摄模式之间切换。静止图像拍摄模式包括自动摄像模式、自动场景判断模式、手动模式、光圈优先模式(av模式)、快门速度优先模式(tv模式)和程序ae模式(p模式)。静止图像拍摄模式还包括具有各自与不同摄像场景相对应的不同摄像设置的各种场景模式、以及自定义模式等。用户可以使用模式选择开关60将操作模式直接改变为前述模式中的任何模式。可选地，用户使用模式选择开关60以改变为摄像模式列表画面，从所显示的多个模式中选择模式，然后使用另一操作构件将操作模式改变为所选择的模式。类似地，运动图像拍摄模式可以包括多个模式。
40.在对数字照相机100的快门按钮61的操作中途、即半按下快门按钮61(摄像准备指示)时，第一快门开关62接通，并且第一快门开关62生成第一快门开关信号sw1。基于第一快
门开关信号sw1来开始诸如af处理、ae处理、awb处理和ef处理等的摄像准备操作。
41.在对快门按钮61的操作完成、即全按下快门按钮61(摄像指示)时，第二快门开关64接通，并且第二快门开关64生成第二快门开关信号sw2。系统控制单元50基于第二快门开关信号sw2，开始从自摄像单元22读取信号起直到将拍摄图像作为图像文件写入记录介质200为止的一系列图像处理。在第二快门开关64连续接通的情况下，数字照相机100以取决于预定连续摄像速度的速度连续拍摄图像(进行连续摄像)。
42.电源控制单元80包括电池检测电路、直流(dc)-dc转换器和用于改变要被施加电流的块的切换电路。电源控制单元80检测电池的附接、电池类型和电池电量。此外，电源控制单元80基于检测结果和来自系统控制单元50的指示来控制dc-dc转换器，并将预定电压在预定时间期间馈送到包括记录介质200的各组件。电源单元30包括一次电池(诸如碱性电池和锂电池等)、二次电池(诸如镍镉(nicd)电池、镍金属氢化物(nimh)电池和锂(li)电池等)、以及交流(ac)适配器。
43.记录介质接口(记录介质i/f)18是与诸如存储卡或硬盘等的记录介质200的接口。记录介质200是记录所拍摄到的图像的诸如存储卡等的记录介质，并且包括半导体存储器或磁盘。
44.通信单元54经由无线或有线线缆连接，并且发送和接收视频信号和音频信号。通信单元54还可以连接到无线局域网(无线lan)和因特网。此外，通信单元54可以经由蓝牙或蓝牙低功耗(low energy)与外部装置进行通信。通信单元54可以发送摄像单元22所拍摄到的图像(包括实时取景图像)和记录介质200中所记录的图像，并且可以从外部装置接收图像和各种类型的信息。
45.姿势检测单元55检测数字照相机100相对于重力方向的姿势。基于姿势检测单元55所检测到的姿势来判断摄像单元22所拍摄到的图像是在数字照相机100水平地把持的状态下拍摄到的图像、还是在数字照相机100垂直地把持的状态下拍摄到的图像。系统控制单元50可以将基于姿势检测单元55所检测的姿势的方向信息添加到摄像单元22所拍摄到的图像的图像文件，并且可以使图像旋转以记录旋转后的图像。可以使用加速度传感器或陀螺仪传感器作为姿势检测单元55。可以使用加速度传感器或陀螺仪传感器作为姿势检测单元来检测数字照相机100的移动(平摇、俯仰、抬起、静止状态)。
46.眼睛接近检测单元57是检测(接近检测)眼睛(物体)161相对于取景器的目镜16的接近(眼睛接近)或分离(眼睛分离)的接近检测传感器。系统控制单元50基于眼睛接近检测单元57所检测到的状态，使显示单元28和evf 29在显示(显示状态)和非显示(非显示状态)之间切换。更具体地，在至少数字照相机100处于摄像待机状态、并且摄像单元22所拍摄到的实时取景图像的显示目的地选择设置被设置为自动选择设置的情况下，在未检测到眼睛接近时，将显示单元28设置为显示目的地，并且开启显示单元28上的显示，而将evf29上的显示设置为非显示状态。在检测到眼睛接近时，将evf 29设置为显示目的地，并且开启evf 29上的显示，而将显示单元28上的显示设置为非显示状态。眼睛接近检测单元57可以使用例如红外线接近传感器，并且检测向内部包括evf 29的取景器的目镜16的物体接近。在物体接近的情况下，从眼睛接近检测单元57的光投射单元(未示出)投射的红外线被反射，并且所反射的红外线由红外线接近传感器的受光单元(未示出)接收。基于所接收到的红外线的量，还判断接近物体相对于目镜16的距离(接近眼睛距离)。如上所述，眼睛接近检测单元
57进行用以检测接近目镜16的物体的接近眼睛检测。根据本示例实施例，眼睛接近检测单元57的光投射单元和受光单元是与红外发光二极管166和视线检测传感器164分开布置的装置。可选地，红外发光二极管166也可以用作眼睛接近检测单元57的光投射单元。此外，视线检测传感器164也可以用作受光单元。在眼睛161不在附近的状态(非接近状态)下、在相对于目镜16的预定距离内检测到接近物体的情况下，判断为眼睛161在附近。在眼睛161在附近的状态(接近状态)下、所检测到的接近物体分开了预定距离或更长的情况下，判断为眼睛161分开。可以通过例如设置滞后来以不同的方式设置眼睛接近检测所用的阈值和眼睛分离检测所用的阈值。此外，在检测到眼睛接近之后，接近状态继续，直到检测到眼睛分离为止。在检测到眼睛分离之后，非接近状态继续，直到检测到眼睛接近为止。红外线接近传感器仅是示例，并且可以采用将眼睛或物体的接近检测为眼睛接近的不同传感器作为眼睛接近检测单元57。
47.系统控制单元50基于来自视线检测块160的输出来进行以下所述的操作或状态其中之一。
48.·
视线检测块160检测到眼睛接近目镜16的用户的视线的状态，即，接收到视线输入的状态。
49.·
视线检测块160检测到眼睛接近目镜16的用户的视线并且用户正在注视的状态(以下所述)。
50.·
视线检测块160检测到眼睛接近目镜16的用户的视线、并且之后不再检测到视线的状态，即，视线输入结束的状态。
51.·
视线检测块160未检测到眼睛接近目镜16的用户的视线的状态，即，未接收到视线输入的状态。
[0052]“用户正在注视”的状态是指如下的状态：视线检测块160基于所检测到的视线来辨认evf 29上的位置(注视点)，并且判断为所辨认出的注视点的移动量在预定时间内不超过预定量。具体地，注视点是指被判断为用户正在观看的evf 29上(显示单元上)上的位置。
[0053]“视线输入结束”的状态是用户的眼睛161从目镜16分离的情况、或者眼睛161保持在目镜16的附近但由于眼睑闭合而未被检测到的情况。
[0054]
触摸面板70a和显示单元28可以集成在一起。例如，触摸面板70a被配置成使得光透过率不会干扰显示单元28上的显示，并且触摸面板70a附接到显示单元28的显示面的上层。触摸面板70a上的输入坐标与显示单元28的显示画面上的显示坐标相关联。这提供了看上去好像用户可以直接操作显示单元28上所显示的画面的显示对象(图形用户界面)。系统控制单元50检测对触摸面板70a的以下所述的操作其中之一或者以下所述的状态其中之一。
[0055]
·
先前没有触摸触摸面板70a的手指或笔触摸触摸面板70a。具体地，触摸开始(以下称为“触及”)。
[0056]
·
用手指或笔正在触摸触摸面板70a的状态(以下称为“触摸持续”)。
[0057]
·
正在触摸触摸面板70a的手指或笔移动的状态(以下称为“触摸移动”)。
[0058]
·
触摸触摸面板70a的手指或笔分离的状态。具体地，触摸结束(以下称为“触摸停止”)。
[0059]
·
没有触摸触摸面板70a的状态(以下称为“未触摸”)。
[0060]
在检测到触及时，同时检测到触摸持续。在触及之后，除非检测到触摸停止，否则通常继续检测到触摸持续。检测到触摸移动的状态也是检测到触摸持续的状态。即使检测到触摸持续，除非触摸位置移动，否则没有检测到触摸移动。在检测到已触摸的所有手指或笔的触摸停止之后，状态改变为未触摸。
[0061]
经由内部总线向系统控制单元50通知前述操作或状态、以及触摸面板70a上的用手指或笔触摸的位置的坐标。系统控制单元50基于所通知的信息，判断对触摸面板70a进行了哪个操作(触摸操作)。关于触摸移动，基于位置坐标的变化，可以针对触摸面板70a上的各垂直分量和各水平分量判断手指或笔在触摸面板70a上移动的移动方向。在检测到预定距离或更大距离的触摸移动的情况下，判断为进行了滑动操作。将触摸触摸面板70a的手指突然移动了某距离、然后松开该手指的操作被称为“轻拂”。换句话说，轻拂是使手指以轻弹触摸面板70a的表面的类似方式在触摸面板70a上快速地滑动的操作。在检测到按预定速度或更高速度进行了预定距离或更大距离的触摸移动、之后检测到触摸停止的情况下，判断为进行了轻拂(判断为在滑动操作之后进行了轻拂)。此外，同时触摸多个位置(例如，两个点)并使所触摸的位置彼此更靠近的触摸操作将被称为“捏合(pinch-in)”，并且使所触摸的位置彼此远离的触摸操作将被称为“捏分(pinch-out)”。捏分和捏合将被统称为“捏操作”(或简称为“捏”)。触摸面板70a可以是诸如以下等的各种方法中的任何方法的触摸面板：电阻膜方法、电容方法、表面声波方法、红外方法、电磁感应方法、图像识别方法和光学传感器方法。一些方法基于对触摸面板的触摸来检测触摸，而一些其它方法基于手指或笔对触摸面板的接近来检测触摸，但可以采用这些方法中的任何方法。
[0062]
作为af设置，设置诸如作为图5a中的项501和502所示的设置等的设置。如在项501中所示，设置“单点af”和“整个区域af”其中之一作为af区域(af框设置方法)设置。单点af设置表示lv图像中的af执行目标位置是单个点(一个位置)。用户可以将单个点设置为af执行目标位置，并且在基于用以执行af的用户指示而显示的单点af框的显示位置处执行af。例如，在对朝向用户行驶的列车进行摄像时，用户可能希望对列车的操作员座椅执行af，并以包括整个列车的构图来拍摄列车的图像。在这种情况下，在af框固定在单个点(一个位置)的状态下，在列车的操作员座椅到达该位置的时刻进行摄像，由此获取到具有用户期望的构图的聚焦于用户期望的位置的图像。另一方面，在项502中示出的整个区域af设置是使得能够对数字照相机100的evf 29上所显示的区域的整个af可执行区域进行af执行(进行焦点检测)的设置。在对具有不可预测的移动的被摄体进行摄像时，af区域设置被设置为整个区域，从而不管被摄体在af可执行区域中的何处，都对被摄体执行af。
[0063]
如图5a中的项502所示，将跟踪设置“开启(on)”和“关闭(off)”其中之一设置为af操作设置。设置为“开启”的跟踪功能适合于在跟踪目标是具有连续变化(移动)的摄像距离的被摄体(诸如比赛中的运动员、移动的儿童、或者动物等)的情形下的摄像。对使用元素条件所确定的af目标被摄体执行跟踪和连续af。连续af是指对跟踪目标被摄体连续执行af。
[0064]
设置为“关闭”的跟踪功能适合于静止被摄体的摄像，并且在第一快门开关62接通时基于以下所述的元素条件(优先级)来确定af框位置。此时，没有跟踪被摄体。
[0065]
在跟踪功能设置为“开启”的情况下，如果从lv图像中检测到人物的面部，则该面部被优先确定为af目标被摄体。在检测到多个人物的面部的情况下，例如，基于以下预先确定的优先级等级(条件)其中之一来选择一个面部，并且将该面部设置为af目标被摄体。
[0066]
·
面部是所检测到的人物的面部。
[0067]
·
面部的大小大。
[0068]
·
面部的位置靠近数字照相机100(更近侧)。
[0069]
·
面部的位置靠近图像的中心。
[0070]
·
面部是预先登记的人物的面部。
[0071]
在未检测到人物的面部的情况下，例如，基于以下的预定优先级等级(条件)其中之一来选择除面部以外的被摄体，并且将该被摄体设置为af目标被摄体。
[0072]
·
靠近数字照相机100(更近侧)的被摄体。
[0073]
·
具有高对比度的被摄体。
[0074]
·
诸如动物或车辆等的具有高优先级的被摄体。
[0075]
·
作为移动物体的被摄体。
[0076]
在用户指定跟踪目标被摄体的情况下，将该跟踪目标被摄体设置为af目标被摄体。具体地，使用上述元素条件中的至少一个元素条件作为两个组的优先级示例来进行加权，并且将所获得的得分高于或等于预定阈值的被摄体或者得分最高的被摄体判断为af目标被摄体。
[0077]
可被设置为af设置的项501和502的设置组合有四个模式。用户针对不同的摄像目标被摄体或摄像情形使用不同的设置，以设置用户的最佳摄像设置，由此以期望构图在期望定时进行摄像。
[0078]
在图5a中，af区域被设置为“单点”af，并且跟踪被设置为“关闭”。这表示用户希望将af框固定到单个点。该设置组合经常提高了在例如对诸如花等的静止被摄体进行摄像时的用户可操作性。
[0079]
图5a示出设置菜单画面的示例。通过使项503的视线输入功能在“开启”和“关闭”之间切换来选择是否检测用户的视线、即是否驱动视线检测块160。具体地，通过使项503的视线输入功能在“开启”和“关闭”之间切换来设置是否接收通过视线输入的操作。
[0080]
在用户选择项504的情况下，画面改变为如图5b所示的画面(图5a中的设置菜单画面的底层的画面)。图5b示出可以设置视线af功能的详细设置的画面。项505的视线af功能是执行af以聚焦于在注视点处显示的被摄体的功能。在项505设置为“开启”的情况下，基于用户的视线的移动来辨认被摄体，并且对所辨认出的被摄体执行af，因此用户可以直观地对期望的被摄体执行af。项506是与是否在注视点处显示视线指针有关的设置项。在项506设置为“开启”的情况下，用户可以基于用户的眼睛所观看的方向来观看表示视线检测块160所检测到的注视点的视线指针的显示。根据本示例实施例，视线指针显示为如图6d中的指针606所示的指示器。显示以注视点为中心的小圆，并且在该小圆的周围显示比该小圆大的圆。在图6d中，指针606的小圆以内部带阴影的状态显示，而较大圆以框带阴影的状态显示。各个阴影部分是半透明的，以防止在阴影部分叠加在lv图像中的被摄体或af框上面时被摄体变得完全不可见。此外，类似地，由于小圆与较大圆的框之间的区域不带阴影，因此lv图像的可视性没有丢失。
[0081]
项507是与是否使用接通第一快门开关sw1(62)的操作(即，半按下快门按钮61的操作)作为确定注视点的操作(视线确定操作)有关的设置项。在项507启用的情况下，将在用户半按下快门按钮61时视线检测块160所检测到的点确定为注视点。在项507禁用的情况
下，半按下快门按钮61无法确定注视点。
[0082]
例如，视线确定功能在初始设置时(在出厂时)被指派给af-on按钮77。在项507设置为“启用”的情况下，在不是按下af-on按钮而是按下快门按钮61以接通第一快门开关62的情况下进行视线确定操作。此外，类似地，视线确定操作可被指派给操作单元70的被指派了另一功能的按钮。以下将讨论这样的情况作为示例：在用户在使用另一功能的按钮确定注视点之后半按下快门按钮61的情况下，使用另一按钮所确定的注视点不同于半按下快门按钮61时的注视点。在这种情况下，由于可以确定半按下快门按钮61时的注视点、以使得对该注视点(其与使用另一功能的按钮所确定的用户期望的注视点不同)处的被摄体执行af，因此可操作性较差。因此，提供设置菜单画面上的项507以允许用户设置是否通过接通第一快门开关(sw1)62来确定注视点。
[0083]
以下将参考图3和图4a1至图4a3所示的流程图来说明根据第一示例实施例的控制。根据第一示例实施例，在图3的步骤s302(摄像模式处理)中，作为视线确定操作的结果，在注视点处显示在用户的视线确定操作之前显示的诸如单点af框和被摄体框等的框(项)。
[0084]
图3是示出根据本示例实施例的利用数字照相机100的控制处理的流程图。系统控制单元50通过将非易失性存储器56中所存储的程序展开到系统存储器52上并执行所展开的程序来实现该控制处理。在数字照相机100开启(启动)的情况下，开始图3的流程图。在图3的流程图中要执行摄像模式处理(步骤s301中为“是”)的情况下，开始图4a1至图4a3的流程图。此外，图6a至图6j是示出在进行图3的流程图中所示的控制处理的情况下的evf 29上的显示的示例的图。图6a至图6i是示出在图5a中的项501的af区域设置被设置为“单点”并且项502的跟踪功能设置被设置为“开启”的情况下的显示的示例的图。图6j是示出在af区域设置被设置为“整个区域”并且跟踪功能被设置为“关闭”的情况下的显示的示例的图。
[0085]
在步骤s301中，系统控制单元50判断是否设置了摄像模式。在设置了摄像模式的情况下(步骤s301中为“是”)，处理进入步骤s302。在没有设置摄像模式的情况下(步骤s301中为“否”)，处理进入步骤s303。
[0086]
在步骤s302中，系统控制单元50进行摄像模式处理。以下将参考图4a1至图4a3来说明摄像模式处理。
[0087]
在步骤s303中，系统控制单元50判断是否设置了再现模式。在设置了再现模式的情况下(步骤s303中为“是”)，处理进入步骤s304。在没有设置再现模式的情况下(步骤s303中为“否”)，处理进入步骤s305。
[0088]
在步骤s304中，系统控制单元50进行再现模式处理。再现模式处理是用于再现所拍摄到的图像的控制处理，并且通过对操作单元70进行操作，可以给送或放大显示单元28上所再现的图像。
[0089]
在步骤s305中，系统控制单元50基于步骤s301和s303中的判断来进行其它处理。该其它处理例如是在设置菜单画面上进行与数字照相机100和摄像有关的设置的处理。
[0090]
在步骤s306中，系统控制单元50判断是否结束处理。在结束处理的情况下(步骤s306中为“是”)，图3的流程图所示的控制处理结束。在不结束处理的情况下(步骤s306中为“否”)，处理返回到步骤s301。结束处理例如是指关闭数字照相机100。
[0091]
图4a1至图4a3是示出以上作为图3的步骤s302所述的摄像模式处理的流程图。在图3的步骤s301中判断为设置了摄像模式的情况下(图3的步骤s301中为“是”)，开始这些流
程图的处理过程。
[0092]
在步骤s401中，系统控制单元50初始化标志和控制变量。
[0093]
在步骤s402中，系统控制单元50基于经由摄像单元22所获取到的信号，如图6a所示在evf 29上显示lv图像601。lv图像显示层是如图7a和图7b所示的层705。具体地，根据本示例实施例，在evf 29上所显示的层中的、位置最低(优先级等级最低)的层上显示lv图像601。
[0094]
在步骤s403中，系统控制单元50显示与摄像模式处理有关的各种类型的摄像信息(摄像参数)，诸如各种设置值、电池电量和记录像素数量等。如图6a所示，将信息602连同lv图像601一起显示在evf 29上。如图7a的层703所示，在比lv图像显示层高的层上显示诸如信息602等的摄像信息。
[0095]
在步骤s404中，系统控制单元50判断可执行af的区域(以下称为“af可执行区域”)是否小于取决于数字照相机100的主体的区域。在af可执行区域较小的情况下(步骤s404中为“是”)，处理进入步骤s405。在af可执行区域不是较小的情况下(步骤s404中为“否”)，处理进入步骤s406。af可执行区域是基于数字照相机100的主体的性能而唯一地定义的，但取决于数字照相机100上所安装的镜头单元150的类型，af可执行区域可以变得小于基于数字照相机100的主体的性能的af可执行区域。存在如下的情况：在安装了诸如超远摄单焦点镜头等的特定镜头的情况下，设置比基于数字照相机100的主体的性能的af可执行区域小的af可执行区域，这是因为在镜头周边附近的区域中利用超远摄单焦点镜头可能无法获得af执行所用的足够光量。因此，在将这样的镜头作为镜头单元150安装在数字照相机100上的情况下，设置比取决于数字照相机100的主体的区域小的af可执行区域。尽管用户可能了解取决于数字照相机100的主体的af可执行区域，但由于用户在摄像时可能使用各种类型的镜头，因此在用户改变数字照相机100上所安装的镜头时，用户可能并不了解取决于当前安装镜头的af可执行区域的范围。这可能导致如下的情形：基于数字照相机100的性能的af可执行区域是整个evf 29，但作为安装特定镜头的结果，该af可执行区域缩小，并且这可能使用户感到混淆。除非用户从视觉上识别出缩小的af区域，否则用户可能无法意识到不可对特定区域执行af，并且用户可能错过照相机会。为了防止机会损失，在步骤s404中进行af可执行区域判断，并且在随后的步骤s405中，显示af可执行区域。根据本示例实施例，取决于数字照相机100的主体的af可执行区域是整个evf 29(纵横比：100％
×
100％)。
[0096]
在步骤s405中，系统控制单元50显示表示af可执行区域的指示器。由于步骤s404的判断结果为“是”，因此应当理解，安装使af可执行区域变得比取决于数字照相机100的主体的af可执行区域小的特定镜头。因此，仅可对比evf 29的整个区域小的区域执行af。为了向用户通知该情形，将af可执行区域叠加并显示在lv图像上面。如图6b的框603所示，af可执行区域被显示成用户从视觉上可识别。显示形式不限于诸如框603等的框显示，并且可以是af可执行区域外部的区域带灰色阴影的显示形式。
[0097]
在步骤s406中，系统控制单元50判断af区域设置是否被设置为除“整个区域”以外的项。如以上参考图5a和图5b所述，af区域设置是设置是将整个区域还是单个点设置为要执行af的区域。在af区域设置被设置为除“整个区域”以外的项、即单个点的情况下(步骤s406中为“是”)，处理进入步骤s407，而在af区域设置被设置为“整个区域”的情况下(步骤s406中为“否”)，处理进入步骤s408。
[0098]
在步骤s407中，系统控制单元50显示单点af框。图6b的框604是该显示的示例。通过操作四向键74的方向键，可以将单点af框移动到用户期望的位置。
[0099]
在步骤s408中，系统控制单元50判断af跟踪设置是否被设置为“开启”。在跟踪设置被设置为“开启”的情况下(步骤s408中为“是”)，处理进入步骤s409，而在跟踪设置被设置为“关闭”的情况下(步骤s408中为“否”)，处理进入步骤s411。
[0100]
在步骤s409中，系统控制单元50判断是否从经由摄像单元22获取到的lv图像中检测到被摄体。在检测到被摄体的情况下(步骤s409中为“是”)，处理进入步骤s410，而在未检测到被摄体的情况下(步骤s409中为“否”)，处理进入步骤s411。被摄体检测是指例如人物的面部、身体或器官(诸如眼睛等)的检测。被摄体不限于人物，并且可以检测动物、鸟或车辆。
[0101]
在步骤s410中，系统控制单元50将被摄体框显示在步骤s409中所检测到的被摄体上面。图6c的框605是该显示的示例。由于步骤s408的判断结果为“是”，因此用户可以尝试拍摄移动被摄体的图像。因此，在由系统控制单元50从lv图像中检测到的被摄体上面显示被摄体框，由此该被摄体框表示检测到被摄体，并且用户可以容易地从视觉上识别被摄体。根据本示例实施例，被摄体框的显示形式包括在所检测到的被摄体的位置的四个角中的各角处的三角括号，以围绕检测到被摄体的区域。
[0102]
在步骤s411中，系统控制单元50判断视线输入功能是否设置为“开启”。在视线输入功能设置为“开启”的情况下(步骤s411中为“是”)，处理进入步骤s412，而在视线输入功能设置为“关闭”的情况下(步骤s411中为“否”)，处理进入步骤s430。如上所述，视线输入功能是由用户按照期望在设置菜单画面上设置的。在无需改变为设置菜单画面的情况下，在按下用于切换视线输入功能的专用按钮时或者在按下可被指派视线输入功能的按钮时，可以使视线输入功能在“开启”和“关闭”之间切换。
[0103]
在步骤s412中，系统控制单元50判断是否使用视线检测块160检测到用户的视线。在检测到视线的情况下(步骤s412中为“是”)，处理进入步骤s413，而在没有检测到视线的情况下(步骤s412中为“否”)，处理进入步骤s430。根据本示例实施例，在用户的眼睛不在目镜16的附近的情况下，没有检测到用户的视线。
[0104]
在步骤s413中，系统控制单元50判断表示注视点的视线指针的视线指针显示设置是否被设置为“开启”。在视线指针显示设置被设置为“开启”的情况下(步骤s413中为“是”)，处理进入步骤s414，而在视线指针显示设置被设置为“关闭”的情况下(步骤s413中为“否”)，处理进入步骤s415。
[0105]
在步骤s414中，系统控制单元50将视线指针显示在所检测到的注视点处。图6d的指针606是该显示的示例。在图6d中，在所检测到的被摄体上面显示框605，并且显示表示单点af框的框604。用户正在观看lv图像601的右下方附近的指针606的显示位置。图6e示出在用户正在观看的区域改变以使得注视点移动到框605的显示位置附近的位置的情况下的显示的示例。在比框604低的显示层上显示视线指针606。
[0106]
在步骤s415中，系统控制单元50判断用户是否进行视线确定操作。在进行视线确定操作的情况下(步骤s415中为“是”)，处理进入步骤s416，而在不进行视线确定操作的情况下(步骤s415中为“否”)，处理进入步骤s427。视线确定操作是指对具有视线确定功能的专用按钮的操作或者对被指派了视线确定功能的按钮的操作。视线确定功能是指如下的功
能：确定在视线确定操作时检测到的注视点，并且使在该确定之后检测到的用户的视线以及基于在该确定之后检测到的视线所计算出的注视点无效。在evf 29上追随所检测到的注视点来显示诸如af框等的框显示(项)可能使用户感到恼火。即使在用户无意移动视线的情况下，由于诸如af框等的框显示(项)追随移动后的视线，因此可能对不期望的位置执行诸如af等的处理。因此，在进行视线确定操作之前，框显示不移动到注视点并且保持显示在基于af区域设置、跟踪设置和上述的优先级所确定的位置/被摄体处或者该位置/被摄体上面，并且在进行视线确定操作的情况下，框显示移动到注视点并且显示在注视点处。由于基于视线确定操作、af框从某位置移动到注视点并且显示在注视点处，因此即使在evf 29上当前显示的af框位置和用户期望的位置(注视点)彼此相距很远的情况下，也能快速且直观地移动af框。此外，基于用户的视线确定操作来准确地读取和反映用户意图。因此，在用户所不期望的注视点处不进行诸如af执行等的控制。
[0107]
在视线确定操作之前的框显示被禁用(例如，af区域设置被设置为“整个区域”并且跟踪设置被设置为“关闭”)的情况下，在进行视线确定操作的情况下，控制显示以在所确定的注视点处显示框显示。
[0108]
在步骤s416中，与步骤s413一样，系统控制单元50判断视线指针显示设置是否被设置为“开启”。在视线指针显示设置被设置为“开启”的情况下(步骤s416中为“是”)，处理进入步骤s417，而在视线指针显示设置被设置为“关闭”的情况下(步骤s416中为“否”)，处理进入步骤s426。
[0109]
在步骤s417中，与步骤s408一样，系统控制单元50判断af跟踪设置是否被设置为“开启”。在af跟踪设置被设置为“开启”的情况下(步骤s417中为“是”)，处理进入步骤s418，而在af跟踪设置被设置为“关闭”的情况下(步骤s417中为“否”)，处理进入步骤s423。
[0110]
在步骤s418中，与步骤s412一样，系统控制单元50判断是否使用视线检测块160检测到用户的视线。在检测到视线的情况下(步骤s418中为“是”)，处理进入步骤s419，而在没有检测到视线的情况下(步骤s418中为“否”)，处理进入步骤s427。
[0111]
在步骤s419中，系统控制单元50判断特定被摄体是否在步骤s418中从特lv图像中检测到的注视点处。在特定被摄体在所检测到的注视点处的情况下(步骤s419中为“是”)，处理进入步骤s420，而在特定被摄体不是在所检测到的注视点处的情况下(步骤s419中为“否”)，处理进入步骤s422。
[0112]
在步骤s420中，系统控制单元50将在步骤s419中判断为在注视点处的被摄体确定为跟踪目标，并对跟踪目标被摄体执行连续af。此时，即使注视点与被摄体的位置不完全一致，在相对于被摄体的预定范围内检测到注视点的情况下，也判断为注视点在被摄体上面，并且继续对跟踪目标被摄体的af。
[0113]
在步骤s421中，将针对在步骤s420中确定为跟踪目标的被摄体的跟踪af框叠加并显示在视线指针606上面。图6f的框607是该显示的示例。跟踪af框是表示对基于上述元素条件所确定的被摄体执行连续af的位置的af框。跟踪af框的显示形式包括在执行连续af的位置的四个角中的各角处的双三角括号，以围绕跟踪目标被摄体的区域。在步骤s415中判断结果为“是”、即用户进行视线确定操作的情况下，以与在进行视线确定操作之前显示的框(被摄体框)605和框(af框)604不同的显示形式显示跟踪af框。这使得用户能够识别出跟踪目标被摄体是通过用户进行的视线确定操作所确定的，并且能够清楚地从视觉上识别出
被确定为跟踪目标的被摄体。被摄体框仅仅是用于向用户通知特定被摄体(例如，人物的面部)是否在evf 29上所显示的lv图像中(是否检测到被摄体)的显示，并且在检测到多个被摄体的情况下，显示多个被摄体框。相反，在lv图像中不显示多个跟踪af框(显示一个跟踪af框)，并且跟踪af框的显示表示在按下快门按钮61时将聚焦于跟踪af框的显示位置处的被摄体。换句话说，在步骤s410中显示的被摄体框和在步骤s421中显示的跟踪af框在性质上是不同的。被摄体框由系统控制单元50显示在lv图像中被识别为特定被摄体的被摄体上面，但不表示该被摄体是af执行目标候选。在被摄体框的显示位置处不执行af。相反，跟踪af框表示被摄体由系统控制单元50识别为特定被摄体并且是af执行目标。此外，在跟踪af框的显示位置执行连续af。具体地，从用户识别af执行目标的重要度的角度来看，跟踪af框对于用户更重要。因此，由于通过视线确定操作在用户的注视点(检测到视线的位置)上面显示跟踪af框，因此跟踪af框在用户期望的定时快速移动到期望位置。
[0114]
在步骤s422中，系统控制单元50在视线指针的显示位置(即，基于用户的视线所检测到的注视点)处显示多点af框。多点af框是在evf 29上显示的lv图像中未检测到被摄体的情况下、在基于元素条件的判断中获得的得分最高的位置处显示的af框。多点af框的显示形式是如图6j的框610所示的、在所获得的得分高的位置处显示的小矩形。在如步骤s422那样显示多点af框的情况下，在步骤s415中进行视线确定操作之前，在lv图像中不显示诸如af框和被摄体框等的框。具体地，在进行视线确定操作之后，显示多点af框作为框显示。多点af框显示在比视线指针的显示层高的显示层上。由于如上所述显示多点af框，因此在发出af执行指示的情况下，用户可以从视觉上检查将对显示有多点af框的被摄体执行af。因此，用户可以确定下一操作，诸如立即发出af执行指示的操作、改变af框的位置的操作、或者改变构图或摄像设置的操作等。
[0115]
在步骤s423中，系统控制单元50判断af区域设置是否被设置为“整个区域”。在af区域设置被设置为“整个区域”的情况下(步骤s423中为“是”)，处理返回到步骤s418，而在af区域设置没有被设置为“整个区域”、即af区域设置被设置为“单个点”的情况下(步骤s423中为“否”)，处理进入步骤s424。
[0116]
在步骤s424中，与步骤s412和s418一样，系统控制单元50判断是否使用视线检测块160检测到用户的视线。在检测到视线的情况下(步骤s424中为“是”)，处理进入步骤s425，而在没有检测到视线的情况下(步骤s424中为“否”)，处理进入步骤s427。
[0117]
在步骤s425中，系统控制单元50将单点af框移动到视线指针的显示位置、即注视点。单点af框是表示在发出af执行指示的情况下要聚焦的单个点的位置的框。单点af框以诸如图6b中的框604的显示形式等的显示形式显示。在用户进行视线确定操作的情况下，使单点af框从在视线确定操作之前设置的显示位置移动到注视点。因此，即使在视线确定操作之前的显示位置与注视点相距很远的情况下，也使单点af框快速移动。因此，照相机会损失减少，并且拍摄到并记录聚焦于用户期望的被摄体的图像。单点af框显示在比视线指针606的显示层高的显示层上。
[0118]
在步骤s426中，系统控制单元50基于项501和502的设置的详情来在注视点处显示诸如跟踪af框、多点af框或单点af框等的框显示。由于步骤s416中的判断结果为“否”，因此在evf 29上不显示视线指针。然而，由于步骤s411和s412中的判断结果都为“是”，因此使用视线检测块160检测到用户的视线。与步骤s421、s422和s425一样，即使在进行视线确定操
作之前的框的显示位置与注视点相距很远的情况下，也使af框快速移动。此外，即使在进行视线确定操作之前不显示框的情况下，由于在注视点处快速地显示af框，因此直观地确定af框的位置。
[0119]
在步骤s427中，系统控制单元50判断是否发出了af执行指示。在发出af了执行指示的情况下(步骤s427中为“是”)，处理进入步骤s428，而在没有发出af执行指示的情况下(步骤s427中为“否”)，处理进入步骤s430。通过例如按下af-on按钮77或接通第一快门开关62来发出af执行指示。af执行指示不限于上述那些，并且可以是通过被指派了发出执行af的指示的功能的操作的指示。
[0120]
在步骤s428中，系统控制单元50对evf 29上的lv图像上面显示的af框的显示位置处的被摄体执行af。在图6h中示出该显示的示例。图6h是在图6f所示的状态下发出af执行指示(步骤s427中为“是”)的情况下的显示的示例。在基于af执行指示对af框处的被摄体执行af的情况下，af框的显示形式基于聚焦结果而从图6f中的框607的显示形式改变为图6h中的框608的显示形式。此时，在视线指针显示设置启用的情况下，在比视线指针的显示层高的显示层上显示框608。此外，在作为在步骤s425中如图6g所示显示的单点af框的框604的显示位置处发出步骤s427中的af执行指示的情况下，对框604下面的被摄体执行af。然后，单点af框的显示形式基于聚焦结果而从图6b中的框604的显示形式改变为图6i中的框609的显示形式。af框的显示形式从在af执行之前设置的状态或者基于聚焦结果(聚焦成功和聚焦不成功)而改变，以向用户通知焦点位置和聚焦结果。具体地，对af框的显示位置处的被摄体执行af，并且在聚焦成功的情况下，图6h中的框608以绿色显示，而在聚焦不成功的情况下，框608以灰色显示。此外，在聚焦成功的情况下，产生哔哔声，而在聚焦不成功的情况下，不产生声音。在当af区域设置被设置为“整个区域”并且跟踪功能设置被设置为“关闭”时发出af执行指示的情况下，以图6j中的框610的显示形式显示多点af框。在用户发出af执行指示之后显示框610的显示形式，并且在发出af执行指示之前不进行框显示。具体地，在af区域设置被设置为“整个区域”并且跟踪功能设置被设置为“关闭”的情况下，在用户发出af执行指示之前不进行af框显示。
[0121]
在步骤s429中，系统控制单元50判断在步骤s427中判断出的af执行指示是否是使用第一快门开关62发出的。在所判断出的af执行指示是使用第一快门开关62发出的情况下(步骤s429中为“是”)，处理进入步骤s433。否则(步骤s429中为“否”)，处理进入步骤s430。
[0122]
在步骤s430中，系统控制单元50判断第一快门开关62是否接通。在第一快门开关62接通的情况下(步骤s430中为“是”)，处理进入步骤s431。在第一快门开关62没有接通的情况下(步骤s430中为“否”)，处理进入步骤s437。第一快门开关62接通的状态是指如上所述半按下快门按钮61的状态。具体地，预期用户进行摄像。
[0123]
在步骤s431中，系统控制单元50判断调焦模式是否被设置为af模式。在调焦模式被设置为af模式的情况下(步骤s431中为“是”)，处理进入步骤s432。否则(在调焦模式被设置为手动调焦(mf)模式的情况下)(步骤s431中为“否”)，处理进入步骤s434。经由设置菜单画面或者使用镜头单元150的外部所设置的开关来切换af模式和mf模式。
[0124]
在步骤s432中，与步骤s428一样，系统控制单元50基于af框的显示位置来执行af处理。
[0125]
在步骤s433中，系统控制单元50进行诸如ae和awb等的其它摄像准备处理。
[0126]
在步骤s434中，系统控制单元50判断第二快门开关64是否接通。在第二快门开关64接通、即全按下快门按钮61的情况下(步骤s434中为“是”)，处理进入步骤s435。否则(步骤s434中为“否”)，处理进入步骤s436。
[0127]
在步骤s435中，系统控制单元50进行直到将所拍摄到的图像作为图像文件记录在记录介质200中为止的一系列摄像处理。
[0128]
在步骤s436中，系统控制单元50判断第一快门开关62是否仍处于接通状态。在第一快门开关62仍处于接通状态的情况下(步骤s436中为“是”)，处理返回到步骤s431，而在第一快门开关62不再处于接通状态的情况下(步骤s436中为“否”)，处理进入步骤s437。
[0129]
在步骤s437中，系统控制单元50判断是否结束摄像模式。在结束摄像模式的情况下(步骤s437中为“是”)，图4a1至图4a3中的控制流程图结束，并且处理返回到图3的步骤s306。另一方面，在不结束摄像模式的情况下(步骤s437中为“否”)，处理返回到步骤s403。通过例如关闭数字照相机100或按下菜单按钮81以改变到设置菜单画面来结束摄像模式。
[0130]
如上所述，根据第一示例实施例，在可以通过视线输入进行操作的情况下，在用户进行视线确定操作的情况下，使af框移动到注视点并显示在注视点处。由于在视线确定操作之前不进行跟随用户的视线的移动的af框跟踪，因此af框的位置没有移动以跟随用户所不期望的注视点的移动。因此，用户在检查lv图像时不太可能感到恼火。此外，即使在视线确定操作之前的af框的显示位置与用户期望的位置相距很远的情况下，在用户以视线朝向期望位置的状态进行视线确定操作时，也可以使af框快速移动到注视点。此外，由于在注视点处显示视线指针时、在比视线指针的显示层高的显示层上显示诸如af框等的框显示，因此用户可以清楚地识别af框的位置，并且还可以容易地识别af框的位置移动到视线指向的位置。
[0131]
(第二实施例)
[0132]
以下将说明根据第二示例实施例的如下情况：在图3的步骤s302(摄像模式处理)中，诸如跟踪af框、多点af框或单点af框等的作为显示对象的框显示与表示注视点的视线指针的显示顺序在视线确定操作之前和之后改变。以下将参考图3以及图4b1至图4b3中的控制流程图来说明根据第二示例实施例的控制。图3与第一示例实施例中的类似。在图3的流程图中的摄像模式处理的情况(步骤s301中的判断结果为“是”的情况)下开始图4b1至图4b3中的流程图。在第二示例实施例中省略了对图4b1至图4b3的流程图中的与根据第一示例实施例的图4a1至图4a3的流程图中的步骤类似的步骤的冗余说明。
[0133]
在步骤s404中，在af可执行区域比取决于数字照相机100的主体的区域小的情况下(步骤s404中为“是”)，处理进入步骤s451。在根据本示例实施例的步骤s451中，系统控制单元50将af可执行区域(图6b中的框603)显示在比lv图像高且比摄像信息低的层上。具体地，如图7a所示，在比lv图像的层705高且比摄像信息的层703低的层704上显示af可执行区域。
[0134]
在步骤s452中，系统控制单元50将单点af框(图6b中的框604)显示在比摄像信息(摄像参数)高的层上。具体地，如图7a所示，在比摄像信息的层703高的层702上显示单点af框。
[0135]
在步骤s453中，系统控制单元50将被摄体框(图6c中的框605)显示在步骤s409中所检测到的被摄体上面。此时，被摄体框显示在比摄像信息高的层上。具体地，如图7a所示，
与单点af框类似，在比摄像信息的层703高的层702上显示被摄体框。
[0136]
在步骤s454中，系统控制单元50将表示注视点的视线指针显示在比诸如单点af框或被摄体框等的框显示高的层上。具体地，如图7a所示，在比层702高的层700上显示视线指针。类似地，即使在作为用户改变观看方向的结果、注视点移动的情况下，视线指针也显示在比框显示高的层上。
[0137]
具体地，在步骤s415中用户进行视线确定操作之前，视线指针显示在比诸如单点af框或被摄体框等的框显示高的层上。
[0138]
根据本示例实施例，除了将视线输入功能设置为“开启”或“关闭”之外，用户还可以将视线指针显示设置设置为“开启”或“关闭”。因此，在图5b中的项506的视线指针显示设置启用的情况下，可以认为用户希望检测用户的观看方向，以观看表示基于所检测到的观看方向所辨认出的注视点的视线指针。因此，在进行视线确定操作并移动框显示之前，优先视线指针的显示并将其显示在比框显示高的层上。此外，根据本示例实施例的视线指针以即使在如上所述视线指针叠加并显示在lv图像上面的状态下、也允许用户检查lv图像的显示形式来显示。因此，即使在视线指针显示在比框显示高的层上的情况下，视线指针也不太可能完全隐藏框显示的显示位置并且不太可能防止摄像准备。
[0139]
在步骤s456中，将跟踪af框显示在步骤s420中确定的跟踪目标被摄体上面。由于该操作在进行视线确定操作之后(步骤s415中为“是”)，因此如图7b所示，在比视线指针的层700高的层712上显示跟踪af框。具体地，根据本示例实施例，在步骤s415中用户进行视线确定操作之前，在比视线指针低的层上显示框显示(在图7a中在层702上显示框显示)。相反，在步骤s415中用户进行视线确定操作之后，在比视线指针高的层上显示框显示(在图7b中在层712中显示框显示)。
[0140]
在用户进行视线确定操作的情况下，可以认为用户充分识别出与用户的观看方向对应的注视点，并且此外，希望将框显示移动(移位)到注视点并且在注视点处显示框显示。此外，诸如单点af框或被摄体框等的框显示的显示位置是非常重要的位置，并且用户应当在执行摄像指示之前进行检查。因此，基于视线确定操作所显示并移动的框显示被显示在比视线指针高的层上。这使得用户容易观看通过视线确定操作所移动的框显示，并且例如识别出将作为在发出af执行指示的情况下的af目标的被摄体。
[0141]
在步骤s457中，系统控制单元50基于步骤s419中的判断结果“否”，使多点af框移动到所检测到的注视点。此时，多点af框显示在比视线指针高的层上。与步骤s456中的跟踪af框类似，多点af框也显示在比视线指针高的层上。具体地，如图7b所示，在比视线指针的层700高的层712上显示多点af框。
[0142]
在步骤s458中，系统控制单元50使在视线确定操作之前在比视线指针低的层上显示的单点af框移动到由视线指针表示的注视点，并将该单点af框叠加并显示在比视线指针高的层上。具体地，如图7b所示，在比视线指针的层700高的层712上显示单点af框。与步骤s456中的跟踪af框和步骤s457中的多点af框类似，通过视线确定操作使单点af框的框显示移动到所检测到的注视点，并显示在比视线指针高的层上。这使得用户容易从视觉上识别出单点af框通过视线确定操作移动到注视点，并且识别出在发出af执行指示的情况下要执行af的被摄体的位置。
[0143]
在步骤s416中判断为视线指针显示设置被设置为“关闭”的情况下，在步骤s459
中，系统控制单元50不显示视线指针，而是在比摄像信息高的层上显示af框。
[0144]
如上所述，根据本示例实施例，在用户进行视线确定操作之前，表示注视点的视线指针被控制成叠加并显示在比af框高的层上，而在进行视线确定操作之后，af框被控制成叠加并显示在比视线指针高的层上。因此，用户在进行视线确定操作之前，可以容易地从视觉上识别出表示与用户的观看方向相对应的注视点的视线指针，因此在用户进行视线确定操作的情况下，用户可以预测框显示将移动(移位)到哪个位置。另一方面，在进行视线确定操作之后，用户可以容易地识别出通过视线确定操作所移动的框显示的位置，并且这使得用户容易检查诸如af等的摄像相关处理的目标。
[0145]
本示例实施例还可应用于如下的情况：在诸如pc、平板终端和智能电话等的除数字照相机以外的电子装置中，将通过视线输入操作来选择诸如文本文件和文件夹等的对象。
[0146]
图8和图9a至图9d是示出在将本示例实施例应用于pc的情况下的显示示例或结构的图。图8是示出在将本示例实施例应用于pc的情况下的结构的图，并且图9a至图9d是示出在将本示例实施例应用于pc的情况下的显示画面的示例。在图8中，示出与根据本示例实施例的触摸面板70a相对应的触摸板805。与供在pc中使用的视线检测块160相对应的作为独立单元的视线检测装置810连接到pc。使用视线检测装置810的照相机811和pc的内置照相机812来检测用户的眼睛移动，并且检测用户的眼睛方向(视线)。基于所检测到的视线来辨认显示画面上的注视点。
[0147]
在图9a中，显示了表示文本文件的图标901、表示文件夹的图标902、图标910、文件夹名称903、鼠标光标904和视线指针905。视线指针905表示注视点，并且视线指针905的显示供用户识别视线检测装置810基于用户的观看方向所辨认出的注视点。此时，将鼠标光标904叠加并显示在图标910上面，并由此显示与由图标910表示的文件夹有关的详细信息906。此时，将视线指针905叠加并显示在鼠标光标904和详细信息906上面。具体地，图9a中的对象的显示顺序是如图7a所示从顶部开始的视线指针905的层700、鼠标光标904的层701和详细信息906的层702。
[0148]
将说明用户的视线从图9a中的视线指针905的位置移动到图9b中的视线指针907的(图标902上的)位置的情况。在视线的移动之后，在图9b所示的状态下进行视线确定操作的情况下，如图9c所示，鼠标光标904移动(移位)到视线指针907的显示位置。如上所述，在鼠标光标904移动到视线指针907的显示位置的情况下，鼠标光标904移动到表示文件夹的图标902，并且显示与叠加并显示有鼠标光标904的诸如文件夹或文件等的显示对象有关的详细信息906。具体地，显示详细信息906，该详细信息906与作为执行通过响应于用户的视线确定操作而移动鼠标光标904所执行的特定功能的结果、利用鼠标光标904所选择的对象有关。此时，详细信息906叠加并显示在比视线指针907高的层上。具体地，图9c中的对象的显示顺序是如图7b所示从顶部开始的鼠标光标904的层711、详细信息906的层712和视线指针907的层700。
[0149]
在鼠标光标904移位到的位置处不存在显示对象的情况下，不显示详细的对象信息。在从鼠标光标904移位到作为显示对象的图标902的位置起的约1秒的预定时间之后显示详细信息906。因此，在紧接在通过视线确定操作使鼠标光标904移位之后的图9c中不显示详细信息906，而是在自鼠标光标904移位起的预定时间之后的图9d中显示详细信息906。
pc上的视线确定操作不是以上参考数字照相机100所述的按钮操作，而是例如注释状态持续了预定时间的条件、对触摸板805的触摸操作、对鼠标的点击操作、或者对键盘的预定操作。因此，用户可以更自然和直观地进行视线确定操作。
[0150]
根据本示例实施例，作为视线确定操作的执行结果的详细信息是显示在鼠标光标904和视线指针之间的显示层(例如，图7b中的层712)。可选地，可以切换鼠标光标904和详细信息的显示顺序。此外，鼠标光标904和详细信息可以在同一层上。具体地，在视线确定操作之后，将在比视线指针高的层上显示详细信息。
[0151]
如上所述，在用户的视线确定操作之前，将表示注视点的视线指针叠加并显示在详细信息上面，因此用户可以容易地从视觉上识别与用户的观看方向相对应的注视点。另一方面，在视线确定操作之后，将详细信息叠加并显示在视线指针上面，因此用户可以在不会因视线指针而恼火的情况下容易地检查详细信息。此外，在视线确定操作之后，将鼠标光标904叠加并显示在视线指针和详细信息上面，因此用户可以从视觉上识别出鼠标光标904响应于视线确定操作而快速移动了很远到达注视点。
[0152]
尽管图8示出根据另一示例实施例的pc，本示例实施例也可通过使用鼠标、指点装置或操纵杆而不是pc的触摸板805进行视线确定操作来实现。具体地，在进行诸如点击操作、按下操作、水平地抖动装置的操作或绘制圆的操作等的预定操作的情况下，判断为进行视线确定操作。触摸板、鼠标、指点装置和操纵杆不必内置在pc中，并且可以内置在外部硬件中。
[0153]
视线指针的显示形式不限于上述那些。代替作为内侧圆(带阴影)和外侧圆框的组合的形式，可以采用包括内侧圆的形式、包括外侧圆框的形式、或者包括可由用户按需改变大小的圆的形式。例如，可以基于注视点的停留时间来改变视线指针的颜色。例如，在注视点的停留时间长于预定时间的情况下，颜色为红色，而在停留时间短于预定时间的情况下，颜色为蓝色。
[0154]
可以提供用于由用户设置显示形式的手段。随着显示形式的改变，显示层的显示顺序可以改变。
[0155]
可选地，在用户进行视线确定操作的情况下，表示单点af框的框604移动到视线指针606的位置，然后视线指针606被隐藏。例如，在继续视线确定操作(按下第一快门开关62)期间、即在执行af期间，视线指针606被隐藏，并且在af执行结束时，再次显示视线指针606。前述控制使得在紧接在视线确定操作之后用户有可能希望检查lv图像上的af执行位置处的被摄体的情形下、更容易从视觉上识别表示单点af的框604的显示。除了af执行期间的时间之外，该显示还可被控制位隐藏视线指针606，直到经过了用户所设置的预定时间为止。在处理进入与图3的步骤s302中的摄像模式处理不同的模式处理的情况下，通过用户的确定操作在比视线指针高的层上显示的诸如af框等的框显示被重置为确定操作之前的显示顺序。具体地，在用户按下菜单按钮81以进入设置菜单模式处理的情况下、或者在数字照相机100关闭的情况下，重置显示顺序。用以将因确定操作而改变的显示顺序重置为在确定操作之前设置的显示顺序的触发不限于上述那些，并且在确定操作之后经过了预定时间的情况下，显示顺序可被控制为重置并返回到在确定操作之前设置的显示顺序。
[0156]
此外，即使在图4a1至图4a3中的控制流程图的处理期间，在对操作单元70进行操作以移动af框或改变各种摄像参数的情况下，也执行与该操作相对应的功能。例如，在将多
控制器83朝向八个方向中的任一方向推按的情况下，af框基于操作方向而移动。在操作主电子拨盘71的情况下，执行指派给主电子拨盘71的功能(具体为快门速度改变)。
[0157]
本发明还通过执行以下处理来实现。具体地，将用于实现上述示例实施例的功能的软件(程序)经由网络或记录介质供给至系统或设备，并且该系统或设备的计算机(或中央处理单元(cpu)或微处理单元(mpu))读取程序代码并执行所读取的程序代码。在这种情况下，程序和存储程序的记录介质构成本发明。
[0158]
以上描述为由系统控制单元50进行的各种类型的控制可以由单个硬件进行，或者多个硬件(例如，多个处理器或电路)可以分担处理以控制整个设备。
[0159]
此外，尽管在上述示例实施例中说明了将本发明应用于数字照相机的情况作为示例，但所公开的示例不是限制性示例，并且本发明可应用于用户可以通过视线输入和对操作构件的操作来指定位置的任何电子装置。具体地，本发明可应用于pc、个人数字助理(pda)、移动电话终端、移动图像查看器和头戴式显示器。此外，本发明还可应用于数字相框、音乐播放器、游戏机、电子书阅读器、平板终端、智能电话、投影设备、包括显示器的家用电器、以及包括显示器的车载设备。
[0160]
此外，尽管以上详细说明了本发明的各种示例实施例，但本发明不限于特定的示例实施例，并且包括在本发明的范围和精神内的各种形式。尽管说明了触摸面板70a作为供与视线输入组合使用的位置移动指示构件的示例，但可以采用诸如按钮或拨盘等的另一操作单元。此外，尽管显示位置由af框表示，但可以采用图标框或参数设置框，或者可以采用诸如鼠标光标904等的不同于af框的指示器显示。尽管基于用户设置来判断是否显示视线指针，但该判断可以基于视线输入功能设置为“开启”还是“关闭”(图5a和图5b中的项503)、或者基于是否存在向目镜16的眼睛接近。
[0161]
此外，本发明除了可应用于摄像装置的主体之外，还可应用于经由有线或无线通信与摄像装置(包括网络照相机)进行通信并且远程地控制该摄像装置的控制设备。远程地控制摄像装置的设备的示例是智能电话、平板pc和台式pc。控制设备通过基于在控制设备上进行的操作和处理向摄像装置通知用于各种操作和设置的命令来远程地控制摄像装置。此外，可以经由有线或无线通信接收摄像装置所拍摄到的实时取景图像，并将该实时取景图像显示在控制设备上。
[0162]
本发明还通过执行以下处理来实现。具体地，将用于实现上述示例实施例的功能的软件(程序)经由网络或记录介质供给至系统或设备，并且该系统或设备的计算机(或中央处理单元(cpu)或微处理单元(mpu))读取程序代码并执行所读取的程序代码。在这种情况下，程序和存储程序的记录介质构成本发明。
[0163]
根据本发明，在通过视线输入进行操作的情况下，由注视点指定的位置(指定位置)以如下方式显示：在用户进行确定操作之后与在该确定操作之前相比更容易从视觉上识别该指定位置。这使得在确定指定位置之前更容易识别用户的观看位置和注视点之间的差异，并且还使得更容易检查所确定的指定位置。
[0164]
其它实施例
[0165]
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
[0166]
尽管已经说明了示例实施例，但应该理解，本发明不限于所公开的示例实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。