摄像装置、摄像装置的工作方法及程序与流程

1.本发明的技术涉及一种摄像装置、摄像装置的工作方法及程序。


背景技术：

2.日本特开2018-056944号公报中公开了一种摄像装置，其具备成像元件、生成部及检测部。在日本特开2018-056944号公报中记载的摄像装置中，成像元件具有：多个摄像区域，配置有由光电转换的电荷生成信号的多个像素；及信号线，配置于每个摄像区域，输出由像素生成的信号。生成部使用从配置于第1摄像区域的像素输出到第1摄像区域的信号线的第1像素的信号，生成所拍摄的被摄体的图像。检测部使用从配置于摄像区域中的与第1摄像区域不同的第2摄像区域的像素输出到第2摄像区域的信号线的比第1像素的数多的第2像素的信号来检测被摄体。
3.在日本特开2018-056944号公报中记载的摄像装置中，生成部使用从配置于第1摄像区域的像素中间隔剔除后输出到第1摄像区域的信号线的第1像素的信号，生成所拍摄的被摄体的图像。并且，检测部使用从配置于第2摄像区域的像素中间隔剔除后输出到第2摄像区域的信号线的比第1像素的数多的第2像素的信号来检测被摄体。
4.日本特开2016-219949号公报中公开了一种摄像装置，其具有摄像机构，该摄像机构具备成像元件，该成像元件拍摄被摄体并输出与被摄体对应的图像。日本特开2016-219949号公报中记载的摄像装置具有读出机构、判别机构及控制机构。读出机构在成像元件中将特定的像素组的读出作为第1读出动作进行而得到第1图像的同时，将与特定的像素组不同的像素组的读出作为第2读出动作进行而得到第2图像。判别机构将通过第1读出动作得到的第1图像中规定的被摄体区域判别为关注被摄体区域。控制机构根据由判别机构得到的关注被摄体区域来控制读出机构，将通过第2读出动作得到的第2图像作为具备关注被摄体区域的图像。并且，日本特开2016-219949号公报中记载的摄像装置的特征在于，第2图像中的像素数比第1图像中的关注被摄体区域的像素数多。


技术实现要素：

5.本发明的技术所涉及的一个实施方式提供与始终仅使用缩小前图像数据进行检测处理的情况相比，能够实现处理负载的减轻及高精度的检测的摄像装置、摄像装置的工作方法及程序。
6.用于解决技术课题的手段
7.本发明的技术所涉及的第1方式是一种摄像装置，其包含：存储部，存储通过拍摄而得到的图像数据；及处理部，对图像数据进行处理，处理部进行缩小图像数据的处理，并且进行从由进行通过缩小图像数据而得到的缩小图像数据表示的缩小图像中检测表示特定的被摄体的特定被摄体图像的第1检测处理，在通过第1检测处理未检测到特定被摄体图像的情况下，对存储于存储部中的缩小前的图像数据即缩小前图像数据进行第2检测处理。
8.本发明的技术所涉及的第2方式是第1方式所涉及的摄像装置，其中，处理部对表
示部分区域的部分区域图像数据进行第2检测处理，所述部分区域是由缩小前图像数据表示的图像内的部分区域，且与在进行第2检测处理的帧的前一帧中通过第1检测处理检测到的特定被摄体图像的位置对应。
9.本发明的技术所涉及的第3方式是第2方式所涉及的摄像装置，其中，部分区域是由缩小前图像数据表示的图像内的所指示的特定的被摄体的区域。
10.本发明的技术所涉及的第4方式是第1方式至第3方式中任一项所述的摄像装置，其中，在通过第1检测处理检测到特定被摄体图像的情况下，处理部将缩小前图像数据中的表示与特定被摄体图像的位置对应的区域的特定被摄体图像区域数据存储于存储部。
11.本发明的技术所涉及的第5方式是第4方式所涉及的摄像装置，其中，在通过第1检测处理检测到特定被摄体图像的情况下，处理部对存储于存储部中的特定被摄体图像区域数据进行第2检测处理。
12.本发明的技术所涉及的第6方式是第1方式至第5方式中任一项所述的摄像装置，其中，处理部根据图像数据生成多种缩小前图像数据，将所生成的多种缩小前图像数据按每个规定期间存储于存储部。
13.本发明的技术所涉及的第7方式是第6方式所涉及的摄像装置，其中，处理部在进行第2检测处理之前，按每个规定期间分析图像数据，对存储于存储部中的多种缩小前图像数据中的按每个规定期间根据分析结果确定的缩小前图像数据进行第2检测处理。
14.本发明的技术所涉及的第8方式是第7方式所涉及的摄像装置，其中，处理部在进行第2检测处理之前，按每个规定期间根据图像数据分析指示区域图像的对比度，对存储于存储部中的多种缩小前图像数据中的按每个规定期间根据分析结果确定的缩小前图像数据进行第2检测处理。
15.本发明的技术所涉及的第9方式是第1方式至第8方式中任一项所述的摄像装置，其中，第2检测处理是从由缩小前图像数据表示的图像内检测特定被摄体图像及表示比特定的被摄体小型的被摄体的小型被摄体图像中的至少一个的处理。
16.本发明的技术所涉及的第10方式是第9方式所涉及的摄像装置，其中，特定被摄体图像是表示脸部的脸部图像，小型被摄体图像是表示瞳孔的瞳孔图像。
17.本发明的技术所涉及的第11方式是第1方式至第10方式中任一项所述的摄像装置，其中，特定被摄体图像是由图像数据表示的图像内的表示所指示的移动体的移动体图像。
18.本发明的技术所涉及的第12方式是第1方式至第11方式中任一项所述的摄像装置，其中，缩小前图像数据是显示用图像数据。
19.本发明的技术所涉及的第13方式是第1方式至第11方式中任一项所述的摄像装置，其还包含成像元件，成像元件内置有存储部。
20.本发明的技术所涉及的第14方式是第13方式所涉及的摄像装置，其中，成像元件内置有处理部。
21.本发明的技术所涉及的第15方式是第13方式或第14方式所涉及的摄像装置，其中，成像元件是至少将光电转换元件和存储部单芯片化而成的成像元件。
22.本发明的技术所涉及的第16方式是第15方式所述的摄像装置，其中，成像元件是存储部层叠于光电转换元件上的层叠型成像元件。
23.本发明的技术所涉及的第17方式是第1方式至第16方式中任一项所述的摄像装置，其还包含控制部，所述控制部进行使显示装置显示第1检测处理中的检测结果及第2检测处理中的检测结果中的至少一者的控制。
24.本发明的技术所涉及的第18方式是第1方式至第17方式中任一项所述的摄像装置，其中，处理部对分辨率不同的多个缩小前图像数据，从低分辨率的缩小前图像数据到高分辨率的缩小前图像数据阶段性地进行第2检测处理。
25.本发明的技术所涉及的第19方式是一种摄像装置的工作方法，其包括如下步骤：将通过拍摄而得到的图像数据存储于存储部；进行缩小图像数据的处理；进行从由通过缩小图像数据而得到的缩小图像数据表示的缩小图像中检测表示特定的被摄体的特定被摄体图像的第1检测处理；及在通过第1检测处理未检测到特定被摄体图像的情况下，对存储于存储部中的缩小前的图像数据即缩小前图像数据进行第2检测处理。
26.本发明的技术所涉及的第20方式是一种程序，其用于使计算机执行包括以下步骤的处理：将通过拍摄而得到的图像数据存储于存储部；进行缩小图像数据的处理；进行从由通过缩小图像数据而得到的缩小图像数据表示的缩小图像中检测表示特定的被摄体的特定被摄体图像的第1检测处理；及在通过第1检测处理未检测到特定被摄体图像的情况下，对存储于存储部中的缩小前的图像数据即缩小前图像数据进行第2检测处理。
附图说明
27.图1是表示第1～第4实施方式所涉及的摄像装置的外观的一例的立体图。
28.图2是表示图1所示的摄像装置的背面侧的外观的一例的后视图。
29.图3是表示第1～第4实施方式所涉及的摄像装置的结构的一例的框图。
30.图4是表示第1～第4实施方式所涉及的摄像装置中包含的摄像装置主体的电气系统的硬件结构的一例的框图。
31.图5是用于说明第1～第4实施方式所涉及的摄像装置中包含的成像元件的帧速率的概念图。
32.图6是表示第1～第4实施方式所涉及的摄像装置中包含的成像元件的层叠结构的一例的概念图。
33.图7是表示第1、第2及第4实施方式所涉及的摄像装置中包含的成像元件的电气系统的硬件结构的一例的框图。
34.图8是表示由第1～第4实施方式所涉及的成像元件进行的摄像处理及输出处理的内容的一例的概念图。
35.图9是表示第1～第4实施方式所涉及的摄像装置中包含的成像元件、信号处理电路、控制器及触摸面板显示器的相互之间的关系性的一例的概念图。
36.图10是表示第1～第4实施方式所涉及的摄像装置中包含的触摸面板显示器的使用例的概念图。
37.图11是表示第1及第2实施方式所涉及的摄像装置中包含的信号处理电路及其周边的结构的一例的概念图。
38.图12是表示通过由第1～第4实施方式所涉及的摄像装置拍摄而得到的数字图像数据及通过缩小数字图像数据而得到的多种图像数据的结构例的概念图。
39.图13a是表示第1检测处理成功时(检测到特定被摄体图像时)的即时预览图像显示于显示器上的方式的一例的画面图。
40.图13b是表示第1检测处理失败，且第2检测处理成功时(通过第1检测处理未检测到特定被摄体图像，而通过第2检测处理检测到特定被摄体图像时)的即时预览图像显示于显示器上的方式的一例的画面图。
41.图13c是表示第1检测处理及第2检测处理失败时(通过第1检测处理和第2检测处理均未检测到特定被摄体图像时)的即时预览图像显示于显示器上的方式的一例的画面图。
42.图14是表示第1实施方式所涉及的摄像装置中的处理内容的一例的时序图。
43.图15a是表示第1实施方式所涉及的后级电路处理流程的一例的流程图。
44.图15b是图15a所示的流程图的延续。
45.图16是用于说明第2实施方式所涉及的摄像装置中包含的第1检测电路的处理内容的一例的概念图。
46.图17是用于说明第2实施方式所涉及的摄像装置中包含的第2检测电路的处理内容的一例的概念图。
47.图18a是表示由第2实施方式所涉及的摄像装置中包含的第1检测电路从由缩小图像数据表示的缩小图像中检测脸部图像，且从缩小图像中检测到瞳孔图像时的显示器的显示方式的一例的画面图。
48.图18b是表示由第2实施方式所涉及的摄像装置中包含的第1检测电路进行的第1检测处理及由第2检测电路进行的第2检测处理均失败时的显示器的显示方式的一例的画面图。
49.图18c是表示由第2实施方式所涉及的摄像装置中包含的第1检测电路或第2检测电路进行的脸部图像的检测成功，但瞳孔图像的检测失败时的显示器的显示方式的一例的画面图。
50.图19是表示第2实施方式所涉及的摄像装置中的处理内容的一例的时序图。
51.图20a是表示第2施方式所涉及的后级电路处理流程的一例的流程图。
52.图20b是图20a所示的流程图的延续。
53.图20c是图20b所示的流程图的延续。
54.图20d是图20a～图20c所示的流程图的延续。
55.图21是用于说明第2实施方式所涉及的摄像装置中包含的第1检测电路的处理内容的变形例的概念图。
56.图22是用于说明第2实施方式所涉及的摄像装置中包含的生成电路的处理内容的变形例的概念图。
57.图23是用于说明第2实施方式所涉及的摄像装置中包含的第2检测电路的处理内容的变形例的概念图。
58.图24是表示第3实施方式所涉及的摄像装置中包含的成像元件的电气系统的硬件结构的一例的框图。
59.图25是表示第3实施方式所涉及的摄像装置中包含的信号处理电路及其周边的结构的一例的概念图。
60.图26a是表示第3实施方式所涉及的摄像装置中的处理内容的一例的时序图。
61.图26b是表示第3实施方式所涉及的摄像装置中的处理内容的一例的时序图。
62.图26c是表示第3实施方式所涉及的摄像装置中的处理内容的一例的时序图。
63.图27是表示第3实施方式所涉及的摄像装置中的处理内容的第1变形例的时序图。
64.图28是表示第3实施方式所涉及的摄像装置中的处理内容的第2变形例的时序图。
65.图29是表示第4实施方式所涉及的摄像装置中包含的信号处理电路及其周边的结构的一例的概念图。
66.图30a是表示由第2检测电路获取第4实施方式所涉及的摄像装置中包含的帧存储器中存储的第1缩小前图像数据作为第2检测处理对象图像数据时的处理内容的一例的概念图。
67.图30b是表示由第2检测电路获取第4实施方式所涉及的摄像装置中包含的帧存储器中存储的第2缩小前图像数据作为第2检测处理对象图像数据时的处理内容的一例的概念图。
68.图31是表示成像元件的电气系统的硬件结构的变形例的框图。
69.图32是表示智能器件的背面侧的外观的一例的后视立体图。
70.图33是表示从存储有后级电路处理程序的存储介质向信号处理电路内的计算机安装后级电路处理程序的方式的一例的概念图。
71.图34是表示从存储有后级电路处理程序的存储介质向成像元件内的计算机安装后级电路处理程序的方式的一例的概念图。
具体实施方式
72.以下，按照附图对本发明的技术所涉及的摄像装置的实施方式的一例进行说明。
73.首先，对在以下说明中使用的术语进行说明。
74.cpu是指“central processing unit：中央处理单元”的简称。gpu是指“graphics processing unit：图形处理单元”的简称。ram是指“random ac cess memory：随机存取存储器”的简称。rom是指“read only memory：只读存储器”的简称。dram是指“dynamic random access memory：动态随机存取存储器”的简称。sram是指“static random access memory：静态随机存取存储器”的简称。lsi是指“large-scale integrated circuit：大规模集成电路”的简称。asic是指“application specific integrated circuit：专用集成电路”的简称。pld是指“programmable logic device：可编程逻辑器件”的简称。fpga是指“field-programmable gate array：现场可编程门阵列”的简称。soc是指“system-on-a-chip：片上系统”的简称。ssd是指“solid state drive：固态驱动器”的简称。usb是指“universal serial bu s：通用串行总线”的简称。hdd是指“hard disk drive：硬盘驱动器”的简称。eeprom是指“electrically erasable and programmable read only memory：带电可擦可编程只读存储器”的简称。ccd是指“charge coupled devic e：电荷耦合元件”的简称。cmos是指“complementary metal oxide semiconductor：互补型金属氧化物半导体”的简称。el是指“electro-luminescenc e：电致发光”的简称。a/d是指“analog/digital：模拟/数字”的简称。i/f是指“interface：接口”的简称。ui是指“user interface：用户界面”的简称。lvds是指“low voltage differential signaling：低压差分信号”的简
称。pcie是指“peripheral component interconnect express：外围组件互连标准”的简称。sata是指“serial advanced technology attachment：串行高级技术附件”的简称。slvs-ec是指“scalable low signaling with embedded clock：带有嵌入式时钟的可扩展低压信号”的简称。mipi(注册商标)是指“mobile industry processor interface：移动行业处理器接口”的简称。fps是指“frame per second：每秒帧数”的简称。fifo是指“firs t in，first out：先进先出”的简称。fhd是指“full high definition：全高清”的简称。vga是指“video graphics array：视频图形阵列”的简称。
75.[第1实施方式]
[0076]
作为一例，如图1所示，摄像装置10是镜头可换式且省略了反光镜的数码相机。摄像装置10具备摄像装置主体12和可更换地安装于摄像装置主体12上的可更换镜头14。另外，在此，作为摄像装置10的一例，举出了镜头可换式且省略了反光镜的数码相机，但本发明的技术并不限定于此，摄像装置10可以是镜头固定式等其他种类的数码相机。
[0077]
在摄像装置主体12上设置有成像元件38。在可更换镜头14安装于摄像装置主体12上的情况下，表示被摄体的被摄体光透过可更换镜头14在成像元件38上成像，由成像元件38生成表示被摄体的图像的图像数据(例如，参考图4及图5)。
[0078]
在摄像装置主体12上设置有混合式取景器(注册商标)16。在此，混合式取景器16是指例如选择性地使用光学取景器(以下，称为“ovf”)及电子取景器(以下，称为“evf”)的取景器。另外，ovf是指“optical viewfind er：光学取景器”的简称。并且，evf是指“electronic viewfinder：电子取景器”的简称。
[0079]
在摄像装置主体12的前表面上设置有取景器切换杆18。通过使取景器切换杆18沿箭头sw方向转动，从而切换能够用ovf视觉辨认的光学像和能够用evf视觉辨认的电子图像即即时预览图像。在此，“即时预览图像”是指基于通过由成像元件38拍摄而得到的图像数据的显示用动态图像。即时预览图像通常也被称为实时取景图像。在摄像装置主体12的上表面设置有释放按钮20及转盘23。在设定摄像系统的动作模式及回放系统的动作模式等时操作转盘23，由此在摄像装置10中，选择性地设定拍摄模式和回放模式作为动作模式。
[0080]
释放按钮20作为摄像准备指示部及摄像指示部而发挥功能，并能够检测摄像准备指示状态和摄像指示状态这两个阶段的按压操作。摄像准备指示状态例如是指从待机位置被按下至中间位置(半按位置)的状态，摄像指示状态是指被按下至超过中间位置的最终按下位置(全按位置)的状态。另外，以下，将“从待机位置被按下至半按位置的状态”称为“半按状态”，将“从待机位置被按下至全按位置的状态”称为“全按状态”。
[0081]
作为一例，如图2所示，在摄像装置主体12的背面上设置有触摸面板显示器24、指示键27及取景器目镜部30。
[0082]
触摸面板显示器24具备显示器26及触摸面板28(也参考图4)。作为显示器26的一例，可举出有机el显示器。显示器26也可以不是有机el显示器，而是液晶显示器或无机el显示器等其他种类的显示器。
[0083]
另外，显示器26及evf是本发明的技术所涉及的“显示装置”的一例。关于evf的显示，由于等同于显示器26的显示，因此以下省略说明，在本说明书中，对显示器26的显示能够替换为对evf的显示。
[0084]
显示器26显示图像及字符信息等。显示器26用于显示当摄像装置10为拍摄模式时
通过连续拍摄而得到的即时预览图像。并且，显示器26也用于显示当被赋予静止图像用拍摄的指示时通过拍摄而得到的静止图像。此外，显示器26也用于显示当摄像装置10为回放模式时的回放图像及菜单画面等。
[0085]
触摸面板28是透射型触摸面板，与显示器26的显示区域的表面重叠。触摸面板28通过检测基于手指或触控笔等指示体的接触来接收来自用户的指示。
[0086]
另外，在此，作为触摸面板显示器24的一例，举出了触摸面板28与显示器26的显示区域的表面重叠的外挂型触摸面板显示器，但这仅为一例。例如，作为触摸面板显示器24，也能够适用外嵌型或内嵌型触摸面板显示器。
[0087]
指示键27接收各种指示。在此，“各种指示”例如是指能够选择各种菜单的菜单画面的显示指示、一个或多个菜单的选择指示、选择内容的确定指示、选择内容的擦除指示、放大、缩小及帧传送等各种指示等。
[0088]
作为一例，如图3所示，可更换镜头14具有成像透镜40。成像透镜40具备物镜40a、聚焦透镜40b及光圈40c。物镜40a、聚焦透镜40b及光圈40c从被摄体侧(物体侧)到摄像装置主体12侧(像侧)，沿着光轴l1，按照物镜40a、聚焦透镜40b及光圈40c的顺序配置。聚焦透镜40b及光圈40c通过受到来自马达等驱动源(省略图示)的动力而进行工作。即，聚焦透镜40b根据所施加的动力沿着光轴l1移动。并且，光圈40c通过根据所施加的动力而进行工作来调节曝光。
[0089]
摄像装置主体12具备后级电路13、ui系统器件17、机械快门41及成像元件38。后级电路13是位于成像元件38的后级的电路。后级电路13具有控制器15及信号处理电路34。控制器15与ui系统器件17、信号处理电路34及成像元件38连接，控制摄像装置10的整个电气系统。
[0090]
成像元件38具备具有受光面42a的光电转换元件42。在本实施方式中，成像元件38是cmos图像传感器。并且，在此，作为成像元件38而例示出cmo s图像传感器，但本发明的技术并不限定于此，例如即使成像元件38是ccd图像传感器等其他种类的图像传感器，本发明的技术也成立。
[0091]
机械快门41通过受到来自马达等驱动源(省略图示)的动力而进行工作。在可更换镜头14安装于摄像装置主体12的情况下，表示被摄体的被摄体光透过成像透镜40，经由机械快门41在受光面42a上成像。
[0092]
ui系统器件17是向用户提示信息或接收来自用户的指示的器件。控制器15从ui系统器件17获取各种信息，并控制ui系统器件17。
[0093]
成像元件38与控制器15连接，通过在控制器15的控制下拍摄被摄体，生成表示被摄体的图像的图像数据。
[0094]
成像元件38与信号处理电路34连接。信号处理电路34是lsi，具体而言，是包含asic及fpga的器件。控制器15从信号处理电路34获取各种信息，并控制成像元件38。成像元件38在控制器15的控制下，将由光电转换元件42生成的图像数据输出到信号处理电路34。
[0095]
信号处理电路34是本发明的技术所涉及的“处理部(信号处理电路)”的一例。信号处理电路34是对图像数据进行处理的电路。具体而言，信号处理电路34对从成像元件38输入的图像数据进行各种信号处理。由信号处理电路34进行的各种信号处理例如包括白平衡调整、清晰度调整、伽马校正、颜色空间转换处理及色差校正等公知的信号处理。
[0096]
另外，由信号处理电路34进行的各种信号处理也可以由信号处理电路34和成像元件38分散进行。即，也可以设为使成像元件38的处理电路110承担由信号处理电路34进行的各种信号处理中的至少一部分。
[0097]
另外，在本实施方式中，作为信号处理电路34例示了包含asic及fpga的器件，但本发明的技术并不限定于此。例如，信号处理电路34可以是包含asic、fpga或pld的器件，也可以是包含fpga及pld的器件，也可以是包含asic及pld的器件。
[0098]
并且，信号处理电路34也可以是包含cpu、储存器(storage)及存储器(memory)的计算机。在此，储存器是指非易失性存储装置。作为非易失性存储装置的一例，可举出闪存，但并不限于此，也可以是eeprom、hdd和/或ssd等。并且，存储器临时存储各种信息并用作工作存储器。作为存储器的一例，可举出ram，但并不限于此，也可以是其他种类的存储装置。计算机中包含的cpu可以是单个，也可以是多个。并且，可以使用gpu来代替cpu。并且，信号处理电路34可以通过硬件结构及软件结构的组合来实现。
[0099]
作为一例，如图4所示，控制器15具备cpu15a、储存器15b、存储器15c、输出i/f15d及接收i/f15e。cpu15a是本发明的技术所涉及的“控制部(处理器)”的一例。cpu15a、储存器15b、存储器15c、输出i/f15d及接收i/f15e经由总线100连接。
[0100]
另外，在图4所示的例子中，为了便于图示，作为总线100图示了1条总线，但也可以是多条总线。总线100可以是串行总线，也可以是包含数据总线、地址总线及控制总线等的并行总线。
[0101]
储存器15b存储各种参数及各种程序。储存器15b是非易失性存储装置。在此，作为储存器15b的一例，采用了闪存。闪存仅为一例，可以代替闪存或与闪存一起适用eeprom、hdd和/或ssd等作为储存器15b。并且，存储器15c临时存储各种信息并用作工作存储器。作为存储器15c的一例，可举出ram，但并不限于此，也可以是其他种类的存储装置。
[0102]
储存器15b中存储有各种程序。cpu15a从储存器15b读出需要的程序，并且在存储器15c上执行所读出的程序。cpu15a按照在存储器15c上执行的程序来控制整个摄像装置10。
[0103]
输出i/f15d与成像元件38连接。cpu15a经由输出i/f15d控制成像元件38。例如，cpu15a经由输出i/f15d对成像元件38提供规定进行摄像的定时的摄像定时信号，由此控制由成像元件38进行的摄像定时。
[0104]
接收i/f15e与信号处理电路34连接。由信号处理电路34进行各种信号处理的图像数据由信号处理电路34输出到接收i/f15e。接收i/f15e接收从信号处理电路34输出的图像数据，并将所接收到的图像数据传送到cpu15a。
[0105]
外部i/f104与总线100连接。外部i/f104是由电路构成的通信器件。在此，作为外部i/f104例示了由电路构成的器件，但这仅为一例。外部i/f104也可以是包括asic、fpga和/或pld的器件。并且，外部i/f104可以通过硬件结构及软件结构的组合来实现。
[0106]
作为外部i/f104的一例，可举出usb接口。智能器件、个人计算机、服务器、usb存储器、存储卡和/或打印机等外部装置(省略图示)能够直接或间接连接于usb接口。外部i/f104控制cpu15a与外部装置之间的各种信息的授受。
[0107]
ui系统器件17具备触摸面板显示器24及接收器件84。显示器26及触摸面板28连接于总线100。因此，cpu15a使显示器26显示各种信息，并按照由触摸面板28接收到的各种指
示进行动作。
[0108]
接收器件84具备硬键部25。硬键部25是多个硬键，具有释放按钮20(参考图1)、转盘23(参考图1及图2)及指示键22(参考图2)。硬键部25连接于总线100，cpu15a获取由硬键部25接收到的指示，按照所获取的指示进行动作。
[0109]
作为一例，如图5所示，从控制器15向成像元件38输入摄像定时信号。摄像定时信号包括垂直同步信号及水平同步信号。垂直同步信号是规定从光电转换元件42的每1帧的图像数据的读出开始定时的同步信号。水平同步信号是规定从光电转换元件42的每个水平线的图像数据的读出开始定时的同步信号。在成像元件38中，按照根据从控制器15输入的垂直同步信号确定的帧速率，从光电转换元件42读出图像数据。
[0110]
在图5所示的例子中，作为成像元件38的帧速率，示出了在期间t内从光电转换元件42进行8帧量的读出的帧速率。作为具体的帧速率的一例，可举出120fps，但并不限于此，可以是超过120fps的帧速率(例如，240fp s)，也可以是小于120fps的帧速率(例如，60fps)。
[0111]
作为一例，如图6所示，在成像元件38中内置有光电转换元件42、处理电路110及存储器112。成像元件38是将光电转换元件42、处理电路110及存储器112单芯片化而成的成像元件。即，光电转换元件42、处理电路110及存储器112被封装在一起。在成像元件38中，处理电路110及存储器112层叠于光电转换元件42上。具体而言，光电转换元件42及处理电路110通过铜等具有导电性的凸块(省略图示)彼此电连接，处理电路110及存储器112也通过铜等具有导电性的凸块(省略图示)彼此电连接。在此，例示了光电转换元件42、处理电路110及存储器112的三层结构，但本发明的技术并不限于此，也可以是将处理电路110和存储器112作为一层的存储器层与光电转换元件42的两层结构。另外，成像元件38是本发明的技术所涉及的“层叠型成像元件”的一例。
[0112]
处理电路110例如是lsi。存储器112是写入定时与读出定时不同的存储器。在此，作为存储器112的一例，采用了dram。另外，即使存储器112是sram等其他种类的存储装置，本发明的技术也成立。
[0113]
处理电路110是包括asic及fpga的器件，按照上述控制器15的指示控制整个成像元件38。另外，在此，作为信号处理电路34例示了包含asic及fpga的器件，但本发明的技术并不限定于此。例如，处理电路110可以是包含asic、fpga或pld的器件，也可以是包含fpga及pld的器件，也可以是包含asic及pld的器件。
[0114]
并且，处理电路110也可以是包含cpu、储存器(storage)及存储器(me mory)的计算机。储存器是指闪存等非易失性存储装置。存储器临时存储各种信息并用作工作存储器。作为存储器的一例，可举出ram，但并不限于此，也可以是其他种类的存储装置。计算机中包含的cpu可以是单个，也可以是多个。并且，可以使用gpu来代替cpu。并且，处理电路110可以通过硬件结构及软件结构的组合来实现。
[0115]
光电转换元件42具有配置成矩阵状的多个光电二极管。作为多个光电二极管的一例，可举出“4896
×
3265”像素量的光电二极管。
[0116]
在光电转换元件42中包含的各光电二极管中配置有滤色器。滤色器包含最有助于用于得到亮度信号的与g(绿色)对应的g滤色器、与r(红色)对应的r滤色器及与b(蓝色)对应的b滤色器。
[0117]
光电转换元件42具有r像素、g像素及b像素。r像素是与配置有r滤色器的光电二极管对应的像素，g像素是与配置有g滤色器的光电二极管对应的像素，b像素是与配置有b滤色器的光电二极管对应的像素。r像素、g像素及b像素在行方向(水平方向)及列方向(垂直方向)上分别以规定的周期性配置。在本实施方式中，r像素、g像素及b像素以与x-trans(注册商标)排列对应的周期性排列。另外，在此，例示了x-trans排列，但本发明的技术并不限定于此，r像素、g像素及b像素的排列也可以是拜耳排列或蜂窝排列等。
[0118]
成像元件38具有所谓的电子快门功能，在控制器15的控制下，通过启动电子快门功能而控制光电转换元件42内的各光电二极管的电荷积蓄时间。电荷积蓄时间是指所谓的快门速度。
[0119]
在成像元件38中，选择性地进行静止图像用拍摄和即时预览图像用拍摄。静止图像用拍摄通过启动电子快门功能且使机械快门41工作来实现，即时预览图像用拍摄通过不使机械快门41工作而启动电子快门功能来实现。另外，在此，例示了使用机械快门41的摄像，但机械快门41不是实现摄像所必需的，即使没有机械快门41，通过启动电子快门功能，也能够实现即时预览图像用拍摄及静止图像用拍摄。并且，在此，例示出滚动快门方式，但本发明的技术并不限于此，可以适用全局快门方式来代替滚动快门方式。
[0120]
作为一例，如图7所示，处理电路110具备接收i/f110d1及输出i/f110d2。控制器15的输出i/f15d与处理电路110的接收i/f110d1连接，并将摄像定时信号输出到接收i/f110d1。接收i/f110d1接收从输出i/f15d输出的摄像定时信号。
[0121]
信号处理电路34具备接收i/f34a及输出i/f34b。接收i/f34a与成像元件38的输出i/f110d2连接。处理电路110的输出i/f110d2将图像数据等各种信息(以下，也简称为“各种信息”)输出到信号处理电路34的接收i/f34a，接收i/f34a接收从输出i/f110d2输出的各种信息。信号处理电路34根据需要对由接收i/f34a接收到的各种信息实施信号处理。输出i/f34b与控制器15的接收i/f15e连接，并将各种信息输出到控制器15的接收i/f15e。接收i/f15e接收从输出i/f34b输出的各种信息。
[0122]
在成像元件38中，处理电路110除了接收i/f110d1及输出i/f110d2以外，还具备读出电路110a、数字处理电路110b及控制电路110c。
[0123]
读出电路110a分别与光电转换元件42、数字处理电路110b及控制电路110c连接。数字处理电路110b连接于控制电路110c。控制电路110c分别与存储器112、接收i/f110d1及输出i/f110d2连接。
[0124]
作为一例，如图7所示，上述图像数据大致分为模拟图像数据70a和数字图像数据70b。另外，以下，为了便于说明，在不需要区分说明模拟图像数据70a、数字图像数据70b、后述的输出用图像数据70b1(参考图12)、后述的即时预览图像数据70b2(参考图12)及后述的缩小图像数据70b3(参考图12)等各种图像数据的情况下，不标注符号而称为“图像数据”。
[0125]
处理电路110的接收i/f110d1及输出i/f110d2分别是由电路构成的通信器件。并且，控制器15的输出i/f15d及接收i/f15e分别也是由电路构成的通信器件。此外，信号处理电路34的接收i/f34a及输出i/f34b分别也是由电路构成的通信器件。
[0126]
处理电路110的接收i/f110d1与控制器15的输出i/f15d之间按照pcie的连接标准连接。并且，处理电路110的输出i/f110d2与信号处理电路34的接收i/f34a之间也按照pcie的连接标准连接。此外，信号处理电路34的输出i/f34b与控制器15的接收i/f15e之间也按
照pcie的连接标准连接。另外，以下，在不需要区分说明接收i/f110d1、输出i/f110d2、接收i/f34a、输出i/f34b、接收i/f15e及输出i/f15d的情况下，不标注符号而称为“通信i/f”。
[0127]
在此，作为通信i/f采用了由电路构成的通信器件，但这仅为一例，通信i/f也可以是包含asic、fpga和/或pld的器件。并且，通信i/f也可以是包含cpu、闪存等储存器(storage)及ram等存储器(memory)的计算机。在该情况下，计算机中包含的cpu可以是单个，也可以是多个。使用gpu来代替cp u。并且，通信i/f可以通过硬件结构及软件结构的组合来实现。
[0128]
接收i/f110d1接收从控制器15的输出i/f15d输出的摄像定时信号，并将所接收到的摄像定时信号传送到控制电路110c。
[0129]
读出电路110a在控制电路110c的控制下控制光电转换元件42，从光电转换元件42读出模拟图像数据70a。从光电转换元件42的模拟图像数据70a的读出按照从控制器15输入到处理电路110的摄像定时信号进行。
[0130]
具体而言，首先，接收i/f110d1从控制器15接收摄像定时信号，并将所接收到的摄像定时信号传送到控制电路110c。接着，控制电路110c将从接收i/f110d1传送的摄像定时信号传送到读出电路110a。即，垂直同步信号及水平同步信号被传送到读出电路110a。并且，读出电路110a按照从控制电路110c传送的垂直同步信号开始从光电转换元件42以帧单位读出模拟图像数据70a。并且，读出电路110a按照从控制电路110c传送的水平同步信号开始以水平线单位的模拟图像数据70a的读出。
[0131]
读出电路110a对从光电转换元件42读出的模拟图像数据70a进行模拟信号处理。模拟信号处理包括噪声消除处理及模拟增益处理等公知的处理。噪声消除处理是消除由光电转换元件42中包含的像素之间的特性的偏差引起的噪声的处理。模拟增益处理是对模拟图像数据70a施加增益的处理。如此进行模拟信号处理的模拟图像数据70a通过读出电路110a输出到数字处理电路110b。
[0132]
数字处理电路110b具备a/d转换器110b1。a/d转换器110b1对模拟图像数据70a进行a/d转换。
[0133]
数字处理电路110b对从读出电路110a输入的模拟图像数据70a进行数字信号处理。数字信号处理例如包括基于a/d转换器110b1的a/d转换及数字增益处理。
[0134]
对于模拟图像数据70a，由a/d转换器110b1进行a/d转换，由此模拟图像数据70a被数字化，作为raw数据得到数字图像数据70b。并且，通过数字处理电路110b对数字图像数据70b进行数字增益处理。数字增益处理是指对数字图像数据70b施加增益的处理。如此通过进行数字信号处理而得到的数字图像数据70b由数字处理电路110b输出到控制电路110c。
[0135]
存储器112是能够存储多个帧的数字图像数据的存储器。控制电路110c将从数字处理电路110b输入的数字图像数据70b存储于存储器112。存储器112具有像素单位的存储区域，数字图像数据70b通过控制电路110c以像素单位存储于存储器112中的对应的存储区域中。
[0136]
控制电路110c能够随机访问存储器112，按照帧速率从存储器112获取数字图像数据70b。并且，控制电路110c缩小从存储器112获取的数字图像数据70b，并使输出i/f110d2向信号处理电路34输出通过缩小而得到的输出用图像数据70b1。另外，在此，“缩小”是指对图像数据进行低分辨率化的处理。作为低分辨率化的处理的一例，可举出间隔剔除像素的
处理。
[0137]
在信号处理电路34中，由接收i/f34a接收从输出i/f110d2输入的数字图像数据70b，对所接收到的数字图像数据70b进行各种信号处理。
[0138]
作为一例，如图8所示，在成像元件38中进行包括摄像处理和输出处理的处理。
[0139]
在摄像处理中，依次进行曝光、模拟图像数据70a的读出、对光电转换元件42的复位、模拟信号处理、数字信号处理及数字图像数据70b的存储。
[0140]
在摄像处理中，首先，由光电转换元件42进行曝光。并且，由读出电路110a进行模拟图像数据70a的读出、对光电转换元件42的复位及模拟信号处理。另外，由光电转换元件42进行曝光的期间是未进行模拟图像数据70a的读出及对光电转换元件42的复位的期间。由数字处理电路110b进行数字信号处理。由控制电路110c将通过进行数字信号处理而得到的数字图像数据70b存储于存储器112。
[0141]
在输出处理中，进行数字图像数据70b的获取及输出用图像数据70b1的输出。即，在输出处理中，首先，控制电路110c获取来自存储器112的数字图像数据70b。并且，控制电路110c通过缩小数字图像数据70b来生成输出用图像数据70b1，并将所生成的输出用图像数据70b1经由输出i/f110d2输出到信号处理电路34。
[0142]
作为一例，如图9所示，信号处理电路34具备生成电路34c。接收i/f34a及输出i/f34b与生成电路34c连接。由接收i/f34a接收从成像元件38的输出i/f110d2输出的输出用图像数据70b1。通过生成电路34c获取由接收i/f34a接收到的输出用图像数据70b1。生成电路34c通过缩小从接收i/f34a获取的输出用图像数据70b1来生成即时预览图像数据70b2。即时预览图像数据70b2是分辨率比输出用图像数据70b1低的图像数据。另外，即时预览图像数据70b2是本发明的技术所涉及的“显示用图像数据”的一例。
[0143]
生成电路34c将所生成的即时预览图像数据70b2经由输出i/f34b输出到控制器15。控制器15接收从输出i/f34b输出的即时预览图像数据，并将由所接收到的即时预览图像数据70b2表示的即时预览图像显示于显示器26上。在图9所示的例子中，作为即时预览图像，示出了作为本发明的技术所涉及的“特定的被摄体”及“移动体”的一例的包含表示小鸟的特定被摄体图像200和表示小鸟的背景的背景图像的图像。背景图像包含表示森林(在图9所示的例子中，2颗树木)的图像。另外，特定被摄体图像200是本发明的技术所涉及的“移动体图像”的一例。
[0144]
作为一例，如图10所示，触摸面板28接收指示区域信息。指示区域信息是指指示即时预览图像内的一部分封闭区域即区域200a的信息。区域200a是作为后述的第1检测电路34d及第2检测电路34e(参考图11)进行特定被摄体图像200的检测的检测对象区域由用户指示的区域。
[0145]
例如，通过由用户的手指11对触摸面板28进行触摸操作，由触摸面板28接收指示区域信息。在该情况下，将以即时预览图像内的与手指11接触触摸面板28的位置对应的位置为中心的规定半径(例如，几毫米)的圆形状区域规定为区域200a。在此，通过对触摸面板28的触摸操作来确定规定的大小及形状的区域200a，但规定区域200a的方法并不限定于此。例如，也可以通过对触摸面板28以描绘封闭区域的轮廓的方式进行滑动操作而由触摸面板28接收指示区域信息。在该情况下，将即时预览图像内的通过对触摸面板28进行滑动操作而描绘的封闭区域规定为区域200a。
[0146]
在图10所示的例子中，示出了通过由触摸面板28接收到的指示区域信息指示的区域200a，但即使未由指示区域信息指示区域200a，本发明的技术也成立。在该情况下，例如，即时预览图像内的规定区域用作基于第1检测电路34d及第2检测电路34e(参考图11)的检测对象区域即可。规定区域例如是指即时预览图像的整体区域或即时预览图像内的预先设定的一部分区域。
[0147]
通过由用户的手指11操作触摸面板28，由触摸面板28接收指示区域信息。在图10所示的例子中，作为区域200a例示了圆状区域，但这仅为一例，区域200a的形状可以是多边形等其他形状，也可以是触摸面板28内的手指11接触的区域的形状。并且，在此，例示了手指11，但只要是触摸面板28能够检测的触控笔等指示体即可。
[0148]
区域200a的轮廓(在图10所示的例子中，圆形框)例如通过由用户的手指11触摸触摸面板28而显示于所触摸的位置。区域200a的大小可以固定，也可以能够调节。在能够调节区域200a的大小的情况下，例如通过对触摸面板28的缩小操作及放大操作等来调节区域200a的大小。
[0149]
在图10所示的例子中，例示了区域200a中包含特定被摄体图像200的方式(区域200a的圆形框包围特定被摄体图像200的方式)，但本发明的技术并不限定于此。例如，也可以由用户经由触摸面板28等指示即时预览图像内的尚未包含特定被摄体图像200的一部分封闭区域(例如，由用户预测为特定被摄体图像200的移动目的地的区域)作为区域200a。另外，在图10所示的例子中，区域200a内包含的特定被摄体图像200是本发明的技术所涉及的“表示所指示的移动体的移动体图像”的一例。
[0150]
作为一例，如图11所示，信号处理电路34除了上述接收i/f34a、输出i/f34b及生成电路34c以外，还具备第1检测电路34d、第2检测电路34e、存储电路34f、帧存储器34g、接收i/f34h及存储控制电路34j。另外，帧存储器34g是本发明的技术所涉及的“存储部”的一例。
[0151]
接收i/f34h具有与接收i/f34a相同的结构，并与控制器15连接。控制器15获取由触摸面板28接收到的指示区域信息，并将所获取的指示区域信息输出到信号处理电路34的接收i/f34h。接收i/f34h接收从控制器15输出的指示区域信息。由第1检测电路34d及第2检测电路34e获取由接收i/f34h接收到的指示区域信息。
[0152]
存储电路34f中存储有检测用参考信息。第1检测电路34d及第2检测电路34e从由图像数据表示的图像中参考检测用参考信息而检测特定被摄体图像200。作为检测用参考信息，例如可举出从图像数据中检测特定被摄体图像200所需的多个样品图像(例如，表示小鸟的样品图像)和/或表示通过分析多个样品图像的每一个而得到的特征量的信息(以下，称为“特征量信息”)等。作为特征量信息，例如可举出通过对多个样品图像的每一个进行傅里叶转换而得到的表示频率特性的信息等。另外，特征量信息也能够通过使用卷积神经网络的机器学习而得到。
[0153]
检测用参考信息可以预先存储于存储电路34f，也可以在控制器15的控制下，通过存储控制电路34j存储于存储电路34f。
[0154]
在此，在使用样品图像作为检测用参考信息的情况下，控制器15获取在显示器26上显示即时预览图像的状态下由用户经由触摸面板28指定的图像(例如，即时预览图像内的表示小鸟的图像)作为样品图像。另外，并不限于此，控制器15也可以经由外部i/f104(参考图4)从外部装置获取样品图像。如此得到的样品图像由控制器15输出到信号处理电路
34。
[0155]
由接收i/f34h接收从控制器15输出的样品图像。存储控制电路34j将由接收i/f34h接收到的样品图像存储于存储电路34f。
[0156]
另外，即使在使用特征量信息作为检测用参考信息的情况下，也与样品图像同样地，由控制器15获取特征量信息。并且，由控制器15获取的特征量信息在控制器15的控制下，由存储控制电路34j存储于存储电路34f。
[0157]
生成电路34c进行缩小即时预览图像数据70b2的处理，将由此得到的缩小图像数据70b3输出到第1检测电路34d。缩小图像数据70b3是分辨率比即时预览图像数据70b2低的图像数据。另外，在此，即时预览图像数据70b2是本发明的技术所涉及的“缩小前的图像数据即缩小前图像数据”的一例。
[0158]
生成电路34c将即时预览图像数据70b2输出到帧存储器34g及输出i/f34b。输出i/f34b将从生成电路34c输入的即时预览图像数据70b2输出到控制器15。
[0159]
在帧存储器34g中存储通过拍摄而得到的图像数据。具体而言，帧存储器34g是fifo方式的存储器，以帧单位存储即时预览图像数据70b2。
[0160]
第1检测电路34d进行第1检测处理。第1检测处理是指从由通过生成电路34c缩小输出用图像数据70b1而得到的缩小图像数据70b3表示的图像(以下，也称为“缩小图像”)中检测特定被摄体图像200的处理。在第1检测处理中，使用存储电路34f的检测用参考信息。即，第1检测电路34d参考检测用参考信息从缩小图像中检测特定被摄体图像200。
[0161]
第1检测电路34d将表示第1检测处理的检测结果的第1检测结果信息输出到第2检测电路34e及输出i/f34b。在第1检测结果信息中包含表示第1检测处理是否成功的第1检测处理成功与否信息。并且，在第1检测处理成功的情况下，在第1检测结果信息中包含跟踪框信息。跟踪框信息是指表示跟踪框200b的信息。在第1检测结果信息中包含的跟踪框信息中包含确定缩小图像内的跟踪框200b的位置的位置特定信息(例如，坐标)。跟踪框200b是跟踪特定被摄体图像200的框，在图11所示的例子中，包围特定被摄体图像200，且包围区域200a的矩形状的框表示为跟踪框200b。另外，在此，作为跟踪框200b示出了矩形状的框，但也可以是其他形状的框。并且，在此，作为跟踪框200b，例示了包围特定被摄体图像200及区域200a的框，但本发明的技术并不限于此，跟踪框200b也可以是仅包围特定被摄体图像200及区域200a中的特定被摄体图像200的框。
[0162]
第2检测电路34e对存储于帧存储器34g中的即时预览图像数据70b2进行第2检测处理。具体而言，第2检测电路34e在通过由第1检测电路34d执行第1检测处理而未检测到特定被摄体图像200的情况下，从帧存储器34g获取1帧量的即时预览图像数据70b2，从由所获取的即时预览图像数据70b2表示的即时预览图像中检测特定被摄体图像200。
[0163]
另外，第2检测电路34e参考从第1检测电路34d输入的第1检测结果信息中包含的第1检测处理成功与否信息来进行通过由第1检测电路34d执行第1检测处理是否检测到检测特定被摄体图像200的判定。在通过执行第1检测处理未检测到特定被摄体图像200的情况下，即，在第1检测处理成功与否信息是表示第1检测处理未成功的信息的情况下，第2检测电路34e对存储于帧存储器34g中的即时预览图像数据70b2进行第2检测处理。
[0164]
第2检测电路34e将表示第2检测处理的检测结果的第2检测结果信息输出到输出i/f34b。在第2检测结果信息中包含表示第2检测处理是否成功的第2检测处理成功与否信
息。并且，在第2检测处理成功的情况下，在第2检测结果信息中包含跟踪框信息。在第2检测结果信息中包含的跟踪框信息中也包含确定即时预览图像内的跟踪框200b的位置的位置特定信息(例如，坐标)。
[0165]
另外，以下，为了便于说明，在不需要区分说明第1检测结果信息和第2检测结果信息的情况下，称为“检测结果信息”。并且，以下，为了便于说明，在不需要区分说明第1检测处理和第2检测处理的情况下，称为“检测处理”。
[0166]
输出i/f34b在从第1检测电路34d输入第1检测结果信息的情况下，将第1检测结果信息输出到控制器15，在从第2检测电路34e输入第2检测结果信息的情况下，将第2检测结果信息输出到控制器15。控制器15在显示器26上显示由从输出i/f34b输入的检测结果信息表示的检测结果，即检测处理中的检测结果。在图11所示的例子中，以包围特定被摄体图像200的方式，跟踪框200b作为检测处理中的检测结果重叠显示于即时预览图像上。
[0167]
图12中示出了表示数字图像数据70b、输出用图像数据70b1、即时预览图像数据70b2及缩小图像数据70b3的关系性的一例的概念图。作为一例，如图12所示，数字图像数据70b缩小为输出用图像数据70b1、即时预览图像数据70b2及缩小图像数据70b3这3个图像数据。当将n设为1以上的整数时，输出用图像数据70b1是由数字图像数据70b的第“2n-1”行的像素组形成的图像数据。并且，即时预览图像数据70b2是由从第“2n-1”行的像素组除去第“6n 1”行的像素组而得到的像素组形成的图像数据。此外，缩小图像数据70b3是由从第“2n-1”行的像素组除去第“6n 1”行的像素组及第“6n-3”行的像素组而得到的像素组形成的图像数据。
[0168]
如此，输出用图像数据70b1是分辨率比数字图像数据70b低的图像数据，即时预览图像数据70b2是分辨率比输出用图像数据70b1低的图像数据，缩小图像数据70b3是分辨率比即时预览图像数据70b2低的图像数据。
[0169]
另外，在图12中，举出了通过以水平线单位间隔剔除图像数据来缩小图像数据的例子，但本发明的技术并不限定于此。例如，可以通过以垂直线单位间隔剔除图像数据来缩小图像数据，也可以通过以水平线单位及垂直线单位间隔剔除图像数据来缩小图像数据，缩小图像数据的方法可以是任何方法。
[0170]
图13a中示出了表示第1检测处理成功时的显示器26的显示内容的一例的画面图。图13b中示出了第1检测处理失败，且第2检测处理成功时的显示器26的显示内容的一例的画面图。图13c中示出了表示第1检测处理及第2检测处理均失败时的显示器26的显示内容的一例的画面图。
[0171]
作为一例，如图13a所示，在第1检测处理成功的情况下，在显示器26上，在控制器15的控制下，以包围特定被摄体图像200的方式，由第1检测结果信息中包含的跟踪框信息表示的跟踪框200b作为第1检测处理中的检测结果重叠显示于即时预览图像上。
[0172]
作为一例，如图13b所示，在特定被摄体图像200中，特定被摄体图像200的色调与背景图像(在图13b所示的例子中，表示森林的图像)的色调同化。因此，特定被摄体图像200与背景图像的边界未被第1检测电路34d检测到，使用缩小图像数据70b3的第1检测处理失败。然而，使用分辨率比缩小图像数据70b3高的即时预览图像数据70b2的第2检测处理成功。这是因为，即时预览图像数据70b2的分辨率比缩小图像数据70b3高，特定被摄体图像200与背景图像的边界被第2检测电路34e检测到。在该情况下，在显示器26上，在控制器15
的控制下，以包围特定被摄体图像200的方式，由第2检测结果信息中包含的跟踪框信息表示的跟踪框200b作为第2检测处理中的检测结果重叠显示于即时预览图像上。
[0173]
作为一例，如图13c所示，在第1检测处理失败，且第2检测处理也失败的情况下，在显示器26上，表示第2检测处理失败的消息202作为第2检测处理中的检测结果重叠显示于即时预览图像上。在图13c所示的例子中，作为消息202，示出了“未检测到关注被摄体。”的消息，但本发明的技术并不限定于此，只要是能够向用户通知未检测到特定被摄体图像200的消息和/或图像，则可以是任何信息。并且，也可以代替或同时使用利用消息及/图像的可见通知，在控制器15的控制下进行利用语音回放装置(省略图示)的可听通知、使光源(省略图示)点亮或闪烁的可见通知和/或使振动器(省略图示)以特殊的振动模式产生振动的触觉通知。
[0174]
图14中示出了对第1帧(1f)～第4帧(4f)的图像数据的处理定时的一例。图14所示的1f～4f的“f”是指“frame：帧”的简称。另外，以下，为了便于说明，在不需要区分说明跟踪框200b及消息202的情况下，称为“摄像支援信息”。
[0175]
作为一例，如图14所示，每当由接收i/f110d1接收垂直同步信号时，开始从光电转换元件42读出1帧量的模拟图像数据70a。在图14所示的例子中，由接收i/f110d1依次接收第1次～第4次垂直同步信号，开始第1帧～第4帧模拟图像数据70a的读出。
[0176]
对从光电转换元件42的第1行的水平线到最终行的水平线按照水平同步信号按每一行进行模拟图像数据70a的读出，当对每一行的读出结束时，结束读出的水平线的各像素被复位。模拟图像数据70a被转换为数字图像数据70b，按照所读出的模拟图像数据70a的帧的顺序(摄像顺序)，数字图像数据70b以1帧单位可区分地且以fifo方式存储于存储器112。
[0177]
控制电路110c以帧单位从存储器112获取数字图像数据70b，通过缩小所获取的数字图像数据70b而生成输出用图像数据70b1。并且，控制电路110c经由输出i/f110d2将输出用图像数据70b1输出到信号处理电路34。
[0178]
在信号处理电路34中，生成电路34c通过缩小输出用图像数据70b1而生成即时预览图像数据70b2。在各帧中，当由生成电路34c生成即时预览图像数据70b2时，由所生成的即时预览图像数据70b2表示的即时预览图像显示于显示器26上。
[0179]
并且，生成电路34c通过缩小即时预览图像数据70b2而生成缩小图像数据70b3。在各帧中，当由生成电路34c生成缩小图像数据70b3时，所生成的缩小图像数据70b3在第1检测处理中使用。
[0180]
在图14所示的例子中，使用第1帧及第4帧缩小图像数据70b3的第1检测处理成功，如上所述，跟踪框200b重叠显示于即时预览图像上(参考图13a)。
[0181]
另一方面，使用第2帧及第3帧缩小图像数据70b3的第1检测处理失败。在该情况下，即时预览图像数据70b2在第2检测处理中使用。即时预览图像数据70b2是分辨率比缩小图像数据70b3高的图像数据，因此在第2检测电路34e中执行比第1检测处理高精度的第2检测处理。
[0182]
在图14所示的例子中，使用第2帧即时预览图像数据70b2的第2检测处理成功，如上所述，跟踪框200b重叠显示于即时预览图像上(参考图13b)。另一方面，使用第3帧即时预览图像数据70b2的第2检测处理失败，如上所述，消息202重叠显示于即时预览图像上(参考图13c)。
[0183]
接着，参考图15a及图15b对本第1实施方式所涉及的摄像装置10的作用进行说明。另外，图15a及图15b中示出了由后级电路13执行的后级电路处理的流程的一例。
[0184]
在图15a所示的后级电路处理中，首先，在步骤st10中，生成电路34c判定是否由接收i/f34a接收到输出用图像数据70b1。在步骤st10中，在接收i/f34a未接收到输出用图像数据70b1的情况下判定为“否”，后级电路处理转移到图15b所示的步骤st40。在步骤st10中，在由接收i/f34a接收到输出用图像数据70b1的情况下判定为“是”，后级电路处理转移到步骤st11。
[0185]
在步骤st11中，生成电路34c通过缩小由接收i/f34a接收到的输出用图像数据70b1而生成即时预览图像数据70b2，然后，后级电路处理转移到步骤st12。
[0186]
在步骤st12中，生成电路34c将即时预览图像数据70b2存储于帧存储器34g，且经由输出i/f34b向控制器15输出即时预览图像数据70b2，然后，后级电路处理转移到步骤st14。
[0187]
在步骤st14中，控制器15将由即时预览图像数据70b2表示的即时预览图像显示于显示器26上，然后，后级电路处理转移到步骤st16。
[0188]
在步骤st16中，生成电路34c通过缩小即时预览图像数据70b2而生成缩小图像数据70b3，然后，后级电路处理转移到步骤st18。
[0189]
在步骤st18中，第1检测电路34d使用缩小图像数据70b3及检测用参考信息执行第1检测处理，然后，后级电路处理转移到步骤st20。
[0190]
在步骤st20中，第1检测电路34d判定第1检测处理是否失败。在步骤st20中，在第1检测处理成功的情况下判定为“否”，后级电路处理转移到步骤st22。在步骤st20中，在第1检测处理失败的情况下判定为“是”，后级电路处理转移到步骤st26。
[0191]
在步骤st22中，第1检测电路34d将包含表示第1检测处理成功的第1检测处理成功与否信息的第1检测结果信息经由输出i/f34b输出到控制器15，然后，后级电路处理转移到步骤st24。
[0192]
在步骤st24中，控制器15将由第1检测结果信息中包含的跟踪框信息表示的加入跟踪框200b的即时预览图像显示于显示器26上。即，作为一例，如图13a所示，控制器15对即时预览图像重叠显示跟踪框200b，然后，后级电路处理转移到图15b所示的步骤st40。
[0193]
在步骤st26中，第1检测电路34d将包含表示第1检测处理失败的第1检测处理成功与否信息的第1检测结果信息输出到第2检测电路34e，然后，后级电路处理转移到图15b所示的步骤st28。
[0194]
在图15b所示的步骤st28中，第2检测电路34e使用即时预览图像数据70b2及检测用参考信息执行第2检测处理，然后，后级电路处理转移到步骤st30。
[0195]
在步骤st30中，第2检测电路34e判定第2检测处理是否成功。在步骤st30中，在第2检测处理失败的情况下判定为“否”，后级电路处理转移到步骤st32。在步骤st30中，在第2检测处理成功的情况下判定为“是”，后级电路处理转移到步骤st36。
[0196]
在步骤st32中，第2检测电路34e将包含表示第2检测处理失败的第2检测处理成功与否信息的第2检测结果信息经由输出i/f34b输出到控制器15，然后，后级电路处理转移到步骤st34。
[0197]
在步骤st34中，控制器15将加入消息202的即时预览图像显示于显示器26上。即，
作为一例，如图13c所示，控制器15对即时预览图像重叠显示消息202，然后，后级电路处理转移到步骤st40。
[0198]
在步骤st36中，第2检测电路34e将包含表示第2检测处理成功的第2检测处理成功与否信息的第2检测结果信息经由输出i/f34b输出到控制器15，然后，后级电路处理转移到步骤st38。
[0199]
在步骤st38中，控制器15将由第2检测结果信息中包含的跟踪框信息表示的加入跟踪框200b的即时预览图像显示于显示器26上。即，作为一例，如图13b所示，控制器15对即时预览图像重叠显示跟踪框200b，然后，后级电路处理转移到步骤st40。
[0200]
在步骤st40中，控制器15判定是否满足结束后级电路处理的条件(以下，称为“后级电路处理结束条件”)。作为后级电路处理结束条件的一例，可举出由接收器件84(参考图4)接收到结束后级电路处理的指示的条件。在步骤st40中，在不满足后级电路处理结束条件的情况下判定为“否”，后级电路处理转移到步骤st10。在步骤st40中，在满足后级电路处理结束条件的情况下判定为“是”，后级电路处理结束。
[0201]
如以上说明，在本第1实施方式所涉及的摄像装置10中，由生成电路34c进行缩小数字图像数据70b的处理，由第1检测电路34d进行使用缩小图像数据70b3的第1检测处理。并且，在通过第1检测处理未检测到特定被摄体图像200的情况下，由第2检测电路34e执行使用存储于帧存储器34g中的即时预览图像数据70b2第2检测处理。
[0202]
在此，在第2检测处理中使用的即时预览图像数据70b2是分辨率比在第1检测处理中使用的缩小图像数据70b3高的图像数据。因此，第2检测处理比第1检测处理精度高。并且，对使用缩小图像数据70c3的第1检测电路34d施加的处理负载比对使用即时预览图像数据70b2的第2检测电路34e施加的处理负载轻，只要第1检测处理不失败，则不进行第2检测电路34e中的第2检测处理。因此，根据本结构，与始终仅使用缩小图像数据70b3进行检测处理的情况相比，能够实现处理负载的减轻及高精度的检测。
[0203]
并且，在本第1实施方式所涉及的摄像装置10中，由即时预览图像数据70b2表示的即时预览图像内的所指示的特定被摄体图像200是表示小鸟(移动体)的图像。因此，根据本结构，即使特定被摄体图像200是表示小鸟(移动体)的图像，也能够根据检测处理中的检测结果确定小鸟(移动体)。
[0204]
并且，在本实施方式所涉及的摄像装置10中，由第2检测电路34e执行使用即时预览图像数据70b2的第2检测处理。因此，根据本结构，和与即时预览图像数据70b2不同，且仅用于第2检测处理的图像数据与即时预览图像数据70b2一起生成的情况相比，能够减轻处理负载。
[0205]
此外，在本第1实施方式所涉及的摄像装置10中，由第1检测结果信息中包含的跟踪框信息表示的加入跟踪框200b的即时预览图像显示于显示器26上。并且，由第2检测结果信息中包含的跟踪框信息表示的加入跟踪框200b的即时预览图像显示于显示器26上。此外，加入消息202的即时预览图像显示于显示器26上。因此，根据本结构，能够使用户感知检测处理中的检测结果。
[0206]
另外，在上述第1实施方式中，举出在由第1检测电路34d未检测到特定被摄体图像200的情况下(第1检测处理失败时)，由第2检测电路34e进行特定被摄体图像200的检测的方式例进行了说明，但本发明的技术并不限定于此。例如，第2检测电路34e也可以检测表示
与特定被摄体图像200不同的被摄体的图像。作为表示与特定被摄体图像200不同的被摄体的图像，可举出表示比特定被摄体图像200小型的被摄体的图像(例如，表示特定被摄体图像200中包含的特定部位的图像)、表示人物的脸部的图像和/或表示人物的瞳孔的图像等。
[0207]
并且，在上述第1实施方式中，作为成像元件38例示了层叠型成像元件，但本发明的技术并不限定于此，即使代替层叠型成像元件而使用非层叠型成像元件，本发明的技术也成立。
[0208]
[第2实施方式]
[0209]
在上述第1实施方式中，举出表示小鸟的图像被检测为特定被摄体图像200的方式例进行了说明，但在本第2实施方式中，对人物的脸部及瞳孔为检测对象的情况进行说明。另外，在本第2实施方式中，对与上述第1实施方式相同的构成要件标注相同的符号，并省略其说明。
[0210]
作为一例，如图16所示，本第2实施方式所涉及的第1检测处理是检测表示人物的脸部的脸部图像300a和表示人物的瞳孔的瞳孔图像300b作为与在上述第1实施方式中说明的特定被摄体图像200相当的图像的处理。另外，检测脸部图像300a及瞳孔图像300b的技术是公知技术，因此在此省略详细的说明。
[0211]
第1检测电路34d从由缩小图像数据70b3表示的缩小图像中检测脸部图像300a，从所检测到的脸部图像300a中检测瞳孔图像300b。在图16所示的例子中，作为比人物的脸部小型的被摄体，示出了人物的左瞳孔及右瞳孔。并且，在图16所示的例子中，作为瞳孔图像300b，示出了表示人物的左瞳孔的左瞳孔图像300b1和表示人物的右瞳孔的右瞳孔图像300b2。
[0212]
另外，在本第2实施方式中，人物的脸部是本发明的技术所涉及的“特定的被摄体”的一例，脸部图像300a是本发明的技术所涉及的“特定被摄体图像”的一例，左瞳孔图像300b1及右瞳孔图像300b2是本发明的技术所涉及的“小型被摄体图像”的一例。
[0213]
第1检测电路34d与上述第1实施方式同样地，将第1检测结果信息输出到控制器15及第2检测电路34e。第1检测结果信息大致分为表示第1检测电路34d对脸部图像300a的检测结果的第1脸部检测结果信息和表示第1检测电路34d对瞳孔图像300b的检测结果的第1瞳孔检测结果信息。另外，以下，在不需要区分说明第1脸部检测结果信息和第1瞳孔检测结果信息的情况下，称为“第1检测结果信息”。
[0214]
在第1检测结果信息中包含第1检测处理成功与否信息及跟踪框信息。本第2实施方式所涉及的第1检测结果信息中包含的第1检测处理成功与否信息是表示第1检测电路34d中的脸部图像300a的检测的成功与否的信息及表示第1检测电路34d中的瞳孔图像300b的检测的成功与否的信息。
[0215]
本第2实施方式所涉及的第1检测结果信息中包含的跟踪框信息是表示跟踪脸部图像300a及瞳孔图像300b的框的信息。在图16所示的例子中，作为跟踪脸部图像300a的框，示出了划定脸部图像300a的区域的矩形状框300a1。并且，在图16所示的例子中，作为跟踪瞳孔图像300b的框，示出了划定左瞳孔图像300b1的区域的矩形状框300b1a和划定右瞳孔图像300b2的区域的矩形状框300b2a。并且，在本第2实施方式所涉及的第1检测结果信息中包含的跟踪框信息中也包含确定缩小图像内的矩形状框300a1、300b1a及300b2a的位置的位置特定信息(例如，坐标)。
[0216]
作为一例，如图17所示，第2检测电路34e具备脸部图像检测电路34e2及瞳孔图像检测电路34e3。当包含表示第1检测处理失败的第1检测处理成功与否信息的第1检测结果信息从第1检测电路34d输出到第2检测电路34e，并由第2检测电路34e接收时，脸部图像检测电路34e2从帧存储器34g获取即时预览图像数据70b2。脸部图像检测电路34e2从由从帧存储器34g获取的即时预览图像数据70b2表示的即时预览图像中检测脸部图像300a。并且，瞳孔图像检测电路34e3从由脸部图像检测电路34e2检测到的脸部图像300a中检测瞳孔图像300b。
[0217]
第2检测电路34e与上述第1实施方式同样地，将第2检测结果信息输出到控制器15。第2检测结果信息大致分为表示脸部图像检测电路34e2对脸部图像300a的检测结果的第2脸部检测结果信息和表示瞳孔图像检测电路34e3对瞳孔图像300b的检测结果的第2瞳孔检测结果信息。另外，以下，在不需要区分说明第2脸部检测结果信息和第2瞳孔检测结果信息的情况下，称为“第2检测结果信息”。
[0218]
在第2检测结果信息中包含第2检测处理成功与否信息及跟踪框信息。本第2实施方式所涉及的第2检测结果信息中包含的第2检测处理成功与否信息是表示脸部图像检测电路34e2中的脸部图像300a的检测的成功与否的信息及表示瞳孔图像检测电路34e3中的瞳孔图像300b的检测的成功与否的信息。本第2实施方式所涉及的第2检测结果信息中包含的跟踪框信息与本第2实施方式所涉及的第1检测结果信息中包含的跟踪框信息同样地，是表示跟踪脸部图像300a及瞳孔图像300b的框的信息。并且，在本第2实施方式所涉及的第1检测结果信息中包含的跟踪框信息中也包含确定即时预览图像内的矩形状框300a1、300b1a及300b2a的位置的位置特定信息(例如，坐标)。
[0219]
图18a中示出了由第1检测电路34d从由缩小图像数据70b3表示的缩小图像中检测到脸部图像300a，且从缩小图像中检测到瞳孔图像300b时的显示器26的显示方式的一例。作为一例，如图18a所示，在显示器26上显示即时预览图像，且矩形状框300a1以包围脸部图像300a的方式层叠显示于即时预览图像上。并且，在显示器26上，矩形状框300b1a以包围左瞳孔图像300b1的方式重叠显示于即时预览图像上，且矩形状框300b2a以包围右瞳孔图像300b2的方式重叠显示于即时预览图像上。
[0220]
图18b中示出了由第1检测电路34d进行的第1检测处理及由第2检测电路34e进行的第2检测处理均失败时的显示器26的显示方式的一例。在本第2实施方式中，第2检测处理是指脸部图像检测电路34e2检测脸部图像300a的处理及瞳孔图像检测电路34e3检测瞳孔图像300b的处理。作为一例，如图18b所示，在显示器26上显示即时预览图像，且显示表示脸部图像300a的检测和瞳孔图像300b的检测均失败的消息m1。
[0221]
在图18b所示的例子中，作为消息m1示出了“脸部
·
瞳孔检测失败”的消息，但这仅为一例，只要是能够向用户通知脸部图像300a的检测和瞳孔图像300b的检测均失败的消息和/或图像，则可以是任何信息。并且，也可以代替或同时使用利用消息及/图像的可见通知，在控制器15的控制下进行利用语音回放装置(省略图示)的可听通知、使光源(省略图示)点亮或闪烁的可见通知和/或使振动器(省略图示)以特殊的振动模式产生振动的触觉通知。
[0222]
图18c中示出了由第1检测电路34d或第2检测电路34e进行的脸部图像300a的检测成功，但瞳孔图像300b的检测失败时的显示器26的显示方式的一例。作为一例，如图18c所
示，在显示器26上显示即时预览图像，且矩形状框300a1以包围脸部图像300a的方式层叠显示于即时预览图像上。并且，在显示器26上显示表示瞳孔图像300b的检测失败的消息m2。
[0223]
在图18c所示的例子中，作为消息m2示出了“瞳孔检测失败”的消息，但这仅为一例，只要是能够向用户通知瞳孔图像300b的检测失败的消息和/或图像，则可以是任何信息。并且，也可以代替或同时使用利用消息及/图像的可见通知，在控制器15的控制下进行利用语音回放装置(省略图示)的可听通知、使光源(省略图示)点亮或闪烁的可见通知和/或使振动器(省略图示)以特殊的振动模式产生振动的触觉通知。
[0224]
图19中示出了对第1帧(1f)～第5帧(5f)的图像数据的处理定时的一例。图19所示的1f～5f的“f”是指“frame：帧”的简称。另外，在图19所示的例子中，对于与图14所示的例子重复的处理省略说明。并且，以下，为了便于说明，将第1检测电路34d从缩小图像中检测脸部图像300a的处理也称为“第1脸部检测处理”，将第1检测电路34d从缩小图像中检测瞳孔图像300b的处理也称为“第1瞳孔检测处理”。并且，以下，为了便于说明，将脸部图像检测电路34e2从即时预览图像中检测脸部图像300a的处理也称为“第2脸部检测处理”，将瞳孔图像检测电路34e3从即时预览图像中检测瞳孔图像300b的处理也称为“第2瞳孔检测处理”。
[0225]
在图19所示的例子中，使用第1帧缩小图像数据70b3的第1脸部检测处理成功。在该情况下，在第1检测电路34d中执行使用缩小图像数据70b3中表示与通过第1脸部检测处理检测到的脸部图像300a相当的区域的一部分缩小图像数据70b3的第1瞳孔检测处理。在图19所示的例子中，使用第1帧缩小图像数据70b3的第1瞳孔检测处理成功。在该情况下，作为一例，如图18a所示，矩形状框300a1、300b1a及300b2a重叠显示于即时预览图像上。
[0226]
使用第2帧缩小图像数据70b3的第1脸部检测处理失败。在该情况下，即时预览图像数据70b2由脸部图像检测电路34e2用于第2脸部检测处理。即时预览图像数据70b2是分辨率比缩小图像数据70b3高的图像数据，因此在脸部图像检测电路34e2中执行比第1脸部检测处理高精度的第2脸部检测处理。
[0227]
在图19所示的例子中，使用第2帧即时预览图像数据70b2的第2脸部检测处理成功。在该情况下，在瞳孔图像检测电路34e3中执行使用第2帧即时预览图像数据70b2中表示与通过第2脸部检测处理检测到的脸部图像300a相当的区域的一部分即时预览图像数据70b2的第2瞳孔检测处理。即时预览图像数据70b2是分辨率比缩小图像数据70b3高的图像数据，因此在瞳孔图像检测电路34e3中执行比第1瞳孔检测处理高精度的第2瞳孔检测处理。在图19所示的例子中，使用第2帧即时预览图像数据70b2的第2瞳孔检测处理成功。如此，当第2脸部检测处理及第2瞳孔检测处理成功时，作为一例，如图18a所示，矩形状框300a1、300b1a及300b2a重叠显示于即时预览图像上。
[0228]
在图19所示的例子中，使用第3帧缩小图像数据70b3的第1脸部检测处理失败。在该情况下，即时预览图像数据70b2由脸部图像检测电路34e2用于第2脸部检测处理。在图19所示的例子中，使用第3帧即时预览图像数据70b2的第2脸部检测处理也失败。如此，当第1脸部检测处理及第2脸部检测处理失败时，作为一例，如图18b所示，在显示器26上与即时预览图像一起显示消息m1。
[0229]
在图19所示的例子中，使用第4帧缩小图像数据70b3的第1脸部检测处理失败。在该情况下，即时预览图像数据70b2由脸部图像检测电路34e2用于第2脸部检测处理。在图19
所示的例子中，使用第4帧即时预览图像数据70b2的第2脸部检测处理成功。在该情况下，在瞳孔图像检测电路34e3中执行使用第4帧即时预览图像数据70b2中表示与通过第2脸部检测处理检测到的脸部图像300a相当的区域的一部分即时预览图像数据70b2的第2瞳孔检测处理。在图19所示的例子中，使用第4帧即时预览图像数据70b2的第2瞳孔检测处理失败。在该情况下，作为一例，如图18c所示，在显示器26上与即时预览图像一起显示消息m2。
[0230]
在图19所示的例子中，使用第5帧缩小图像数据70b3的第1脸部检测处理成功，但使用第5帧缩小图像数据70b3的第1瞳孔检测处理失败。在该情况下，即时预览图像数据70b2由脸部图像检测电路34e2用于第2脸部检测处理。在图19所示的例子中，使用第5帧即时预览图像数据70b2的第2脸部检测处理成功。在该情况下，第5帧即时预览图像数据70b2中表示与通过第2脸部检测处理检测到的脸部图像300a相当的区域的一部分即时预览图像数据70b2用于第2瞳孔检测处理。在图19所示的例子中，使用第5帧即时预览图像数据70b2的第2瞳孔检测处理失败。在该情况下，作为一例，如图18c所示，在显示器26上与即时预览图像一起显示消息m2。
[0231]
接着，参考图20a～图20d对本第2实施方式所涉及的摄像装置10的作用进行说明。另外，图20a～图20d中示出了由后级电路13执行的后级电路处理的流程的一例。
[0232]
在图20a所示的后级电路处理中，首先，在步骤st100中，生成电路34c判定是否由接收i/f34a接收到输出用图像数据70b1。在步骤st100中，在接收i/f34a未接收到输出用图像数据70b1的情况下判定为“否”，后级电路处理转移到图20d所示的步骤st164。在步骤st100中，在由接收i/f34a接收到输出用图像数据70b1的情况下判定为“是”，后级电路处理转移到步骤st101。
[0233]
在步骤st101中，生成电路34c通过缩小由接收i/f34a接收到的输出用图像数据70b1而生成即时预览图像数据70b2，然后，后级电路处理转移到步骤st102。
[0234]
在步骤st102中，生成电路34c将即时预览图像数据70b2存储于帧存储器34g，且经由输出i/f34b向控制器15输出即时预览图像数据70b2，然后，后级电路处理转移到步骤st104。
[0235]
在步骤st104中，控制器15将由即时预览图像数据70b2表示的即时预览图像显示于显示器26上，然后，后级电路处理转移到步骤st106。
[0236]
在步骤st106中，生成电路34c通过缩小即时预览图像数据70b2而生成缩小图像数据70b3，然后，后级电路处理转移到步骤st108。
[0237]
在步骤st108中，第1检测电路34d使用缩小图像数据70b3执行第1脸部检测处理，然后，后级电路处理转移到步骤s110。
[0238]
在步骤st110中，第1检测电路34d判定第1脸部检测处理是否成功。在步骤st110中，在第1脸部检测处理成功的情况下判定为“是”，后级电路处理转移到步骤st112。在步骤st110中，在第1脸部检测处理失败的情况下判定为“否”，后级电路处理转移到步骤st116。
[0239]
在步骤st112中，第1检测电路34d将包含表示第1脸部检测处理成功的第1检测处理成功与否信息的第1脸部检测结果信息经由输出i/f34b输出到控制器15，然后，后级电路处理转移到图20d所示的步骤st151。
[0240]
在步骤st116中，第1检测电路34d将包含表示第1脸部检测处理失败的第1检测处理成功与否信息的第1脸部检测结果信息输出到第2检测电路34e及控制器15，然后，后级电
路处理转移到图20b所示的步骤st118。
[0241]
在图20b所示的步骤st118中，脸部图像检测电路34e2使用在步骤st101中生成的即时预览图像数据70b2执行第2脸部检测处理，然后，后级电路处理转移到步骤st120。
[0242]
在步骤st120中，脸部图像检测电路34e2判定第2脸部检测处理是否成功。在步骤st120中，在第2脸部检测处理成功的情况下判定为“是”，后级电路处理转移到步骤st126。在步骤st120中，在第2脸部检测处理失败的情况下判定为“否”，后级电路处理转移到步骤st122。
[0243]
在步骤st122中，脸部图像检测电路34e2将包含表示第2脸部检测处理失败的第2检测处理成功与否信息的第2脸部检测结果信息经由输出i/f34b输出到控制器15，然后，后级电路处理转移到步骤st124。
[0244]
在步骤st124中，作为一例，如图18b所示，控制器15在显示器26上显示消息m1作为表示脸部图像300a的检测及瞳孔图像300b的检测失败的消息，然后，后级电路处理转移到图20d所示的步骤st164。
[0245]
在步骤st126中，脸部图像检测电路34e2将包含表示第2脸部检测处理成功的第2检测处理成功与否信息的第2脸部检测结果信息经由输出i/f34b输出到控制器15，然后，后级电路处理转移到步骤st128。
[0246]
在步骤st128中，控制器15将加入脸部跟踪框的即时预览图像显示于显示器26上。在此，脸部跟踪框例如是指由第1检测结果信息中包含的跟踪框信息表示的矩形状框300a1。即，在步骤st128中，控制器15对即时预览图像以包围脸部图像300a的方式重叠显示矩形状框300a1，然后，后级电路处理转移到图20c所示的步骤st130。
[0247]
在图20c所示的步骤st130中，瞳孔图像检测电路34e3使用在步骤st101中生成的即时预览图像数据70b2中表示与通过第2脸部检测处理检测到的脸部图像300a相当的区域的一部分即时预览图像数据70b2执行第2瞳孔检测处理，然后，后级电路处理转移到步骤st132。
[0248]
在步骤st132中，瞳孔图像检测电路34e3判定第2瞳孔检测处理是否成功。在步骤st132中，在第2瞳孔检测处理成功的情况下判定为“是”，后级电路处理转移到步骤st134。在步骤st132中，在第2瞳孔检测处理失败的情况下判定为“否”，后级电路处理转移到步骤st138。
[0249]
在步骤st134中，瞳孔图像检测电路34e3将包含表示第2瞳孔检测处理成功的第2检测处理成功与否信息的第2脸部检测结果信息经由输出i/f34b输出到控制器15，然后，后级电路处理转移到步骤st136。
[0250]
在步骤st136中，控制器15将加入瞳孔跟踪框的即时预览图像显示于显示器26上。在此，瞳孔跟踪框例如是指由第2检测结果信息中包含的跟踪框信息表示的矩形状框300b1a及300b2a。即，在步骤st136中，控制器15对即时预览图像以包围左瞳孔图像300b1的方式重叠显示矩形状框300b1a，且对即时预览图像以包围右瞳孔图像300b2的方式重叠显示矩形状框300b2a，然后，后级电路处理转移到图20d所示的步骤st164。
[0251]
在步骤st138中，瞳孔图像检测电路34e3将包含表示第2瞳孔检测处理失败的第2检测处理成功与否信息的第2脸部检测结果信息经由输出i/f34b输出到控制器15，然后，后级电路处理转移到步骤st140。
[0252]
在步骤st140中，作为一例，如图18c所示，控制器15在显示器26上显示消息m2作为表示瞳孔图像300b的检测失败的消息，然后，后级电路处理转移到图20d所示的步骤st164。
[0253]
在图20d所示的步骤st151中，控制器15将加入脸部跟踪框的即时预览图像显示于显示器26上。即，在步骤st128中，控制器15对即时预览图像以包围脸部图像300a的方式重叠显示矩形状框300a1，然后，后级电路处理转移到步骤st152。
[0254]
在步骤st152中，第1检测电路34d使用在步骤st101中生成的缩小图像数据70b3中表示与通过第1脸部检测处理检测到的脸部图像300a相当的区域的一部分缩小图像数据70b3执行第1瞳孔检测处理，然后，后级电路处理转移到步骤st154。
[0255]
在步骤st154中，第1检测电路34d判定第1瞳孔检测处理是否成功。在步骤st154中，在第1瞳孔检测处理成功的情况下判定为“是”，后级电路处理转移到步骤st160。在步骤st154中，在第1瞳孔检测处理失败的情况下判定为“否”，后级电路处理转移到步骤st166。
[0256]
在步骤st160中，第1检测电路34d将包含表示第1瞳孔检测处理成功的第1检测处理成功与否信息的第1脸部检测结果信息经由输出i/f34b输出到控制器15，然后，后级电路处理转移到步骤st162。
[0257]
在步骤st162中，控制器15将加入瞳孔跟踪框的即时预览图像显示于显示器26上。即，在步骤st162中，控制器15对即时预览图像以包围左瞳孔图像300b1的方式重叠显示矩形状框300b1a，且对即时预览图像以包围右瞳孔图像300b2的方式重叠显示矩形状框300b2a，然后，后级电路处理转移到步骤st164。
[0258]
在步骤st166中，第1检测电路34d将包含表示第1瞳孔检测处理失败的第1检测处理成功与否信息的第1脸部检测结果信息经由输出i/f34b输出到控制器15，然后，后级电路处理转移到步骤st168。
[0259]
在步骤st168中，作为一例，如图18c所示，控制器15在显示器26上显示消息m2作为表示瞳孔图像300b的检测失败的消息，然后，后级电路处理转移到步骤st164。
[0260]
在步骤st164中，控制器15判定是否满足在上述第1实施方式中说明的后级电路处理结束条件。在步骤st164中，在不满足后级电路处理结束条件的情况下判定为“否”，后级电路处理转移到步骤st100。在步骤st164中，在满足后级电路处理结束条件的情况下判定为“是”，后级电路处理结束。
[0261]
如以上说明，在本第2实施方式所涉及的摄像装置10中，由脸部图像检测电路34e2从由即时预览图像数据70b2表示的即时预览图像中检测脸部图像300a。并且，由瞳孔图像检测电路34e3从由即时预览图像数据70b2表示的即时预览图像中检测比脸部图像小的图像即瞳孔图像300b。
[0262]
在此，在第2脸部检测处理及第2瞳孔检测处理中使用的即时预览图像数据70b2是分辨率比在第1脸部检测处理及第1瞳孔检测处理中使用的缩小图像数据70b3高的图像数据。因此，第2脸部检测处理及第2瞳孔检测处理的精度比第1脸部检测处理及第1瞳孔检测处理的精度高。并且，对使用缩小图像数据70c3的第1检测电路34d施加的处理负载比对使用即时预览图像数据70b2的脸部图像检测电路34e2及瞳孔图像检测电路34e3施加的处理负载轻，只要第1脸部检测处理和/或第1瞳孔检测处理不失败，则不进行第2脸部检测处理及第2瞳孔检测处理。因此，根据本结构，与仅由第1检测处理检测脸部图像300a及瞳孔图像300b的情况相比，能够提高检测脸部图像300a及瞳孔图像300b的可能性。
[0263]
另外，在本第2实施方式中，作为本发明的技术所涉及的“特定的被摄体”例示了人物的脸部，作为本发明的技术所涉及的“小型的被摄体”例示了人物的瞳孔，但本发明的技术并不限定于此。例如，作为本发明的技术所涉及的“小型的被摄体”，也可以代替人物的瞳孔或与人物的瞳孔一起适用人物的鼻子和/或口等部位。
[0264]
并且，本发明的技术所涉及的“特定的被摄体”及“小型的被摄体”不必是人物的部位。例如，第2检测电路34e也可以使用即时预览图像数据70b2来检测表示人物的脸部以外的被摄体的第1图像和表示比由第1图像表示的被摄体小型的被摄体的第2图像。作为第1图像，例如可举出表示小鸟的图像，作为此时的第2图像，例如可举出表示比虫或植物等小鸟小型的被摄体的图像。并且，除此以外，作为第1图像，例如可举出表示树木的图像，作为此时的第2图像，例如可举出表示比小鸟和/或虫等树木小型的被摄体的图像。因此，根据本结构，与仅通过第1检测处理检测表示特定的被摄体的图像及表示比特定的被摄体小型的被摄体的图像的情况相比，能够提高检测表示比表示特定的被摄体的图像及表示比特定的被摄体小型的被摄体的图像的可能性。
[0265]
并且，在本第2实施方式所涉及的摄像装置10中，加入脸部跟踪框的即时预览图像显示于显示器26上(参考图18a及图18c)。并且，加入瞳孔跟踪框的即时预览图像显示于显示器26上(参考图18a)。并且，加入消息m1的即时预览图像显示于显示器26上(参考图18b)。此外，加入消息m2的即时预览图像显示于显示器26上(参考图18c)。因此，根据本结构，能够使用户感知分别在第1脸部检测处理、第1瞳孔检测处理、第2脸部检测处理及第2瞳孔检测处理中的检测结果。
[0266]
另外，在上述第2实施方式中，举出脸部图像检测电路34e2使用1帧量的即时预览图像数据70b2检测脸部图像300a的方式例进行了说明，但本发明的技术并不限定于此。例如，第2检测电路34e也可以对部分区域图像数据进行第2脸部检测处理及第2瞳孔检测处理。部分区域图像数据是1帧量的即时预览图像数据70b2中的一部分即时预览图像数据70b2。具体而言，部分区域图像数据是指表示部分区域的图像数据，该部分区域是由即时预览图像数据70b2表示的即时预览图像内的部分区域，且与在进行第2脸部检测处理及第2瞳孔检测处理的帧的前一帧中通过第1脸部检测处理检测到的脸部图像300a的位置对应。并且，在此，进行第2脸部图像检测处理的帧的前一帧例如是指1帧以上前的帧。
[0267]
在该情况下，作为一例，如图21所示，第1检测电路34d获取能够确定由进行第2脸部检测处理及第2瞳孔检测处理的帧的前一帧的缩小图像数据70b3表示的缩小图像中的与脸部图像300a的位置对应的部分区域的位置的区域确定数据(例如，坐标)，并将所获取的区域确定数据存储于存储电路34f。在此，作为区域确定数据的一例，采用了能够确定缩小图像内的矩形状框300a1的位置的数据(例如，坐标)。另外，区域确定数据并不限于能够确定缩小图像内的矩形状框300a1的位置的数据，例如可以是能够确定脸部图像300a的位置的数据(例如，坐标)。
[0268]
作为一例，如图22所示，生成电路34c具备即时预览图像数据生成电路34c1及提取电路34c2。即时预览图像数据生成电路34c1从成像元件38获取输出用图像数据70b1，通过缩小所获取的输出用图像数据70b1而生成即时预览图像数据70b2。即时预览图像数据生成电路34c1将所生成的即时预览图像数据70b2输出到控制器15及提取电路34c2。
[0269]
提取电路34c2从由即时预览图像数据生成电路34c1输入的即时预览图像数据
70b2中，参考存储于存储电路34f中的区域确定数据提取部分区域图像数据。即，提取电路34c2从即时预览图像数据70b2提取表示与由第1检测电路34d检测到的脸部图像300a的位置对应的区域的一部分即时预览图像数据70b2作为部分区域图像数据。提取电路34c2将从即时预览图像数据70b2提取的部分区域图像数据存储于存储电路34f。另外，在本第2实施方式中，部分区域图像数据是本发明的技术所涉及的“特定被摄体图像区域数据”的一例。并且，在本第2实施方式中，存储电路34f是本发明的技术所涉及的“存储部”的一例。
[0270]
在图22所示的例子中，示出了在存储电路34f中存储部分区域图像数据的方式例，但这仅为一例，也可以与存储电路34f分开设置部分区域图像数据用存储器(省略图示)，在部分区域图像数据用存储器中存储部分区域图像数据。并且，也可以在帧存储器34g(参考图11)中以帧单位存储部分区域图像数据，由第2检测电路34e从帧存储器34g以帧单位获取部分区域图像数据。
[0271]
作为一例，如图23所示，脸部图像检测电路34e2从存储电路34f获取部分区域图像数据，对所获取的部分区域图像数据执行第2脸部检测处理。并且，瞳孔图像检测电路34e3从存储电路34f获取部分区域图像数据，对所获取的部分区域图像数据执行第2瞳孔检测处理。
[0272]
如此在图21～图23所示的例子中，由第2检测电路34e对部分区域图像数据进行第2脸部检测处理及第2瞳孔检测处理。部分区域图像数据是表示部分区域的图像数据，该部分区域是由即时预览图像数据70b2表示的即时预览图像内的部分区域，且与在进行第2脸部图像检测处理的帧的前一帧中通过第1脸部检测处理检测到的脸部图像300a的位置对应。因此，根据本结构，与对1帧量以上的即时预览图像数据70b2进行第2脸部检测处理及第2瞳孔检测处理的情况相比，能够减轻用于第2脸部检测处理及第2瞳孔检测处理的处理负载。
[0273]
另外，在此，举出对部分区域图像数据进行第2脸部检测处理及第2瞳孔检测处理的方式例进行了说明，但本发明的技术并不限定于此，也可以对部分区域图像数据进行第2脸部检测处理或第2瞳孔检测处理。
[0274]
并且，在此，举出了由提取电路34c2根据基于第1检测处理的检测结果的区域确定数据提取部分区域图像数据的方式例，但本发明的技术并不限定于此。例如，也可以由提取电路34c2提取即时预览图像数据70b2中的与由用户经由触摸面板28指示的区域200a对应的即时预览图像数据70b2作为部分区域图像数据。在该情况下，能够有助于对用户想要的部分区域图像数据进行第2检测处理。
[0275]
并且，在图21～图23所示的例子中，在通过第1脸部检测处理检测到脸部图像300a的情况下，由提取电路34c2将即时预览图像数据70b2中的表示与脸部图像300a的位置对应的区域的部分区域图像数据存储于存储电路34f。因此，根据本结构，与1帧量以上的即时预览图像数据70b2存储于存储电路34f中的情况相比，能够减少存储于存储电路34f中的数据量。
[0276]
并且，在图21～图23所示的例子中，在通过第1脸部检测处理检测到脸部图像300a的情况下，由脸部图像检测电路34e2对存储于存储电路34f中的部分区域图像数据进行第2脸部检测处理。因此，根据本结构，与对1帧量的即时预览图像数据70b2中的部分区域图像数据以外的即时预览图像数据70b2进行第2脸部检测处理的情况相比，能够提高通过第2脸
部检测处理检测脸部图像300a的概率。
[0277]
此外，在图21～图23所示的例子中，在通过第1脸部检测处理检测到脸部图像300a的情况下，由瞳孔图像检测电路34e3对存储于存储电路34f中的部分区域图像数据进行第2瞳孔检测处理。因此，根据本结构，与对1帧量的即时预览图像数据70b2中的部分区域图像数据以外的即时预览图像数据70b2进行第2瞳孔检测处理的情况相比，能够提高通过第2瞳孔检测处理检测瞳孔图像300b的概率。
[0278]
[第3实施方式]
[0279]
在上述第2实施方式中，举出对即时预览图像数据70b2执行第2脸部检测处理及第2瞳孔检测处理的方式例进行了说明，但在本第2实施方式中，对不仅对即时预览图像数据70b2，而且对数字图像数据70b也执行第2脸部检测处理及第2瞳孔检测处理的方式例进行说明。另外，在本第3实施方式中，对与上述第2实施方式相同的构成要件标注相同的符号，并省略其说明。
[0280]
作为一例，如图24所示，在本第3实施方式所涉及的摄像装置10中，控制电路110c按照从控制器15输入的垂直同步信号，从存储器112获取数字图像数据70b。控制电路110c经由输出i/f110d2与信号处理电路34的接收i/f34a能够并行通信地连接，按照帧速率使数字图像数据70b与输出用图像数据70b1同步，并输出到信号处理电路34。在信号处理电路34中，在从成像元件38输出的数字图像数据70b与输出用图像数据70b1同步的定时由接收i/f34a接收。
[0281]
作为一例，如图25所示，生成电路34c将在由接收i/f34a同步的定时接收到的数字图像数据70b及即时预览图像数据70b2存储于帧存储器34g。由此，在帧存储器34g中，按照以帧速率规定的1帧量的期间存储分辨率不同的两种图像数据。第2检测电路34e对分辨率不同的两种图像数据从低分辨率的图像数据到高分辨率的图像数据阶段性地进行第2检测处理。即，第2检测电路34e首先对即时预览图像数据70b2进行第2检测处理，接着，对数字图像数据70b进行第2检测处理。
[0282]
图26a～图26c中示出了由本第3实施方式所涉及的摄像装置10中包含的第1检测电路34d及第2检测电路34e进行的对图像数据的处理定时的一例。另外，在图26a～图26c所示的例子中，对于与图14及图19所示的例子重复的处理省略说明。并且，以下，为了便于说明，将脸部图像检测电路34e2从由数字图像数据70b表示的图像中检测脸部图像300a的处理也称为“第3脸部检测处理”，将瞳孔图像检测电路34e3从由数字图像数据70b表示的图像中检测瞳孔图像300b的处理也称为“第3瞳孔检测处理”。在本第3实施方式中，第2脸部检测处理、第2瞳孔检测处理、第3脸部检测处理及第3瞳孔检测处理是本发明的技术所涉及的“第2检测处理”的一例。
[0283]
作为一例，如图26a所示，在第1脸部检测处理失败，且第2脸部检测处理失败的情况下，由脸部图像检测电路34e2执行使用存储于帧存储器34g中的数字图像数据70b的第3脸部检测处理。在此，当第3脸部检测处理成功时，作为一例，如图18a所示，矩形状框300a1重叠显示于即时预览图像上。并且，当第3脸部检测处理成功时，在瞳孔图像检测电路34e3中执行使用存储于帧存储器34g中的数字图像数据70b中的表示与通过第3脸部检测处理检测到的脸部图像300a相当的区域的一部分数字图像数据70b的第3瞳孔检测处理。当第3瞳孔检测处理成功时，作为一例，如图18a所示，矩形状框300b1a及300b2a重叠显示于即时预
览图像上。
[0284]
作为一例，如图26a所示，在第1脸部检测处理失败，且第2脸部检测处理成功的情况下，由脸部图像检测电路34e2执行使用存储于帧存储器34g中的即时预览图像数据70b2的第2瞳孔检测处理。在此，当第2瞳孔检测处理失败时，由脸部图像检测电路34e2执行使用存储于帧存储器34g中的数字图像数据70b的第3脸部检测处理。在此，当第3脸部检测处理成功时，作为一例，如图18a所示，矩形状框300a1重叠显示于即时预览图像上。并且，当第3脸部检测处理成功时，在瞳孔图像检测电路34e3中执行使用存储于帧存储器34g中的数字图像数据70b中的表示与通过第3脸部检测处理检测到的脸部图像300a相当的区域的一部分数字图像数据70b的第3瞳孔检测处理。当第3瞳孔检测处理成功时，作为一例，如图18a所示，矩形状框300b1a及300b2a重叠显示于即时预览图像上。
[0285]
作为一例，如图26b所示，在第1脸部检测处理失败，且第2脸部检测处理失败的情况下，由脸部图像检测电路34e2执行使用存储于帧存储器34g中的数字图像数据70b的第3脸部检测处理。在此，当第3脸部检测处理成功时，作为一例，如图18c所示，矩形状框300a1重叠显示于即时预览图像上。并且，当第3脸部检测处理成功时，在瞳孔图像检测电路34e3中执行使用存储于帧存储器34g中的数字图像数据70b中的表示与通过第3脸部检测处理检测到的脸部图像300a相当的区域的一部分数字图像数据70b的第3瞳孔检测处理。当第3瞳孔检测处理失败时，作为一例，如图18c所示，在显示器26上与即时预览图像一起显示消息m2。
[0286]
作为一例，如图26b所示，在第1脸部检测处理失败，且第2脸部检测处理成功的情况下，由脸部图像检测电路34e2执行使用存储于帧存储器34g中的即时预览图像数据70b2的第2瞳孔检测处理。在此，当第2瞳孔检测处理失败时，由脸部图像检测电路34e2执行使用存储于帧存储器34g中的数字图像数据70b的第3脸部检测处理。在此，当第3脸部检测处理成功时，作为一例，如图18c所示，矩形状框300a1重叠显示于即时预览图像上。并且，当第3脸部检测处理成功时，在瞳孔图像检测电路34e3中执行使用存储于帧存储器34g中的数字图像数据70b中的表示与通过第3脸部检测处理检测到的脸部图像300a相当的区域的一部分数字图像数据70b的第3瞳孔检测处理。当第3瞳孔检测处理失败时，作为一例，如图18c所示，在显示器26上与即时预览图像一起显示消息m2。
[0287]
作为一例，如图26c所示，在第1脸部检测处理失败，且第2脸部检测处理失败的情况下，由脸部图像检测电路34e2执行使用存储于帧存储器34g中的数字图像数据70b的第3脸部检测处理。在此，当第3脸部检测处理失败时，作为一例，如图18c所示，矩形状框300a1重叠显示于即时预览图像上。并且，当第3脸部检测处理成功时，在瞳孔图像检测电路34e3中执行使用存储于帧存储器34g中的数字图像数据70b中的表示与通过第3脸部检测处理检测到的脸部图像300a相当的区域的一部分数字图像数据70b的第3瞳孔检测处理。当第3瞳孔检测处理失败时，作为一例，如图18b所示，在显示器26上与即时预览图像一起显示消息m1。
[0288]
作为一例，如图26c所示，当第1脸部检测处理成功，且第1瞳孔检测处理失败时，作为一例，如图18a所示，矩形状框300a1重叠显示于即时预览图像上。由脸部图像检测电路34e2执行使用存储于帧存储器34g中的即时预览图像数据70b2的第2脸部检测处理。当第1脸部检测处理成功时，在瞳孔图像检测电路34e3中执行使用存储于帧存储器34g中的即时
预览图像数据70b2中的表示与通过第2脸部检测处理检测到的脸部图像300a相当的区域的一部分即时预览图像数据70b2的第2瞳孔检测处理。当第2瞳孔检测处理失败时，由脸部图像检测电路34e2执行使用存储于帧存储器34g中的数字图像数据70b的第3脸部检测处理。当第3脸部检测处理成功时，在瞳孔图像检测电路34e3中执行使用存储于帧存储器34g中的数字图像数据70b中的表示与通过第2脸部检测处理检测到的脸部图像300a相当的区域的一部分即时预览图像数据70b2的第3瞳孔检测处理。当第3瞳孔检测处理成功时，作为一例，如图18a所示，矩形状框300b1a及300b2a重叠显示于即时预览图像上。
[0289]
如以上说明，在本第3实施方式所涉及的摄像装置10中，由生成电路34c进行缩小数字图像数据70b的处理，由第1检测电路34d进行使用缩小图像数据70b3的第1检测处理。并且，在通过第1检测处理未检测到特定被摄体图像200的情况下，由第2检测电路34e执行阶段性地使用存储于帧存储器34g中的即时预览图像数据70b2及数字图像数据70b的第2检测处理。即，在执行使用即时预览图像数据70b2的第2脸部检测处理及第2瞳孔检测处理，第2脸部检测处理和/或第2瞳孔检测处理的检测处理失败的情况下，执行使用分辨率比即时预览图像数据70b2高的数字图像数据70b的第3脸部检测处理及第2瞳孔检测处理。因此，根据本结构，与始终仅使用即时预览图像数据70b2进行第2检测处理的情况相比，能够实现高精度的检测。
[0290]
另外，在上述第3实施方式中，当第2瞳孔检测处理失败时，由脸部图像检测电路34e2执行第3脸部检测处理之后，由瞳孔图像检测电路34e3执行第3瞳孔检测处理，但本发明的技术并不限定于此。例如，如图27所示，在第2瞳孔检测处理失败的情况下，也可以不执行第3脸部检测处理，而由瞳孔图像检测电路34e3执行使用存储于帧存储器34g中的数字图像数据70b的第3瞳孔检测处理。在该情况下，如图21～图23所示的例子，也可以参考区域确定数据，由瞳孔图像检测电路34e3执行使用表示与数字图像数据70b中的脸部图像300a的位置对应的区域的一部分数字图像数据70b的第3瞳孔检测处理。
[0291]
并且，在图26a～图26c所示的例子中，举出由脸部图像检测电路34e2执行使用数字图像数据70b的第3脸部检测处理，由瞳孔图像检测电路34e3执行使用数字图像数据70b的第3瞳孔检测处理的方式例进行了说明，但本发明的技术并不限定于此。例如，如图28所示，也可以由脸部图像检测电路34e2执行第3脸部检测处理及第4脸部检测处理，由瞳孔图像检测电路34e3执行第3瞳孔检测处理及第4瞳孔检测处理。
[0292]
在图28所示的例子中，作为第3脸部检测处理，由脸部图像检测电路34e2执行使用输出用图像数据70b1的第3脸部检测处理，作为第3瞳孔检测处理，由瞳孔图像检测电路34e3执行使用输出用图像数据70b1的第3瞳孔检测处理。并且，在第3瞳孔检测处理失败的情况下，脸部图像检测电路34e2执行第4脸部检测处理。第4脸部检测处理是指从数字图像数据70b中检测脸部图像300a的处理。并且，在第4脸部检测处理成功的情况下，瞳孔图像检测电路34e3执行第4瞳孔检测处理。第4瞳孔检测处理是指使用数字图像数据70b中的表示与通过第4脸部检测处理检测到的脸部图像300a的位置对应的区域的一部分数字图像数据70b检测瞳孔图像300b的处理。
[0293]
另外，在图28所示的例子中，当第3瞳孔检测处理失败时，由脸部图像检测电路34e2执行第4脸部检测处理之后，执行第4瞳孔检测处理，但本发明的技术并不限定于此。例如，在第3瞳孔检测处理失败的情况下，也可以不执行第4脸部检测处理，而由瞳孔图像检测
电路34e3执行使用存储于帧存储器34g中的数字图像数据70b的第4瞳孔检测处理。在该情况下，如图21～图23所示的例子，也可以参考区域确定数据，由瞳孔图像检测电路34e3执行使用表示与数字图像数据70b中的脸部图像300a的位置对应的区域的一部分数字图像数据70b的第4瞳孔检测处理。
[0294]
[第4实施方式]
[0295]
在上述第1实施方式中，举出仅一种图像数据存储于帧存储器34g中的方式例进行了说明，但在本第4实施方式中，对帧存储器34g中存储多种图像数据的方式例进行说明。另外，在本第4实施方式中，对与上述第1～第3实施方式相同的构成要件标注相同的符号，并省略其说明。
[0296]
作为一例，如图29所示，本第4实施方式所涉及的摄像装置10中包含的信号处理电路34与在上述第1～第3实施方式中说明的信号处理电路34相比，不同点在于，具有分析电路34k及将指示区域信息输入到分析电路34k。
[0297]
从生成电路34c向分析电路34k输入输出用图像数据70b1。并且，生成电路34c根据输出用图像数据生成第1缩小前图像数据及第2缩小前图像数据，将所生成的第1缩小前图像数据及第2缩小前图像数据按每个规定期间存储于帧存储器34g。作为规定期间，采用了与以帧速率规定的1帧量的传送期间相当的期间。另外，规定期间并不限于此，例如，当将n设为1以上的整数时，也可以将与以帧速率规定的2n帧量以上的传送期间相当的期间采用为规定期间。
[0298]
第1缩小前图像数据及第2缩小前图像数据是在第2检测电路34e中使用的图像数据。具体而言，第1缩小前图像数据及第2缩小前图像数据是在第2检测电路34e中的第2检测处理中使用的第2检测处理对象图像数据。第1缩小前图像数据及第2缩小前图像数据是互不相同的分辨率的图像数据，分辨率均比输出用图像数据70b1高，且分辨率比即时预览图像数据70b2低。并且，第1缩小前图像数据的分辨率低于第2缩小前图像数据的分辨率。另外，以下，为了便于说明，在不需要区分说明第1缩小前图像数据及第2缩小前图像数据的情况下，称为“第2检测处理对象图像数据”。
[0299]
分析电路34k在由第2检测电路34e进行第2检测处理之前，按每个规定期间分析输出用图像数据70b1。并且，第2检测电路34e对第1缩小前图像数据及第2缩小前图像数据中的，按每个规定期间根据分析电路34k中的分析结果确定的第2检测处理对象图像数据进行进行第2检测处理。分析电路34k对输出用图像数据70b1中的表示与由指示区域信息指示的区域200a的位置对应的区域的一部分输出用图像数据70b1即关注区域图像数据进行分析。
[0300]
作为一例，如图30a所示，分析电路34k按每个规定期间从触摸面板28获取指示区域信息。通过用户的手指11对触摸面板28进行滑动操作来更新指示区域信息。即，通过用户的手指11对触摸面板28进行滑动操作来变更区域200a的位置。另外，在此，例示了滑动操作，但并不限于此，也可以是轻击操作等其他操作。
[0301]
分析电路34k根据指示区域信息从输出用图像数据70b1获取关注区域图像数据，并分析由所获取的关注区域图像数据表示的图像(以下，称为“指示区域图像”)的对比度。分析电路34k判定指示区域图像的对比度是否为阈值以上，并将判定结果作为分析结果输出到第2检测电路34e。在指示区域图像的对比度为阈值以上的情况下，第2检测电路34e获取第1缩小前图像数据作为第2检测处理对象图像数据，对所获取的第2检测处理对象图像
数据进行第2检测处理。并且，作为一例，如图30b所示，在指示区域图像的对比度小于阈值的情况下，第2检测电路34e获取第2缩小前图像数据作为第2检测处理对象图像数据，对所获取的第2检测处理对象图像数据进行第2检测处理。
[0302]
另外，在此，举出由分析电路34k分析对比度的方式例进行了说明，但本发明的技术并不限定于此，也可以由分析电路34k分析轮廓、模糊程度、亮度的分布和/或色调的分布等。
[0303]
如以上说明，在本第4实施方式所涉及的摄像装置10中，由生成电路34c根据输出用图像数据生成第1缩小前图像数据及第2缩小前图像数据，所生成的第1缩小前图像数据及第2缩小前图像数据按每个规定期间存储于帧存储器34g。因此，根据本结构，与一种第2检测处理对象图像数据按每个规定期间存储于帧存储器34g的情况相比，能够增加按每个规定期间在第2检测处理中使用的第2检测处理对象图像数据的选项。
[0304]
并且，在本第4实施方式所涉及的摄像装置10中，在由第2检测电路34e进行第2检测处理之前，由分析电路34k按每个规定期间分析输出用图像数据70b1。并且，由第2检测电路34e对存储于帧存储器34g中的第1缩小前图像数据及第2缩小前图像数据中的，按每个规定期间根据分析电路34k中的分析结果确定的第2检测处理对象图像数据进行第2检测处理。因此，根据本结构，能够对与现状对应的种类的第2检测处理对象图像数据进行第2检测处理。
[0305]
并且，在图30b所示的区域200a内，特定被摄体图像200与背景图像的色调同化，与此相对，在图30a所示的区域200a内，特定被摄体图像200与背景图像的色调未同化。即，图30b所示的区域200a内的对比度低于图30a所示的区域200a内的对比度，因此在图30b所示的例子的情况下，第2检测电路34e获取分辨率比第1缩小前图像数据高的第2缩小前图像数据作为第2检测处理对象图像数据，对所获取的第2检测处理对象图像数据进行第2检测处理。由此，与对第1缩小前图像数据进行第2检测处理的情况相比，能够提高检测特定被摄体图像200的可能性。
[0306]
另外，在上述第4实施方式中，例示了第1缩小前图像数据及第2缩小前图像数据这两种图像数据，但本发明的技术并不限定于此，也可以是3种以上的图像数据。作为3种以上的图像数据，例如可举出4k的图像数据、fhd的图像数据及vga的图像数据等。
[0307]
并且，在上述第1～第4实施方式中，举出由位于成像元件38的后级的信号处理电路34进行缩小输出用图像数据的处理、第1检测处理及第2检测处理的方式例进行了说明，但本发明的技术并不限定于此。例如，作为本发明的技术所涉及的“处理部”的一例，也可以使用成像元件38的处理电路110。在该情况下，例如，如图31所示，成像元件38可以内置与上述信号处理电路34相当的信号处理电路110e。由此，不需要信号处理电路34，因此输出i/f1100d2与控制器15的接收i/f15e连接。在图31所示的例子中，信号处理电路110e与控制电路110c连接，在控制电路110c与信号处理电路110e之间进行各种信息的授受。根据本结构，与使成像元件38的外部的处理部(例如，控制器15)处理图像数据的情况相比，能够高速地处理图像数据。
[0308]
并且，作为本发明的技术所涉及的“存储部”的一例，也可以使用存储器112。例如，也可以用内置于成像元件38中的存储器112来代替图31所示的信号处理电路110e中包含的多个构成要件中的，与上述信号处理电路34中包含的存储电路34f相当的存储电路及与帧
存储器34g相当的帧存储器中的至少一者。根据本结构，与将图像数据存储于成像元件38的外部的存储装置中的情况相比，能够实现对图像数据的高速访问。
[0309]
并且，在上述摄像装置10中，作为成像元件38，采用了将光电转换元件42、处理电路110及存储器112单芯片化而成的成像元件。由此，与未将光电转换元件42、处理电路110及存储器112单芯片化而成的成像元件相比，成像元件38的便携性提高。并且，与未将光电转换元件42、处理电路110及存储器112单芯片化而成的成像元件相比，能够提高设计的自由度。此外，与未将光电转换元件42、处理电路110及存储器112单芯片化而成的成像元件相比，也能够有助于摄像装置10的小型化。
[0310]
并且，在上述摄像装置10中，作为成像元件38，采用了存储器112层叠于光电转换元件42上的层叠型成像元件。由此，由于能够缩短连接光电转换元件42与存储器112的配线，因此能够减少配线延迟，其结果，与未层叠光电转换元件42和存储器112的情况相比，能够提高从光电转换元件42向存储器112的图像数据的传送速度。传送速度的提高也有助于整个处理电路110中的处理的高速化。并且，与未层叠光电转换元件42和存储器112的情况相比，也能够提高设计的自由度。此外，与未层叠光电转换元件42和存储器112的情况相比，也能够有助于摄像装置10的小型化。
[0311]
并且，在上述摄像装置10中，作为成像元件38，例示了将光电转换元件42、处理电路110及存储器112单芯片化而成的成像元件，但本发明的技术并不限定于此。例如，只要将光电转换元件42、处理电路110及存储器112中的至少光电转换元件42及存储器112单芯片化即可。
[0312]
并且，在上述摄像装置10中，举出通过第2检测处理检测脸部图像300a，且检测瞳孔图像300b时的方式例进行了说明，但本发明的技术并不限定于此，例如，也可以通过第2检测处理检测脸部图像300a或瞳孔图像300b。
[0313]
在上述各实施方式中，例示了镜头可换式摄像装置10，但本发明的技术并不限定于此。例如，如图32所示，也可以在智能器件400上搭载有摄像装置主体414，该摄像装置主体414具有与在上述各实施方式中说明的摄像装置主体12相当的结构及功能。
[0314]
作为一例，如图32所示，智能设备400具备框体412，并且摄像装置主体414容纳于框体412中。作为智能器件400的一例，可举出作为带有摄像功能的电子设备的智能手机或平板终端等。
[0315]
成像透镜416安装于框体412上。在图32所示的例子中，成像透镜416在使智能器件400处于垂直放置的状态时的框体412的背面412a的左上部从背面412a露出。成像透镜416的中心位于光轴l1上。在摄像装置主体414上内置有成像元件38。摄像装置主体414从成像透镜416取入被摄体光。取入到摄像装置主体414内的被摄体光在成像元件38上成像。
[0316]
另外，在图32所示的例子中，示出了仅摄像装置主体414内置于智能器件400中的方式例，但本发明的技术并不限定于此，可以在智能器件400内置有多台数码相机，在该情况下，只要在至少1台数码相机中搭载有摄像装置主体414即可。
[0317]
并且，在上述各实施方式中，通信i/f之间按照pcie的连接标准连接，但本发明的技术并不限定于此。作为高速通信标准，也可以采用lvds、sata、slvs-ec或mipi等其他连接标准来代替pcie连接标准。
[0318]
并且，在上述各实施方式中，成像元件38与信号处理电路34之间的通信、控制器15
与成像元件38的通信、及信号处理电路34与控制器15的通信均为有线形式的通信。然而，本发明的技术并不限定于此。成像元件38与信号处理电路34之间的通信、控制器15与成像元件38的通信和/或信号处理电路34与控制器15的通信也可以是无线形式的通信。
[0319]
并且，在上述各实施方式中，举出ui系统器件17组装在摄像装置主体12中的方式例进行了说明，但ui系统器件17中包含的多个构成要件中的至少一部分可以外置在摄像装置主体12上。并且，ui系统器件17中包含的多个构成要件中的至少一部分也可以作为分体与外部i/f104连接来使用。
[0320]
并且，在上述实施方式中，作为帧速率例示了120fps，但本发明的技术并不限定于此，也可以将摄像用帧速率(例如，在图8所示的摄像处理中适用的帧速率)和输出用帧速率(例如，在图8所示的输出处理中适用的帧速率)设为不同的帧速率。摄像用帧速率和/或输出用帧速率可以是固定的帧速率，也可以是可变的帧速率。在可变的帧速率的情况下，例如可以在满足规定条件(例如，由接收器件84接收到变更帧速率的指示的条件和/或作为变更帧速率的定时而事先确定的定时到来的条件)的情况下变更帧速率。在可变的帧速率的情况下，帧速率的具体的数值例如可以根据由接收器件84接收到的指示来变更，也可以根据后级电路13和/或成像元件38的运转率来变更。
[0321]
并且，在上述各实施方式中，例示了信号处理电路34，但本发明的技术并不限定于此，除了信号处理电路34以外，还可以使用一个以上的信号处理电路。在该情况下，只要将成像元件38与多个信号处理电路的每一个直接连接即可。
[0322]
并且，在上述各实施方式中，举出信号处理电路34由包含asic及fpga的器件来实现的方式例进行了说明，但本发明的技术并不限定于此。例如，信号处理电路34也可以通过计算机的软件结构来实现。
[0323]
在该情况下，例如，如图33所示，在信号处理电路34中内置有计算机852，将用于使计算机852执行上述各实施方式所涉及的后级电路处理的后级电路处理程序902存储于存储介质900。作为存储介质900的一例，可举出作为非临时存储介质的ssd或usb存储器等任意的便携式存储介质。计算机852具备cpu852a、储存器852b及存储器852c。储存器852b是eeprom等非易失性存储装置，存储器852c是ram等存储装置。存储于存储介质900中的后级电路处理程序902安装于计算机852。cpu852a按照后级电路处理程序902执行后级电路处理。另外，后级电路处理程序902也可以不存储于存储介质900，而存储于储存器852b。
[0324]
并且，也可以在经由通信网络(省略图示)与计算机852连接的其他计算机或服务器装置等储存器(例如，非易失性存储装置)中存储后级电路处理程序902，根据上述摄像装置10或智能器件400的请求下载后级电路处理程序902并安装于计算机852。
[0325]
另外，不需要在与计算机852连接的其他计算机或服务器装置等储存器中存储全部后级电路处理程序902，可以存储后级电路处理程序902的一部分。
[0326]
在图33所示的例子中，例示了信号处理电路34中内置有计算机852的方式例，但本发明的技术并不限定于此，例如计算机852可以设置在信号处理电路34的外部。
[0327]
在图33所示的例子中，cpu852a是单个cpu，但也可以是多个cpu。并且，也可以适用gpu来代替cpu852a。
[0328]
在图33所示的例子中，例示了计算机852，但本发明的技术并不限定于此，也可以适用包含asic、fpga和/或pld的器件来代替计算机852。并且，也可以使用硬件结构及软件
结构的组合来代替计算机852。
[0329]
并且，在上述各实施方式中，举出处理电路110由包含asic及fpga的器件来实现的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以通过基于计算机的软件结构来实现处理电路110中包含的多个器件中的至少控制电路110c。并且，在图31所示的例子中，也可以通过计算机的软件结构来实现处理电路110中包含的多个器件中的至少信号处理电路110e。
[0330]
在该情况下，例如，如图34所示，在成像元件38中内置有计算机852，将用于使计算机852执行上述各实施方式所涉及的后级电路处理的后级电路处理程序902存储于存储介质900。存储于存储介质900中的后级电路处理程序902安装于计算机852。并且，也可以在经由通信网络(省略图示)与计算机852连接的其他计算机或服务器装置等储存器(例如，非易失性存储装置)中存储后级电路处理程序902，根据成像元件38的请求下载后级电路处理程序902并安装于计算机852。
[0331]
在图34所示的例子中，例示了成像元件38中内置有计算机852的方式例，但本发明的技术并不限定于此，例如计算机852可以设置在成像元件38的外部。并且，在图34所示的例子中，cpu852a是单个cpu，但也可以是多个cpu。并且，也可以适用gpu来代替cpu852a。并且，在图34所示的例子中，例示了计算机852，但本发明的技术并不限定于此，也可以适用包含asic、fp ga和/或pld的器件来代替计算机852。并且，也可以使用硬件结构及软件结构的组合来代替计算机852。
[0332]
作为执行在上述各实施方式中说明的后级电路处理的硬件资源，能够使用以下所示的各种处理器。作为处理器，例如可举出通用的处理器即cpu，如上所述，通过执行软件即程序，作为执行后级电路处理的硬件资源而发挥功能。并且，作为处理器，例如可举出作为处理器的专用电路，所述处理器具有fpg a、pld、或asic等为了执行特定的处理而专门设计的电路结构。任何处理器中都内置或连接有存储器，通过任何处理器都使用存储器来执行后级电路处理。
[0333]
执行后级电路处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个fpga的组合、或cpu与fpga的组合)构成。并且，执行后级电路处理的硬件资源可以是一个处理器。
[0334]
作为由一个处理器构成的例子，第一，存在如下方式：如以客户端及服务器等计算机为代表，由一个以上的cpu和软件的组合来构成一个处理器，该处理器作为执行后级电路处理的硬件资源而发挥功能。第二，存在如下方式：如以soc等为代表，使用由一个ic芯片来实现包括执行后级电路处理的多个硬件资源的整个系统的功能的处理器。如此，后级电路处理通过使用一个以上上述各种处理器作为硬件资源来实现。
[0335]
此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件进行了组合的电路。
[0336]
并且，上述各种处理仅为一例。因此，在不脱离主旨的范围内，当然可以删除不必要的步骤，或者追加新的步骤，或者切换处理顺序。
[0337]
并且，在图1所示的例子中例示摄像装置10，在图32所示的例子中例示了智能器件400，但本发明的技术并不限定于此。即，本发明的技术也能够适用于内置有具有与在上述各实施方式中说明的摄像装置主体12相当的结构及功能的摄像装置的各种电子设备(例
如，镜头固定式相机、个人计算机或可穿戴终端装置等)，并且即使在这些电子设备中，也能够得到与摄像装置10及智能器件400相同的作用及效果。
[0338]
并且，在上述各实施方式中，例示了显示器26，但本发明的技术并不限定于此。例如，可以将附接到摄像装置的单独的显示器用作本发明的技术所涉及的“显示装置”。
[0339]
以上所示的记载内容及图示内容是关于本发明的技术所涉及部分的详细说明，只是本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明是与本发明的技术所涉及部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术的主旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加新的要素，或者进行替换。并且，为了避免复杂化，并且为了容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了在能够实施本发明的技术的方面不需要特别说明的与技术常识等有关的说明。
[0340]
在本说明书中，“a和/或b”与“a及b中的至少一个”的含义相同。即，“a和/或b”是指可以只是a，可以只是b，也可以是a及b的组合。并且，在本说明书中，附加“和/或”来表现3个以上的事项的情况下，也可以适用与“a和/或b”相同的概念。
[0341]
本说明书中所记载的所有文献、专利申请及技术标准，以与具体且分别记载通过参考而援用各文献、专利申请及技术标准的情况相同程度，通过参考而援用于本说明书中。
[0342]
关于以上实施方式，进一步公开以下附记。
[0343]
(附记1)
[0344]
一种摄像装置，其包含：
[0345]
存储器，存储通过拍摄而得到的图像数据；及
[0346]
信号处理电路，对上述图像数据进行处理，
[0347]
上述信号处理电路进行缩小上述图像数据的处理，并且进行从由通过缩小上述图像数据而得到的缩小图像数据表示的缩小图像中检测表示特定的被摄体的特定被摄体图像的第1检测处理，在通过上述第1检测处理未检测到上述特定被摄体图像的情况下，对存储于上述存储器中的缩小前的上述图像数据即缩小前图像数据进行第2检测处理。
[0348]
(附记2)
[0349]
一种成像元件，其包含：
[0350]
存储器，存储通过拍摄而得到的图像数据，且内置于所述成像元件中；及
[0351]
信号处理电路，对上述图像数据进行处理，且内置于所述成像元件中，
[0352]
上述信号处理电路进行缩小上述图像数据的处理，并且进行从由通过缩小上述图像数据而得到的缩小图像数据表示的缩小图像中检测表示特定的被摄体的特定被摄体图像的第1检测处理，在通过上述第1检测处理未检测到上述特定被摄体图像的情况下，对存储于上述存储器中的缩小前的上述图像数据即缩小前图像数据进行第2检测处理。
[0353]
(附记3)
[0354]
一种成像元件，其包含：
[0355]
存储部(存储器)，存储通过拍摄而得到的图像数据，且内置于上述成像元件中；及
[0356]
处理部(信号处理电路)，对上述图像数据进行处理，且内置于上述成像元件中，
[0357]
上述处理部进行缩小上述图像数据的处理，并且进行从由通过缩小上述图像数据而得到的缩小图像数据表示的缩小图像中检测表示特定的被摄体的特定被摄体图像的第1
检测处理，在通过上述第1检测处理未检测到上述特定被摄体图像的情况下，对存储于上述存储部中的缩小前的上述图像数据即缩小前图像数据进行第2检测处理。
[0358]
(附记4)
[0359]
根据附记3所述的成像元件，其中，
[0360]
上述处理部对表示部分区域的部分区域图像数据进行上述第2检测处理，上述部分区域是由上述缩小前图像数据表示的图像内的部分区域，且与在进行上述第2检测处理的帧的前一帧中通过上述第1检测处理检测到的上述特定被摄体图像的位置对应。
[0361]
(附记5)
[0362]
根据附记4所述的成像元件，其中，
[0363]
上述部分区域是由上述缩小前图像数据表示的图像内的所指示的上述特定的被摄体的区域。
[0364]
(附记6)
[0365]
根据附记3至5中任一项所述的成像元件，其中，
[0366]
在通过上述第1检测处理检测到上述特定被摄体图像的情况下，上述处理部将上述缩小前图像数据中的表示与上述特定被摄体图像的位置对应的区域的特定被摄体图像区域数据存储于上述存储部。
[0367]
(附记7)
[0368]
根据附记6所述的成像元件，其中，
[0369]
在通过上述第1检测处理检测到上述特定被摄体图像的情况下，上述处理部对存储于上述存储部中的上述特定被摄体图像区域数据进行上述第2检测处理。
[0370]
(附记8)
[0371]
根据附记3至7中任一项所述的成像元件，其中，
[0372]
上述处理部根据上述图像数据生成多种上述缩小前图像数据，将所生成的上述多种缩小前图像数据按每个规定期间存储于上述存储部。
[0373]
(附记9)
[0374]
根据附记8所述的成像元件，其中，
[0375]
上述处理部在进行上述第2检测处理之前，按每个上述规定期间分析上述图像数据，对存储于上述存储部中的上述多种缩小前图像数据中的按每个上述规定期间根据分析结果确定的上述缩小前图像数据进行上述第2检测处理。
[0376]
(附记10)
[0377]
根据附记9所述的成像元件，其中，
[0378]
上述处理部在进行上述第2检测处理之前，按每个上述规定期间根据上述图像数据分析指示区域图像的对比度，对存储于上述存储部中的上述多种缩小前图像数据中的按每个上述规定期间根据上述分析结果确定的上述缩小前图像数据进行上述第2检测处理。
[0379]
(附记11)
[0380]
根据附记3至10中任一项所述的成像元件，其中，
[0381]
上述第2检测处理是从由上述缩小前图像数据表示的图像内检测上述特定被摄体图像及表示比上述特定的被摄体小型的被摄体的小型被摄体图像中的至少一个的处理。
[0382]
(附记12)
[0383]
根据附记11所述的成像元件，其中，
[0384]
上述特定被摄体图像是表示脸部的脸部图像，
[0385]
上述小型被摄体图像是表示瞳孔的瞳孔图像。
[0386]
(附记13)
[0387]
根据附记3至12中任一项所述的成像元件，其中，
[0388]
上述特定被摄体图像是由上述图像数据表示的图像内的表示所指示的移动体的移动体图像。
[0389]
(附记14)
[0390]
根据附记3至13中任一项所述的成像元件，其中，
[0391]
上述缩小前图像数据是显示用图像数据。
[0392]
(附记15)
[0393]
根据附记3至14中任一项所述的成像元件，其中，
[0394]
上述处理部对分辨率不同的多个上述缩小前图像数据，从低分辨率的上述缩小前图像数据到高分辨率的上述缩小前图像数据阶段性地进行上述第2检测处理。