图像拾取装置及其控制方法与流程

图像拾取装置及其控制方法
1.本技术是申请日为2018年9月20日、申请号为201880072663.0(国际申请号为pct/jp2018/034818)、发明名称为“图像拾取装置及其控制方法”的发明专利申请的分案申请。
技术领域
2.本发明涉及图像拾取装置及其控制方法。


背景技术：

3.在使用诸如相机之类的图像拾取装置进行静止图像或视频拍摄中，用户通常通过取景器等决定要拍摄的被摄体并通过自己检查拍摄条件调节要拍摄的图像的取景来拍摄图像。这种图像拾取装置具有以下功能：检测用户操作中的错误并向用户通知该错误，或者检测外部环境并且当外部环境不适合拍摄图像时通知用户该环境不适合。此外，存在控制相机以使得相机处于适合拍摄图像的状态的机制。
4.这样的通过用户操作拍摄图像的图像拾取装置包括生活日志相机，该生活日志相机在没有用户拍摄指令的情况下周期性地且连续地捕获图像(pct日文翻译专利公开no.2016-536868)。生活日志相机以利用绑带等附接到用户的身体的状态使用，并且以设定的时间间隔将用户在日常生活中看到的场景记录为视频图像。生活日志相机不是在预期的定时(比如用户释放快门的定时)而是以设定的时间间隔拍摄图像，因此可以将通常不拍摄的意外时刻记录为视频图像。


技术实现要素：

5.但是，当生活日志相机在用户穿戴生活日志相机的状态下周期性地自动拍摄图像时，可能会取得不是用户偏好的视频图像，而用户真正想要的时刻的视频图像可能没有取得。
6.考虑到上述不便而做出本发明，并且本发明的目的是提供一种能够在没有任何用户的特定操作的情况下取得用户偏好的视频图像的图像拾取装置。
7.本发明的技术特点是一种用于图像拾取装置的控制方法，并且包括基于关于由拍摄单元拍摄的拍摄图像的第一数据来改变图像拾取装置的处理的改变步骤。在改变步骤中，当改变图像拾取装置的处理时，与关于自动处理的拍摄图像的第一数据相比，向关于基于来自用户的指令的拍摄图像的第一数据指派更大的权重。
附图说明
8.图1a是示意性地示出图像拾取装置的图。
9.图1b是图示俯仰方向、偏航方向和翻滚方向的视图。
10.图2是图示图像拾取装置的配置的图。
11.图3是图示图像拾取装置和外部装置的配置的图。
12.图4是示出外部装置的配置的图。
13.图5是示出图像拾取装置和外部装置的配置的图。
14.图6是示出外部装置的配置的图。
15.图7是图示第一控制单元的流程图。
16.图8是图示第二控制单元的流程图。
17.图9是图示拍摄模式的处理的流程图。
18.图10是图示自动编辑模式确定的流程图。
19.图11是图示自动编辑处理的流程图。
20.图12是图示神经网络的视图。
21.图13a是图示其中在图像拾取装置的位置的整个周围执行区域划分的示例的视图(当倾斜(tilt)方向和摇摄(pan)方向均为22.5度时)。
22.图13b是图示其中在图像拾取装置的位置的整个周围执行区域划分的示例的视图(当倾斜角度大于或等于45度时)。
23.图13c是用于图示其中以拍摄视角执行区域划分的示例的视图。
24.图13d是用于图示正被成像的图像的视角区域的图像示例的视图。
25.图14是图示学习模式确定的流程图。
26.图15是图示学习处理的流程图。
27.图16是图示根据本实施例的显示处理的图。
28.图17是示出镜筒旋转驱动部的配置的图。
29.图18是图示图像上被摄体的目标位置和实际位置的视图。
30.图19是图示检测拍摄方向改变操作的流程图。
31.图20是示意性示出拍摄方向改变操作的检测的图。
32.图21a是示出在时间ta的定时拍摄的图像的图。
33.图21b是示出当用户在时间tb的定时相对于固定部103向右旋转镜筒102时拍摄的图像的视图。
34.图21c是示出在补偿器1702的控制输出在时间tc停止的状态下通过用户的拍摄方向改变操作将摇摄轴转动到新被摄体附近而将目标被摄体放置在视角中时的图像的视图。
35.图21d是示出补偿器1702的控制输出在时间t4开始的状态下在改变拍摄方向之后通过跟踪并成像新被摄体而获得的图像的视图。
36.图22是示出针对拍摄方向改变操作的摇摄的控制输出2201、位置偏差2202和移动速度2203的时间改变的曲线图。
37.图23是示出当通过用户的操作改变图像拾取装置的拍摄方向时装置摇动检测部209的加速度传感器的输出的改变的曲线图。
38.图24是图示手动语音控制拍摄确定处理的流程图。
39.图25是示出通过将声音方向检测值应用于直方图处理而获得的结果的图。
40.图26是图示向智能设备301通知被摄体被注册(register)的图。
41.图27是图示在基于轻敲检测的唤醒的情况下自动拍摄处理的流程图。
42.图28是图示在基于声音检测的唤醒的情况下自动拍摄处理的流程图。
43.图29是图示自动文件删除模式的处理的流程图。
44.图30是示出手持式控制附件的示例的视图。
45.图31是示出用户通过将图像拾取装置指向被摄体5011来拍摄所选择的被摄体5011的场景的视图。
46.图32是示出可机械地附接到不同于图像拾取装置101的相机3201的配件插座3202的配置的示例的图。
47.图33是图示当图像拾取装置101和另一个相机3201连接时图像拾取装置101的处理的流程图。
具体实施方式
48.[第一实施例]
[0049]
《图像拾取装置的配置》
[0050]
图1是示意性示出第一实施例的图像拾取装置的图。
[0051]
图1a中所示的图像拾取装置101包括可以通过其操作电源开关的操作构件(下文中称为电源按钮；但是，它也可以是诸如在触摸面板上的轻敲、轻拂和滑动之类的操作)和其它部件。作为包含拍摄透镜组和捕获图像的成像元件的壳体的镜筒102被安装在图像拾取装置101中。镜筒102具有旋转机构，该旋转机构可以相对于固定部103驱动和转动镜筒102。倾斜单元104是可以使镜筒102在图1b中所示的俯仰方向上转动的马达驱动机构。摇摄单元105是可以使镜筒102在偏航方向上转动的马达驱动机构。因此，镜筒102可绕一个或多个轴转动。图1b是固定部103的位置中的轴的定义。角速度计106和加速度计107两者被安装在图像拾取装置101的固定部103上。基于角速度计106和加速度计107来检测图像拾取装置101的振动。基于检测到的振动角度来旋转地驱动倾斜单元和摇摄单元。因此，校正作为可移动部的镜筒102的移动，或者校正镜筒102的倾斜。
[0052]
图2是示出本实施例的图像拾取装置的配置的框图。
[0053]
在图2中，第一控制部223由处理器(例如，cpu、gpu、微处理器、mpu等)和存储器(例如，dram、sram等)组成。这些组件通过执行各种处理或块之间的控制数据传送来控制图像拾取装置101的块。非易失性存储器(eeprom)216是电可擦除且可记录的存储器。用于第一控制部223的操作的常数、程序等被存储在非易失性存储器216中。
[0054]
在图2中，变焦单元201包括用于缩放的变焦透镜。变焦控制部202驱动并控制变焦单元201。聚焦单元203包括用于聚焦调节的透镜。聚焦控制部204驱动并控制聚焦单元203。
[0055]
在成像部206中，成像元件接收通过透镜组进入的光，并将与光量对应的电荷的信息作为模拟图像数据输出到图像处理部207。图像处理部207对通过模数转换输出的数字图像数据应用诸如畸变校正、白平衡调节和颜色插值之类的图像处理，并输出处理后的数字图像数据。从图像处理部207输出的数字图像数据被图像记录部208转换成记录格式，比如jpeg格式，并且被发送到存储器215或视频输出部217(稍后描述)。
[0056]
镜筒旋转驱动部205驱动倾斜单元104和摇摄单元105以在倾斜方向和摇摄方向上使得镜筒102被驱动。
[0057]
在装置摇动检测部209中，例如，安装了检测图像拾取装置101的三轴角速度的角速度计(陀螺仪传感器)106和检测装置的三轴加速度的加速度计(加速度传感器)107。装置摇动检测部209基于检测到的信号来计算装置的旋转角度、装置的移位量等。
[0058]
语音输入部213从图像拾取装置101中提供的麦克风取得图像拾取装置101周围的
语音信号，对语音信号执行模数转换，并将语音信号发送到语音处理部214。语音处理部214执行与语音相关的处理，比如优化输入数字语音信号的处理。由语音处理部214处理的语音信号由第一控制部223发送到存储器215。存储器215临时存储由图像处理部207获得的图像信号和由语音处理部214获得的语音信号。
[0059]
例如，图像处理部207读出临时存储在存储器215中的图像信号，对图像信号进行编码，并且生成压缩图像信号。例如，语音处理部214读出临时存储在存储器215中的语音信号，对语音信号进行编码，并且生成压缩语音信号。第一控制部223将这些压缩图像信号和压缩语音信号发送到记录和回放部220。
[0060]
记录和回放部220在记录介质221上记录由图像处理部207生成的压缩图像信号、由语音处理部214生成的压缩语音信号以及其它的与拍摄相关的控制数据等。在不对语音信号进行压缩编码的情况下，第一控制部223将由语音处理部214生成的语音信号和由图像处理部207生成的压缩图像信号发送到记录和回放部220，并使记录和回放部220将语音信号和压缩图像信号记录在记录介质221上。
[0061]
记录介质221可以是内置在图像拾取装置101中的记录介质或可拆卸的记录介质。记录介质221能够记录各种数据，比如在图像拾取装置101中生成的压缩图像信号、压缩语音信号以及语音信号。具有比非易失性存储器216的容量大的容量的介质一般被用作记录介质221。例如，记录介质221可以是任意类型的记录介质，比如硬盘、光盘、磁光盘、cd-r、dvd-r、磁带、非易失性半导体存储器和闪存。
[0062]
记录和回放部220读出(回放)记录在记录介质221上的压缩图像信号、压缩语音信号、语音信号、各种数据和程序。第一控制部223将读取的压缩图像信号发送到图像处理部207，并且将压缩语音信号发送到语音处理部214。图像处理部207将压缩图像信号临时存储在存储器215中，以预定步骤对压缩图像信号进行解码，并将解码的信号发送到视频输出部217。语音处理部214将压缩语音信号临时存储在存储器215中，以预定步骤对压缩语音信号进行解码，并将解码的信号发送到语音输出部218。
[0063]
多个麦克风被安装在图像拾取装置101上作为语音输入部213。语音处理部214能够检测其中安装了多个麦克风的平面中的声音的方向，并且被用于搜索或自动拍摄(稍后描述)。此外，语音处理部214检测特定的语音命令。语音命令可以是一些预先注册的命令，并且还可以被配置成使得用户可以在图像拾取装置中注册特定的语音。语音处理部214还执行声音场景识别。在声音场景识别中，通过事先基于大量语音数据通过机器学习训练的网络来执行声音场景确定。例如，在语音处理部214中设定用于检测特定场景—比如“欢呼起来”、“拍手”和“说话”—的网络。当检测到特定声音场景或特定语音命令时，语音处理部214被配置成向第一控制部223或第二控制部211输出检测触发信号。
[0064]
与控制图像拾取装置101的整个主系统的第一控制部223分开提供的第二控制部211控制供应给第一控制部223的电力。
[0065]
第一电源部210和第二电源部212分别供应用于操作第一控制部223的电力和用于操作第二控制部211的电力。当按下为图像拾取装置101提供的电源按钮时，首先向第一控制部223和第二控制部211两者供应电力；但是，如后所述，第一控制部223被控制以使第一电源部210停止向它本身供应电力。当第一控制部223也不工作时，第二控制部211工作，并且从装置摇动检测部209或语音处理部214接收信息。第二控制部被配置成基于各种输入信
息来执行关于是否启动第一控制部223的确定处理。当确定启动时，第二控制部被配置成向第一电源部提供供应电力的指令。
[0066]
语音输出部218例如在拍摄等期间从图像拾取装置101中内置的扬声器输出预设的语音模式。
[0067]
led控制部224例如在拍摄等期间以预设的光闪烁模式控制为图像拾取装置101提供的led。
[0068]
视频输出部217例如由视频输出终端构成，并发送用于使所连接的外部显示器等显示视频图像的图像信号。语音输出部218和视频输出部217可以是组合的一个终端，例如，如高清多媒体接口(hdmi)(注册商标)终端之类的终端。
[0069]
通信部222在图像拾取装置101与外部装置之间执行通信，并且例如发送或接收诸如语音信号、图像信号、压缩语音信号和压缩图像信号之类的数据。通信部222还接收诸如拍摄开始和停止命令以及摇摄/倾斜或缩放之类的与拍摄相关的控制信号，并且基于来自与图像拾取装置101双向通信的外部装置的指令来驱动图像拾取装置101。通信部222还在图像拾取装置101和外部装置之间发送或接收信息，比如要在学习处理部219(稍后描述)中处理的各种学习相关参数。通信部222例如是无线通信模块，比如红外通信模块、蓝牙(注册商标)通信模块、无线lan通信模块、无线usb和gps接收器。
[0070]
《具有外部通信设备的配置》
[0071]
图3是示出图像拾取装置101与外部装置301之间的无线通信系统的配置示例的图。图像拾取装置101是具有拍摄功能的数字相机。外部装置301是包括蓝牙通信模块和无线lan通信模块的智能设备。
[0072]
图像拾取装置101和智能设备301例如可借助于基于符合一系列ieee 802.11标准的无线lan的通信302以及具有像控制站和附属站那样的主-从关系的通信303(比如蓝牙低功耗(下文中称为“ble”))来进行通信。无线lan和ble都是通信方法的示例。在每个通信装置具有两个或更多个通信功能并且例如以控制站和附属站之间的关系执行通信的通信功能之一能够控制另一个通信功能的情况下，可以使用其他通信方法。但是，在不失一般性的情况下，诸如无线lan之类的第一通信提供比诸如ble之类的第二通信更高的通信速度，并且第二通信被定义为具有比第一通信更低电力消耗的通信和具有比第一通信更短可通信距离的通信中的至少任一种。
[0073]
将参考图4描述智能设备301的配置。
[0074]
智能设备301不仅包括例如用于无线lan的无线lan控制部401和用于ble的ble控制部402，而且还包括用于公用无线通信的公用线路控制部406。智能设备301还包括分组发送和接收部403。无线lan控制部401执行如下驱动程序，该驱动程序执行无线lan rf控制、通信处理、以及对与符合一系列ieee 802.11标准的无线lan的通信的各种控制，并且执行关于与无线lan的通信的协议处理。ble控制部402执行如下驱动程序，该驱动程序执行ble rf控制、通信处理、以及对与ble的通信的各种控制，并且执行关于与ble的通信的协议处理。公用线路控制部406执行如下驱动程序，该驱动程序执行公用无线通信rf控制、通信处理、以及对与公用无线通信的通信的各种控制,并且执行与公用无线通信相关的协议处理。公用无线通信例如符合imt(国际多媒体电信)标准、lte(长期演进)标准等。分组发送和接收部403执行用于执行发送和接收与和无线lan和ble的通信以及公用无线通信相关的分组
中的至少任意一个的处理。在这个示例中，将基于智能设备301在通信中执行分组的发送和接收中的至少一个的假设进行描述；但是，除了分组交换之外，可以使用其他通信格式，例如电路交换等。
[0075]
智能设备301还包括例如控制部411、存储部404、gps接收部405、显示部407、操作部408、语音输入和语音处理部409以及电源部410。例如，控制部411通过运行存储在存储部404中的控制程序来控制整个智能设备301。存储部404存储例如控制部411运行的控制程序和用于通信的各种信息，比如参数。通过控制部411运行存储在存储部404中的控制程序来实现各种操作(稍后描述)。
[0076]
电源部410将电力供应给智能设备301。显示部407具有例如能够输出视觉上可识别的信息的功能(如lcd和led)或输出声音的功能(如扬声器)，并显示各种信息。操作部408例如是按钮等，其接收用户在智能设备301上的操作。显示部407和操作部408可以由例如触摸面板等的共用构件构成。
[0077]
语音输入和语音处理部409可以例如被配置成通过智能设备301中内置的通用麦克风取得从用户发出的语音，并通过语音识别处理取得用户的操作命令。
[0078]
经由安装在智能设备中的专用应用来取得基于用户语音的语音命令。经由基于无线lan的通信302，语音命令可以被存储为用于使图像拾取装置101的语音处理部214识别特定语音命令的特定语音命令。
[0079]
gps(全球定位系统)接收部405接收从卫星发送的gps信号，分析gps信号，并估计智能设备301的当前位置(经度和纬度信息)。可替代地，对于位置估计，可以基于关于周围无线网络的信息通过使用wps(wi-fi定位系统)等来估计智能设备301的当前位置。当取得的当前gps位置信息位于预设位置范围中(在预定半径范围内)时，移动信息经由ble控制部402被提供给图像拾取装置101，并且被用作用于自动拍摄或自动编辑的参数(稍后描述)。当gps位置信息的位置改变大于或等于预定范围时，移动信息经由ble控制部402被提供给图像拾取装置101，并被用作用于自动拍摄或自动编辑的参数(稍后描述)。
[0080]
如上所述，智能设备301借助于使用无线lan控制部401和ble控制部402的通信与图像拾取装置101交换数据。图像拾取装置101和智能设备301发送或接收数据，例如，语音信号、图像信号、压缩语音信号、压缩图像信号等。从智能设备执行用于图像拾取装置101的拍摄等的操作指令、语音命令注册数据的发送、或基于gps位置信息的预定位置检测和地点移动的提供。学习数据也经由安装在智能设备中的专用应用被发送或接收。外部装置301不限于智能设备301。外部装置301可以是例如不具有显示部407、操作部408等并且专用于语音输入的装置。利用这种装置，通过上述麦克风取得从用户发出的语音，通过语音识别处理取得用户的操作命令，并且将操作命令提供给图像拾取装置101。除上述之外，这种装置可以具有通过使用语音识别、与云的通信功能以及扬声器来读出新闻的功能。该装置可以具有针对使用搜索引擎的调查目的的声音输出功能或对话系统功能。
[0081]
《附件的配置》
[0082]
图5是示出可与图像拾取装置101通信的外部装置501的配置示例的图。图像拾取装置101是具有拍摄功能的数字相机。外部装置501是包括各种感测部并且可使用例如蓝牙通信模块等与图像拾取装置101通信的可穿戴设备。
[0083]
可穿戴设备501被配置成可穿戴在例如用户的手臂等上。以预定间隔检测生物信
息(诸如用户的脉搏、心率和血液流量)的传感器、能够检测用户的运动状况的加速度传感器等安装在可穿戴设备501中。
[0084]
生物信息检测部502的示例包括检测脉冲的脉冲传感器、检测心率的心率传感器、检测血流的血流传感器以及感测由于检测到皮肤与导电聚合物的接触而引起的电位改变的传感器。在本实施例中，将通过使用心率传感器作为生物信息检测部502进行描述。心率传感器通过使用led等将红外光照射到皮肤上、利用光接收传感器检测穿过身体组织的红外光并对红外光应用信号处理来检测用户的心率。生物信息检测部502将检测到的生物信息作为信号输出到控制部607(稍后描述)。
[0085]
检测用户的运动状况的摇动检测部503配备有例如加速度传感器或陀螺仪传感器，并且能够基于关于加速度的信息来检测运动，例如用户是否在移动、用户是否在通过挥动手臂而执行动作等。
[0086]
可穿戴设备501还配备有接收用户对可穿戴设备501的操作的操作部505，以及输出视觉上可识别的信息的显示部504(比如lcd和led)。
[0087]
将参考图6描述可穿戴设备501的配置。
[0088]
可穿戴设备501包括例如控制部607、通信部601、生物信息检测部502、摇动检测部503、显示部504、操作部505、电源部606和存储部608。
[0089]
例如，控制部607通过运行存储在存储部608中的控制程序来控制整个可穿戴设备501。存储部608存储例如控制部607运行的控制程序和诸如用于通信的参数之类的各种信息。例如，通过控制部607运行存储在存储部608中的控制程序来实现各种操作(稍后描述)。
[0090]
电源部606向可穿戴设备501供应电力。显示部504具有例如能够输出视觉上可识别的信息的功能(如lcd和led)或输出声音的功能(如扬声器)，并显示各种信息。操作部505是例如按钮等，其接收用户在可穿戴设备501上的操作。显示部504和操作部505可以由例如触摸面板等的共用构件构成。
[0091]
操作部可以例如被配置成通过可穿戴设备501中内置的通用麦克风取得从用户发出的语音，并通过语音识别处理取得用户的操作命令。
[0092]
来自生物信息检测部502和摇动检测部503的各种检测到的信息由控制部607处理，并且检测到的信息被通信部601发送到图像拾取装置101。
[0093]
例如，在检测到用户的心率改变的定时，检测到的信息被发送到图像拾取装置101，或者在移动状况(诸如步行、跑步和停止)改变的定时，检测到的信息被发送。而且，例如，在检测到预设的手臂挥动运动的定时，检测到的信息被发送，或者在检测到预设的距离移动的定时，检测到的信息被发送。
[0094]
图30是手持式控制附件的示例。
[0095]
图像拾取装置主体101不包括诸如用于拍摄指令的快门按钮之类的操作构件，并且图像拾取装置101可以被配置成通过为附接提供的操作构件而被操作。
[0096]
如图31中所示，用户可能想要通过将相机指向被摄体5011来拍摄所选择的被摄体5011。此时，如果相机被自动摇摄/倾斜，那么这种移动会干扰用户将相机朝着用户想要拍摄的被摄体指向的运动。手持式控制附件5001可以包括改变开关5005，该改变开关5005能够在依赖于相机的自动设定模式和用户可以手动操作相机的模式之间改变模式。在这种情况下，当将改变开关5005设定为相机的手动模式时，为了相机稳定而使相机摇摄/倾斜，但
是不执行针对被摄体搜索的大的摇摄/倾斜角度改变。
[0097]
可替代地，即使当没有提供改变开关5005时，也可以提供能够检测附件5001是否连接到图像拾取装置101的附件检测部5002。在这种情况下，当连接附件时，为了相机稳定而使相机摇摄/倾斜，但是可以不执行针对被摄体搜索的大的摇摄/倾斜角度改变。可以利用现有方法来检测附件的连接，诸如电压和id的改变。
[0098]
当通过改变开关5005或附件检测部5002设定相机的手动模式时，不执行针对被摄体搜索的大的摇摄/倾斜角度改变，但是为了相机稳定而使相机摇摄/倾斜。可以执行这样的倾斜校正，即，使相机的光轴相对于重力方向维持在某个方向上，但是这可能干扰用户的操作。相机稳定切掉了较低的频率(例如，小于或等于0.1hz的频率范围)，并且仅校正较高的频率分量。
[0099]
即使当没有针对被摄体搜索使相机摇摄/倾斜时，用户也可能希望手动改变摇摄/倾斜方向。如图31中所示，当图像拾取装置101指向被摄体5101并拍摄被摄体5101时，用户可以操作图像拾取装置101的倾斜角度以使得光轴指向图像拾取装置101的上方，然后拍摄。在这种情况下，可以在手持式控制附件5001中提供能够改变摇摄/倾斜方向的操作构件5003。可以采用这样的方法，其中，操作构件5003可以在xy坐标中自由地平移，并且图像拾取装置101根据操作方向被摇摄/倾斜。例如，当操作构件向上移动时，相机朝着相机的上方倾斜；当操作构件向下移动时，相机朝着相机的下方倾斜；当操作构件向右或向左移动时，相机将根据方向被摇摄。
[0100]
可以提供用户可以在任意定时进行拍摄的快门按钮5004。可以提供可以改变拍摄模式(例如，静止图像拍摄模式、视频拍摄模式、全景拍摄模式、延时拍摄模式等)的开关5006。
[0101]
可以使用非接触式通信手段作为从手持式控制附件5001向图像拾取装置101提供控制指令的方法。
[0102]
可以通过连接电信号并分别为图像拾取装置101和手持式控制附件5001提供的连接器来发出控制指令；但是，当图像拾取装置101中包括电池时，手持式控制附件不需要用于电池的连接器。因此，如果提供用于操作(诸如释放)的连接器，那么要求对连接部增加防水功能，或者需要一些部件，结果导致装置尺寸增大或成本增加。
[0103]
非接触式通信手段可以是蓝牙低功耗(ble)，可以是近场通信(nfc)ble，或者可以是其他方法。
[0104]
手持式控制附件5001的无线电波发生器可以是小型的，具有小的电源容量，或者可以是利用例如纽扣电池或按压快门按钮5004的力来生成少量电力的部件。
[0105]
以这种方式，与图像拾取装置分离并且具有用于向图像拾取装置提供释放指令的操作构件和用于提供驱动图像拾取装置的旋转机构的指令的操作构件的附件可以被构造为可附接到图像拾取装置。具有用于提供可以设定拍摄单元的静止图像模式、视频模式、全景模式和延时拍摄模式中的两个或更多个的拍摄模式改变指令的操作构件的附件可以被构造为可附接到图像拾取装置。通过非接触通信手段从附件向图像拾取装置提供使用操作构件的操作指令。图像拾取装置可以检测关于连接到图像拾取装置的附件的信息，并基于关于附件的信息来改变稳定手段的控制频带。通过检测关于附件的信息，可以改变是否执行倾斜校正以相对于重力方向维持在某个方向上的角度。稳定控制频带的低频侧可以根据
检测到的关于附件的信息而被切掉。
[0106]
图32是可机械地安装在与图像拾取装置101不同的相机3201的配件插座3202上的图像拾取装置101的配置的示例。
[0107]
如图32中所示，当图像拾取装置101被安装在配件插座上时，图像拾取装置101安装在相机3201上的朝向以及在相机3201的光轴方向与图像拾取装置101的光轴方向之间的角度差是已知的。因此，相机3201和图像拾取装置101容易彼此协作地被控制。
[0108]
图像拾取装置101和相机3201之间的信息传送可以通过这样的机构来实现，其中，在要连接到配件插座的部分处提供电触点，并且在图像拾取装置101和相机3201之间传送信息。图像拾取装置101和相机3201可以具有经由例如usb等来传送信息的机构。可替代地，可以使用无线通信(ble、nfc等)，或者可以使用其他方法。
[0109]
稍后将描述图像拾取装置101和相机3201之间的协作。
[0110]
《图像拾取操作的顺序》
[0111]
图7是图示在本实施例中图像拾取装置101的第一控制部223处置的操作的示例的流程图。
[0112]
当用户操作图像拾取装置101的电源按钮时，使第一电源部210从电源部向第一控制部223和图像拾取装置101的块供应电力。
[0113]
类似地，同样在第二控制部211中，使第二电源部212从电源部向第二控制部供应电力。将参考图8的流程图(稍后描述)来描述第二控制部的操作的细节。
[0114]
当供应电力时，图7的处理开始。在步骤701中，加载启动条件。在本实施例中，启动条件如下。
[0115]
(1)手动按下电源按钮，然后接通电源。
[0116]
(2)基于通过外部通信(例如，ble通信)而来自外部装置(例如，301)的指令来接通电源。
[0117]
(3)从副处理器(第二控制部211)接通电源。
[0118]
在(3)的情况下，从副处理器接通电源，在副处理器中计算的启动条件被加载，并且稍后将参考图8描述细节。
[0119]
此处加载的启动条件在被摄体搜索或自动拍摄期间被用作一个参数要素，稍后将对此进行描述。当启动条件的加载完成时，处理前进到步骤702。
[0120]
在步骤702中，从各种传感器加载信息。在此从其执行加载的传感器可以是检测振动的传感器(比如装置摇动检测部209的陀螺仪传感器和加速度传感器)。可以加载倾斜单元104和摇摄单元105的旋转位置。可以加载由语音处理部214检测到的语音级别、用于检测特定语音识别的触发、或者检测到的声音方向。
[0121]
虽然未在图1至图6中示出，但检测环境信息的传感器也会取得信息。
[0122]
例如，存在以预定时间间隔检测图像拾取装置101周围的区域的温度的温度传感器和检测图像拾取装置101周围的大气压力变化的大气压力传感器。可以提供检测图像拾取装置101周围的亮度的照度传感器、检测图像拾取装置101周围的湿度的湿度传感器、检测图像拾取装置101周围的紫外线量的uv传感器等。除了检测到的温度信息、大气压力信息、亮度信息、湿度信息和uv信息以外，通过根据检测到的各条信息计算预定时间间隔的变化率而获得的温度变化、大气压力变化、亮度变化、湿度变化、紫外线变化等被用于自动拍
摄的确定等(稍后描述)。
[0123]
当在步骤702中执行来自各种传感器的信息的加载时，处理前进到步骤703。
[0124]
在步骤703中，检测是否存在来自外部装置的通信指令，并且，当存在通信指令时，执行与外部装置的通信。
[0125]
例如，经由无线lan或ble从智能设备301发送或接收远程操作或数据(比如语音信号、图像信号、压缩语音信号和压缩图像信号)。来自智能设备301的以下项被加载：是否存在图像拾取装置101的用于拍摄等的操作指令，语音命令注册数据的发送，基于gps位置信息的预定位置检测通知或地点移动通知，或者发送或接收学习数据的指令。
[0126]
此外，例如，当存在关于用户的运动的更新信息、关于手臂的动作的信息或诸如心率之类的生物学信息时，从可穿戴设备501加载信息。检测上述环境信息的各种传感器可以安装在图像拾取装置101上，或者可以安装在智能设备301或可穿戴设备501上。在后一种情况下，环境信息也经由ble加载。当在步骤703中完成了来自外部装置的通信和加载信息时，处理前进到步骤s704。
[0127]
在步骤704处，确定要设定的模式。从以下模式当中确定并选择要在步骤704中设定的模式。
[0128]
(1)自动拍摄模式
[0129]
[模式确定条件]
[0130]
当基于通过学习(稍后描述)设定的检测到的信息(图像、声音、时间、振动、地点、身体的改变、环境的改变)、当从模式移至自动拍摄模式起所经过的时间、先前的拍摄信息等确定要执行自动拍摄时，模式被设定为自动拍摄模式。
[0131]
[模式中的处理]
[0132]
在自动拍摄模式的处理中(步骤710)，基于检测到的信息(图像、声音、时间、振动、地点、身体的改变、环境的改变)，通过摇摄/倾斜或缩放来自动执行针对被摄体的搜索。当确定是能够执行用户偏好的拍摄的定时时，执行从各种拍摄方法(比如静止图像的单次拍摄、静止图像的连续拍摄、视频拍摄、全景拍摄和延时拍摄)中确定拍摄方法的处理，然后自动执行拍摄。
[0133]
(2)自动编辑模式
[0134]
[模式确定条件]
[0135]
当基于从执行上次自动编辑时起所经过的时间以及先前拍摄图像信息确定要执行自动编辑时，将模式设定为自动编辑模式。
[0136]
[模式中的处理]
[0137]
在自动编辑模式的处理中(步骤712)，基于学习来执行选择静止图像或移动图像的处理，并且基于学习通过使用图像效果、编辑的移动图像的持续时间等来执行创建作为摘要的一个移动图像的精彩视频的自动编辑处理。
[0138]
(3)图像传送模式
[0139]
[模式确定条件]
[0140]
在基于经由智能设备中安装的专用应用的指令将模式设定为自动图像传送模式的情况下，当基于从执行上次图像传送起所经过的时间和先前的拍摄信息确定要执行图像传送时，模式被设定为自动图像传送模式。
[0141]
[模式中的处理]
[0142]
在自动图像传送模式的处理中(步骤714)，图像拾取装置101自动提取可以匹配用户偏好的图像，并且使智能设备301自动提取用户偏好的图像并传送图像。基于指派给图像并基于用户偏好确定的评分来执行用户偏好的图像的提取。
[0143]
(4)学习模式
[0144]
[模式确定条件]
[0145]
当基于从执行上次学习处理起所经过的时间、与可以用于学习的图像相关联的信息、学习数据的数量等确定要执行自动学习时，将模式设定为自动学习模式。可替代地，当也存在经由来自智能设备301的通信设定学习数据的指令时，将模式设定为这个模式。
[0146]
[模式中的处理]
[0147]
在自动学习模式的处理中(步骤716)，图像拾取装置101执行适合于用户偏好的学习。基于关于在智能设备301上进行的操作的信息、从智能设备301提供的学习信息等，通过使用神经网络来执行适合于用户偏好的学习。关于在智能设备301上进行的操作的信息包括例如来自图像拾取装置的图像取得信息、经由专用应用提供手动编辑指令的信息、以及关于由用户为图像拾取装置中的图像输入的确定值的信息。
[0148]
同时执行个人标识注册、语音注册、声音场景注册、一般物体识别注册等的与检测相关的学习、低电力消耗模式的上述条件的学习等。
[0149]
(5)自动文件删除模式
[0150]
[模式确定条件]
[0151]
当基于从上次自动文件删除被执行时起所经过的时间以及其上记录有图像的非易失性存储器216的剩余容量确定要执行自动文件删除时，模式被设定为自动文件删除模式。
[0152]
[模式中的处理]
[0153]
在自动文件删除模式的处理中(步骤718)，基于非易失性存储器216中的图像当中每个图像的标签信息、拍摄日期和时间等来指定要自动删除的文件(三个选择)，并删除文件。
[0154]
稍后将描述自动拍摄模式的处理、自动编辑模式的处理以及学习模式的处理的细节。
[0155]
在步骤705中，确定在步骤704中设定的模式是否是低电力消耗模式。在低电力消耗模式确定中，当不满足“自动拍摄模式”、“自动编辑模式”、“自动图像传送模式”、“学习模式”和“自动文件删除模式”(稍后描述)中的任意模式的确定条件时，确定将模式设定为低电力消耗模式。当执行确定处理时，处理前进到步骤705。
[0156]
当在步骤705中确定满足低电力消耗模式条件时，处理前进到步骤706。
[0157]
在步骤706中，将要经历副处理器(第二控制部211)中的确定的关于启动因素的各种参数(用于摇动检测确定的参数、用于声音检测的参数以及经过时间检测参数)提供给副处理器。各种参数的值随着学习处理中学习的结果而变化(稍后描述)。当步骤706的处理完成时，处理前进到步骤707，主处理器(第一控制部223)的电源被关断，并且处理结束。
[0158]
另一方面，当在步骤705中确定模式不是低电力消耗模式时，处理前进到步骤709，并且确定要设定的模式是否是自动拍摄模式。当模式是自动拍摄模式时，处理前进到步骤
710，并且执行自动拍摄模式的处理。当处理完成时，处理返回到步骤702，并且重复该处理。当在步骤709中确定模式不是自动拍摄模式时，处理前进到步骤711。
[0159]
在步骤711中，确定要设定的模式是否是自动编辑模式。当模式是自动编辑模式时，处理前进到步骤712，并且执行自动编辑模式。当处理完成时，处理返回到步骤702，并且重复该处理。当在步骤711中确定模式不是自动编辑模式时，处理前进到步骤713。
[0160]
在步骤713中确定要设定的模式是否是自动图像传送模式。当模式是自动图像传输模式时，处理前进到步骤714，并且执行自动图像传送模式的处理。当处理完成时，处理返回到步骤702，并且重复该处理。当在步骤713中确定模式不是自动图像传输模式时，处理前进到步骤715。
[0161]
在步骤715中确定要设定的模式是否是学习模式。当模式是学习模式时，处理前进到步骤716，并且执行学习模式的处理。当处理完成时，处理返回到步骤702，并且重复该处理。当在步骤715中确定模式不是学习模式时，处理前进到步骤717。
[0162]
在步骤717中，确定要设定的模式是否是自动文件删除模式。当模式是自动文件删除模式时，处理前进到步骤718，并且执行自动文件删除模式的处理。当处理完成时，处理返回到步骤702，并且重复该处理。当在步骤717中确定要设定的模式不是自动文件删除模式时，处理返回到步骤702，并且重复该处理。
[0163]
图8是图示在本实施例中图像拾取装置101的第二控制部211所处置的操作的示例的流程图。
[0164]
当如在通过第一电源部210从电源部向第一控制部223供应电力的情况下，用户操作图像拾取装置101的电源按钮时，同样在第二控制部211中，由第二电源部212从电源部向第二控制部211供应电力。当供应电力时，副处理器(第二控制部211)启动，并且图8的处理开始。
[0165]
在步骤801中，确定是否已经经过了作为采样时间间隔的预定时段。例如，当预定时段被设定为10毫秒时，处理以10毫秒的时间间隔前进到步骤802。当确定尚未经过预定时段时，副处理器不执行任何处理就返回步骤801，并一直等到经过预定时段为止。
[0166]
在步骤802处，加载学习信息。学习信息是在图7的步骤706中将信息传送到副处理器时所传送的信息，并且例如加载以下信息。
[0167]
(1)用于特定摇动检测的确定条件
[0168]
(2)用于特定声音检测的确定条件
[0169]
(3)用于经过时间确定的确定条件
[0170]
当在步骤802中加载学习信息时，处理前进到步骤803，并且取得摇动检测值。摇动检测值是来自检测振动的传感器(诸如装置摇动检测部209的陀螺仪传感器和加速度传感器)的输出值。
[0171]
当在步骤803中取得了摇动检测值时，处理前进到步骤804，并且执行检测预设的摇动状态的处理。在此，基于在步骤802中加载的学习信息来改变确定处理。将描述一些示例。
[0172]
(1)轻敲检测
[0173]
可以通过在图像拾取装置101中提供的加速度传感器的输出值来检测用户例如用指尖等轻敲图像拾取装置101的状态(轻敲状态)。通过以预定采样将三轴加速度传感器的
输出传递到设定在预定频率范围内的带通滤波器(bpf)，可以提取基于轻敲的加速度改变的信号范围。基于在预定时间timea中通过bpf的加速度信号超过预定阈值thresha的次数是否为预定计数counta来检测轻敲。在双击的情况下，counta被设定为二。在三连击的情况下，counta被设定为三。timea或thresha也可以根据学习信息而变化。
[0174]
(2)摇动状态的检测
[0175]
可以根据在图像拾取装置101中提供的陀螺仪传感器或加速度传感器的输出值检测图像拾取装置101的摇动状态。用hpf切掉陀螺仪传感器或加速度传感器的输出的高频分量，用lpf切掉低频分量，然后执行绝对值转换。基于在预定时间timeb中计算出的绝对值超过预定阈值threshb的次数是否大于或等于预定计数countb来检测振动。例如，可以确定摇动状态是像将图像拾取装置101放置在桌子上那样的小摇动状态还是像用户正带着可穿戴图像拾取装置101行走那样的大摇动状态。当提供用于确定阈值的多个条件和用于确定计数数量的多个条件时，可以检测到针对摇动水平的微小摇动状态。
[0176]
timeb、threshb或countb也可以根据学习信息而变化。
[0177]
上面描述了基于摇动检测传感器的条件确定来检测特定摇动状态的方法。但是，当在预定时间内采样的摇动检测传感器的数据被输入到使用神经网络的摇动状态确定设备时，经训练的神经网络能够检测预先注册的特定的摇动状态。在这种情况下，在步骤802中加载学习信息将加载神经网络的权重参数。
[0178]
当在步骤804中执行了特定摇动状态检测处理时，处理前进到步骤805，并且预设的特定声音检测处理被执行。在此，根据在步骤802中加载的学习信息来改变检测确定处理。将描述一些示例。
[0179]
(1)特定语音命令检测
[0180]
检测特定语音命令。语音命令可以是预先注册的一些命令，并且用户可以在图像拾取装置中注册特定语音。
[0181]
(2)特定声音场景识别
[0182]
利用基于大量语音数据通过机器学习预先训练的网络来执行声音场景确定。例如，检测特定场景，比如“欢呼起来”、“拍手”和“说话”。要检测的场景根据学习而变化。
[0183]
(3)声音级别确定
[0184]
基于声音级别确定的检测通过例如相加在预定时间内的声音级别的大小超过预定级别的时间段的方法来执行。预定时间、预定级别的大小等根据学习而变化。
[0185]
(4)声音方向确定
[0186]
可以检测其中安装有多个麦克风的平面中的声音的方向，并且针对预定大小的声音级别来检测声音的方向。
[0187]
在步骤805中确定是否已经在语音处理部214中执行了上述确定处理，并且是否已经在预先学习到的设定下执行了特定声音检测。
[0188]
当在步骤805中执行了特定声音检测处理时，处理前进到步骤806。在步骤806中确定主处理器(第一控制部223)是否处于关断状态。当主处理器处于关断状态时，处理前进到步骤807，并且执行预设的经过时间检测处理。在此，根据在步骤802中加载的学习信息来改变检测确定处理。学习信息是在参考图7描述的步骤706中将信息传送到副处理器(第二控制部211)时所传送的信息。测量从主处理器从接通状态切换到关断状态起所经过的时间。
当经过时间大于或等于参数timec时，确定时间已经过；而当经过的时间短于timec时，确定时间尚未经过。timec是根据学习信息而变化的参数。
[0189]
当在步骤807中执行了经过时间检测处理时，处理前进到步骤808，并且确定是否确定了解除低电力消耗模式。以下低电力消耗模式解除条件被用于确定。
[0190]
(1)用于特定摇动检测的确定条件
[0191]
(2)用于特定声音检测的确定条件
[0192]
(3)用于经过时间确定的确定条件
[0193]
可以通过在步骤804中的特定摇动状态检测处理来确定是否满足用于特定摇动检测的确定条件。可以通过在步骤805中的特定声音检测处理来确定是否满足用于特定声音检测的确定条件。可以通过在步骤807中的经过时间检测处理来确定是否满足用于经过时间检测的确定条件。因此，满足任意一个或多个条件，就确定解除低电力消耗模式。
[0194]
当在步骤808中确定满足解除条件时，处理前进到步骤809，并且接通主处理器的电源。在步骤810中，将基于其确定解除低电力消耗模式的条件(摇动、声音、时间)提供给主处理器。处理返回到步骤801，并且处理循环。
[0195]
当在步骤808中没有满足任何解除条件并且确定不解除低电力消耗模式时，处理返回到步骤801，并且处理循环。
[0196]
当在步骤806中确定主处理器处于接通状态时，将从步骤803至步骤805取得的信息提供给主处理器。处理返回到步骤801，并且处理循环。
[0197]
在本实施例中，即使当主处理器处于接通状态时，也由副处理器执行摇动检测或特定声音检测，并将检测到的结果提供给主处理器。但是，当主处理器接通时，可以不执行步骤803至步骤805的处理，并且摇动检测或特定声音检测可以在主处理器中的处理(图7的步骤702)中被检测。
[0198]
如上所述，通过执行图7的步骤704至步骤707以及图8的处理，基于用户的操作来学习移至低电力消耗模式的条件和用于解除低电力消耗模式的条件。因此，可以执行适合于拥有图像拾取装置101的用户的使用的图像拾取操作。稍后将描述学习的方法。
[0199]
上面详细描述了基于摇动检测、声音检测或经过时间来解除低电力消耗模式的方法。可替代地，可以基于环境信息解除低电力消耗模式。可以基于温度、大气压力、亮度、湿度、紫外线的绝对量或变化量是否超过预定阈值来确定环境信息，并且阈值可以根据学习而改变(稍后描述)。
[0200]
可以基于神经网络来确定是否作为关于摇动检测、声音检测或经过时间的信息或每条环境信息的绝对值或变化的确定结果而解除低电力消耗模式，并且，在这个确定处理中，可以根据学习(稍后描述)来改变确定条件。
[0201]
《自动拍摄模式的处理》
[0202]
将参考图9描述自动拍摄模式的处理的细节。如上所述，本实施例中的图像拾取装置101的第一控制部223处置对以下处理的控制。
[0203]
在s901中，使图像处理部207对由成像部206捕获的信号执行图像处理，并生成用于被摄体识别的图像。
[0204]
从生成的图像中识别诸如人和物体之类的被摄体。
[0205]
当识别出人时，检测被摄体的脸部或身体。在脸部检测处理中，预先设定用于确定
人的脸部的图案，并且可以将包括在拍摄图像中并且与该图案匹配的部分检测为人的脸部图像。
[0206]
同时还计算指示作为被摄体的脸部的可能性的置信度。根据例如图像中的脸部区域的尺寸、与脸部图案的一致度等来计算一致度。
[0207]
同样对于物体识别，类似地，可以识别与预先注册的图案匹配的物体。
[0208]
例如，还存在使用拍摄图像中的色相、色度等的直方图的方法来提取特征被摄体的方法。在这种情况下，关于在拍摄视角内捕获的被摄体的图像，执行将根据图像的色相、色度等的直方图导出的分布划分为多个部分并对每个部分的拍摄图像进行分类的处理。
[0209]
例如，为拍摄图像创建多个颜色分量的直方图，每个直方图被划分为山形分布范围，将拍摄图像分类在属于相同区间的组合的区域中，并识别被摄体的图像区域。
[0210]
当针对识别出的被摄体的每个图像区域计算评价值时，具有最高评价值的被摄体的图像区域可以被确定为主被摄体区域。
[0211]
利用上述方法，可以从拍摄信息获得每条被摄体信息。
[0212]
在s902中，计算图像稳定量。具体而言，首先，基于由装置摇动检测部209取得的关于角速度和加速度的信息来计算图像拾取装置的绝对角度。然后，找到用于在抵消绝对角度的方向上致动倾斜单元104和摇摄单元105的振动控制角度，并将其设定为图像稳定量。在这里计算图像稳定量的处理中，可以根据学习处理(稍后描述)来改变计算方法。
[0213]
在s903中，确定图像拾取装置的状况。基于例如根据角速度信息、加速度信息、gps位置信息等中检测到的角度和移动量来确定图像拾取装置被放置的振动/运动状况。
[0214]
例如，当图像拾取装置101安装在车辆上并捕获图像时，诸如周围风景之类的被摄体信息取决于移动的距离而显著变化。
[0215]
因此，确定图像拾取装置101是否处于图像拾取装置101被安装在车辆等上并且正在高速移动的“车辆移动状态”中，并且可以被用于稍后将进行描述的自动被摄体搜索。
[0216]
还确定角度改变是否大，并且确定图像拾取装置101是否被置于几乎没有摇动角度的“静止捕获状态”。
[0217]
在“静止捕获状态”的情况下，可以认为图像拾取装置101本身的角度没有改变，因此可以执行针对静止捕获的被摄体搜索。
[0218]
当角度的改变相对大时，确定图像拾取装置101处于“手持状态”，因此可以执行针对手持状态的被摄体搜索。
[0219]
在s904中，执行被摄体搜索处理。被摄体搜索由以下处理组成。
[0220]
(1)区域划分
[0221]
将参考图13描述区域划分。如图13a中所示，在图像拾取装置的位置(原点o被定义为图像拾取装置的位置)的整个周围进行区域划分。在图13a的示例中，在倾斜方向和摇摄方向中的每一个上每22.5度执行区域划分。当如图13a中所示执行区域划分时，由于倾斜方向上的角度从零度离开，因此水平方向上的周长减小，并且面积减小。因此，如图13b中所示，当倾斜角大于或等于45度时，将水平方向上的面积范围设定为大于22.5度。图13c和图13d示出了在拍摄视角内划分区域的示例。轴1301是图像拾取装置101在初始化时的方向，并且通过将这个方向角度设定为基准位置来划分区域。1302指示正被捕获的图像的视角区域，并且此时图像的示例在图13d中示出。在视角中出现的图像中，基于区域划分，如图13d
的1303至1318的情况中那样划分图像。
[0222]
(2)每个区域的重要级别的计算
[0223]
对于如上所述划分的每个区域，根据存在于该区域中的被摄体和该区域的场景条件来计算指示搜索优先级次序的重要级别。例如，基于区域中存在的人数、每个人的脸部的尺寸、脸部朝向、脸部检测的可能性、每个人的脸部表情以及每个人的个人认证结果来计算基于被摄体的状况的重要级别。基于场景的状况的重要级别例如是一般物体识别结果、场景识别结果(蓝天、逆光、夜景等)、来自区域的声音级别和语音识别结果、区域中的移动感测信息等。在确定图像拾取装置的状况时已检测到图像拾取装置的振动状况(s903)，并且重要性级别也可以被配置成根据振动状况而变化。例如，当确定为“静态拍摄状态”时，当检测到特定人的脸部标识时，重要级别被确定为高，从而通过关注注册有脸部标识的被摄体当中具有较高优先级的被摄体(例如，图像拾取装置的用户)来执行被摄体搜索。还优先在上述脸部上执行自动拍摄(稍后描述)。即使当图像拾取装置的用户将图像拾取装置穿戴在身上进行拍摄期间的时间段长时，但是当图像拾取装置被卸下并放在桌子上等时，也可以记录包含用户的许多图像。此时，能够借助于摇摄/倾斜进行搜索，因此，即使当不考虑图像拾取装置的放置角度等时，也可以仅通过粗略放置图像拾取装置来记录包含用户图像和包含许多脸部的集体照等。仅在上述条件下，除非区域发生改变，否则具有最高重要级别的区域是相同的，结果是发现的区域始终保持不变。因此，重要级别根据先前的拍摄信息而改变。具体而言，可以降低已经连续指定为搜索区域达预定时间的区域的重要级别，或者可以降低在s910(稍后描述)中执行拍摄的区域的重要级别达预定时间。
[0224]
(3)搜索目标区域的决定
[0225]
当如上所述计算每个区域的重要级别时，将具有高重要级别的区域决定为搜索目标区域。计算将搜索目标区域捕获到视角中所需的目标摇摄/倾斜搜索角度。
[0226]
在s905中，相机被摇摄/倾斜。具体而言，通过将基于图像稳定量和目标摇摄/倾斜搜索角度的控制采样处的驱动角度相加来计算摇摄/倾斜量，并且倾斜单元104和摇摄单元105各自被控制为由镜筒旋转驱动部205驱动。
[0227]
在s906中，变焦单元201被控制，并且相机被变焦。具体而言，根据在s904中设定的搜索目标被摄体的状况来对相机进行变焦。例如，当搜索目标对象是人的脸部时，因为尺寸小于可检测的最小尺寸，所以无法检测到图像上太小的脸部，并且可能丢失。在这种情况下，变焦单元201被控制为变焦到望远侧以使得图像上的脸部的尺寸增大。另一方面，当图像上的脸部太大时，取决于被摄体或图像拾取装置本身的移动，被摄体可能落在视角之外。在这种情况下，控制变焦单元201以变焦到广角侧以使得帧中的脸部尺寸减小。通过以这种方式执行变焦控制，可以维持适合于跟踪被摄体的状态。
[0228]
在s904至s906中，描述了用于通过摇摄/倾斜或变焦来进行被摄体搜索的方法。可替代地，可以通过使用多个广角透镜一次拍摄所有方向的图像拾取系统来执行被摄体搜索。在全向相机的情况下，如果对作为输入图像的通过拍摄获得的所有信号执行诸如被摄体检测之类的图像处理，那么需要大量处理。因此，裁剪图像的一部分，并且在被裁剪的图像的范围内执行搜索被摄体的处理。如在上述方法的情况下那样，计算每个区域的重要级别，基于重要级别改变裁剪位置，并且执行关于自动拍摄的确定(稍后描述)。因此，能够减少电力消耗并通过图像处理进行高速被摄体搜索。
[0229]
在s907中确定是否存在用户的(手动)拍摄指令。当存在拍摄指令时，处理前进到s910。此时，用户的(手动)拍摄指令可以是按下图像拾取装置101的快门按钮或按下手持控制附件5001的快门按钮。可替代地，用户的(手动)拍摄指令可以是用手指等轻敲图像拾取装置的壳体、语音命令输入、来自外部装置的指令等。通过轻敲提供的拍摄指令是当用户轻敲图像拾取装置的壳体时通过装置摇动检测部209在短时段内感测相继的高频加速度并触发拍摄的拍摄指令方法。语音命令输入是当用户说出用于提供用于预定拍摄的指令的密码(例如，“拍照”等)时通过语音处理部214识别语音并触发拍摄的拍摄指令方法。来自外部装置的指令是使用经由专用应用从例如通过蓝牙连接到图像拾取装置的智能电话等发送的快门指令信号作为触发的拍摄方法。
[0230]
在s908中，执行自动拍摄确定。在自动拍摄确定中，执行关于是否执行自动拍摄的确定以及拍摄方法的确定(确定执行静止图像的单张拍摄、静止图像的连续拍摄(连续曝光)、视频拍摄、全景拍摄、延时拍摄等中的哪一个)。
[0231]
为了拍摄在用户的眼前的物体，可以想到这样的场景：用户在将图像拾取装置戴在用户身上的情况下稍微向前推动图像拾取装置的同时进行拍摄。例如，在这种场景中，期望通常快速拍摄静止图像。为了拍摄风景区，可以想到这样的场景，即，用户握住从脖子上垂下的图像拾取装置并在将图像拾取装置向前方上方抬起的同时拍摄。在这样的场景中，例如，即使在预期或不预期全景拍摄的情况下，当通过全景拍摄获得的图像被提供给用户时，用户也会学习这种拍摄方法，并且这种经验可以被用于将来的拍摄。因此，为了识别这些场景，例如通过检测图像拾取装置从保持状态到拍摄的移动距离来识别场景。以这种方式，优选的拍摄方法可以取决于设定图像拾取装置的方式而变化，因此可以根据移至拍摄时图像拾取装置的状况来改变拍摄方法。为了用户的目的，在被摄体稍微向上放置并且图像拾取装置被向上抬起以拍摄被摄体的场景的情况下，期望快速拍摄正常的静止图像。因此，为了执行这些识别，例如，检测被摄体距离。因此，可以识别场景。以这种方式，由于优选的拍摄方法可以根据被摄体的状况而变化，因此可以根据移至拍摄时的图像拾取装置的状况和看到的被摄体的状况来改变拍摄方法。为了拍摄在用户的眼前垂直方向上长的被摄体，建议用户握住从脖子上垂下的图像拾取装置并且在握住朝上的图像拾取装置的同时拍摄的状态。可以想到这样的场景，例如在观光场所拍摄阁楼建筑物的图像。在这样的场景中，例如，即使在预期或不预期垂直全景拍摄的情况下，当通过垂直全景拍摄获得的图像被提供给用户时，用户也学习这种拍摄方法，并且这种经验可以被用于进一步的拍摄。因此，在这种情况下，检测握持角度。因此，可以识别场景。可以通过进一步确定例如距被摄体的距离以及顶部、底部、右侧和左侧区域中距被摄体的距离作为此时被摄体的状况来提高确定是垂直全景还是水平全景是优选的准确性。换句话说，当到被摄体的距离与到被摄体的顶部和底部区域的距离是相等的距离时，可以确定要执行垂直全景拍摄。对于360度拍摄，可以想到这样的场景：用户握住从脖子上垂下的图像拾取装置并在握住朝向正上方的图像拾取装置的同时拍摄。可以想到这样的场景，例如，拍摄示出在山顶环顾四周的状态的图像。此时，可以想到，例如，用户利用外部装置将模式设定为360度拍摄模式并提供拍摄指令。因此，例如，在这种情况下，当在用户操作外部装置时提供用于询问是否移至360度拍摄的用户界面时，可以减少用于用户操作的时间和精力。此外，虽然这种操作被重复了若干次，但是用户预期仅通过在外部装置朝向正上方的情况下按下快门按钮而不操作外部装置
就能够执行360度拍摄。因此，在这种情况下，例如，当图像拾取装置从握持状态到拍摄的移动方向是正上方向时，执行360度拍摄，可以减少用户拍摄的时间和精力。
[0232]
以这种方式，通过基于图像拾取装置的状况和被摄体的状况来改变拍摄方法，可以减少拍摄期间和检查拍摄图像期间的用户的时间和精力。
[0233]
在基于图像拾取装置的状况和被摄体的状况的预期的拍摄方法的确定以及《关于是否执行自动拍摄的确定》中的确定方法中，可以通过基于神经网络的确定来确定拍摄方法。在这种确定处理中，可以通过学习处理(稍后描述)来逐个用户地改变确定条件。在这种情况下，在学习的初始阶段用多种拍摄方法记录多个图像，并且在学习处理(稍后描述)中，可以根据用户偏好哪种拍摄方法的图像来改变确定条件。
[0234]
以这种方式，描述在存在用户的手动拍摄指令的情况下适合于用户意图的拍摄方法的确定。像s908b一样，在没有手动拍摄指令的情况下，这种处理适于自动拍摄确定处理。换句话说，当确定设定了图像拾取装置时，可以通过检测设定图像拾取装置的方式类似地确定反映用户意图的拍摄方法。
[0235]
通过监视图像拾取装置的加速度，即使在自动拍摄期间，也可以检测设定图像拾取装置的方式，并且可以确定反映用户意图的拍摄方法。
[0236]
(1)关于是否执行自动拍摄的确定
[0237]
基于以下两个确定来执行关于是否执行自动拍摄的确定。一个确定是，当在s904中获得的基于每个区域的重要级别的重要级别超过预定值时，确定执行自动拍摄。第二个确定是基于神经网络的确定。作为神经网络的示例，图12中示出了带有多层感知器的网络的示例。神经网络被用于根据输入值预测输出值，并且当神经网络预先学习了输入值和针对输入的模型输出值时，能够根据学习的模型为新的输入值估计输出值。稍后将描述学习的方法。在图12中，以列布置的1201和其后的圆圈是输入层的神经元，以列布置的1203和其后的圆圈是中间层的神经元，而1204是输出层的神经元。像1202这样的箭头表示连接神经元的结合。在基于神经网络的确定中，基于场景或图像拾取装置的状况以当前视角或特征量出现的被摄体被给予输入层的神经元作为输入，并且通过基于多层感知器的前向传播规则的计算从输出层输出值。当输出值大于或等于阈值时，确定执行自动拍摄。被摄体的特征是当前缩放比例因子、当前视角下的一般物体识别结果、脸部检测结果、当前视角中包含的脸部数量、每个脸部的微笑程度和闭眼程度、脸部角度、脸部标识id号、被摄体人物的视线角度、场景识别结果、特定构图的检测结果等。可以使用从上次拍摄起经过的时间、当前时间、gps位置信息、与上次拍摄位置的偏差、当前语音级别、讲话者、拍手还是欢呼声等。可以使用振动信息(加速度信息、图像拾取装置的状况)、环境信息(温度、大气压力、照度、湿度、紫外线量)等。此外，当从可穿戴设备501提供信息时，可以将所提供的信息(用户的运动信息、关于手臂的动作的信息、诸如心率之类的生物学信息等)用作特征。这些特征被转换成预定范围内的数值，并作为特征量给予输入层的神经元。因此，输入层的神经元所需的数量与要使用的特征量的数量相同。
[0238]
在基于神经网络的确定中，通过在学习处理(稍后描述)中改变神经元之间的结合权重来改变输出值，并且确定的结果可以适应学习结果。
[0239]
用于自动拍摄的确定也取决于在图7的步骤702中加载的主处理器的启动条件。例如，在基于轻敲检测的启动或基于特定语音命令的启动的情况下，这是用户当前想要拍摄
的操作的可能性非常高。因此，设定拍摄频率以使其增大。
[0240]
(2)拍摄方法的确定
[0241]
在确定拍摄方法时，基于在s901至s904中检测到的图像拾取装置的状况和周围被摄体的状况来执行关于静止图像拍摄、视频拍摄、连续拍摄、全景拍摄等中的哪一个的确定。例如，当被摄体(人)静止时，执行静止图像拍摄，而当被摄体移动时，执行视频拍摄或连续拍摄。当在图像拾取装置周围存在多个被摄体或者基于上述gps信息确定在风景区中时，可以执行通过组合在摇摄/倾斜时顺序拍摄的图像来生成全景图像的全景拍摄处理。与《关于是否执行自动拍摄的确定》中的确定方法的情况一样，可以通过使用拍摄之前检测到的各种信息通过基于神经网络的确定来确定拍摄方法，并且在确定处理中，确定条件可以通过学习处理(稍后描述)来改变。
[0242]
当在s909中根据s908的自动拍摄确定而确定要拍摄时，处理前进到s910；否则，处理前进到拍摄模式的处理的结束。
[0243]
在s910中，开始自动拍摄。此时，开始使用在s908中确定的拍摄方法进行拍摄。此时，由聚焦控制部204执行自动聚焦控制。通过使用曝光控制部、传感器增益控制部和快门控制部(未示出)来执行用于将被摄体设定为适当亮度的曝光控制。此外，在拍摄之后，图像处理部207通过执行各种图像处理(诸如自动白平衡、降噪和伽马校正)来生成图像。
[0244]
在拍摄时，可以采用如下方法：当预定条件被满足时，执行向要被拍摄的人通知图像拾取装置进行拍摄、然后进行拍摄的处理。通知方法可以例如使用来自语音输出部218的语音或由led控制部224生成的led闪烁光，或者执行通过摇动/倾斜在视觉上引导被摄体的视线的运动。预定条件例如是视角中的脸部数量、每个脸部的微笑程度和闭眼程度、被摄体人的视线角度或脸部角度、脸部标识id号、具有注册的个人标识的人数等。预定条件还是在拍摄期间的一般物体识别结果、场景识别结果、从上次拍摄起所经过的时间、拍摄时间、基于gps信息的当前位置是否是风景区、拍摄期间的语音级别、是否有讲话者、是拍手还是欢呼等。预定条件还是振动信息(加速度信息、图像拾取装置的状况)、环境信息(温度、大气压力、照度、湿度、紫外线量)等。当基于这些条件执行通知的拍摄时，可以在非常重要的场景中记录具有相机偏爱的眼睛的图像。
[0245]
可替代地，可以提供多个预定条件，并且根据这些条件，可以改变语音、可以改变led点亮方法(诸如颜色和闪烁时间)，或者可以改变摇摄/倾斜运动方法(运动方式和驱动速度)。
[0246]
对于拍摄前的这种通知，也可以通过关于拍摄图像的信息或通过使用拍摄前检测到的各种信息基于神经网络的确定来确定通知的方法或定时。在这个确定处理中，可以通过学习处理(稍后描述)来改变确定条件。
[0247]
在s911中，执行其中处理在s910中生成的图像或将其添加到移动图像的编辑处理。图像处理具体地是基于人的脸部或焦点位置的裁剪、图像的旋转、hdr(高动态范围)效果、模糊效果、颜色转换滤波器效果等。在图像处理中，可以基于在s910中生成的图像通过使用上述处理的组合来生成多个图像，并且可以将生成的图像与在s910中生成的图像分开保存。在移动图像处理中，可以执行在应用滑动、变焦和淡入淡出的特殊效果的同时将拍摄的移动图像或静止图像添加到生成的编辑后的移动图像的处理。在s911中的编辑中，也可以通过关于拍摄图像的信息或者通过使用拍摄之前检测到的各种信息基于神经网络的确
定来确定图像处理的方法，并且在这个确定处理中，可以通过学习处理(稍后描述)来改变确定条件。
[0248]
在s912中，执行生成拍摄图像的学习信息的处理。在此，生成并记录在学习处理(稍后描述)中使用的信息。具体而言，该信息是当前拍摄的图像中的拍摄期间的缩放比例因子、拍摄期间的一般物体识别结果、脸部检测结果、拍摄图像中包含的脸部数量、每个脸部的微笑和闭眼程度、脸部角度、脸部标识id号、被摄体人的视线角度等。该信息还是场景识别结果、从上次拍摄起所经过的时间、拍摄时间、gps位置信息、与上次拍摄位置的偏差、拍摄期间的语音级别、讲话者、拍手或欢呼声等。该信息还是振动信息(加速度信息、图像拾取装置的状况)、环境信息(温度、大气压力、照度、湿度、紫外线量)、视频拍摄时间、是否基于手动拍摄指令等。此外，还计算评分，该评分是神经网络的输出并且是根据用户的图像偏好而被数字化的。
[0249]
这些信息被生成并作为标签信息记录在拍摄图像文件中。可替代地，关于拍摄图像的多条信息可以以列表格式作为所谓的目录数据被写在非易失性存储器216中或被保存在记录介质221中。
[0250]
在s913中，先前的拍摄信息被更新。具体而言，在s908中描述的与当前拍摄的图像相关联的针对每个区域拍摄的图像数量、针对具有注册的个人标识的每个人拍摄的图像数量、通过一般物体识别而识别出的每个被摄体的图像数量或针对场景识别中的每个场景拍摄的图像数量被增加一个计数。
[0251]
(通过语音识别的手动拍摄的示例)
[0252]
如图9的s907中所述，用户的(手动)拍摄指令还包括基于语音命令输入的指令。语音命令输入包括在用户想要拍摄包含用户他或她自己的图像的情况下的语音命令输入(例如，“拍摄我的照片”等)。然后，在使用摇摄/倾斜或变焦的搜索处理中，搜索讲话的被摄体，拍摄其中说出语音命令的被摄体被包括在拍摄视角中的图像。
[0253]
将参考图24中所示的流程图描述使用语音命令对用户他或她自己的拍摄。图24是执行图9的s907的处理内的确定的处理。
[0254]
在s907的手动拍摄指令处理中，确定拍摄是否基于语音命令输入。在s2401中，确定语音处理部214是否检测到特定的语音命令输入(例如，“拍摄我的照片”等)。当未检测到语音命令时，处理前进到s2416，并且在不进行手动拍摄确定的情况下结束手动语音控制拍摄确定处理。当在s2401中检测到语音命令时，处理前进到s2402。
[0255]
在s2402中，计算从中检测到语音命令的声音的方向，并且按照声音方向的置信度的降序的第一声音方向、第二声音方向、第三声音方向或第四声音方向被计算为候选。当检测声音方向的精度非常高时，不需要计算多个候选或者不需要执行随后的搜索处理等。但是，由于检测语音命令时的环境噪声的状况、诸如声音反射之类的物体环境的影响等，在检测到的声音方向中可能包括噪声，因此计算多个候选。
[0256]
具体而言，根据在检测到语音命令的时间点之前的预定时间内的所有检测到的声音方向值计算候选。可以在一定程度上预测说出预先注册的语音命令的时间(例如，当“拍摄我的照片”是命令时，将说该命令所花费的时间预先设定为参数)。根据在预定时间内检测到的所有检测到的声音方向值，在如图25所示的直方图处理中，将第一峰2501设定为第一声音方向，将第二峰2502设定为第二声音方向。计算第一声音方向和第二声音方向，并且
处理前进到s2405。
[0257]
在s2403中，确定是否设定了摇摄/倾斜重试。对于摇摄/倾斜重试设定，稍后在s2415中设定摇摄/倾斜重试，并且在开始这个流程的手动语音控制拍摄确定处理的时间点不执行摇摄/倾斜重试确定。当在s2403中未设定摇摄/倾斜重试时，处理前进到s2404，将在s2402中计算出的第一声音方向设定为声音方向。当在s2403中确定设定了摇摄/倾斜重试时，处理前进到s2405，并且将在s2404中计算出的第二声音方向设定为声音方向。当s2404和s2405的处理结束时，处理前进到s2406。
[0258]
在s2406中，确定设定的声音方向与当前摇摄/倾斜角度之间的差异是否落在预定范围外，即，声音方向与当前的视角中心之间的差异是否落在预定范围外。当该差异落在预定范围外时，处理前进到s2407，相机被摇摄/倾斜以调节摇摄/倾斜角度，使得检测到的声音方向到达视角中心，并且处理前进到s2408。当在s2406中声音方向与当前视角中心之间的差异落在预定范围内时，声音方向位于视角内的中心附近，因此在不进行摇摄或倾斜的情况下处理前进到s2408。
[0259]
在s2408中，通过对拍摄图像的图像处理和分析，确定主被摄体是否落在当前视角内。具体的确定方法被描述如下。
[0260]
(1)通过卷积神经网络检测主被摄体
[0261]
通过卷积神经网络对主被摄体的检测被称为图像识别处理的一般机器学习方法。通过卷积神经网络，获得是否存在检测到的主被摄体(说话的被摄体)，并且当存在主被摄体时，还获得关于图像的位置信息。可替代地，可以针对基于脸部检测和身体检测的结果裁剪每个人的区域的每个图像，通过卷积神经网络执行主被摄体确定，并且可以估计主被摄体。这种卷积神经网络是作为基于说出语音命令的人的图像进行预先训练的卷积神经网络而准备的；但是，卷积神经网络可以在稍后描述的方法中被使用时被训练。
[0262]
(2)通过神经网络检测主被摄体
[0263]
存在如下方法：对于当前视角中包含的每个人，通过使用被摄体的特征量作为输入，对每个人执行主被摄体确定。在这种情况下，不仅被摄体人的脸部特征(比如脸部表情确定结果、闭眼程度、脸部角度、脸部标识id号和视线角度)而且手势确定结果、图像场景确定结果、当前声音级别、声音场景确定结果等也可以用作要输入的特征。这种神经网络也是基于被摄体特征量并且基于说出语言命令的人的图像而被训练的神经网络；但是，神经网络可以在稍后描述的方法中被使用时被训练。
[0264]
(3)通过确定每个人的特征来检测被摄体
[0265]
由于被摄体刚刚朝着图像拾取装置101说出语音，因此被摄体面对相机的可能性非常高。因此，可以将权重系数指派给脸部标识id号、脸部表情结果、脸部角度、视线方向和手势确定结果的检测结果，并且可以简单地执行确定。当脸部标识id已经被注册时，该人是主被摄体的可能性高。当脸部表情的微笑度高时，该人是主被摄体的可能性高。当脸部角度或视线方向指向相机时，该人是主被摄体的可能性高。当执行手势(例如，向相机挥手等)时，该人是主被摄体的可能性高。可以通过使用一条或多条信息来估计主被摄体。
[0266]
在当前视角内是否存在主被摄体可以通过使用任意一种方法来确定，或者可以通过使用(1)至(3)中的两个或更多个的组合来确定。
[0267]
在s2408中执行图像分析之后，处理前进到s2409，并且确定在s2408的处理中是否
找到主被摄体。当在s2409中确定存在主被摄体时，处理前进到s2410。在s2410中，通过变焦或摇摄/倾斜来执行构图调节，并且处理前进到s2411。可以通过使用神经网络的确定来执行适于拍摄包含主被摄体的图像的构图的确定。通过在学习处理(稍后描述)中改变神经元之间的结合权重来改变输出值，并且确定的结果可以适应学习结果。
[0268]
在s2411中，确定存在手动拍摄指令，并且处理前进到s2416。手动语音控制拍摄处理结束，并且处理前进到图9中的s910，然后开始拍摄。
[0269]
当在s2409中确定当前视角内没有主被摄体时，处理前进到s2412。
[0270]
在s2412中，确定从s2407中的摇摄/倾斜完成时起是否已经过预定时间。当在s2406中已经确定声音方向和当前视角中心之差落在预定范围内时，基于从确定的时间点起所经过的时间来确定。在此，当尚未经过预定时间时，处理前进到s2413，并且执行使用变焦的搜索。当说出语音命令的被摄体在视角内非常小时，脸部的尺寸小并且脸部的分辨率也低，因此这会影响基于图像分析的检测精度。因此，在这种情况下，相机放大显示以缩小视角，并且再次执行从s2408开始的处理。当说出语音命令的被摄体在视角内太大时，无法看到人的整体图像，并且不能考虑例如做出手势等来确定。因此，相机缩小显示以扩大视角，然后再次执行从s2408开始的处理。
[0271]
当在s2412中确定从摇摄/俯仰完成起已经经过预定时间时，确定没有被摄体在所设定的声音方向上说出语音命令。然后，为了搜索下一个声音方向候选，处理前进到s2414，并且确定之前是否已经执行了摇摄/俯仰重试操作。当尚未执行重试时，处理前进到s2415，并且设定摇摄/倾斜重试，然后处理返回到s2403。此时，由于设定了摇摄/倾斜重试，因此通过s2403的确定将视角设定为作为s2405的第二声音方向的声音方向，并且再次执行搜索主被摄体的处理。在图24的示例中，示出了搜索两个候选(即，第一声音方向和第二方向)的方法；但是，可以检测第三或第四方向，并且可以重复重试。
[0272]
当在s2414中确定已经执行了摇摄/俯仰重试时，处理前进到s2416，并且在不进行手动拍摄确定的情况下结束手动语音控制拍摄确定处理。此时，为了通知用户虽然检测到语音命令但也没有执行拍摄，可以采用执行通知处理的方法。通知方法可以例如使用来自语音输出部218的语音或由led控制部224生成的led闪烁灯。通知方法可以是执行通过摇摄/倾斜在视觉上引导被摄体的视线的运动，或者可以是向智能设备301或可穿戴设备501提供通信和通知的方法。
[0273]
在图24中，描述了在用户想要拍摄包含用户他或她自己的图像的情况下，从用户执行语音命令输入而引起的拍摄。但是，语音命令输入可以是在用户想要将用户他或她自己注册为主被摄体的情况下的语音命令输入(例如，“注册我”、“跟踪我”等)。在这种情况下，在上述搜索处理中，搜索说出语音的被摄体，并且该被摄体被注册。当被摄体被注册时，通过此后聚焦于已注册的被摄体来执行自动拍摄。可以在通过摇摄/倾斜或变焦将注册的被摄体始终保持在视角内的同时执行拍摄。
[0274]
当输入用于被摄体注册的语音命令时，可以通过将图24的处理内的s2411的处理改变为注册被摄体的处理来实现被摄体注册。
[0275]
当也对被摄体进行注册时，通过摇摄/倾斜或变焦以使得视角允许容易的脸部识别注册并且容易执行所穿衣服的检测到的颜色的注册等来执行检测和注册处理。
[0276]
当图像拾取装置101没有监视器时，无法检查注册的被摄体。因此，如图26中所示，
可以将被摄体被注册的事实通知给智能设备301，或者可以发送注册的被摄体的图像数据以允许用户检查。
[0277]
当被摄体被注册时，由通信部222通过通信2601向智能设备301发送提供可以看到该注册的通知2602的数据。当用户通过操作智能设备301来检查被摄体时，图像拾取装置101发送2603图像数据，并且使智能设备显示在智能设备中注册的被摄体2604以便用户可以检查。用户可以检查的显示可以是这样的显示，即，与注册的被摄体2604相关的图像被叠加在脸部框处或脸部框附近(下方)以便指示图像拾取装置101已经识别出脸部。相关的图像可以在视频拍摄期间显示，或者可以在视频回放期间显示。
[0278]
通过提供注册的被摄体以便用户可以以这种方式进行检查，即使注册的被摄体是错误的，也可以提示用户再次注册被摄体。由于可以确定它是正确还是不正确，因此可以通过稍后将描述的学习处理来学习和改变注册的被摄体。
[0279]
在本实施例中，描述了使用摇摄/倾斜和变焦两者而通过语音命令输入进行在声音方向上的拍摄和被摄体注册；但是，可以通过仅使用摇摄/倾斜来执行拍摄和被摄体注册，或者可以通过仅使用变焦来执行拍摄和被摄体注册。
[0280]
当仅使用摇摄/倾斜时，在图24中不执行s2412和s2413。
[0281]
当仅使用变焦时，在检测到声音方向之后，将变焦设定为使声音方向落在视角内，并用变焦搜索主被摄体。这样，执行拍摄和被摄体注册。
[0282]
《自动编辑模式(精彩视频)的处理》
[0283]
接下来，将描述本实施例中的自动编辑模式(精彩视频)的处理。
[0284]
在图7的步骤704中确定要设定的模式时，确定是否执行自动编辑处理(精彩视频)。当确定要执行自动编辑处理时，执行步骤712的自动编辑模式的处理。
[0285]
将描述自动编辑模式的确定条件。基于从上次编辑处理起所经过的时间或在执行上次编辑处理的时间点之后拍摄的每个图像的标签信息(比如学习信息和将用户的图像偏好数字化的评分)来确定是否移至自动编辑模式。在步骤704的模式设定确定处理中确定的关于是否移至自动编辑模式的确定处理流程在图10中示出。
[0286]
当在步骤704的模式设定确定处理中发出开始自动编辑模式确定的指令时，图10的处理开始。在步骤1001中，取得从执行上次自动编辑处理起所经过的时间timed，并且处理前进到步骤1002。在步骤1002中，取得与在执行上次编辑处理的时间点之后拍摄的每个图像相关联的学习信息、评分等，并且处理前进到步骤1003。在步骤1003中，根据在步骤1002中取得的数据，计算用于确定是否执行自动编辑的评价值db。一种计算评价值的方法是，例如，从每条图像信息中提取图像的特征，并且当特征类型很多时，指派更高的分数。如以上自动拍摄中所述，针对每个图像计算针对用户偏好确定的评分，并且将较高的分数指派给具有较高评分的图像。随着拍摄图像数量的增加，将计算出更高的分数。因此，评价值取决于评分的分数有多高，取决于图像的数量，并且取决于特征的类型。处理前进到步骤1004。在步骤1004中，根据timed计算阈值da。例如，将timed短于预定值的情况下的阈值daa设定为大于timed大于预定值的情况下的阈值dab，并且阈值被设定为随时间而减小。因此，即使在拍摄图像数据小的情况下，当经过时间长时也执行自动编辑处理，结果是图像拾取装置被配置成根据使用时间自动创建精彩视频。
[0287]
当步骤1004的处理完成时，处理前进到步骤1005。当评价值db大于阈值da时，处理
前进到步骤1006。由于情况是，在执行上次自动编辑的时间点之后，获得了要自动编辑的数据，或者由于经过了长时间而确定要执行自动编辑，因此将自动编辑模式设定为“真”，并且自动编辑模式确定结束。当在步骤1005中评价值db小于或等于阈值da时，确定不存在要自动编辑的数据，因此将自动编辑模式确定设定为“假”，使得不执行自动编辑处理，并且自动编辑模式确定处理结束。
[0288]
接下来，将描述自动编辑模式的处理中的处理(步骤712)。自动编辑模式的详细流程在图11中示出。
[0289]
在s1101中，在第一控制部223中执行从记录在存储介质221中的静止图像和移动图像中进行选择的处理，以选择要在编辑中使用的图像，并且处理前进到s1102。
[0290]
这里的图像选择处理是在每个图像的拍摄的静止图像或移动图像中提取元数据(比如脸部数量、每个脸部的尺寸以及颜色组)，并将元数据转换成评价值，并且列出评价值大于或等于设定的阈值的图像。通过学习(稍后描述)确定静止图像与移动图像之间的选择比率，并且考虑用户的设定、拍摄的频率和设定来优先执行选择。
[0291]
在s1102中，由第一控制部223和图像处理部207对在s1101中选择的图像应用图像效果，并且处理前进到s1103。
[0292]
这里图像效果的应用是在静止图像中裁剪人的脸部或焦点位置的中心、图像旋转、hdr(高动态范围)效果、模糊效果、滑动、缩放和淡入淡出的特殊效果、滤色效果等。
[0293]
同样在移动图像中，类似地应用滤色器。
[0294]
在s1103中，在第一控制部223中设定图像回放时间，并且处理前进到s1104。基于学习(稍后描述)来设定适当的图像回放时间，以通过使用在s1101中选择的图像来创建将在s1105中描述的精彩视频。
[0295]
在s1104中，在第一控制部223中设定要应用于将在s1105中描述的精彩视频的音乐(bgm)，并且处理前进到s1105。为了设定音乐(bgm)，也将基于学习(稍后描述)的结果来设定要提供给用户的最合适的音乐。
[0296]
在s1105中，使用在第一控制部223中执行的s1101至s1104的结果来执行一系列精彩视频创建。所创建的精彩视频被保存在记录介质221中。
[0297]
可以通过使用添加到每个图像的标签信息(关于拍摄图像的信息或拍摄之前检测到的各种信息)经由基于神经网络的确定来确定上述图像的选择、图像效果的应用、回放时间和bgm选择。在这个确定处理中，可以通过学习处理(稍后描述)来改变确定条件。
[0298]
《自动文件删除模式的处理》
[0299]
接下来，将描述本实施例中的自动文件删除模式的处理。
[0300]
在本实施例中，当记录介质中没有可用容量时，不能执行拍摄，并且存在不能响应于用户的意图执行拍摄或者在自动拍摄中不能拍摄预期场景的担忧。图像可以通过用户的操作删除；但是，这是复杂的。因此，在下面将描述的处理中，需要自动删除满足条件的拍摄图像。另一方面，用户可能删除稍后需要的图像，因此需要选择并删除适当的图像。
[0301]
将通过图29的自动文件删除模式的处理流程的示例来描述该处理。
[0302]
在s2901中，检查记录介质中的可用容量。在s2902中，根据记录介质中的可用容量来确定要删除的图像的目标数量。例如，将要删除的图像的目标数量设定为随着可用容量的减少而增加，并且设定为随着设定的拍摄频率的增加而增加。可以根据学习(稍后描述)
来改变要删除的图像的目标数量。在s2903中，创建保存在记录介质中并以评分的降序排序的拍摄图像的列表，该评分将用户的图像偏好数字化(稍后描述)。从s2904，确定是否从排序列表的顶部到底部一个一个地删除图像，并且执行删除处理。在s2905中，确定列表上的预期图像是否满足删除条件。
[0303]
删除条件可以是例如图像不是用户手动拍摄的图像或者图像不是用户高度评价的图像的事实。这些是用户喜欢或以后可能需要的图像，因此期望将它们从删除条件中排除。
[0304]
可以使用在自动传送模式下图像已经被传送到外部通信装置(比如智能设备)的事实、用户尚未从外部通信装置浏览图像的事实等。当图像已经被传送时，所传送的图像是可使用的，因此图像的删除不太可能导致用户的不利。用户甚至一次都没有浏览过的自动拍摄图像未被用户识别，因此，即使当图像被删除时，也可以推定用户不会感到不利。当图像满足删除条件时，处理前进到s2906，将图像删除，并且处理前进到s2907。当图像不满足条件时，处理前进到s2907而不删除图像。在s2907中，确定是否达到要删除的图像的目标数量。当达到目标数量时，自动删除模式的处理结束。当未达到目标数量时，处理返回到s2904，并且在列表中的下一个图像上顺序地重复该处理。当在s2904中列表中没有要处理的图像时，处理结束。
[0305]
《学习模式的处理》
[0306]
接下来，将描述在本实施例中适应用户偏好的学习。
[0307]
在本实施例中，使用如图12中所示的神经网络，并且使用机器学习算法在学习处理部219中执行适应用户偏好的学习。神经网络被用于根据输入值预测输出值。当神经网络预先学习了输入值的历史值和输出值的历史值时，神经网络能够为新的输入值估计输出值。通过使用神经网络，针对上述自动拍摄、自动编辑和被摄体搜索执行适应用户偏好的学习。
[0308]
注册作为要输入到神经网络的特征数据的被摄体注册(脸部标识、一般物体识别等)，并且通过学习来改变拍摄通知控制、低电力消耗模式控制和自动文件删除。
[0309]
在本实施例中，通过学习处理要学习的要素如下。
[0310]
(1)自动拍摄
[0311]
将描述针对自动拍摄的学习。在自动拍摄中，执行针对自动拍摄与用户偏好匹配的图像的学习。如参考图9的流程所述，在拍摄之后执行生成学习信息的处理(步骤s912)。选择要通过方法(稍后描述)学习的图像，并且通过基于图像中包括的学习信息改变神经网络的权重来执行学习。通过改变确定自动拍摄定时的神经网络并改变确定拍摄方法(静止图像拍摄、视频拍摄、连续拍摄、全景拍摄等)的神经网络来执行学习。
[0312]
(2)自动编辑
[0313]
将描述针对自动编辑的学习。对于自动编辑，对在图9的步骤911中紧接在拍摄之后的每个编辑以及图11中描述的精彩视频的编辑执行学习。将描述紧接在拍摄之后的编辑。选择要通过方法(稍后描述)学习的图像，并且通过基于图像中包括的学习信息改变神经网络的权重来执行学习。从拍摄时或紧接在拍摄前的信息中获得的各种检测信息被输入到神经网络，并且确定编辑方法(裁剪、图像的旋转、hdr(高动态范围)效果、模糊效果、色彩转换滤波器效果等)。将描述精彩视频的编辑。对于精彩视频，执行针对自动创建与用户偏
好匹配的视频相册的学习。选择要通过方法(稍后描述)学习的图像，并且通过基于图像中包括的学习信息改变神经网络的权重来执行学习。从拍摄时或紧接在拍摄前的信息中获得的各种检测信息被输入到神经网络，并确定图像效果(裁剪、旋转、hdr效果、模糊效果、滑动、变焦、淡入淡出、色彩转换滤波器效果、bgm、静止图像-移动图像的比率)的应用。
[0314]
(3)被摄体搜索
[0315]
将描述针对被摄体搜索的学习。对于被摄体搜索，执行针对自动搜索与用户偏好匹配的被摄体的学习。如参考图9的流程所述，在被摄体搜索处理(步骤s904)中，计算每个区域的重要级别，对相机进行摇摄/倾斜或变焦，并且执行被摄体搜索。基于拍摄图像和搜索期间检测到的信息执行学习，并且通过改变神经网络的权重执行学习。反映学习的被摄体搜索是通过将在搜索操作期间的各种检测信息输入到神经网络、计算重要级别并基于重要级别设定摇摄/倾斜角度来执行的。除了基于重要级别设定摇摄/倾斜角度之外，例如，还执行摇摄/倾斜(速度、加速度、运动频率)的学习。
[0316]
(4)被摄体注册
[0317]
将描述针对被摄体注册的学习。在被摄体注册中，执行针对自动注册并排名与用户偏好匹配的被摄体的学习。为了学习，例如，执行脸部标识注册、一般物体识别的注册以及手势、语音识别和基于声音的场景识别的注册。为了进行标识注册，对人和物体的标识进行注册，并基于取得图像的次数或频率、手动拍摄图像的次数或频率以及被搜索的被摄体的出现频率来设定排名。注册的信息将被注册为使用神经网络的确定的输入。
[0318]
(5)拍摄通知控制
[0319]
将描述针对拍摄通知的学习。如参考图9的s910所述，当紧接在拍摄之前满足预定条件时，图像拾取装置向要被拍摄的人通知要拍摄该人的图像，然后拍摄该人。例如，使用通过摇摄/倾斜在视觉上引导被摄体的视线的运动，从语音输出部218发出的扬声器声音，以及由led控制部224生成的led闪烁光。基于紧接在通知之后是否获得了检测信息(例如，微笑程度、视线检测、手势)来确定是否在学习中使用被摄体的检测信息，并通过改变神经网络的权重来执行学习。可替代地，选择要通过方法(稍后描述)学习的图像，并且通过基于图像中包括的学习信息改变神经网络的权重来执行学习。在图像中嵌入了描述如何紧接在拍摄之前执行通知运动的信息，并且将添加到所选择的图像的检测信息以及关于紧接在拍摄之前的通知运动的信息作为训练数据来进行学习。紧接在拍摄之前检测到的信息被输入到神经网络，并确定是否提供通知或各通知操作(声音(声音级别/声音类型/定时)、led灯(颜色、点亮时间、闪烁间隔)和摇摄/倾斜运动(运动的方式、驱动速度)。为了通知操作的学习，可以使用从准备的通知方法(声音、led灯和摇摄/倾斜运动的组合操作)中选择哪个通知的方法。可以使用如下方法，其中分别为声音、led灯和摇摄/倾斜运动的通知操作提供单独的神经网络，并学习这些操作。
[0320]
(6)低电力消耗模式控制
[0321]
如参考图7和图8所述，执行用于开始或停止供应给主处理器(第一控制部223)的电力的控制，并且学习从低电力消耗模式的返回条件和进入低电力消耗状态的转变条件。
[0322]
首先，将描述用于解除低电力消耗模式的条件的学习。
[0323]
[轻敲检测]
[0324]
如上所述，预定时间timea或预定阈值thresha通过学习而改变。在降低了上述用
于轻敲检测的阈值的状态下执行临时轻敲检测，并且设定timea和thresha的参数以使得取决于是否在轻敲检测之前确定了临时轻敲检测来容易地检测轻敲。当基于轻敲检测之后检测到的信息确定它不是启动因素(作为上述被摄体搜索或自动拍摄确定的结果，没有要拍摄的目标)时，设定timea和thresha的参数以使得难以检测到轻敲。关于在启动时是否存在要拍摄的目标的确定取决于嵌入在通过学习方法(稍后描述)学习的每个图像中的关于被摄体的检测到的信息而变化。
[0325]
[摇动状态的检测]
[0326]
如上所述，预定时间timeb，预定阈值threshb或预定计数countb通过学习而变化。当基于摇动状态而满足启动条件时，执行启动；但是，当在启动之后的预定时间段内基于检测到的信息确定它不是启动因素(作为上述被摄体搜索或自动拍摄确定的结果，没有要拍摄的目标)时，执行学习以使得通过改变摇动状态确定的参数而使启动变困难。当确定在大摇动状态下拍摄的频率高时，设定参数以使得通过摇动状态确定变得容易启动。在启动时是否存在要拍摄的目标的确定或在大摇动状态下拍摄的频率是否高的确定取决于被嵌入在通过学习方法(稍后描述)学习的每个图像中的关于被摄体的检测到的信息、在拍摄期间的摇动信息等而变化。
[0327]
[声音检测]
[0328]
可以通过例如经由与外部装置301的专用应用的通信手动设定用户想要检测的特定声音、特定声音场景或特定声音级别来执行学习。此外，在语音处理部中预先设定了多个检测到的声音，要通过方法(稍后描述)学习的图像被选择，并且基于包括在图像中的学习信息(比如拍摄之前和之后的声音信息)来执行学习。因此，可以设定要用作启动要因的声音确定(特定语音命令或声音场景，比如“欢呼”和“拍手”)，并且可以学习基于声音检测的启动。
[0329]
[环境信息的检测]
[0330]
可以通过经由例如与外部装置301的专用应用进行通信来手动设定用户想要启动图像拾取装置的环境信息的改变条件来执行学习。例如，可以取决于温度、大气压力、亮度、湿度、紫外线量的绝对量或变化的特定条件使图像拾取装置启动。可以学习基于环境信息的确定阈值。当基于启动之后检测到的信息确定不是启动因素(作为上述被摄体搜索或自动拍摄确定的结果，没有要拍摄的目标)时，确定阈值的参数被设定为使得难以检测到启动条件。可替代地，通过从嵌入在通过学习方法(稍后描述)学习的图像中的环境信息中学习，可以学习基于环境信息的启动。例如，当学习了在温度升高时拍摄的许多图像时，执行学习以使得在温度升高时更容易驱动图像拾取装置。参数还取决于电池的剩余电量而变化。例如，当电池电量低时，难以移至各种确定，而当电池电量高时，容易移至各种确定。具体而言，对于作为用户肯定要启动图像拾取装置的条件而不是要因的摇动状态检测结果或声音检测的声音场景检测，每个检测确定的难易程度取决于电池电量而变化。
[0331]
接下来，将描述移至电力消耗状态的条件的学习。
[0332]
如图7中所示，当在模式设定确定704中不满足“自动拍摄模式”、“自动编辑模式”、“自动图像传送模式”、“学习模式”和“自动文件删除模式”中任一个的确定条件时，模式移至低电力消耗模式。每种模式的确定条件如上所述，并且用于确定每种模式的条件也通过学习而变化。对于自动拍摄模式，如上所述，确定每个区域的重要级别，并且在通过摇摄/倾
斜进行被摄体搜索的同时执行自动拍摄。由于每个区域的重要级别是基于被摄体(比如人和物体)的数量或尺寸来计算的，因此在没有周围被摄体的情况下，所有区域的重要级别都低。因此，例如，可以基于关于所有区域的重要级别或通过将区域的重要级别相加而获得的值是否小于或等于预定阈值的条件来解除自动拍摄模式。因此，在周围没有被摄体并且拍摄的必要性低的情况下，可以解除自动拍摄模式，并转换成低电力消耗状态。此时，可以根据从模式移至自动拍摄模式时起所经过的时间来降低预定阈值。从模式移至自动拍摄模式起所经过的时间越长，模式越容易移至低电力消耗模式。而且，通过取决于电池的剩余电量来改变预定阈值，可以执行考虑电池耗尽的低电力消耗模式控制。例如，阈值在电池电量低时减小，并且阈值在电池电量高时增大。在此，基于上次从模式移至自动拍摄模式起所经过的时间和拍摄的图像数量，在副处理器中设定下一个低电力消耗模式解除条件的参数(经过时间阈值timec)。
[0333]
上述阈值通过学习而变化。可以通过经由例如与外部装置301的专用应用的通信手动设定拍摄频率、启动频率等来执行学习。可替代地，可以通过存储从图像拾取装置101的电源按钮的接通到电源按钮的关断所经过的时间的每个时间段的平均值或分布数据来学习参数。在这种情况下，执行学习，以使得对于从通电到断电的时间短的用户而言，从低电力消耗模式返回或移至低电力消耗状态的时间间隔缩短，而对于从通电到断电的时间长的用户而言，该时间间隔延长。还基于搜索期间检测到的信息来执行学习。执行学习，以使得当确定通过学习设定的重要被摄体的数量大时，从低电力消耗模式返回或移至低电力消耗状态的时间间隔减小，而当重要被摄体的数量小时，该时间间隔延长。
[0334]
(7)自动文件删除
[0335]
将描述自动文件删除的学习。对于自动文件删除，学习可用文件的容量、要优先删除的图像的选择等。选择要通过方法(稍后描述)学习的图像，并且可以通过基于图像中包括的学习信息改变神经网络的权重来执行学习。如上面在自动拍摄中所述，为每个图像计算针对用户偏好确定的评分，并且从记录介质221中优先删除具有较低评分的图像。不仅基于评分的分数，而且还基于嵌入在记录介质221中的每个图像中的拍摄日期和时间或利用方法(稍后描述)编辑所选择的精彩视频(自动编辑的移动图像)的细节来执行学习。例如，执行学习，以使得当取得的精彩视频包含以短时间间隔拍摄的许多图像时，优先删除具有较旧拍摄日期和时间的文件，而当取得的精彩视频包含以长时间间隔拍摄的图像时，即使具有较旧日期和时间的评分较高的文件也不被删除。可替代地，以预定的时间间隔顺序地重新计算记录介质221中的每个图像的评分。在评分计算时，拍摄日期和时间信息也被输入到神经网络，并且执行学习以使得当以短时间间隔拍摄许多图像时，拍摄日期和时间较旧的文件具有较低的评分。因此，优先删除这种文件，并执行学习以使得当包括以长时间间隔拍摄的图像时，即使日期和时间旧，评分也不会降低，结果是执行学习以使得即使日期和时间较旧的评分较高的文件也不被删除。在另一个示例中，在方法(稍后描述)中选择要学习的图像；但是，当常常密集选择日期和时间相对较新的图像时，优先删除拍摄日期和时间较旧的文件。但是，执行学习以使得当常常选择相对较旧的日期和时间的所选择的图像时，即使具有较旧日期和时间的评分较高的文件也不被删除。在又一个示例中，当执行学习以使得拍摄频率增加时，文件被自动删除以使得文件的可用区域增加；而当执行学习以使得拍摄频率降低时，文件被自动删除以使得文件的可用区域可以是小的。在又一个示例中，当执
行学习以使得移动图像的拍摄频率增加时，文件被自动删除以使得文件的可用区域增加；而当执行学习以使得增加静止图像的拍摄频率时，文件被自动删除以使得文件的可用区域减小。
[0336]
(8)图像稳定
[0337]
将描述针对图像稳定的学习。为了图像稳定，通过在图9的s902中计算稳定量并在s905中基于稳定量驱动摇摄/倾斜来执行图像稳定。在图像稳定中，执行用于进行适应用户的摇动特点的校正的学习。可以通过例如估计拍摄图像的psf(点扩展函数)来估计模糊的方向和大小。在图9的s912中生成学习信息时，将估计的模糊的方向和大小作为信息添加到图像。在图7的步骤716中的学习模式的处理中，用于稳定的神经网络的权重是通过使用估计的模糊的方向和大小作为输出以及拍摄期间检测到的信息作为输入来学习的。拍摄期间检测到的信息是在拍摄之前的预定时间内的图像的运动向量信息、关于检测到的被摄体(人或物体)的运动的信息、振动信息(陀螺仪输出、加速度输出、图像拾取装置的状况)等。除上述以外，可以通过添加环境信息(温度、大气压力、照度、湿度)、声音信息(声音场景确定、特定语音检测、声音级别改变)、时间信息(从启动起所经过的时间、从上次拍摄起所经过的时间)、位置信息(gps位置信息、位置移动的变化)等作为输入。通过在s902中计算稳定量时将检测到的信息输入到神经网络，可以估计瞬时拍摄时的模糊的大小，并且当估计的模糊的大小大时，诸如降低快门速度之类的控制是可能的。当估计的模糊的大小大时，图像会模糊，因此可以采用诸如禁止拍摄之类的方法。由于摇摄/倾斜角度有限制，因此当到达驱动端时，无法进行进一步的校正；但是，如上所述，通过估计拍摄期间的模糊的大小和方向，可以估计为了曝光期间的稳定而需要摇摄/倾斜的范围。当曝光期间的可移动范围没有余量时，可以通过增加计算稳定量的滤波器的设定的截止频率以使范围不超过可移动范围来抑制大的模糊。当该范围可能超过可移动范围时，将摇摄/倾斜角度在与紧接在曝光之前摇摄/倾斜角度可能超过可移动范围的方向相反的方向上转动，然后开始曝光。因此，可以在确保可移动范围的同时执行无模糊的拍摄。因此，可以在拍摄期间与用户的特点和使用方式一致地学习稳定，因此可以拍摄无模糊的图像。在上述“拍摄方法的确定”中，确定是否执行摇摄拍摄，并且可以通过根据直到拍摄之前检测到的信息估计摇摄/倾斜驱动速度来执行被摄体模糊校正。在此，摇摄拍摄是移动被摄体没有模糊并且静态背景流动的拍摄。在这种情况下，通过将检测到的信息输入到神经网络，估计静止图像拍摄期间的驱动速度。为了学习，通过将图像划分成块并估计每个块的psf来估计主被摄体所在的块中的模糊的方向和大小，并且可以基于该信息来执行学习。可以通过学习方法(稍后描述)基于所选择图像的背景流量来学习背景流量。在这种情况下，估计主被摄体不在所选择的图像内的块中的模糊的大小，并且可以基于该信息来学习用户偏好。通过基于所学习的偏好的背景流量来设定拍摄期间的快门速度，可以自动执行可以提供适应用户偏好的摇摄效果的拍摄。
[0338]
(9)自动图像传送
[0339]
将描述针对自动图像传送的学习。对于自动图像传送，对从记录在记录介质221上的图像中选择要优先传送的图像的处理、传送频率等执行学习。选择要通过方法(稍后描述)学习的图像，并且可以通过基于图像中包括的学习信息改变神经网络的权重来执行学习。如上所述，如在自动拍摄中所述，为每个图像计算针对用户偏好确定的评分，并且优先传送具有较高评分的图像。与先前传送的图像相关联的学习信息也用于图像传送确定。当
在方法(稍后描述)中选择要学习的图像时，设定图像中包括的学习信息(特征量)中的哪一个被置以重要性，并且当先前传送的许多图像包括相似的特征量时，具有较高评分并包括其它特征量的图像被设定为被传送。图像传送频率也根据图像拾取装置的状况而变化。图像传送频率取决于电池的剩余电量而变化。例如，图像传送频率被设定为使得当电池电量低时图像更难以传送，而当电池电量高时图像更容易传送。具体而言，例如，图像传送频率还可以通过采用以下配置而变化：将自上次图像被自动传送起所经过的时间乘以经过时间期间拍摄的图像当中的最高评分，将图像配置为当相乘得到的值超过阈值时被传送，并且阈值取决于电池电量而变化。在另一个示例中，根据图像拾取装置101设定的拍摄频率来改变自动图像传送的频率。当执行学习以使得拍摄频率增加时，自动图像传送的频率也被设定为增加。当执行学习以使得拍摄频率降低时，自动图像传送的频率也被设定为降低。此时，可以通过根据拍摄频率改变阈值来改变与设定的拍摄频率对应的图像传送频率。在又一个示例中，也根据文件(记录介质221)中的可用容量来改变自动图像传送的频率。当文件中的可用容量大时，将自动图像传送的频率设定为降低。当文件中的可用容量小时，将自动图像传送的频率设定为增加。通过取决于此时文件中的可用容量来改变阈值，可以改变与文件中的可用容量对应的图像传送频率。
[0340]
接下来，将描述学习方法。
[0341]
学习方法包括“在图像拾取装置中学习”和“与通信装置协作学习”。
[0342]
下面将描述图像拾取装置中学习的方法。
[0343]
(1)使用用户发出拍摄指令时检测到的信息进行学习
[0344]
如在图9的步骤s907至步骤s913中所述，在本实施例中，图像拾取装置101能够执行两种类型的拍摄，即，手动拍摄和自动拍摄。当在步骤s907中发出基于手动操作的拍摄指令(基于如上所述的三个确定来执行)时，在步骤s912中添加拍摄图像是手动拍摄图像的信息。当在步骤s909中确定开启了自动拍摄并且拍摄了图像时，在步骤s912中添加拍摄图像是自动拍摄图像的信息。
[0345]
当在此执行手动拍摄时，基于用户偏好的被摄体、用户偏好的场景以及用户偏好的位置和时间间隔执行拍摄的可能性非常高。因此，基于在手动拍摄期间获得的手势数据和拍摄图像的学习信息来执行学习。
[0346]
还基于手动拍摄期间检测到的信息对拍摄图像中的特征量的提取、个人标识的注册、每个人的脸部表情的注册以及人的组合的注册执行学习。还例如通过使用在被摄体搜索期间检测到的信息基于每个被摄体个人注册的脸部表情来执行学习以改变附近的人和物体的重要程度。当“用户手动地转动以进行摇摄/俯仰”时(稍后参考图17至图22进行描述)，当发出改变视角的指令时，在转动之后被摄体存在于视角内也被学习。这也是基于检测到的手动操作的信息进行学习的一部分。
[0347]
(2)使用在被摄体搜索期间检测到的信息进行学习
[0348]
在被摄体搜索操作期间，确定以个人标识注册的被摄体与哪些人、物体以及场景同时出现在拍摄图像中，并且计算被摄体、物体或被摄体同时与其一起出现在视角内的场景的时间的比率。
[0349]
例如，当以个人标识注册的被摄体的人a和以个人标识注册的被摄体的人b同时出现的时间的比率高于预定阈值时，可以确定重要程度为高。因此，当在视角中包括人a和人b
时，将各种检测到的信息保存为学习数据以使得用于自动拍摄确定的分数增加，并且在学习模式的处理716中进行学习。
[0350]
在另一个示例中，当以个人标识注册的被摄体的人a和通过一般物体识别确定的被摄体“猫”同时出现的时间比率高于预定阈值时，可以确定重要程度高。因此，当人a和“猫”包括在视角中时，将各种检测到的信息保存为学习数据以使得用于自动拍摄确定的分数增加。然后，在学习模式的处理716中执行学习。
[0351]
以这种方式，当在被搜索的被摄体的出现频率高的情况下增加用于自动拍摄确定的分数时，也可以将以个人标识注册的被摄体附近的人和物体的重要程度改变为增加。
[0352]
当检测以个人标识注册的被摄体的人a的微笑程度时，或者当通过检测脸部表情检测到“愉悦”、“惊奇”等时，执行学习同时出现的因而是重要的被摄体的处理。由于从脸部表情中检测到“愤怒”、“绷着的脸部”等时同时出现的被摄体是重要的可能性低，因此执行例如不学习的处理。
[0353]
接下来，将描述在本实施例中与外部通信装置协作进行的学习。
[0354]
为了与本实施例中的外部通信装置协作学习，有以下方法。
[0355]
(3)通过用外部通信装置取得图像来进行学习
[0356]
如图3中所述，图像拾取装置101和外部装置301具有用于通信302、303的通信手段。图像主要经由通信302发送或接收。可以经由外部装置301中的专用应用将图像拾取装置101中的图像传送并取得到外部装置301。可以经由外部装置301中的专用应用来浏览保存在图像拾取装置101中的图像数据的缩略图像。因此，用户能够通过操作图像取得指令从缩略图像中选择他或她喜欢的图像、检查图像并将图像取得到外部装置301上。
[0357]
此时，由于用户选择图像，发出发送指令并取得图像，因此取得的图像是用户偏好的图像的可能性非常高。因此，确定所取得的图像是要学习的图像，并且可以通过基于所取得的图像的学习信息执行学习来执行对用户偏好的各种学习。
[0358]
将描述操作示例。图16中示出了经由作为智能设备的外部装置301的专用应用浏览图像拾取装置101中的图像的示例。保存在图像拾取装置中的图像数据的缩略图像(1604至1609)显示在显示部407上，并且用户可以选择用户喜欢的图像并取得该图像。此时，提供了用于改变显示方法的显示方法改变部(1601、1602、1603)。当部1601被按下时，显示的次序改变为日期和时间优先显示模式，以图像拾取装置101中的图像的拍摄日期和时间的次序在显示部407上显示图像(例如，图像被显示为使得图像1604具有新的日期和时间，而图像1609具有旧的日期和时间)。当部1602被按下时，模式改变为推荐图像优先显示模式。基于在图9的步骤s912中计算出的基于对每个图像的用户偏好而确定的评分，以图像拾取装置101中的图像的评分的降序在显示部407上显示图像(例如，图像被显示为使得图像1604具有较高的评分而图像1609具有较低的评分)。当部1603被按下时，可以指定被摄体人或物体，随后特定被摄体人或物体被指定，可以仅显示该特定被摄体。
[0359]
显示方法改变部1601至1603可以同时被设定为开启状态。例如，当全部设定为开启状态时，图像被显示为使得仅显示指定的被摄体，并且具有较新拍摄日期和时间的图像被赋予较高的优先级，并且具有较高评分的图像被赋予较高的优先级。
[0360]
以这种方式，由于还从拍摄图像中学习了用户偏好，因此可以用简单的检查工作从大量拍摄图像中容易地提取仅用户偏好的图像。
[0361]
(4)通过经由外部通信装置对图像输入确定值来进行学习
[0362]
如上所述，图像拾取装置101和外部装置301具有通信手段，并且可以经由外部装置301中的专用应用来浏览保存在图像拾取装置101中的图像。在此，用户对每个图像评分的配置可以适用。用户能够对用户视为偏好的图像给予高分(例如，5分)，或者对用户视为非偏好的图像给予低分(例如，1分)。图像拾取装置被配置成基于用户的操作来学习。每个图像的分数与图像拾取装置中的学习信息一起被用于重新学习。执行学习以使得在输入指定图像信息的特征数据时神经网络的输出接近用户指定的分数。
[0363]
在本实施例中，采用了用户经由通信装置301向每个拍摄图像输入确定值的配置。可替代地，可以采用通过操作图像拾取装置101将确定值直接输入到每个图像的配置。在这种情况下，例如，图像拾取装置101配备有触摸面板显示器，并且模式被设定为用于通过用户按下在触摸面板显示屏显示部上显示的gui按钮来显示拍摄图像的模式。然后，可以通过用户在检查图像的同时向每个拍摄图像输入确定值的方法来执行类似的学习。
[0364]
(5)通过分析保存在外部通信装置中的图像来进行学习
[0365]
外部装置301包括存储部404，并且由图像拾取装置101拍摄的图像以外的图像也被记录在存储部404中。此时，用户可以容易地浏览保存在外部装置301中的图像，并且可以容易地通过公用线路控制部406将图像上传到共享服务器，因此，用户偏好的许多图像被包括的可能性非常高。
[0366]
外部装置301可以被配置成能够经由专用应用对存储在存储部404中的图像进行与具有控制部411的图像拾取装置101中的学习处理部219的学习处理等效的学习处理。在这种情况下，外部装置301可以被配置成通过将经处理的学习数据传送到图像拾取装置101来执行学习。可替代地，外部装置301可以被配置成通过发送外部装置301希望图像拾取装置101学习的图像或数据来在图像拾取装置101中执行学习。
[0367]
可替代地，外部装置301可以被配置成通过用户经由专用应用从存储在存储部404中的图像中选择要学习的图像来执行学习。
[0368]
(6)用外部通信装置从上传到sns服务器的信息中进行学习
[0369]
将描述使用社交联网服务(sns)中的信息来进行学习的方法，社交联网服务是可以构建关注于人与人之间的连接的社交网络的服务或网站。有一种技术，用于在将图像上传到sns时，从智能设备输入与图像相关的标签，并将标签与图像一起发送。还有一种技术，用于对其他用户上传的图像输入喜欢和不喜欢，并且还可以确定其他用户上传的图像是否是拥有外部装置301的用户的偏好照片。
[0370]
通过将专用的sns应用下载到外部装置301上，可以取得用户他或她自己上传的图像以及如上所述的关于图像的信息。可替代地，当用户对其他用户上传的图像输入喜欢或不喜欢时，可以取得用户偏好的图像和标签信息。那些图像和标签信息被分析并且可以在图像拾取装置101中被学习和设定。
[0371]
如上所述，外部装置301可以被配置成取得用户上传的图像或确定了用户喜欢的图像，并且能够用控制部411进行与图像拾取装置101中的学习处理部219的学习处理等效的学习处理。因此，可以通过将经处理的学习数据传送到图像拾取装置101来执行学习。可替代地，外部装置301可以被配置成发送外部装置301希望图像拾取装置101学习的图像，并使图像拾取装置101执行学习。
[0372]
此外，执行学习以使得图7的自动编辑模式的处理712中的颜色转换滤波器效果或图9的编辑s911的颜色转换滤波器效果基于使用标签信息在sns中提供的图像滤波器而变化。
[0373]
可替代地，根据标签信息中设定的被摄体信息估计关于作为用户偏好的被摄体的信息，并且通过将该被摄体注册为要检测的被摄体并输入到神经网络来执行学习。可推定被摄体信息是例如关于物体被摄体(比如狗和猫)的信息、关于场景(比如海滩)的信息、关于脸部表情(比如微笑)的信息等。
[0374]
世界上的当前流行图像信息可以被配置成根据sns上的标签信息(图像滤波器信息或被摄体信息)的统计值来估计，并且被学习并设定在图像拾取装置101中。
[0375]
(7)通过用外部通信装置改变参数来进行学习
[0376]
如上所述，图像拾取装置101和外部装置301具有通信手段，并且可以将当前设定在图像拾取装置101中的学习参数传送到外部装置301，并保存在外部装置301的存储部404中。例如，可以想到将神经网络的权重、要输入到神经网络的被摄体的选择等作为学习参数。可替代地，可以通过外部装置301中的专用应用经由公用线路控制部406取得在专用服务器中设定的学习参数，并且可以在图像拾取装置101中将其设定为学习参数。因此，可以通过在某个时间点将参数保存在外部装置301中并在图像拾取装置101中设定该参数来返回学习参数，或者可以经由专用服务器取得另一个用户的学习参数并设定到他或她自己的图像拾取装置101。
[0377]
经由外部装置301的专用应用，会能够注册由用户注册的语音命令、标识注册或手势，或者可以注册重要地点。对于这些信息，将在自动拍摄模式的处理中描述的拍摄触发(图9)作为自动拍摄确定的输入数据进行处置。
[0378]
可以设定拍摄频率、启动间隔、静止图像-移动图像比率、(一个或多个)优选图像等，或者可以设定在《低电力消耗模式控制》中描述的启动间隔、在《自动编辑》中描述的静止图像-移动图像比率等。
[0379]
(8)用外部通信装置从关于图像的手动编辑的信息中进行学习
[0380]
外部装置301的专用应用可以具有允许通过用户的操作进行手动编辑的功能，并且可以将编辑工作的细节反馈给学习。例如，可以通过应用图像效果来编辑图像，并且训练用于自动编辑的神经网络以便确定手动编辑的图像效果在学习图像信息中的应用。可以想到，图像效果例如是裁切、旋转、滑动、变焦、淡入淡出、颜色转换滤波器效果、时间、静止图像-移动图像比率或bgm。
[0381]
在此，在学习了用户他或她自己已经执行了拍摄(1)或图像选择((3)至(8))的情况下，因为用户有意进行了操作，所以学习很有可能是结合用户偏好的可靠的学习。但是，(2)使用在被摄体搜索期间检测到的信息进行学习不是基于有意用户操作的学习，因此存在学习包含用户不期望的学习的可能性。例如，在搜索期间从图像信息中学习到与以个人标识注册的被摄体同时出现的另一个人、物体或场景；但是，经常同时出现的被摄体不一定是用户偏好。因此，优先执行用户有意拍摄或选择图像的情况下的学习((1)，(3)至(8))，而不是学习不基于有意用户操作的情况(2)。
[0382]
学习数据是在拍摄或搜索期间记录为标签信息的各种数据(图像信息、振动信息、环境信息、声音信息、地点信息等)，并且在结合到学习中时，各种数据以列表形式保存。用
于学习的组中的数据数是设定为固定值的数字。用于学习的数据组被划分为两个区域，即，用户有意制作的学习数据的区域和用户无意制作的学习数据的区域。区域中的数据数量的比率被设定为使得用户有意制作的学习数据的区域的数量更大的比率。当发出结合学习的新指令时，从与每个区域相关联的学习数据中删除学习数据，并添加新的学习数据。例如，当要添加用户有意制作的两条学习数据时，从用户有意制作的学习数据区域中删除两个数据，添加新的两个数据，并再次执行学习。
[0383]
利用以上配置，优先执行在用户有意拍摄或选择图像的情况下进行的学习((1)、(3)至(8))，而不是学习不基于有意用户操作的情况(2)。
[0384]
可替代地，在用于学习的各种数据中，管理生成各条学习数据的日期和时间，并且计算与从生成学习数据的日期和时间起所经过的时间对应的加权系数la。更新加权系数la，以便随着经过时间的延长而减小。此外，还与每个学习数据相关联地管理基于学习数据是用户有意制作的学习数据还是用户无意制作的学习数据的加权系数lb。设定用于用户有意制作的学习数据的加权系数lb，使其大于用于用户无意制作的学习数据的加权系数lb。在用户有意制作的多条学习数据中，可以取决于学习(1)、(3)至(8)中的哪一项来改变加权系数lb。
[0385]
当添加新的学习数据时，优先删除当前学习数据组中通过将加权系数la与lb相乘而获得的值最小的学习数据，然后插入附加数据，并基于更新后的学习数据组执行机器学习。
[0386]
利用以上配置，优先执行在用户有意拍摄或选择图像的情况下的学习((1)、(3)至(8))，而不是学习不是基于有意用户操作的情况(2)。
[0387]
对于图1至图6的配置，如果没有配备屏幕并且难以在图像拾取装置上设定优先级并且在外部装置上的菜单上执行了优先级设定，那么需要用户的时间和精力。但是，当不是基于用于设定优先标记的操作而是基于用于拍摄处理的操作或用于编辑处理的操作来自动设定优先标记时，可以减少用户的时间和精力。当通过使用拍摄图像自动评估优先级时，例如，当评估以预定时间间隔拍摄的图像时，可能拍摄出相似的图像，但那些不一定是主被摄体，因此用户的意图可能不被反映出来。与此相反，在本实施例中，基于用户有意进行的处理来设定优先标记，因此很有可能充分反映用户的意图。
[0388]
接下来，将描述学习处理序列。
[0389]
在图7的步骤704中确定要设定的模式时，确定是否执行学习处理。当执行学习处理时，确定模式是学习模式，并且执行步骤716的学习模式的处理。
[0390]
将描述学习模式的确定条件。基于从执行上次学习处理的时间起所经过的时间、可用于学习的信息的数量、是否存在经由通信装置的学习处理指令等来确定是否移至学习模式。在图14中示出了在步骤704的模式设定确定处理中确定的关于是否移至学习模式的确定处理的流程图。
[0391]
当在步骤704的模式设定确定处理中发出开始学习模式确定的指令时，图14的处理开始。在步骤1401中，确定是否存在来自外部装置301的注册指令。这里的注册是关于是否存在上述用于学习的注册指令的确定。例如，存在《使用通过通信装置取得的图像信息进行学习》或《通过经由外部通信装置对图像输入确定值进行学习》。还存在《通过对通信装置中保存的图像的分析来进行学习》等。当在步骤1401中存在来自外部装置的注册指令时，处
理前进到步骤s1410，并且步骤716的处理被设定为通过将学习模式确定设定为“真”来执行。当在步骤s1401中没有来自外部装置的注册指令时，处理前进到步骤1402。在步骤1402中，确定是否存在来自外部装置的学习指令。这里的学习指令是关于是否存在设定学习参数的指令的确定，如《通过用通信装置改变图像拾取装置参数来进行学习》。当在步骤1402中存在来自外部装置的学习指令时，处理前进到步骤s1410，并且步骤716的处理被设定为通过将学习模式确定设定为“真”来执行，之后学习模式确定处理结束了。当在步骤s1402中没有来自外部装置的学习指令时，处理前进到步骤1403。
[0392]
在步骤1403中，确定是否满足预定的学习条件。可以使用基于预定时间的学习条件。例如，在每天24:00执行学习。因此，学习被周期性地执行，因此学习到的结果的崭新性可以保持恒定。作为另一个示例，可以在通过按下图像拾取装置101的电源按钮而发出用于断电的指令的条件下执行学习。此时，在学习处理结束之后，电源关断。学习处理一般需要较长的处理时间。当在比如断电期间的一段时间内估计用户不使用图像拾取装置101进行拍摄等的定时执行学习处理时，可以在不干扰用户使用的情况下执行学习处理。当满足预定学习条件时，处理前进到步骤s1410。当不满足条件时，处理前进到步骤1404。在步骤1404中，确定是否存在拍摄的可能性。如上所述，学习处理花费时间，因此建议避免在可能进行拍摄的定时执行学习处理。因此，例如，基于在最后设定的时间段或更长时间内未发出用于手动拍摄的指令的条件，或者基于自动拍摄模式下区域的重要级别低于或等于预定水平，确定执行拍摄一段时间的可能性小。当确定拍摄可能性低时，处理前进到步骤1405。否则，处理前进到步骤1411，并且将学习模式确定设定为“假”。在步骤1405中，执行从上次学习处理(神经网络的权重的重新计算)起所经过的时间timen，然后处理前进到步骤s1406。在步骤1406中，取得要学习的新数据的数量dn(在从执行上次学习处理时起所经过的时间timen期间指定的要学习的图像的数量)，并且处理前进到步骤1407。在步骤1407中，根据timen计算阈值dt。例如，将用于timen短于预定值的情况的阈值dta设定为大于用于timen大于预定值的情况的阈值dtb，并且阈值被设定为随时间而减小。因此，即使当学习数据的数量小时，当经过的时间长时也再次执行学习，从而使得图像拾取装置易于学习并且根据使用时间而变化。
[0393]
当在步骤1407中计算了阈值dt时，处理前进到步骤1408，并且确定要学习的数据dn的数量是否大于阈值dt。当dn大于阈值dt时，处理前进到步骤1409，并且将dn设定为零。然后，处理前进到步骤1410，将学习模式确定设定为“真”以进行设定，使得执行步骤716的处理，此后，学习模式确定处理结束。
[0394]
当在步骤1408中dn小于或等于阈值dt时，处理前进到1411。由于既没有来自外部装置的注册指令，也没有来自外部装置的学习指令，并且学习数据的数量也小于或等于预定值，因此将学习模式确定设定为“假”以进行设定，使得将不执行步骤716的处理，此后学习模式确定处理结束。
[0395]
接下来，将描述学习模式处理中的处理(步骤716)。学习模式的处理的详细流程在图15中示出。
[0396]
当在图7的步骤715中确定模式是学习模式并且处理前进到步骤716时，图15的处理开始。在步骤1501中，确定是否存在来自外部装置301的注册指令。当在步骤1501中存在来自外部装置的注册指令时，处理前进到步骤1502。在步骤1502中，执行各种类型的注册的
处理。
[0397]
各种类型的注册是要输入到神经网络的特征的注册，并且包括例如脸部标识的注册、一般物体识别的注册、声音信息的注册、地点信息的注册等。
[0398]
当注册处理完成时，处理前进到步骤1503，并且基于在步骤1502中注册的信息来改变要输入到神经网络的要素。
[0399]
当步骤1503的处理完成时，处理前进到步骤1507。
[0400]
当在步骤1501中没有来自外部装置301的注册指令时，处理前进到步骤1504，并且确定是否存在来自外部装置301的学习指令。当存在来自外部装置的学习指令时，处理前进到步骤1505，将从外部装置传送的学习参数设定到每个确定设备(神经网络的权重等)，并且处理前进到步骤1507。
[0401]
当在步骤1504中没有来自外部装置的学习指令时，在步骤1506中执行学习(神经网络的权重的重新计算)。移至步骤1506的处理的条件是这样的条件，如参考图14所描述的，要学习的数据的数量dn超过阈值，并且每个确定设备的重新学习被允许。通过使用诸如误差反向传播方法和梯度下降方法之类的方法来进行重新学习，重新计算神经网络的权重，并且改变每个确定设备的参数。当设定了学习参数时，处理前进到步骤1507。
[0402]
在步骤1507中，将评分再次指派给文件中的图像。在本实施例中，基于学习到的结果将评分指派给保存在文件(记录介质221)中的所有拍摄图像，并且根据指派的评分执行自动编辑或自动文件删除。因此，当执行从外部装置重新学习或设定学习参数时，还需要更新已经拍摄的图像的评分。因此，在步骤1507中，执行用于向存储在文件中的拍摄图像指派新评分的重新计算。当该处理结束时，学习模式的处理结束。
[0403]
在本实施例中，描述了一种方法，该方法通过提取用户似乎喜欢的场景、学习场景的特征并在诸如自动拍摄和自动编辑之类的操作中反映学习到的特征来建议用户偏好的视频图像；但是，本发明不限于这个应用。例如，学习到的特征可以在应用中被有意地使用，以提供与用户偏好的视频图像不同的视频图像。所实现的方法的示例如下。
[0404]
(1)使用已经学习了偏好的神经网络的方法
[0405]
为了学习，如上所述执行用户偏好的学习。然后，在“自动拍摄”的s908中，当神经网络的输出值是指示与作为训练数据的用户偏好的那些值不同的值时，执行自动拍摄。例如，当将用户喜欢的图像设定为训练图像并执行学习以使得当图像具有与训练图像的特征相似的特征时输出更高的值时，相反，在输出值小预定值或更多的条件下执行自动拍摄。类似地，同样在被摄体搜索处理或自动编辑处理中，执行其中神经网络的输出值是指示与作为训练数据的用户偏好的那些值不同的值的处理。
[0406]
(2)使用已经学习了不同于偏好的情况的神经网络的方法
[0407]
在这种方法中，在学习处理的时间点，使用不同于用户偏好的情况的情况作为训练数据来执行学习。例如，手动拍摄的图像是用户喜欢拍摄的场景，并且上面描述了使用手动拍摄的图像作为训练数据的学习方法。与此相反，在本实施例中，相反，手动拍摄的图像不用作训练数据，并且将在预定时间或更长时间内没有被手动拍摄的场景添加为训练数据。可替代地，当训练数据中包括与手动拍摄的图像的特征相似的特征的场景时，可以从训练数据中删除那些场景。可替代地，可以将其特征与由外部通信装置拍摄的图像的特征不同的图像添加到训练数据，或者可以从训练数据中删除其特征与拍摄图像的特征相似的图
像。利用这种配置，不同于用户偏好数据的数据被搜集在训练数据中，并且，作为学习的结果，神经网络能够识别与用户偏好情况不同的情况。在自动拍摄中，通过根据神经网络的输出值执行拍摄，可以拍摄与用户偏好场景不同的场景。而且，在自动编辑中，可以类似地建议编辑与用户偏好图像不同的图像。
[0408]
如上所述，通过有意地建议与用户偏好的视频图像不同的视频图像，在用户不愿手动拍摄的场景下执行拍摄，因此获得减少错过照片机会的效果。而且，通过建议在用户他或她自己不知道的场景中拍摄或编辑的效果，可以预期用户会发现某些东西或扩大偏好的效果。
[0409]
通过组合上述手段，容易调节对用户偏好的适应程度，就像建议与用户偏好情况略有相似但部分地不同的情况那样。可以根据模式设定、各种传感器的状态以及检测到的信息的状态来改变对用户偏好的适应程度。
[0410]
在本实施例中，基于在图像拾取装置101内执行学习的配置进行描述；但是，在外部装置301上提供学习处理、将学习所需的数据传送给外部装置301并且仅在外部装置上执行学习的配置也能够达到同样的学习效果。在这种情况下，如以上《通过用通信装置改变参数进行学习》中所描述的那样，可以采用通过将在外部装置上学习到的参数(诸如神经网络的权重)经由通信设定到图像拾取装置101来执行学习的配置。
[0411]
可以采用在图像拾取装置101和外部装置301两者中的每一个中提供学习处理的配置。例如，可以采用在图像拾取装置101中执行学习模式的处理716并且通过合并学习参数来执行学习的定时、将外部装置301中的学习信息传送到图像拾取装置101的配置。
[0412]
在上述自动拍摄模式的处理(图9)的s907中，确定是否存在用户(手动)拍摄指令，并且当存在拍摄指令时，处理前进到s910。在此，可以通过手动转动图像拾取装置的朝向(下文中称为拍摄方向)来发出用户的(手动)拍摄指令。图17是示出镜筒旋转驱动部205的配置的框图。图17的部件1701至1707与摇摄轴的驱动相关。图17的部件1708至1714涉及倾斜轴的驱动和控制。与摇摄轴的驱动和倾斜轴的驱动相关的基本配置相同，因此，仅对与摇摄轴的驱动相关的配置进行描述，而省略与倾斜轴的驱动相关的配置的描述。附图标记1701指示图像位置-摇摄位置转换部，其用于基于图像上被摄体的目标位置与当前位置之间的差异来计算驱动摇摄轴1706时的目标位置。图18是示出在由图像拾取装置拍摄的图像中被摄体的当前位置与目标位置之间的关系的视图。附图标记1801指示在图像拾取装置的被摄体搜索期间利用图像处理部207获得的某个瞬时图像。附图标记1802指示被摄体的当前位置(x1，y1)。附图标记1803指示被摄体的目标位置(x0，y0)。在基于图像上被摄体的目标位置1803与当前位置1802之间的差异来计算摇摄和倾斜目标位置时，使用以下公式。
[0413]
kp(f)
×
(x1-x0)
ꢀꢀꢀꢀꢀꢀ
(1)
[0414]
kt(f)
×
(y1-y0)
ꢀꢀꢀꢀꢀꢀ
(2)
[0415]
kp(f)是用于基于图像上被摄体的目标位置与当前位置之间的差异来计算目标摇摄位置的转换系数，其根据图像拾取装置的焦距f而变化。kt(f)是用于基于图像上被摄体的目标位置与当前位置之间的差异来计算目标倾斜位置的转换系数，其根据图像拾取装置的焦距f而变化。
[0416]
图17中的附图标记1702指示补偿器。补偿器1702通过执行pid控制计算来计算控制输出，以使得消除由图像位置-摇摄位置转换部1701计算的当前摇摄位置与目标摇摄位
置之间的差异。附图标记1703指示拍摄方向改变操作检测部。拍摄方向改变操作检测部1703基于目标摇摄位置与当前摇摄位置之间的差异(下文中称为位置偏差)、控制输出和摇摄移动速度来检测拍摄方向改变操作。当拍摄方向改变操作检测部1703检测到拍摄方向的改变时，拍摄方向改变操作检测部1703通过停止控制输出来停止摇摄。另一方面，当拍摄方向改变操作检测部1703未检测到拍摄方向的改变时，拍摄方向改变操作检测部1703根据由补偿器1702计算出的控制输出来驱动和控制摇摄。附图标记1704指示用于生成与由补偿器1702计算出的控制输出对应的驱动信号的驱动器。附图标记1705是超声马达(usm)，其是用于驱动摇摄轴1706的致动器。附图标记1707指示用于根据摇摄位置的时间改变来计算摇摄移动速度的移动速度检测部。移动速度检测部1707根据每次控制采样时的摇摄位置的变化来计算摇摄移动速度。图19是示出检测通过用户的操作进行的拍摄方向改变操作并通过在将拍摄方向改变操作之后的拍摄区域设定为重要区域来更新学习信息的流程的流程图。
[0417]
在s1901中，确定在图像拾取装置上是否存在用户进行的拍摄方向改变操作。在检测用户进行的拍摄方向改变操作时，当控制输出和位置偏差(稍后描述)满足预定条件时，拍摄方向改变操作检测部1703确定拍摄方向存在改变。当在s1901中检测到拍摄方向改变操作时，处理前进到s1902，并且停止位置控制操作。当执行被摄体跟踪或搜索时，中断被摄体跟踪或搜索，然后停止位置控制操作。另一方面，当在s1901中未检测到拍摄方向改变操作时，继续检测拍摄方向改变操作。在s1902中停止位置控制之后，处理前进到s1903，并且确定由用户进行的拍摄方向改变操作是否结束。
[0418]
在确定拍摄方向改变操作的结束时，拍摄方向改变操作检测部1703基于摇摄移动速度来确定拍摄方向改变操作是继续还是结束。当确定拍摄方向改变操作结束时，处理前进到s1904，并且存储拍摄方向改变操作结束之后的拍摄区域信息。通过将根据图像拾取装置的位置、摇摄位置、倾斜位置和焦距确定的视角与每个划分的区域进行比较，要存储的区域是最接近的区域。当在s1903中确定正在执行拍摄方向改变操作时，继续检测拍摄方向改变操作的结束。在s1905中，更新学习信息，以使得在s1904中存储的区域比其它划分区域更重要。在s1906中，启用被摄体跟踪和位置控制，然后处理前进到s1901，并且恢复拍摄方向改变操作的检测。此时，为了通知用户图像拾取装置101正在跟踪，在跟踪目标图像上或图像周围显示与上述脸部标识的图像不同的特殊图像(图像效果)。作为用户进行拍摄方向改变操作的示例，将描述其中用户在用图像拾取装置101拍摄花朵的同时通过用手转动镜筒102来进行拍摄方向改变操作使得图像拾取装置101的光轴在视角之外朝着特定的人指向的情况的示例。图20是用于图示其中在用图像拾取装置101拍摄花朵2001的图像的同时用用户的手将镜筒102转向人2003，然后更新学习信息使得将人2003所在的区域设定为重要区域的示例的示意图。图20中的附图标记2002指示正在拍摄花朵2001的图像拾取装置101的光轴。附图标记2004指示用户用手改变拍摄方向之后的光轴。附图标记2005指示当用户改变拍摄方向时镜筒102的转动方向。将参考图21和图22描述在拍摄花朵2001时通过用户的操作朝着人2003改变拍摄方向，然后更新学习信息使得将人2003所在的区域设定为重要区域的操作。图21a、图21b、图21c和图21d是示出在拍摄花朵时通过改变拍摄方向而朝着特定人2003改变拍摄方向并更新学习信息期间的时段中拍摄的瞬时图像的视图。图22是示出在拍摄花朵时用户朝着特定人2003改变拍摄方向并且学习信息被更新使得改变后的视角的区域被设定为重要区域期间的时段中摇摄控制输出2201、位置偏差2202和移动速度2203
的时间改变的曲线图。图22中的ta、tb、tc、td分别是拍摄图21a、图21b、图21c和图21d中所示的图像的时间。图22中的thc是控制输出的阈值，其被用于确定用户已经用手转动镜筒102。thdiff是位置偏差的阈值，其被用于确定用户已经用手转动镜筒102。当控制输出大于或等于thc且位置偏差大于或等于thdiff的状态持续预定时间(图22中的t2-t1)时，可以认为拍摄方向已经被用户改变，并且停止补偿器1702的控制输出。thv是摇摄轴的移动速度的阈值，其被用于确定用户已停止操作拍摄方向。cmax是补偿器1702的控制输出的最大值。在位置控制时，通过在-cmax到cmax范围内改变控制输出来驱动和控制摇摄轴，使得被摄体位于图像上的目标位置。图22中的t1指示在用户开始拍摄方向操作之后控制输出2201大于或等于thc并且位置偏差大于或等于thdiff的时间。t2指示控制输出2201大于或等于thc并且位置偏差2202大于或等于thdiff的时间段已经达到拍摄方向改变确定时间(t2-t1)的时间。t3指示在时间t2之后摇摄轴移动速度首次变为thv或以下的时间。t4指示在时间t3处移动速度变为thv以下之后经过的时间变为拍摄方向改变结束确定时间(t4-t3)的时间。
[0419]
图21a是在拍摄花朵2001的时间ta的定时拍摄的图像。图21a中的附图标记2101指示表示被摄体作为跟踪、搜索或拍摄目标的被摄体框。附图标记2102指示目标点，该目标点是在被摄体框2101的中心处的图像上的目标位置。由2102指示的两条线彼此相交的点是被摄体在图像上的目标位置。在正常拍摄操作期间(不在拍摄方向改变操作的状态下)，通过驱动和控制摇摄轴或倾斜轴以使被摄体框2101的中心与目标点2102的中心一致来执行位置对准。图21b是在图21a的状态下在时间tb的定时用户相对于固定部103向右转动镜筒102时拍摄的图像。图21b中的实心箭头指示位置控制的摇摄方向。空心箭头指示通过用户的拍摄方向改变操作的镜筒102的转动方向。当在时间tb看到控制输出2201和位置偏差2202时，虽然控制输出为最大值cmax，但是位置偏差2202趋于增加。据此，确定用户正在有意地转动摇摄轴。在本实施例中，在从感测到用户用手转动镜筒102的状态到补偿器1702的控制输出停止所经过的预定时间(t2-t1)之后，执行关于拍摄方向是否改变的确定。这是在虽然用户未执行方向改变操作但用户无意中触摸镜筒时或在受到驱动以进行搜索的旋转轴或倾斜轴的负载波动的影响下不确定存在拍摄方向操作的措施。为了在用户开始拍摄方向改变操作之后快速执行拍摄方向改变确定，可以缩短或省略确定的时间。
[0420]
图21c是在补偿器1702的控制输出在时间tc停止的状态下通过经由用户的拍摄方向改变操作使摇摄轴转动到新被摄体附近来使被摄体进入视角时的图。以这种方式，用户需要继续拍摄方向改变操作，直到作为新拍摄目标的被摄体进入视角为止。当如在本实施例中描述的图像拾取装置101的情况那样不能直接检查拍摄方向正在改变的图像时，用户通过用智能设备检查正在改变的图像的同时进行操作来确认作为拍摄目标的被摄体进入视角。作为用户得知作为拍摄目标的被摄体进入视角的另一种手段，当在拍摄方向改变期间新的被摄体进入视角时，可以通过led控制部224点亮led或语音输出部218输出语音来通知用户。
[0421]
图21d是在时间t4的定时开始补偿器1702的控制输出的状态下在改变拍摄方向之后跟踪或拍摄新被摄体期间的图像。时间t4是在时间t3摇摄移动速度2203变得小于或等于thv之后的时间段长于或等于拍摄方向变更操作结束确定时间(t4-t3)的时间。当在时间t4确定用户的拍摄方向改变操作结束时，在时间点t4的拍摄区域被设定为用户的偏好区域，并且被设定为比其它区域具有更高的重要性，然后更新学习信息。而且，存在于这个区域中
的被摄体可以经受跟踪、拍摄和标识注册为重要被摄体中的一种或多种操作。例如，如图21d中所示，当在检测到用户的拍摄方向改变操作的结束的定时人2003存在于视角内时，人2003经受跟踪、拍摄和标识注册为重要被摄体中的任意一种或多种操作。仅当存在用户的学习指令并且不是自动执行时，才可以执行学习信息更新处理。仅当存在来自用户的学习指令时，才可以更新学习信息。例如，在图像拾取装置通知用户被摄体进入视角之后，仅当用户输入针对预先注册的学习指令的特定语音命令时，学习信息才被更新。
[0422]
在本实施例中，描述基于补偿器的控制输出、位置偏差和驱动轴的移动速度来检测用户对图像拾取装置进行拍摄方向改变操作的开始和结束的示例；但是，只要可以检测到用户的拍摄方向操作，就可以通过其他方法来检测用户的拍摄方向操作。例如，可以基于来自装置摇动检测部209的陀螺仪传感器或加速度传感器的信号的时间变化来检测用户是否做出了拍摄方向的改变。图23示出了当通过用户的操作改变图像拾取装置的拍摄方向时装置摇动检测部209的加速度传感器的输出的改变。附图标记2301指示加速度的时间改变。tha1是在确定用户已经开始拍摄方向改变操作时使用的加速度的阈值。tha2是在确定用户已经停止拍摄方向改变操作时使用的加速度的阈值。可以通过将加速度与这些阈值进行比较来检测拍摄方向改变操作的开始和停止。此时，为了防止错误地检测拍摄方向改变操作，可以预先学习拍摄方向改变操作时的加速度的时间改变模式，并且当检测到的加速度的时间改变与学习到的时间改变模式之间的相似度大于或等于预定值时可以确定拍摄方向已经改变。类似地，可以基于由图像拾取装置拍摄的图像的运动向量的改变来检测是否存在拍摄方向操作。
[0423]
在上述描述中，描述了其中在拍摄方向改变操作之后进入视角的拍摄区域作为重要区域被学习的处理。但是，不限于此，可以采用如下处理：当通过用户在外部装置上的操作而存在变焦改变或拍摄区域的改变时，将改变操作之后的拍摄区域作为重要区域来学习。
[0424]
《根据低电力消耗模式解除条件改变处理》
[0425]
参考图9描述本实施例中的拍摄模式的基本处理顺序；但是，如果在任意时候都根据这个顺序执行处理，那么要花费时间才能找到被摄体并执行自动拍摄。在这种情况下，担心错过照相机会或拍摄了与用户意图不同的被摄体。具体而言，在解除低电力消耗模式时(下文中称为唤醒)，最优处理序列取决于基于什么条件进行解除而变化。在此，将描述唤醒条件和适合于该条件的处理序列的示例。
[0426]
(1)基于轻敲检测的唤醒
[0427]
如上所述，基于轻敲检测的唤醒是可能的。在这种情况下，假设图像拾取装置101的所有者已经发出了旨在执行拍摄的唤醒指令。因此，这样的处理是优选的：其中，作为在周围进行搜索的结果而发现所有者，并立即执行自动拍摄以使所有者被拍摄。
[0428]
图27示出了这种情况下的拍摄模式的处理。
[0429]
步骤s2701至步骤s2703与图9中描述的正常时间期间的处理相同，因此省略其描述。
[0430]
在步骤s2704中，与正常处理不同，在摇摄/倾斜相机的同时执行搜索，使得所有视角都被覆盖。
[0431]
在步骤s2705中，确定特定的识别出的人是否在视角中。此时，期望将所有者的脸
部被预先注册为所有者的识别出的脸部，并且搜索所有者作为特定的识别出的人。当在视角内找到所有者时，处理前进到s2706。
[0432]
在步骤s2706中，对相机进行摇摄/倾斜或变焦，使得所有者被包括在视角中，然后处理前进到步骤s2712的拍摄开始操作。
[0433]
步骤s2707至步骤s2715是与图9的s905至s913类似的处理，因此省略其描述。
[0434]
通过这样的处理，立即响应用户的意图进行拍摄是可能的。
[0435]
(2)基于声音检测的唤醒
[0436]
如上所述，基于声音检测和语音命令识别的唤醒是可能的。在声音检测的情况下，在声音方向上存在关注的人的可能性高。在语音命令识别的情况下，假定说出语音命令的人有想让相机拍摄自己的照片的意图。因此，这样的处理是优选的：其中找到在检测到语音的方向上的人并且立即执行自动拍摄。
[0437]
图28示出了这种情况下的拍摄模式的处理。
[0438]
步骤s2801至步骤s2803与图9中描述的正常时间期间的处理相同，因此省略其描述。
[0439]
在步骤s2804中，与正常处理不同，摇摄/倾斜相机，使得将检测到声音方向的方向包括在视角中。
[0440]
在步骤s2805中，确定在声音方向上的视角中是否有人。当有人时，该人被视为生成声音或语音命令的源，并且处理前进到用于拍摄该人的s2806。
[0441]
在步骤s2806中，对相机进行摇摄/倾斜或变焦，使得人被包括在视角中，然后处理前进到步骤s2812的拍摄开始操作。
[0442]
步骤s2807至步骤s2815是类似于图9的s905至s913的处理，因此省略其描述。
[0443]
利用这样的处理，可以预期能够执行拍摄而不会错过拍摄高趣味性的时刻(比如欢呼声)的机会的效果。而且立即对说出语音命令的人的意图做出响应的拍摄也是可能的。
[0444]
(3)其它条件下的唤醒
[0445]
在基于其它条件的唤醒时(例如，图8中描述的经过时间确定)，根据图9的基本序列执行处理。利用这种配置，仅当需要重要的被摄体时才执行自动拍摄，因此减少了电力消耗和存储设备的可用容量的消耗。
[0446]
根据上述实施例，以下功能是可能的。
[0447]
(1)启动
[0448]
启动之后的搜索和拍摄处理根据启动条件而改变。
[0449]
以这种方式，根据由什么来启动图像拾取装置，改变启动之后的处理(自动拍摄确定、搜索处理或休眠确定处理)。因此，这可以解决以下问题：当每次执行统一的启动序列时需要花费时间，因此错过了拍摄机会或拍摄与用户意图不同的被摄体。
[0450]
[示例1]当通过语音唤醒时，图像拾取装置面向语音的方向并开始搜索和拍摄确定。
[0451]
[示例2]当通过轻敲唤醒时，图像拾取装置搜索所有者(识别的脸部)。
[0452]
(2)休眠
[0453]
提供了被摄体场景确定手段，并且图像拾取装置根据场景确定结果决定进入自动休眠。根据确定结果调节休眠时间。提供了用于确定图像拾取装置的内部状况的手段，并且
图像拾取装置根据该内部状况确定手段进入自动休眠。
[0454]
以这种方式，图像拾取装置根据被摄体或场景进入自动休眠。休眠时间也被调节。图像拾取装置根据图像拾取装置上的处理的内部状况进入自动休眠。因此，可以解决在仅基于经过的时间或没有操作而休眠的情况下省电效果弱并且担心缺少照相机会的问题。
[0455]
[示例1]当没有被摄体时，图像拾取装置移至省电。
[0456]
[示例2]当场景中的缺乏改变时，图像拾取装置被置于休眠较长时间。
[0457]
[示例3]当模式与自动拍摄模式、学习模式、编辑模式和传送模式中的任一种都不对应时，图像拾取装置进入休眠状态。
[0458]
[示例4]电池电量
[0459]
(3)自动图像传送
[0460]
根据以下条件中的至少一个，即，经过时间、拍摄图像的评价值、电池电量和卡容量，图像被自动传送或图像传送频率被自动决定。
[0461]
以这种方式，根据条件(在拍摄高价值图像时在每次经过预定时间时)自动传送图像。根据条件自动决定图像传送频率(当电池电量低时，图像传送变得困难；将拍摄频率设定为较高频率时，传送频率也会增加；存储介质的可用容量小时，传送频率增加)。因此，可以解决当根据用户的指令执行图像传送时存在等待传送处理的时间或者对于规定的图像传送数量或传送频率外部装置的容量取决于用户而变紧张的问题。
[0462]
(4)学习
[0463]
图像拾取装置根据以下条件中的至少一个自动进入学习模式，即，经过时间、训练数据的累积程度、当前场景或被摄体的确定结果、预定的时间、未来拍摄的可能性以及电源关断的时间。
[0464]
以这种方式，图像拾取装置根据条件(在一定时间内没有执行自动拍摄，比如当新的训练数据已经累积到多于或等于预定量时，当从上次学习起经过的时间长时，或者当周围不存在可区分的被摄体时)自动进入学习模式。因此，可以解决以下问题：除非适当地设定了拍摄模式进入学习模式的条件，否则将出现等待学习处理的时间或无用地消耗电力的问题。
[0465]
(5)图像的自动删除
[0466]
根据条件执行自动删除。根据拍摄频率和可用容量设定要删除的目标图像数量。使《用户手动拍摄的图像》、《用户高度评价的图像》和《由图像拾取装置计算出的具有高重要性评分的图像》难以被删除。使《传送到外部装置的图像》和《用户甚至一次都没有看到的图像》易于被删除。当以短时间间隔拍摄取得的精彩视频时，可以优先删除旧文件。当以长间隔拍摄取得的精彩视频时，可以将旧的但评分较高的文件设定为不被删除。当执行学习以提高视频拍摄频率时，可以自动删除比平时更多的图像。
[0467]
因此，当没有可用容量和用户手动地一个一个删除很麻烦时，可以解决无法执行自动拍摄的问题。
[0468]
(6)自动编辑
[0469]
根据条件中的至少一个，即，拍摄图像的累积程度、从上次编辑起所经过的时间、每个拍摄图像的评价值和时间情况，自动执行编辑处理。
[0470]
因此，可以解决以下问题：当根据用户的指示来创建故事照片移动图像时，存在等
待创建处理的时间并且可用性差。
[0471]
在上述《附件的配置》中，参考图32描述了用于连接到另一个相机3201的附件。将描述图像拾取装置101和另一个相机3201彼此协作执行拍摄的情况的示例。
[0472]
通过在相机之间释放一个相机以与另一个相机的释放定时相匹配的同时拍摄的方法已知为现有技术。
[0473]
在本实施例中，拍摄是在相机之间协作进行的；但是，在按下相机3201的释放按钮3203之前，图像拾取装置101通过预测释放的按下来在相机3201执行拍摄之前开始拍摄。
[0474]
图像拾取装置101以与所描述的自动拍摄的方法相似的方法执行自动拍摄。此时，执行用于预测相机3201执行拍摄的定时的学习。当执行协作拍摄时，利用这个网络执行自动拍摄确定。
[0475]
将描述在用户操作相机3201以执行拍摄的配置中图像拾取装置101的操作。图33示出了图像拾取装置101的流程图。
[0476]
在此，将描述相机3201拍摄静止图像并且图像拾取装置101拍摄移动图像的示例。
[0477]
当拍摄模式处理开始时，首先在s3301中确定该模式是否是相机协作模式。当模式是协作模式时，处理前进到s3303；而当模式不是协作模式时，处理前进到s3302。
[0478]
协作模式可以通过相机3201和图像拾取装置101是否通过有线或无线连接来确定，或者可以用智能设备301来设定。
[0479]
在s3202中，该模式不是相机协作模式，因此执行参考图9描述的处理，拍摄模式处理结束，并且该处理等待下一个计算周期。在s3303中，从相机3201加载信息。将与相机3201的释放开关的按下相关的信息、电源接通状态信息、来自图像的与被摄体相关的信息等作为信息提供给图像拾取装置101，并且处理前进到s3304。
[0480]
在s3304中，确定图像拾取装置101是否正在执行拍摄。当图像拾取装置101不执行拍摄时，处理前进到s3305；而当图像拾取装置101正在执行拍摄时，处理前进到s3306。在s3305中，确定相机3201是否已经开始拍摄。当相机3201已经开始拍摄时，处理前进到s3310，开始图像拾取装置101的拍摄，结束拍摄模式处理，并且处理等待下一个计算周期。当在s3305中相机3201尚未开始拍摄时，处理前进到s3307并执行自动拍摄确定处理。可以用与参考图12描述的方法类似的方法来实现自动拍摄确定处理。此时，可以通过使用来自相机3201的信息和来自图像拾取装置101的信息作为特征量输入来执行确定，或者可以通过仅使用来自它们中的任意一个的信息来执行确定。
[0481]
当自动拍摄确定处理完成时，处理前进到s3308，并且在自动拍摄确定处理中确定是否开始拍摄。当确定开始自动拍摄时，处理前进到s3309，并且图像拾取装置101开始自动拍摄。当未确定自动拍摄的开始时，不执行拍摄，拍摄模式处理结束，并且处理等待下一个计算周期。
[0482]
当在s3310或s3309中开始拍摄之后在s3304中确定正在执行拍摄时，在s3306中执行拍摄结束确定处理。然后，当确定拍摄结束时，处理前进到s3311，并且图像拾取装置1010结束拍摄。当未确定拍摄结束时，在按原样执行拍摄的同时结束拍摄模式处理，并且处理等待下一个计算周期。
[0483]
可以用与参考图12所描述的方法类似的方法来实现自动拍摄确定处理。此时，可以通过使用来自相机3201的信息和来自图像拾取装置101的信息作为特征量输入来执行确
定，或者可以通过仅使用来自它们中的任意一个的信息来执行确定。
[0484]
在这种配置中，图像拾取装置101被配置成执行自动拍摄。可替代地，图像拾取装置101可以连续拍摄移动图像，将标签附到重要的时间帧，并且将标签记录在最终的移动图像文件中。
[0485]
可以通过使用拍摄结果来学习协作自动拍摄定时。
[0486]
例如，当图像拾取装置101不执行自动拍摄时或当相机3201开始拍摄时，此时作为学习数据的图12的输入的特征量被保存为不正确的数据。
[0487]
当图像拾取装置101正在执行自动拍摄时或当相机3201开始拍摄时，此时作为学习数据的图12的输入的特征量被保存为正确数据。
[0488]
当图像拾取装置101正在执行自动拍摄时或在经过预定时间之后相机3201没有开始拍摄时，此时作为学习数据的图12的输入的特征量被存储为不正确的数据。
[0489]
当学习数据累积大于或等于预定量时，学习数据，并且图12的神经网络的权重改变。
[0490]
描述相机3201拍摄静止图像、图像拾取装置101拍摄移动图像的示例；但是，拍摄方法不限于此。可以使用智能设备301等手动选择以下模式。
[0491]
图像拾取装置101可以自动选择以下模式。当被自动选择时，还自动确定以哪个模式执行拍摄。
[0492]
例如，当相机3201拍摄静止图像时，图像拾取装置101拍摄移动图像。
[0493]
可替代地，例如，当相机3201拍摄静止图像时，图像拾取装置101拍摄静止图像。
[0494]
可替代地，当相机3201拍摄移动图像时，图像拾取装置101拍摄静止图像。
[0495]
可替代地，当相机3201拍摄移动图像时，图像拾取装置101拍摄移动图像。
[0496]
相机3201和图像拾取装置101的光轴方向的朝向和视角可以被手动选择或自动选择。
[0497]
例如，相机3201和图像拾取装置101的光轴方向在相同方向上定向。
[0498]
可替代地，例如，相机3201和图像拾取装置101的光轴方向在不同方向上定向。
[0499]
相机3201和图像拾取装置101的视角是相同的。
[0500]
可替代地，相机3201和图像拾取装置101的视角不同。
[0501]
即使当图像拾取装置101拍摄静止图像时，图像拾取装置101也可以预测开始拍摄之前的定时，并且在自动拍摄时段期间，不仅可以自动拍摄单个图像，而且可以自动拍摄若干图像。
[0502]
在本实施例中，描述了将图像拾取装置101连接到相机3201的配件插座3202并使用其的示例；但是，配置不限于此。例如，图像拾取装置101可以被安装在相机3201的另一个构件(例如，三脚架螺纹等)上，或者无需直接安装在相机3201上就可以被使用(例如，以可穿戴方式穿戴在用户身上，并通过无线通信提供信息)。
[0503]
在本实施例中，描述了图像拾取装置101通过预先预测相机3201拍摄图像来拍摄图像的示例。可替代地，相机3201本身可以预先预测拍摄。在这种情况下，当预先通过预测确定要执行拍摄时，相机3201可以将开始拍摄的指令输出到图像拾取装置101，从而可以执行具有预先预测的相机协作拍摄。
[0504]
相机3201和图像拾取装置101之间的信息的通知可以被配置成仅在释放定时被提
供。相机3201和图像拾取装置101两者的检测到的信息可以被用于确定拍摄的开始。可替代地，仅图像拾取装置101的检测到的信息可以被用于确定拍摄开始。
[0505]
《使用相机3201进行学习》
[0506]
(1)将相机3201的信息传送到图像拾取装置101
[0507]
例如，通过用户的操作从相机3201拍摄的图像中提取主被摄体。
[0508]
然后，将被摄体信息提供给图像拾取装置101并进行设定。之后，图像拾取装置101基于被摄体的拍摄图像的数量来确定被摄体是否重要，对被摄对象进行注册，并执行自动拍摄、跟踪等。
[0509]
(2)在释放开始的时间点利用在图像拾取装置101中取得的信息进行被摄体注册
[0510]
例如，相机3201执行拍摄的定时通过用户的操作被提供给图像拾取装置101。然后，在拍摄定时根据图像拾取装置101中的图像设定重要的被摄体。之后，图像拾取装置101基于被摄体的拍摄图像的数量来确定被摄体是否重要，注册该被摄体，并执行自动拍摄、跟踪等。
[0511]
《从图像拾取装置101到相机3201的信息的通知》
[0512]
将描述在图像拾取装置101与相机3201之间协作执行拍摄的情况下用来自图像拾取装置101的信息辅助另一个相机3201的示例。
[0513]
(1)被摄体信息的通知
[0514]
由图像拾取装置101检测到的被摄体信息(例如，个人注册的脸部，被摄体(比如狗或猫)，被确定为所有者的偏好，或者用户偏好的被摄体被确定的审美确定结果)被提供给相机3201。然后，提供被摄体位于相机3201的实时图像中的位置以及图像外部存在什么被摄体(例如，在画面的右侧存在车辆)，并且提供是否存在用户偏好的被摄体。
[0515]
(2)释放通知
[0516]
图像拾取装置101可以被配置成向相机3201提供拍摄指令。
[0517]
利用在自动拍摄模式的处理中描述的方法，确定拍摄定时，并且向相机3201提供自动拍摄指令。
[0518]
可以确定特定物体是否进入相机3201的画面，并且可以在特定物体进入画面的定时执行连续拍摄或视频拍摄。
[0519]
根据本实施例，可以提供能够在没有任何用户的特殊操作的情况下取得用户偏好的视频图像的图像拾取装置。
[0520]
本发明的实施例不限于上述实施例。在不脱离本发明的精神和范围的情况下，可以进行各种改变或修改。因此，所附权利要求书示出了本发明的范围。
[0521]
本技术要求于2017年9月28日提交的日本专利申请no.2017-188938、2017年12月28日提交的日本专利申请no.2017-254231和2018年3月20日提交的日本专利申请no.2018-053078的优先权，这些申请都通过引用整体并入本文。