摄像设备及其控制方法以及存储介质与流程

1.本公开涉及能够自动拍摄被摄体的图像的摄像设备。


背景技术：

2.近年来，已经提出了定期地重复摄像的生活日志照相机和自动拍摄周围图像的摄像设备。这样的摄像设备旨在通过在用户没有意识到的情况下自动拍摄被摄体的图像来拍摄用户所期望的场景的图像。日本特开2019-117375讨论了能够通过自动进行平摇驱动和俯仰驱动来拍摄被摄体的图像的摄像设备。
3.然而，日本特开2019-117375中讨论的摄像设备自动进行平摇驱动和俯仰驱动，因此不一定拍摄用户所期望的被摄体的图像。


技术实现要素：

4.一种摄像设备，包括：摄像单元，其被配置为拍摄被摄体的图像；搜索单元，其被配置为搜索作为所述摄像单元要拍摄的摄像对象的被摄体；以及接收单元，其被配置为接收用于在不指定改变目标摄像对象的情况下从所述摄像单元当前正拍摄的被摄体改变所述摄像对象的改变指令，其中，在接收到所述改变指令的情况下，所述搜索单元搜索其他被摄体。
5.一种摄像设备的控制方法，所述控制方法包括：拍摄被摄体的图像；搜索作为在所述拍摄中要拍摄的摄像对象的被摄体；接收用于在不指定改变目标摄像对象的情况下改变所述摄像对象的改变指令；以及在接收到所述改变指令的情况下搜索其他被摄体。
6.一种非暂时性存储介质，其存储有用于使摄像设备执行控制方法的程序，所述控制方法包括：拍摄被摄体的图像；搜索作为在所述拍摄中要拍摄的摄像对象的被摄体；接收用于在不指定改变目标摄像对象的情况下改变所述摄像对象的改变指令；以及在接收到所述改变指令的情况下搜索其他被摄体
7.通过参考附图对示例性实施例的以下描述，本公开的进一步特征将变得明显。
附图说明
8.图1a示出根据第一示例性实施例的摄像设备的示例外观，并且图1b示出根据第一示例性实施例的摄像设备的操作。
9.图2示出根据第一示例性实施例的摄像设备的配置。
10.图3示出根据第一示例性实施例的包括摄像设备和外部设备的通信系统的配置。
11.图4示出根据第一示例性实施例的外部设备的配置。
12.图5是示出根据第一示例性实施例的自动摄像处理的流程图。
13.图6a至6d示出根据第一示例性实施例的所拍摄图像中的区域分割。
14.图7是示出根据第一示例性实施例的语音识别处理的流程图。
15.图8是示出根据第一示例性实施例的被摄体改变处理的流程图。
16.图9是示出根据第一示例性实施例的确定被摄体搜索处理的初始位置所用的处理的流程图。
17.图10是示出根据第一示例性实施例的被摄体改变之后的摄像处理的流程图。
18.图11是示出根据第二示例性实施例的被摄体改变处理的流程图。
19.图12是示出根据第三示例性实施例的被摄体改变处理的流程图。
具体实施方式
20.下面将参考附图详细描述本公开的示例性实施例。
21.以下示例性实施例被认为是用于实现本公开的说明性示例，并且能够以根据本公开的设备的配置和其他各种条件为依据来按需要进行校正或修改。示例性实施例可以适当地组合。
22.《摄像设备的配置》
23.将描述第一示例性实施例。图1a和1b示出根据第一示例性实施例的摄像设备的配置。
24.图1a所示的摄像设备101设置有包括能够接通和断开电源的电源开关的操作构件。操作构件包括触摸面板。
25.镜头筒102是包括光学透镜组和图像传感器的壳体。镜头筒102附接到摄像设备101。俯仰旋转单元104和平摇旋转单元105是能够相对于固定单元103旋转驱动镜头筒102的旋转机构。俯仰旋转单元104例如是能够在图1b所示的纵摇方向上旋转镜头筒102的马达。平摇旋转单元105例如是能够在图1b所示的横摆方向上旋转镜头筒102的马达。俯仰旋转单元104和平摇旋转单元105能够在一个或多个方向上旋转驱动镜头筒102。根据本示例性实施例，图1b所示的y轴是平摇旋转单元105的旋转轴。根据本示例性实施例，图1b所示的z轴的正方向是摄像设备101的正面方向。
26.角速度计106和加速度计107例如分别是陀螺仪传感器和加速度传感器，并且被布置在摄像设备101的固定单元103上。摄像设备101基于由角速度计106和加速度计107测量的速度来检测摄像设备101的振动。通过基于检测到的摄像设备101的振动来可旋转地驱动俯仰旋转单元104和平摇旋转单元105，摄像设备101生成校正了镜头筒102的抖动和倾斜的图像。
27.图2是示出根据本示例性实施例的摄像设备101的配置的框图。
28.第一控制单元223包括处理器(例如，中央处理单元(cpu)、图形处理单元(gpu)、微处理器以及微处理单元(mpu))和存储器(例如，动态随机存取存储器(dram)以及静态随机存取存储器(sram))。第一控制单元223进行各种处理以控制摄像设备101的各个块并且控制块之间的数据传输。第一控制单元223是控制单元和确定单元的示例。
29.作为数据可记录和可擦除存储器的非易失性存储器216存储有第一控制单元223的操作所用的常数和程序。
30.变焦单元201是包括进行变焦放大的变焦透镜的光学透镜组。变焦驱动控制单元202是控制变焦单元201的光学透镜的驱动的控制单元。调焦单元203是进行焦点调整的光学透镜组。
31.调焦驱动控制单元204控制调焦单元203的光学透镜的驱动。在摄像单元206中，图
像传感器接收通过各个光学透镜组的入射光，并将与对应于光量的电荷有关的信息作为模拟图像数据输出到图像处理单元207。变焦单元201、变焦驱动控制单元202、调焦单元203、调焦驱动控制单元204和摄像单元206包括在镜头筒102中。
32.图像处理单元207对从摄像单元206输入的图像数据进行失真校正、白平衡调整、颜色插值处理以及其他图像处理，并输出数字图像数据。图像记录单元208将从图像处理单元207输出的数字图像数据转换成诸如联合图像专家组(jpeg)格式等的图像文件格式和诸如运动图像专家组(mpeg)格式等的运动图像文件格式。由此产生的数字图像数据被发送到(如下所述的)存储器215和视频输出单元217。在将记录在存储器215中的数字图像数据记录到记录介质221的情况下，第一控制单元223将数字图像数据输出到记录/再现单元220。
33.镜头筒旋转驱动单元205驱动俯仰旋转单元104和平摇旋转单元105，以分别在俯仰方向和平摇方向上驱动镜头筒102。镜头筒旋转驱动单元205是驱动单元的示例。
34.设备抖动检测单元209包括例如用于检测摄像设备101的3轴方向上的角速度的角速度计106和用于检测摄像设备101的3轴方向上的加速度的加速度计107。设备抖动检测单元209基于由角速度计106和加速度计107检测到的信号来计算摄像设备101的旋转角度和偏移量。
35.具有多个麦克风的音频输入单元213对从麦克风输入的音频信号进行模数(ad)转换，并将由此产生的数字信号输出到音频处理单元214。
36.音频处理单元214可以检测安装有多个麦克风的平面上的声音方向。检测到的声音方向可用于(如下所述的)搜索和自动摄像。音频处理单元214可以进一步检测特定音频命令。本示例性实施例使用两个不同的特定音频命令：触发字和命令字。触发字是用作用于开始识别命令字的触发的命令。例如，触发字是包括诸如由用户说出的“好的，照相机”等的特定关键字的命令。命令字是用于指示摄像设备101进行预定处理的命令。预定处理的示例包括静止图像拍摄处理、运动图像拍摄开始处理、运动图像拍摄结束处理、休眠处理、被摄体改变处理和自动摄像处理。命令字包括对于各个处理不同的关键字，诸如针对静止图像拍摄处理的“拍摄静止图像”以及针对运动图像拍摄开始处理的“拍摄运动图像”。这些音频命令被预先记录在摄像设备101的存储器215中。摄像设备101可以被配置为除了预先记录的音频命令之外，还登记用户发出的用于进行任意处理的音频命令。
37.音频处理单元214对输入音频信号进行优化处理、编码处理以及其他音频处理。音频处理单元214所处理的音频信号由第一控制单元223发送到存储器215。存储器215临时记录从图像记录单元208输入的数据和从音频处理单元214输入的音频信号。在记录该音频信号的情况下，第一控制单元223将音频信号从存储器215输出到记录/再现单元220。
38.记录/再现单元220将图像数据、音频信号以及其他摄像相关控制数据记录到记录介质221。记录介质221可以是内置在摄像设备101中的记录介质或可移除记录介质。记录介质221可以记录图像数据、音频信号以及其他各种类型的数据。根据本示例性实施例，记录介质221具有与非易失性存储器216相比更大的容量。例如，记录介质221包括硬盘、光盘、磁光盘、可记录光盘(cd-r)、可记录数字多功能盘(dvd-r)、磁带、非易失性半导体存储器、闪速存储器。
39.记录/再现单元220可以读取(再现)记录在记录介质221中的图像数据、音频信号、各种数据以及程序。在再现记录在记录介质221中的图像数据和音频信号的情况下，第一控
制单元223如下操作。第一控制单元223将记录/再现单元220所读取的图像数据和音频信号分别输出到图像处理单元207和音频处理单元214。图像处理单元207和音频处理单元214分别解码图像数据和音频信号。图像处理单元207和音频处理单元214分别将所解码的信号输出到视频输出单元217和音频输出单元218。
40.第二控制单元211控制要供给到第一控制单元223的电力。例如，第二控制单元211包括处理器(例如，cpu、微处理器以及微处理单元(mpu))和存储器(例如，dram以及sram)。根据本示例性实施例，第二控制单元211与控制摄像设备101的整个主系统的第一控制单元223分开设置。
41.第一电源单元210和第二电源单元212分别供给电力以操作第一控制单元223和第二控制单元211。根据本示例性实施例，由第一电源单元210供给的电力大于由第二电源单元212供给的电力。根据本示例性实施例，根据要供给的电力来选择第一电源单元210和第二电源单元212。例如，第一电源单元210是用于向第一控制单元223供给电力的开关。第二电源单元212是锂电池或碱性干电池。当按下摄像设备101上的电源开关时，向第二控制单元211供给电力，然后向第一控制单元223供给电力。第一控制单元223可以控制第一电源单元210以关闭向第一控制单元223的供给电力。即使在不向第一控制单元223供给电力时，第二控制单元211也在工作以从设备抖动检测单元209和音频处理单元214获取信息。第二控制单元基于这样的输入信息来判断是否要激活第一控制单元223。在第二控制单元211判断为要激活第一控制单元223的情况下，第二控制单元211控制第一电源单元210以向第一控制单元223供给电力。根据本示例性实施例，第一电源单元210和第二电源单元212从电池供给电力。更具体地，摄像设备101也是便携式终端。
42.音频输出单元218在摄像时从内置在摄像设备101中的扬声器输出诸如电子快门声等的音频信号。发光二极管(led)控制单元224控制摄像设备101上的led在摄像时以预设模式点亮或闪烁。
43.视频输出单元217包括例如视频输出端子，并且向连接的外部显示器输出用于视频显示的图像信号。音频输出单元218和视频输出单元217可以是类似诸如频显示的图像信号。音频输出单元218和视频输出单元217可以是类似诸如端子等的一个集成端子的接口。
44.通信单元222是在摄像设备101和外部设备之间进行通信的接口。更具体地，通信单元222发送和接收诸如音频信号和图像数据等的数据。在通信单元222接收到与摄像相关的诸如摄像开始、摄像结束、平摇驱动、俯仰驱动以及变焦驱动等的控制信号的情况下，第一控制单元223根据接收到的控制信号驱动摄像设备101。通信单元222包括无线通信模块。无线通信模块的示例包括红外通信模块、通信模块、无线局域网(lan)通信模块、无线通用串行总线(usb)以及全球定位系统(gps)接收器。
45.被摄体检测单元225从存储器215读取从图像处理单元207输出的图像数据，并进行人和物体的被摄体识别。例如，为了识别人，被摄体检测单元225检测被摄体的面部。在摄像设备101中预先登记用于被摄体面部判断的图案。对该图案赋予用于区分各个被摄体的标识符。在被摄体面部检测处理中，被摄体检测单元225通过检测与用于判断所拍摄图像中包括的被摄体的面部的图案一致的位置，来检测被摄体的面部。被摄体检测单元225可以区分多个登记的人中的各个人。
46.被摄体检测单元225还同时计算指示关于检测到的被摄体的面部的概率的可靠性。例如，基于图像中面部区域的大小以及与面部图案的一致性来计算可靠性。被摄体检测单元225对图像中的被摄体的面部进行图案匹配，以检测包括检测到的面部是否是微笑、眼睛是否睁开以及面部朝向等的面部信息。用于检测面部信息的方法不限于图案匹配。包括深度学习的使用的已知技术是适用的。被摄体检测单元225是检测单元的示例。
47.在物体识别处理中，被摄体检测单元225判断被摄体是否与预先登记的图案一致以识别物体。另外，被摄体检测单元225可以通过使用所拍摄图像中色调或饱和度的直方图提取被摄体的特征量来识别物体。
48.上述方法使得第一控制单元223能够经由被摄体检测单元225基于所拍摄图像数据来检测被摄体。
49.《具有外部设备的系统配置》
50.图3示出包括摄像设备101和智能装置301的无线通信系统的示例。摄像设备101例如是数字照相机。智能装置301例如是包括蓝牙通信模块和无线lan通信模块的智能电话。
51.根据本示例性实施例，摄像设备101和智能装置301可以经由两个不同的通信路径彼此通信。一个是基于符合电气和电子工程师协会(ieee)802.11标准系列的无线lan的通信路径302，而另一个是基于控制站和从站之间的主从关系的诸如蓝牙低功耗等的通信路径303。无线lan和蓝牙低功耗是通信方法的示例。假设各个通信设备具有至少两个不同的通信功能的情况。例如，如果基于控制站和从站之间的关系的一个通信功能可以控制另一通信功能，则可以使用其他通信方法。在不丧失一般性的情况下，假设与诸如蓝牙低功耗等的第二通信相比，诸如无线lan等的第一通信能够以更高的通信速率进行通信，并且与第一通信相比，第二通信具有更低的功耗和更短的通信距离其中至少之一。
52.《外部设备的配置》
53.下面将参考图4描述作为外部通信设备的示例的智能装置301的配置。智能装置301是智能电话或移动电话。换句话说，智能装置301是便携式终端。
54.智能装置301包括例如用于无线lan通信的无线lan控制单元401、用于蓝牙低功耗通信的蓝牙低功耗控制单元402以及用于公共无线通信的公共线路控制单元406。智能装置301还包括包发送/接收单元403。
55.无线lan控制单元401进行对无线lan的射频(rf)控制、通信处理以及对符合ieee 802.11标准系列的无线lan通信的各种控制。无线lan控制单元401还进行与无线lan通信相关的协议处理。蓝牙低功耗控制单元402进行对蓝牙低功耗的rf控制、通信处理以及对蓝牙低功耗通信的各种控制。蓝牙低功耗控制单元402还进行与蓝牙低功耗通信相关的协议处理。公共线路控制单元406进行对公共无线通信的rf控制、通信处理以及对公共无线通信的各种控制。公共线路控制单元406还进行与公共无线通信相关的协议处理。公共无线通信符合例如国际多媒体电信(imt)标准和长期演进(lte)标准。包发送/接收单元403进行用于执行与无线lan、蓝牙低功耗通信以及公共无线通信相关的包发送和包接收其中至少之一的处理。下面将在智能装置301在通信中进行包发送和包接收其中至少之一的前提下描述本示例性实施例。然而，除了包交换(packet switching)之外的诸如线路交换等的通信格式也适用。
56.根据本示例性实施例的智能装置301还包括控制单元411、记录单元404、gps接收
单元405、显示单元407、操作单元408、音频输入/音频处理单元409以及电源单元410。控制单元411例如通过执行记录在记录单元404中的程序来控制整个智能装置301。记录单元404记录例如要由控制单元411执行的程序、通信所需的参数以及其他各种信息。在控制单元411执行记录在记录单元404中的程序的情况下，实现智能装置301的(如下所述的)各种操作。
57.电源单元410向智能装置301的各个单元供给电力。显示单元407具有通过使用液晶显示器(lcd)和led输出可视觉识别的信息并从扬声器输出声音的功能，并且显示和输出各种信息。操作单元408包括例如用于接收用户对智能装置301的操作的按钮。显示单元407和操作单元408可以由诸如触摸面板等的公共构件配置。
58.音频输入/音频处理单元409包括例如麦克风，并且对从麦克风输入的音频信号进行语音识别处理。音频输入/音频处理单元409可以通过语音识别来识别用户对摄像设备101的操作。在语音识别处理中，音频输入/音频处理单元409通过使用专用应用程序基于从麦克风输入的音频信号来识别用户说出的音频命令。智能装置301可以经由通信路径302将用于指示摄像设备101的音频处理单元214进行特定处理的音频命令登记到摄像设备101。
59.gps 405分析从卫星接收到的gps信号以估计智能装置301的当前位置(经度和纬度信息)。在估计的当前位置在诸如家等的预设范围内(在预定径向范围内)的情况下，智能装置301经由蓝牙低功耗控制单元402将关于当前位置的信息通知给摄像设备101。摄像设备101可以使用当前位置作为(如下所述的)自动摄像和自动编辑所用的参数。
60.如果当前位置改变或偏离预设范围，则智能装置301经由蓝牙低功耗控制单元402将移动信息通知给摄像设备101。摄像设备101可以使用移动信息作为自动摄像和自动编辑所用的参数。智能装置301可以通过使用wi-fi定位系统(wps)基于关于周围存在的无线网络的信息来估计智能装置301的当前位置。
61.如上所述，智能装置301在经由无线lan控制单元401和蓝牙低功耗控制单元402的通信中与摄像设备101交换数据。例如，摄像设备101和智能装置301发送和接收诸如音频信号和图像数据等的数据。智能装置301还可以向摄像设备101发送与摄像设备101的摄像相关的设置信息。智能装置301还可以向摄像设备101发送位置信息以及与摄像设备101的摄像处理相关的控制信号。
62.《自动摄像处理》
63.自动摄像处理是指由第一控制单元223进行以判断摄像定时并自动拍摄被摄体的图像的处理。在自动摄像处理中，在判断为能够拍摄优选的静止或运动图像的情况下，或者在经过了特定时间段的情况下，第一控制单元223重复自动拍摄被摄体的图像的序列。该功能使得即使用户未手动进行摄像，摄像设备101也能够拍摄在日常操作期间被摄体的预料之外的优选场景和无意识的变化。
64.图5是示出根据本示例性实施例的摄像设备101的自动摄像处理的流程图。
65.当用户接通摄像设备101的电源开关时，该流程图的处理开始。根据本示例性实施例，在摄像设备101和智能装置301之间建立无线连接。用户能够通过智能装置301上的专用应用程序对摄像设备101进行各种操作。当第一控制单元223控制摄像设备101的各个单元时，实现以下流程图中的各个步骤的处理。
66.在步骤s501中，第一控制单元223判断是否停止了自动摄像处理。下面将在(如下
所述的)语音识别处理的描述中描述自动摄像处理的停用。如果自动摄像处理停止(步骤s501中的是)，则第一控制单元223等待，直到自动摄像处理的停用被解除为止。更具体地，如果自动摄像处理停止，则重复步骤s501中的处理，直到自动摄像处理的停用被解除为止。另一方面，如果自动摄像处理未停止(步骤s501中的否)，则处理进入步骤s502。
67.在步骤s502中，第一控制单元223指示图像处理单元207对摄像单元206所拍摄的信号进行图像处理，以生成用于被摄体识别的图像。第一控制单元223还控制被摄体检测单元225基于生成的用于被摄体识别的图像来进行诸如人识别和动物识别等的被摄体识别。例如，在进行被摄体识别时，第一控制单元223预先存储用于判断被摄体的图案，并且经由被摄体检测单元225基于预先存储的图案和用于被摄体识别的图像中包括的图案之间的一致性来判断被摄体。第一控制单元223判断被摄体并检测被摄体在视场角中的位置。
68.在步骤s503中，第一控制单元223计算图像抖动校正量。更具体地，第一控制单元223基于设备抖动检测单元209所获取的角速度和加速度信息来计算摄像设备101的绝对角度。然后，第一控制单元223获得用于在抵消绝对角度用的角度方向上移动俯仰旋转单元104和平摇旋转单元105的图像稳定角度，并将该图像稳定角度识别为图像抖动校正量。
69.在步骤s504中，第一控制单元223进行被摄体搜索处理。被摄体搜索处理包括以下处理：
70.(1)区域分割
71.下面将参考图6a至6c描述区域分割。参照图6a至6c，在以摄像设备101的位置为原点o的球体上进行区域分割。参照图6a中的示例，在俯仰和平摇方向上以22.5度的间隔分割区域。
72.在如图6a所示进行区域分割的情况下，随着俯仰角从0度开始增大，水平方向上的圆周和一个区域的面积减小。因此，如图6b所示，在俯仰角为45度或更大的情况下，根据本示例性实施例的摄像设备101将水平方向上的区域范围设置为大于22.5度的角度。
73.下面将参考图6c和6d描述由摄像设备101拍摄的图像的视场角中的区域。轴1301表示摄像设备101的摄像方向的基准方向，并且参考该基准方向进行区域分割。轴1301例如是当摄像设备101被启动时的摄像方向或者预先确定为摄像方向的基准方向的方向。区域1302是由摄像单元206拍摄的图像的视场角区域。图6d示出了由摄像单元206在区域1302中拍摄的实时取景的示例。在图6d的实时取景的视场角中，基于图6c所示的区域分割，图像区域被分割为区域1303至1318。
74.(2)计算针对各个区域的重要性级别
75.针对如上所述的各个分割区域，摄像设备101根据存在于该区域中的被摄体的状态和该区域的场景状态来计算指示被摄体搜索中的优先级的重要性级别。例如，基于该区域中存在的被摄体的数量、被摄体的面部大小、被摄体的面部朝向、被摄体的面部检测的概率、被摄体的面部表情以及被摄体的人识别结果来计算根据被摄体状态的重要性级别。例如，基于一般物体识别结果、场景判断结果(诸如蓝天、背光和傍晚风景等)、来自区域方向的声音的声音级别和语音识别结果以及区域内移动检测信息来计算根据场景状态的重要性级别。
76.例如，如果登记了被摄体的面部，则第一控制单元223增加检测到所登记被摄体的面部的区域的重要性级别。例如，被摄体的面部被记录在非易失性存储器216中作为用于判
断被摄体的图案。在检测到被摄体的面部的区域的重要性级别增加的情况下，当经过了预定时间段或者当拍摄到预定数量的图像时，第一控制单元223将该区域的重要性级别返回到先前的重要性级别。
77.(3)搜索区域的确定
78.第一控制单元223如上所述确定针对各个区域的重要性级别，然后确定在具有高重要性级别的区域中选择性地进行被摄体搜索。然后，第一控制单元223计算对具有高重要性级别的区域其中之一的图像进行拍摄所需的平摇角度和俯仰角度。
79.在步骤s505中，第一控制单元223进行平摇驱动和俯仰驱动。更具体地，第一控制单元223基于在步骤s504中计算出的图像抖动校正量以及平摇角度和俯仰角度来计算平摇驱动量和俯仰驱动量。然后，第一控制单元223分别基于计算出的平摇驱动量和俯仰驱动量，经由镜头筒旋转驱动单元205控制平摇旋转单元105和俯仰旋转单元104的驱动。根据本示例性实施例，第一控制单元223在步骤s505中检测具有高重要性级别的区域中的被摄体，并通过驱动开始被摄体摄像。
80.在步骤s506中，第一控制单元223控制变焦单元201进行变焦驱动。例如，第一控制单元223根据在步骤s505中开始摄像的被摄体的状态来驱动变焦。例如，如果被摄体的面部在视场角中以非常小的大小被拍摄，则第一控制单元223控制变焦单元201在远摄方向上进行变焦，使得被摄体的面部大小在视场角中以合适的大小(更大)被拍摄。另一方面，如果被摄体的面部在视场角中以非常大的大小被拍摄，则第一控制单元223控制变焦单元201在广角方向上进行变焦，使得被摄体的面部大小在视场角中以合适的大小(更小)被拍摄。以这种方式进行变焦控制能够维持适合于跟踪被摄体的状态。
81.尽管在步骤s504至s506中，上述方法通过平摇、俯仰和变焦驱动来进行被摄体搜索，但是也可以通过使用多个广角镜头一次在所有方向上进行摄像的摄像系统来进行被摄体搜索。在这种情况下，整个处理负荷太大而无法使用通过在所有方向上的摄像获得的所有信号作为输入图像来进行诸如被摄体检测等的图像处理。因此，在这种情况下，第一控制单元223被配置为对通过在所有方向上摄像而获得的图像的一部分进行剪裁，然后在剪裁后图像的范围内进行被摄体搜索处理。
82.在该配置中，与上述方法类似，第一控制单元223计算针对各个区域的重要性级别，基于重要性级别改变剪裁位置，并判断(如下所述的)自动摄像。
83.这使得能够在限制图像处理的功耗的同时进行高速被摄体搜索。
84.在步骤s507中，第一控制单元223判断是否进行自动摄像。
85.下面将描述对是否进行自动摄像的判断。第一控制单元223根据摄像得分是否超过预定值来判断是否进行自动摄像。摄像得分是指用于判断是否进行自动摄像的参数。根据被摄体检测状态和时间的推移，将分数添加到摄像得分。假设设计了在摄像得分超过2000分的情况下进行自动摄像的示例情况。在这种情况下，摄像得分初始为0分，并且从进入自动摄像模式的定时起，随着时间的推移，将分数添加到得分。例如，摄像得分以使得摄像得分在120秒内达到2000分的增长率增加。在这种情况下，如果经过了120秒而未检测到被摄体，则得分通过由于时间的推移进行的加分达到2000分，并且进行摄像。在时间推移期间检测到具有高优先级的被摄体的情况下，将1000分添加到得分。例如，具有高优先级的被摄体是面部被登记在摄像设备101中的被摄体中的、被设置为要由用户优先地拍摄的对象
的被摄体。在检测到具有高优先级的被摄体的状态下，摄像得分更有可能达到2000分，由此，摄像的频率可能增加。
86.例如，在识别出被摄体的微笑的情况下，将800分添加到得分。即使对于不具有高优先级的被摄体，也进行这样的基于微笑的加分。下面将围绕无论被摄体是否具有高优先级、针对基于微笑的加分的分数都相同的示例情况来描述本示例性实施例。然而，本公开不限于此。例如，与在检测到不具有高优先级的被摄体的微笑时要添加的分数相比，在检测到具有高优先级的被摄体的微笑时要添加的分数可以更高。以这种方式加分使得能够进行更符合用户意图的摄像。在由于被摄体的这些面部表情(情绪)变化引起的加分而使得分超过2000分的情况下，进行自动摄像。即使得分未通过由于面部表情的变化引起的加分而超过2000分，得分也通过由于随后的时间的推移的加分而在较短的时间内达到2000分。
87.下面将围绕分数随时间线性添加的示例情况来描述由于时间的推移引起的加分，例如得分在120秒内达到2000分(即，每秒向得分添加2000/120分)。然而，本公开不限于此。作为加分方法的另一示例，直到120秒中的110秒的定时才向得分添加分数，并且可能在随后的10秒(从110秒到120秒的定时)中每秒向得分添加200分。以这种方式增加摄像得分，能够防止摄像得分由于被摄体的面部表情变化引起的加分而与优先级无关地达到摄像触发分数。在用于随着时间的推移线性增加摄像得分的加分方法中，随着长的时间推移已经添加了分数。因此，在这种情况下，具有低优先级的被摄体即使利用由于面部表情变化为微笑引起的加分，摄像得分通常也达到摄像触发分数，因此优先级程度相对难以被反映。另一方面，在由于面部表情变化引起的加分低的情况下，可能会错过面部表情变化的定时。由于需要避免该加分方法，因此直到110秒的定时才将分数添加到得分。使用该加分方法，直到110秒的定时才将分数添加到具有低优先级的被摄体的得分。另一方面，由于在检测到具有高优先级的被摄体时将1000分添加到得分，因此即使直到110秒的定时才进行由于时间的推移引起的加分，也将至少1000分添加到得分。
88.以这种方式，在进行由于面部表情变化引起的加分的情况下，与具有高优先级的被摄体相比，具有低优先级的被摄体不太可能使得分达到摄像触发分数，从而允许优先级在更大程度上起作用。尽管上面已经描述了由于面部表情变化引起的加分作为示例，但是加分的标准不限于此。加分标准的其他示例包括语音变大声的定时和肢体语言变得更大的定时。为了允许优先级程度针对这些标准起作用，需要提供加分方法中的上述差异。
89.即使通过被摄体的动作，摄像得分未超过2000分，随着时间的推移也在120秒的定时进行摄像。这意味着不存在特定时间段内根本不进行摄像的可能性。
90.如果在加分期间检测到被摄体，则可以在120秒中使开始增加摄像得分的定时更早地到来。更具体地，例如，在60秒的定时检测到具有高优先级的被摄体的情况下，向得分添加1000分，但是摄像得分不超过2000分。然而，在这种情况下，第一控制单元223可以在从检测到被摄体起已经经过了30秒时开始线性增加摄像得分，而不是直到110秒的定时才添加分数。可替代地，第一控制单元223可以不是在120秒的定时之前的10秒而是在120秒的定时之前的20秒开始线性增加摄像得分。以这种方式增加摄像得分增加了拍摄到具有高优先级的被摄体的可能性，使得更容易根据用户的意图实现摄像。
91.当进行自动摄像时，摄像得分重置为0分。直到摄像得分再次超过2000分才进行自动摄像。
92.如上所述进行是否进行自动摄像的判断。如果第一控制单元223判断为进行自动摄像(步骤s507中的是)，则处理进入步骤s508。另一方面，如果第一控制单元223判断为不进行自动摄像(步骤s507中的否)，则处理返回到步骤s501。
93.在步骤s508中，第一控制单元223进行摄像处理。摄像处理包括例如静止图像拍摄和运动图像拍摄。
94.以上已经描述了根据本示例性实施例的摄像设备101的自动摄像处理。上述用于自动拍摄被摄体的图像的处理使得摄像设备101能够在没有来自用户的摄像指令的情况下拍摄用户所期望的场景的静止或运动图像。
95.《语音识别处理》
96.图7是示出根据本示例性实施例的摄像设备101的语音识别处理的流程图。
97.当音频输入/音频处理单元409检测到从麦克风输入的音频信号时，开始该流程图的处理。该流程图的处理与图5中的自动摄像处理并行进行。下面将围绕如下示例来描述本示例性实施例：在执行图5中的自动摄像处理期间音频输入/音频处理单元409检测到从麦克风输入的音频信号时，开始流程图。当第一控制单元223执行记录在非易失性存储器216中的程序时实现该处理。
98.在步骤s701中，第一控制单元223判断是否已经检测到触发字。触发字是指用于开始音频命令识别的启动命令，在所述音频命令识别中，向摄像设备101发出具体音频指令。在用户向摄像设备101发出音频指令的情况下，用户在触发字之后说出命令字以指示摄像设备101识别该命令字。在检测到触发字的情况下(步骤s701中的是)，处理进入步骤s702。另一方面，在未检测到触发字的情况下(步骤s701中的否)，第一控制单元223重复步骤s701中的处理，直到检测到触发字为止。
99.在步骤s702中，第一控制单元223停止自动摄像处理。根据本示例性实施例，在第一控制单元223检测到触发字的情况下，第一控制单元223进入命令字等待状态并停止自动摄像处理。停止自动摄像处理是指例如暂停使用平摇驱动、俯仰驱动和变焦驱动的被摄体搜索或者摄像处理的执行。停止自动摄像的目的包括减少处理负荷以及对用户在触发字之后所发出的命令字指令快速响应。停止自动摄像的目的还包括使得能够在用户所期望的方向上实现摄像。例如，在用户试图通过使用音频指令发出摄像指令的情况下，假设用户在用户所期望的摄像的定时说出触发字。然而，如果即使在摄像设备101检测到触发字之后，第一控制单元223也不停止自动摄像，则假定特定原因。更具体地，到接收到在触发字之后的作为摄像指令的命令字的时间，摄像设备101的摄像方向已经从接收到触发字时的摄像方向改变。更具体地，如果第一控制单元223即使在检测到触发字时也不停止自动摄像，则难以在按照用户意图的方向上进行摄像。因此，摄像设备101在检测到触发字时停止平摇驱动和俯仰驱动。这使得能够维持摄像设备101朝向用户所期望的摄像方向的状态。
100.在步骤s703中，第一控制单元223输出用于向用户通知检测到触发字的检测音。
101.在步骤s704中，第一控制单元223判断是否在触发字之后检测到命令字。如果检测到命令字(步骤s704中的是)，则处理进入步骤s706。另一方面，如果没有检测到命令字(步骤s704中的否)，则处理进入步骤s705。
102.在步骤s705中，第一控制单元223判断自检测到触发字并进入命令字等待模式起是否已经经过了预定时间。如果已经经过了预定时间(步骤s705中的是)，则处理返回到步
骤s701。在步骤s701中，第一控制单元223退出命令字等待状态并进入触发字等待状态。在这种情况下，第一控制单元223也重新开始自动摄像处理。另一方面，如果尚未经过预定时间(步骤s705中的否)，则处理返回到步骤s704。在步骤s704中，第一控制单元223重复该处理，直到检测到命令字为止。
103.在步骤s706中，第一控制单元223判断检测到的命令字是否是静止图像拍摄命令。该静止图像拍摄命令用于指示摄像设备101对静止图像进行摄像处理和记录处理。在检测到的命令被判断为静止图像拍摄命令的情况下(步骤s706中的是)，处理进入步骤s707。另一方面，在检测到的命令被判断为不是静止图像拍摄命令的情况下(步骤s706中的否)，处理进入步骤s708。
104.在步骤s707中，第一控制单元223进行静止图像拍摄处理。更具体地，图像处理单元207将摄像单元206拍摄的信号转换成jpeg格式，并且图像记录单元208将该信号记录在记录介质221中。
105.在步骤s708中，第一控制单元223判断检测到的命令字是否为被摄体改变命令。被摄体改变命令是例如关键字“拍摄其他人”。在检测到的命令被判断为被摄体改变命令的情况下(步骤s708中的是)，处理进入步骤s709。另一方面，在检测到的命令被判断为不是被摄体改变命令的情况下(步骤s708中的否)，处理进入步骤s710。
106.在步骤s709中，第一控制单元223进行被摄体改变处理。紧挨在执行该步骤之前，第一控制单元223正在拍摄被摄体的图像。下面将详细描述被摄体改变处理。
107.在步骤s710中，第一控制单元223判断检测到的命令是否是运动图像记录开始命令。运动图像拍摄命令是用于指示摄像设备101进行运动图像拍摄处理和记录处理的命令。如果检测到的命令被判断为运动图像记录开始命令(步骤s710中的是)，则处理进入步骤s711。另一方面，如果检测到的命令被判断为不是运动图像记录开始命令(步骤s710中的否)，则处理进入步骤s712。
108.在步骤s711中，第一控制单元223通过使用摄像单元206开始运动图像拍摄，并将所拍摄运动图像数据记录在记录介质221中。在运动图像数据记录期间，第一控制单元223保持维持自动摄像停止状态，而不进行被摄体搜索。
109.在步骤s712中，第一控制单元223判断检测到的命令字是否是运动图像记录停止命令。如果检测到的命令被判断为运动图像记录停止命令(步骤s712中的是)，则处理进入步骤s713。另一方面，如果检测到的命令被判断为不是运动图像记录停止命令(步骤s712中的否)，则处理进入步骤s714。
110.在步骤s713中，第一控制单元223停止摄像单元206进行的被摄体摄像和向记录介质221的运动图像数据记录，以完成运动图像数据记录。
111.在步骤s714中，第一控制单元223进行对应于其他命令字的处理。例如，第一控制单元223进行针对指示摄像设备101在用户指定的方向上进行平摇驱动和俯仰驱动所用的命令字的处理，以及针对指示摄像设备101改变诸如摄像设备101的曝光校正等的各种摄像参数所用的命令字的处理。
112.在步骤s715和s716中，第一控制单元223进行用于重新开始在步骤s702中停止的自动摄像的处理。例如，第一控制单元223从步骤s502中的处理开始图5所示的流程图的处理。
113.已经描述了根据本示例性实施例的摄像设备101的语音识别处理。
114.现在将描述图7中步骤s709中的被摄体改变处理。
115.《被摄体改变处理》
116.图8是示出根据本示例性实施例的被摄体改变处理的流程图。当第一控制单元223执行存储在非易失性存储器216中的程序时，实现该流程图中的各个步骤的处理。当第一控制单元223控制摄像设备101的各个单元时，实现以下流程图中的各个步骤的处理。该流程图的处理相当于图7中流程图的步骤s709中的处理。
117.在步骤s801中，第一控制单元223经由镜头筒旋转驱动单元205控制俯仰旋转单元104和平摇旋转单元105的驱动，以将镜头筒102的摄像方向驱动到要作为被摄体搜索的初始位置的方向。下面将参考图9描述用于确定要作为被摄体搜索的初始位置的方向的处理。在该流程图的描述中，要作为初始位置的方向是从图6c中的轴1301的方向向右旋转180度产生的方向。
118.在步骤s802中，当镜头筒102的摄像方向朝向要作为初始位置的方向时，第一控制单元223开始被摄体搜索。在被摄体搜索中，第一控制单元223经由镜头筒旋转驱动单元205控制俯仰旋转单元104和平摇旋转单元105的驱动，使得镜头筒102的摄像方向朝向要作为被摄体搜索的结束位置的方向。在该流程图的描述中，要作为结束位置的方向是从图6c中的轴1301的方向向左旋转180度产生的方向。更具体地，在该流程图的描述中，镜头筒102的摄像方向被控制为沿着平行于水平面的平面在顺时针方向上绕一圈。该步骤之后的步骤s803至s811中的处理是被摄体搜索中的处理。
119.在步骤s803中，第一控制单元223判断被摄体检测单元225是否已经检测到被摄体。如果判断为已经检测到被摄体(步骤s803中的是)，则处理进入步骤s804。另一方面，如果判断为没有检测到被摄体(步骤s803中的否)，则处理进入步骤s811。
120.在步骤s804中，第一控制单元223暂停被摄体搜索。例如，第一控制单元223暂停俯仰旋转单元104和平摇旋转单元105的驱动。
121.在步骤s805中，第一控制单元223拍摄在步骤s803中检测到的被摄体。第一控制单元223将所拍摄图像数据记录在记录介质221中。
122.在步骤s806中，第一控制单元223获取关于所拍摄被摄体的信息。与被摄体有关的信息的示例包括被摄体的面部是否登记在摄像设备101中、被摄体的优先级以及被摄体的面部。
123.在步骤s807中，第一控制单元223基于在步骤s806中获取的与被摄体有关的信息来确定被摄体的重要性得分。重要性得分是指由第一控制单元223使用以确定在用于改变被摄体的搜索完成之后要拍摄的被摄体的参数。重要性得分不同于用于确定搜索区域的重要性级别。例如，被用户设置为具有高优先级的被摄体的被摄体可以被估计为用户想要拍摄的被摄体。因此，该被摄体具有相对高的重要性得分。相对而言，未登记在摄像设备101中的被摄体不一定是用户想要拍摄的被摄体。因此，该被摄体具有相对低的重要性得分。如果登记在摄像设备101中的被摄体没有优先级设置，则该被摄体具有中间重要性得分。更具体地，第一控制单元223可以将具有高重要性得分的被摄体确定为用户想要拍摄的被摄体。
124.根据本示例性实施例，第一控制单元223将具有面部表情的被摄体的重要性得分确定为高于具有无表情脸的被摄体的重要性得分。例如，具有微笑的被摄体的重要性得分
高于具有无表情脸的被摄体的重要性得分。例如，孩子的哭泣脸可能是孩子的父母想要拍摄的表情。因此，第一控制单元223将具有哭泣脸的被摄体的重要性得分设置为高于具有无表情脸的被摄体的重要性得分。
125.根据本示例性实施例，第一控制单元223还基于检测到的被摄体的眼睛的大小来确定重要性得分。例如，第一控制单元223将眼睛被检测到的被摄体的重要性得分确定为比由于眼睛闭合而不能被识别眼睛的被摄体的重要性得分更高。例如，第一控制单元223将具有睁开的眼睛的被摄体的重要性得分确定为比具有相对小的检测到的眼睛(诸如半睁眼睛)的被摄体的重要性得分更高。根据本示例性实施例，以这种方式，第一控制单元223基于检测到的被摄体的眼睛的大小来确定重要性得分。
126.根据本示例性实施例，第一控制单元223还基于被摄体面部的朝向来确定重要性得分。例如，第一控制单元223将正脸被完全检测到的被摄体的重要性得分确定为比面部被部分检测到的诸如侧脸等的被摄体的重要性得分更高。
127.根据本示例性实施例，第一控制单元223通过计算与被摄体有关的这些信息的重要性得分的总和来确定被摄体的最终重要性得分。根据本示例性实施例，第一控制单元223将具有高优先级的被摄体的重要性得分确定为比没有优先级设置的其他被摄体的重要性得分更高。更具体地，在检测到具有高优先级的被摄体和没有优先级设置的其他被摄体的情况下，第一控制单元223将具有高优先级的被摄体确定为在完成被摄体改变处理之后要被拍摄的被摄体。
128.在步骤s808中，第一控制单元223判断在步骤s807中确定的被摄体的重要性得分是否是自该流程图的处理开始以来确定的重要性得分中的最高重要性得分。例如，第一控制单元223判断重要性得分是否是自该流程图的处理开始以来所确定的重要性得分中的最高重要性得分。在判断为重要性得分是最高的情况下(步骤s808中的是)，处理进入步骤s809。另一方面，在判断为重要性得分不是最高的情况下(步骤s808中的否)，处理进入步骤s810。
129.在步骤s809中，第一控制单元223记录检测到在步骤s808中被判断为具有最高重要性得分的被摄体时的镜头筒102的摄像方向。例如，第一控制单元223将平摇方向的角度记录在存储器215中作为镜头筒102的摄像方向。根据本示例性实施例，将摄像设备101的基准方向(图6c所示的轴1301的方向)记录在存储器215中作为镜头筒102的摄像方向的初始值。第一控制单元223还将与被摄体有关的信息与镜头筒102的摄像方向一起记录在存储器215中。在已经记录了镜头筒102的摄像方向和与被摄体有关的信息的情况下，第一控制单元223覆写镜头筒102的摄像方向和与被摄体有关的信息。
130.在步骤s810中，第一控制单元223重新开始被摄体搜索。例如，第一控制单元223重新开始俯仰旋转单元104和平摇旋转单元105的驱动。
131.在步骤s811中，第一控制单元223判断被摄体搜索是否完成。例如，第一控制单元223判断镜头筒102的摄像方向是否朝向要作为结束位置的方向。在摄像方向朝向要作为结束位置的方向的情况下，第一控制单元223判断为被摄体搜索完成。另一方面，在摄像方向没有朝向要作为结束位置的方向的情况下，第一控制单元223判断为被摄体搜索未完成。如果被摄体搜索被判断为已经完成(步骤s811中的是)，则处理进入步骤s812。另一方面，如果被摄体搜索被判断为尚未完成(步骤s811中的否)，则处理返回到步骤s803。在步骤s803中，
第一控制单元223继续被摄体搜索。由于结束位置与如上在步骤s802的描述中所述的要作为初始位置的方向相同，因此该步骤的处理与判断自被摄体搜索开始起镜头筒102的摄像方向是否已绕了一圈所用的处理相同。如上在步骤s805的描述中所述，在被摄体搜索期间检测到被摄体的情况下，第一控制单元223拍摄检测到的被摄体的图像，然后记录与被摄体有关的信息。更具体地，在该步骤中判断为已经完成被摄体搜索的情况下，第一控制单元223对全周进行被摄体搜索以改变被摄体，拍摄周围存在的各个被摄体的图像并记录这些图像。这使得摄像设备101能够拍摄至少一次用户希望拍摄的被摄体的图像。要拍摄的被摄体包括经由音频输入发出被摄体改变指令的人。当重复步骤s809中的处理时，将与全周中出现的被摄体中被判断为具有最高重要性得分的被摄体有关的信息记录在存储器215中。
132.在步骤s812中，第一控制单元223经由镜头筒旋转驱动单元205控制俯仰旋转单元104和平摇旋转单元105的驱动，以拍摄被判断为具有最高重要性得分的被摄体的图像。更具体地，第一控制单元223控制这些单元的驱动，使得镜头筒102的摄像方向是检测到在步骤s808中被判断为具有最高得分的被摄体时的摄像方向。第一控制单元223还基于在步骤s809中最后记录的与被摄体有关的信息来确定要拍摄的被摄体。在该步骤中的处理之后，第一控制单元223进行用于拍摄被摄体的图像的处理。下面将参考图10描述用于拍摄被摄体的图像的处理。
133.如果在被摄体改变处理中没有检测到被摄体，则第一控制单元223进行自动摄像处理。如果在被摄体改变处理中没有检测到被摄体，则假设摄像设备101周围不存在被摄体。同时，由于用户发出了被摄体改变指令，因此假设用户想要摄像设备101拍摄被摄体的图像。
134.因此，第一控制单元223进行自动摄像处理。如果新的被摄体靠近摄像设备101，则第一控制单元223立即检测到被摄体并拍摄被摄体的图像。这使得第一控制单元223能够缩短没有拍摄到被摄体的时间段，并且根据用户的意图自动进行摄像。如果在被摄体改变处理中未检测到被摄体，则不进行步骤s809中的处理。因此，不覆写记录在存储器215中的摄像设备101的基准方向。因此，在步骤s812中，摄像设备101朝向摄像设备101的基准方向。然后，在摄像设备101朝向摄像设备101的基准方向之后，第一控制单元223进行自动摄像处理。
135.上面已经描述了根据本示例性实施例的摄像设备101的被摄体改变处理。
136.在根据本示例性实施例的摄像设备101的被摄体改变处理中，摄像设备101搜索存在于摄像设备101周围的被摄体。例如，即使摄像设备101正在跟踪用户不想拍摄的被摄体，用户也可以发出指令作为对取消跟踪并搜索其他被摄体的触发。
137.摄像设备101还从用户接收不对改变目标摄像对象进行特定指定的诸如“拍摄其他人”等的指令，并且在维持自动摄像属性的同时搜索另一被摄体。用户可以简单地通过发出被摄体改变指令来指示摄像设备101拍摄所期望被摄体的图像，以消除指定所期望摄像对象的位置和名称的需要。
138.第一控制单元223可以在从智能装置301接收到被摄体改变指令时进行被摄体改变处理。在这种情况下，当用户操作智能装置301上的专用应用程序时，智能装置301向摄像设备101发送用于改变被摄体的控制信号。然后，第一控制单元223在接收到控制信号时开始被摄体改变处理。
139.尽管在本示例性实施例中，第一控制单元223在摄像设备101的全周上搜索被摄体以改变被摄体，但是搜索范围可以变窄。例如，在摄像设备101安装在房间的角落的情况下，第一控制单元223可以在被摄体改变处理中在除了靠近房间墙壁的范围之外的范围中搜索被摄体。例如，在摄像设备101的摄像范围被限制为180度的情况下，第一控制单元223在被摄体改变处理中在有限的范围内进行被摄体搜索。因此，在被摄体改变处理中，第一控制单元223可以基于摄像设备101的周边状态和预设的摄像范围来搜索被摄体。
140.图9是示出根据本示例性实施例的确定作为被摄体改变处理中的被摄体搜索的初始位置的方向所用的处理的流程图。当第一控制单元223执行存储在非易失性存储器216中的程序时，实现该流程图中各个步骤的处理。当第一控制单元223控制摄像设备101的各个单元时，实现以下流程图中的各个步骤的处理。该流程图的处理相当于图8中的流程图的步骤s801中的处理。
141.在步骤s901中，第一控制单元223判断镜头筒102的当前摄像方向是中央方向的右手侧还是左手侧。例如，参考图6c，中央方向是指轴1301的方向，右手侧是指从轴1301的方向沿顺时针方向的180度范围，而左手侧是指从轴1301的方向沿逆时针方向的180度范围。在这种情况下，要作为右端的方向和要作为左端的方向重叠。右端可以被设置为从中央方向沿顺时针方向的180度范围内的任意方向。类似地，左端可以被设置为从中央方向沿逆时针方向的180度范围内的任意方向。
142.在判断为镜头筒102的当前摄像方向是左手侧的情况下(步骤s901中的否)，处理进入步骤s902。在步骤s902中，第一控制单元223将被摄体搜索的初始位置设置为左端，并且将被摄体搜索的结束位置设置为右端。在这种情况下，第一控制单元223控制镜头筒旋转驱动单元205通过从左端沿顺时针方向旋转来进行被摄体搜索。
143.另一方面，在判断为镜头筒102的当前摄像方向是右手侧的情况下(步骤s901中的是)，处理进入步骤s903。在步骤s903中，第一控制单元223将被摄体搜索的初始位置设置为右端，并且将被摄体搜索的结束位置设置为左端。在这种情况下，第一控制单元223控制镜头筒旋转驱动单元205从右端沿逆时针方向旋转来进行被摄体搜索。
144.已经描述了根据本示例性实施例的确定作为被摄体改变处理中的被摄体搜索的初始位置的方向所用的处理。
145.以这种方式，第一控制单元223将要作为被摄体改变处理中的被摄体搜索的初始位置的方向设置为在平摇方向上具有小旋转角度的方向。
146.在步骤s801中，摄像设备101可以与镜头筒102的当前摄像方向无关地确定要作为被摄体改变处理的初始位置的方向。例如，摄像设备101将要作为被摄体改变处理中的初始位置的方向确定为要作为右端的方向。在这种情况下，摄像设备101将要作为被摄体改变处理中的结束位置的方向确定为要作为左端的方向。
147.摄像设备101可以将用于改变摄像设备101的摄像方向的指令识别为诸如“向右看”和“向左看”等的被摄体改变命令。在采用这样的命令的情况下，用户需要在发出指令之前掌握用户想要拍摄的被摄体的位置。然而，摄像设备101的搜索范围可以被限制到期望的被摄体的方向，使得可以更有效率地改变被摄体。
148.在将用于改变摄像设备101的摄像方向的诸如“向右看”和“向左看”等的改变指令识别为被摄体改变命令的情况下，第一控制单元223将要作为被摄体搜索的初始位置的方
向识别为被摄体改变命令被识别到时的方向。然后，第一控制单元223在改变指令中所包括的方向上进行被摄体搜索处理。在这种情况下，被摄体搜索处理的结束位置是改变指令中所包括的方向上的结束。例如，对于改变指令“向右看”，结束(被摄体搜索处理的结束位置)是右端。例如，对于改变指令“向左看”，结束(被摄体搜索处理的结束位置)是左端。
149.《被摄体改变之后的摄像处理》
150.现在将描述被摄体改变之后的摄像处理。
151.图10是示出根据本示例性实施例的被摄体改变之后的摄像处理的流程图。该流程图的处理在步骤s812之后执行。当第一控制单元223执行存储在非易失性存储器216中的程序时，实现该流程图中各个步骤的处理。
152.在步骤s1001中，第一控制单元223判断在上述被摄体改变处理中是否已经检测到被摄体。在判断为已经检测到被摄体的情况下(步骤s1001中的是)，处理进入步骤s1003。另一方面，在判断为未检测到被摄体的情况下(步骤s1001中的否)，处理进入步骤s1002。
153.在步骤s1002中，第一控制单元223控制镜头筒旋转驱动单元205以将镜头筒102驱动到初始位置。例如，该初始位置是要作为被摄体搜索的初始位置的方向。
154.在步骤s1003中，第一控制单元223控制镜头筒旋转驱动单元205，使得镜头筒102的摄像方向朝向图8中步骤s809中记录的摄像方向。
155.随后，第一控制单元223将摄像方向限制在包括步骤s809中记录的摄像方向并且比被摄体搜索处理中的被摄体搜索范围窄的范围内，直到步骤s1007中的处理开始为止。因此，第一控制单元223可以保持使被摄体改变处理中所拍摄的被摄体作为主被摄体容纳在视场角内。以这种方式设置摄像方向上的范围使得第一控制单元223能够在调整视场角以获得优选构图的同时进行摄像。
156.在步骤s1004中，第一控制单元223判断在图8的步骤s809中记录的摄像方向上是否已经检测到在步骤s812中被判断为具有最高重要性得分的被摄体。如果第一控制单元223判断为已经检测到被判断为具有最高重要性得分的被摄体(步骤s1004中的是)，则处理进入步骤s1005。另一方面，如果第一控制单元223判断为未检测到被判断为具有最高重要性得分的被摄体(步骤s1004中的否)，则处理进入步骤s1007。
157.在步骤s1005中，第一控制单元223拍摄在步骤s1004中检测到的被摄体的图像，然后将摄像数据记录在记录介质221中。
158.在步骤s1006中，第一控制单元223判断自进行步骤s1004中的处理以来是否已经经过了预定时间段。预定时间段是例如5或10分钟。在判断为尚未经过预定时间段的情况下(步骤s1006中的否)，处理返回到步骤s1004。在步骤s1004中，第一控制单元223继续检测在步骤s812中判断为具有最高重要性得分的被摄体。另一方面，在判断为已经经过了预定时间段的情况下(步骤s1006中的是)，处理进入步骤s1007。
159.在步骤s1007中，第一控制单元223停止在图8的步骤s809中记录的摄像方向上检测被判断为具有最高重要性得分的被摄体，并返回到通常自动摄像处理。此外，第一控制单元223重置在图8的步骤s809中记录的摄像方向以及来自步骤s1003中的处理的对摄像方向的范围的限制。更具体地，基准方向被覆写到存储器215，并且在步骤s1007中的处理之后的自动摄像处理中，被摄体搜索范围返回到360度。作为进行自动摄像处理的结果，第一控制单元223可以继续对当前正被拍摄的被判断为具有最高重要性得分的被摄体的图像进行拍
摄。
160.上面已经描述了被摄体改变之后的摄像设备101的摄像处理。
161.以这种方式，第一控制单元223在从用户接收到被摄体改变指令时进行被摄体搜索，然后拍摄被判断为具有最高重要性得分的被摄体的图像。这使得摄像设备101能够继续对被估计为用户想要拍摄的被摄体的被摄体的图像进行拍摄。
162.尽管在该流程图中，第一控制单元223在步骤s1006中判断是否已经经过了预定时间段，但是第一控制单元223也可以判断是否已经进行了预定次数的摄像。例如，预定次数是5或10。在第一控制单元223判断为已经进行了预定次数的摄像的情况下(步骤s1006中的是)，处理进入步骤s1007。另一方面，在第一控制单元223判断为尚未进行预定次数的摄像的情况下(步骤s1006中为否)，处理返回到步骤s1004。
163.如上所述，摄像设备101在从用户接收到被摄体搜索指令时进行被摄体搜索，自动检测用户想要拍摄的被摄体，并拍摄被摄体的图像。这使得摄像设备101能够根据用户的意图实现自动摄像。
164.以上已经围绕第一控制单元223在正进行自动摄像处理的状态下接收到用于进行被摄体改变处理的指令的情况描述了本示例性实施例。然而，即使在未进行自动摄像处理的状态下，第一控制单元223也可以接收用于进行被摄体改变处理的指令。即使在这种情况下，第一控制单元223也根据被摄体改变之后的摄像处理来拍摄被摄体的图像，然后开始自动摄像处理。假设发出被摄体改变指令的用户希望摄像设备101保持对被摄体改变处理中检测到的被摄体的图像进行拍摄。可替代地，在第一控制单元223在未进行自动摄像处理时接收到被摄体改变指令的情况下，第一控制单元223可以在根据被摄体改变之后的摄像处理拍摄被摄体的图像之后不开始自动摄像处理。假设发出被摄体改变指令的用户可能希望摄像设备101在一定程度上拍摄在被摄体改变处理中检测到的被摄体的图像，并且可能不打算进行后续的自动摄像。此外，在第一控制单元223在未进行自动摄像处理时接收到被摄体改变指令的情况下，第一控制单元223可以对在根据被摄体改变之后的摄像处理拍摄被摄体的图像之后是否开始自动摄像处理进行设置。用户从智能装置301向摄像设备101发出用于设置是否开始自动摄像处理的指令。这使得摄像设备101能够响应于用户想要的任意情况。
165.根据第二示例性实施例，摄像设备101进行专注于改变要拍摄的被摄体的被摄体改变处理。本示例性实施例旨在通过与紧挨在被摄体改变处理开始前正被拍摄的被摄体相比、优先地拍摄其他被摄体的图像，使得用户更容易拍摄用户想要拍摄的被摄体的图像。摄像设备101和智能装置301的配置类似于根据第一示例性实施例的配置。
166.图11是示出根据第二示例性实施例的被摄体改变处理的流程图。当第一控制单元223控制摄像设备101的各个单元时，实现以下流程图中的各个步骤的处理。该流程图的处理相当于图7中流程图的步骤s709中的处理。
167.在步骤s1101中，第一控制单元223记录关于当前正被拍摄的被摄体的信息。例如，第一控制单元223记录指示在接收到被摄体改变指令时正被拍摄的被摄体的标识符作为关于被摄体的信息。在下文中，在步骤s1101中正被拍摄的被摄体被称为初始被摄体。根据本示例性实施例，第一控制单元223仅选择一个初始被摄体。例如，在视场角中检测到两个不同的被摄体的情况下，第一控制单元223选择两个被摄体中的任一个作为初始被摄体，然后
记录该被摄体。在这种情况下，第一控制单元223考虑与初始被摄体选择有关的例如视场角中被摄体的大小、被摄体与视场角中心的接近度以及被摄体与焦点的接近度等的标准来选择初始被摄体。
168.步骤s1102至s1107中的处理分别类似于图8中步骤s801至s806中的处理，因此将省略其冗余描述。
169.在步骤s1108中，第一控制单元223判断在步骤s1104中检测到的被摄体是否是初始被摄体。例如，第一控制单元223通过参考记录在与被摄体有关的信息中的、指示在接收到被摄体搜索指令时正被拍摄的被摄体的标识符，来检测在步骤s1104中检测到的被摄体是否是初始被摄体。在步骤s1104中检测到的被摄体被判断为初始被摄体的情况下(步骤s1108中的是)，处理进入步骤s1109。另一方面，在步骤s1104中检测到的被摄体被判断为不是初始被摄体的情况下(步骤s1108中为否)，处理进入步骤s1110。
170.在步骤s1109中，第一控制单元223将在步骤s1104中检测到的被摄体的重要性得分确定为最小值。更具体地，在该步骤中，第一控制单元223确定为初始被摄体的重要性得分低于除初始被摄体之外的被摄体的重要性得分。例如，第一控制单元223设置在常规重要性得分计算中不出现的负的固定值。可替代地，第一控制单元223设置比可基于优先级、面部表情、眼睛大小、面部朝向和其他信息计算出的重要性得分获得的值中的最小值更小的固定值。
171.更具体地，在该步骤中，第一控制单元223不计算重要性得分。这使得摄像设备101能够在被摄体改变处理之后拍摄除初始被摄体之外的被摄体的图像。
172.步骤s1110至s1115中的处理分别类似于图8中的步骤s807至s812中的处理，因此将省略其冗余描述。
173.已经描述了根据本示例性实施例的摄像设备101的被摄体改变处理。
174.以这种方式，第一控制单元223可以通过将初始被摄体的重要性得分确定为最小值，使得在被摄体改变处理中更容易拍摄除初始被摄体之外的被摄体的图像。
175.在被摄体改变处理中首先检测到的被摄体是初始被摄体的情况下，第一控制单元223在步骤s1112中的摄像方向记录处理中记录初始被摄体的朝向。这使得第一控制单元223即使没有发现除初始被摄体之外的被摄体也能够拍摄初始被摄体的图像，以使得可以避免在被摄体改变处理之后没有被摄体被拍摄的情况。
176.当图11中的流程图的处理结束时，第一控制单元223将指示在接收到被摄体搜索指令时正被拍摄的被摄体的、被记录为与初始被摄体有关的信息的标识符删除。当第一控制单元223开始随后的自动摄像处理时，基于与其他被摄体相似的标准来确定初始被摄体的重要性得分。
177.尽管在本示例性实施例中，第一控制单元223将初始被摄体的重要性得分确定为最小值以拍摄除初始被摄体之外的被摄体的图像，但是用于确定重要性得分的其他方法也是适用的。例如，第一控制单元223可以通过无条件地将预定值添加到除初始被摄体之外的被摄体的重要性得分，来使得更容易拍摄除初始被摄体之外的被摄体的图像。
178.根据第三示例性实施例，摄像设备101在被摄体改变处理中执行被摄体搜索处理期间拍摄运动图像。第三示例性实施例旨在通过在被摄体改变处理中拍摄运动图像，使得摄像设备101能够比在被摄体改变处理中拍摄静止图像的情况更可靠地拍摄用户想要拍摄
的被摄体的图像。摄像设备101和智能装置301的配置类似于根据第一示例性实施例的配置。
179.图12是示出根据第三示例性实施例的被摄体搜索处理的流程图。当第一控制单元223执行存储在非易失性存储器216中的程序时，实现该流程图中各个步骤的处理。当第一控制单元223控制摄像设备101的各个单元时，实现以下流程图中的各个步骤的处理。该流程图的处理相当于图7中流程图的步骤s709中的处理。
180.在步骤s1201中，第一控制单元223判断在被摄体改变处理中是拍摄运动图像还是静止图像。例如，在被摄体改变处理中，第一控制单元223判断是静止图像还是运动图像被设置为要拍摄。用户可以通过使用智能装置301来改变该设置。在判断为要拍摄运动图像的情况下(步骤s1201中的是)，处理进入步骤s1202。另一方面，在判断为要拍摄静止图像的情况下(步骤s1201中的否)，处理进入步骤s1213。在步骤s1213中，第一控制单元223进行图8所示的流程图的处理。
181.在步骤s1202中，第一控制单元223经由镜头筒旋转驱动单元205控制俯仰旋转单元104和平摇旋转单元105的驱动，以将镜头筒102的摄像方向驱动为要作为被摄体搜索的初始位置的方向。例如，第一控制单元223驱动俯仰旋转单元104和平摇旋转单元105，使得镜头筒102的摄像方向与图6c中的轴1301的方向一致。
182.在步骤s1203中，第一控制单元223开始记录运动图像。
183.在步骤s1204中，当镜头筒102的摄像方向朝向要作为初始位置的方向(图6c中的轴1301的方向)时，第一控制单元223开始被摄体搜索。在被摄体搜索中，第一控制单元223经由镜头筒旋转驱动单元205控制俯仰旋转单元104和平摇旋转单元105的驱动，使得镜头筒102的摄像方向朝向要作为被摄体搜索的结束位置的方向。根据本示例性实施例，例如，镜头筒102的摄像方向被控制为从图6c中的轴1301的方向沿着平行于水平面的平面在顺时针方向上绕一圈。在这种情况下，被摄体搜索的结束位置的方向与初始位置(图6c中的轴1301的方向)相同。该步骤之后的步骤s1205至s1212中的处理是被摄体搜索中的处理。
184.在步骤s1205中，第一控制单元223判断被摄体检测单元225是否已经检测到被摄体。如果判断为已经检测到被摄体(步骤s1205中的是)，则处理进入步骤s1206。另一方面，如果判断为未检测到被摄体(步骤s1205中为否)，则处理进入步骤s1210。
185.在步骤s1206中，第一控制单元223获取关于所拍摄被摄体的信息。与被摄体有关的信息的示例包括被摄体的面部是否登记在摄像设备101中、被摄体的优先级、被摄体的面部、以及被摄体是否与在接收到被摄体改变指令时拍摄的被摄体相同。
186.在步骤s1207中，第一控制单元223基于在步骤s1206中获取的与被摄体有关的信息来确定被摄体的重要性得分。重要性得分是指由第一控制单元223使用以确定在完成用于改变被摄体的搜索之后要拍摄的被摄体的参数。重要性得分与用于确定搜索区域的重要性级别不同。例如，被用户设置为具有高优先级的被摄体的被摄体可以被估计为用户想要拍摄的被摄体。因此，该被摄体具有高重要性得分。相对而言，未登记在摄像设备101中的被摄体不一定是用户想要拍摄的被摄体。因此，该被摄体具有低重要性得分。如果在摄像设备101中登记的被摄体没有优先级设置，则该被摄体具有中间重要性得分。更具体地，第一控制单元223可以将具有高重要性得分的被摄体判断为用户想要拍摄的被摄体。
187.根据本示例性实施例，第一控制单元223将具有面部表情的被摄体的重要性得分
确定为高于具有无表情脸的被摄体的重要性得分。例如，具有微笑的被摄体的重要性得分高于具有无表情脸的被摄体的重要性得分。例如，孩子的哭泣脸可能是孩子的父母想要拍摄的表情。因此，第一控制单元223将具有哭泣脸的被摄体的重要性得分设置为高于具有无表情脸的被摄体的重要性得分。根据本示例性实施例，假设具有高优先级的被摄体的重要性得分高于具有诸如微笑等的面部表情的被摄体的重要性得分。根据本示例性实施例，第一控制单元223通过计算针对与被摄体有关的这些信息的重要性得分总和来确定重要性得分。
188.在步骤s1208中，第一控制单元223判断在步骤s1207中确定的被摄体的重要性得分是否是自该流程图的处理开始以来确定的重要性得分中的最高重要性得分。例如，第一控制单元223判断重要性得分是否是自该流程图的处理开始以来所确定的重要性得分中的最高重要性得分。如果重要性得分被判断为最高(步骤s1208中的是)，则处理进入步骤s1209。另一方面，如果重要性得分被判断为不是最高(步骤s1208中的否)，则处理进入步骤s1210。
189.在步骤s1209中，第一控制单元223记录在步骤s1208中被判断为具有最高重要性得分的被摄体的摄像方向。例如，第一控制单元223将平摇方向的角度记录在存储器215中作为镜头筒102的摄像方向。根据本示例性实施例，在该流程图的处理开始时的摄像方向的初始值是要作为被摄体搜索的初始位置的方向。第一控制单元223还将关于被摄体的信息与镜头筒102的摄像方向一起记录在存储器215中。在已经记录有镜头筒102的摄像方向和关于被摄体的信息的情况下，第一控制单元223覆写镜头筒102的摄像方向和关于被摄体的信息。
190.在步骤s1210中，第一控制单元223判断被摄体搜索是否完成。例如，第一控制单元223判断镜头筒102的摄像方向是否朝向要作为结束位置的方向。如果摄像方向朝向要作为结束位置的方向，则第一控制单元223判断为被摄体搜索完成。另一方面，如果摄像方向不朝向要作为结束位置的方向，则第一控制单元223判断为被摄体搜索未完成。如果被摄体搜索被判断为已经完成(步骤s1210中的是)，则处理进入步骤s1211。另一方面，如果被摄体搜索被判断为尚未完成(步骤s1210中的否)，则处理返回到步骤s1205。在步骤s1205中，第一控制单元223继续被摄体搜索。
191.在步骤s1211中，第一控制单元223停止记录运动图像，并将运动图像数据记录在记录介质221中。
192.在步骤s1212中，第一控制单元223经由镜头筒旋转驱动单元205控制俯仰旋转单元104和平摇旋转单元105的驱动，以对被判断为具有最高重要性得分的被摄体的图像进行拍摄。更具体地，第一控制单元223控制这些单元的驱动，使得镜头筒102的摄像方向与检测到在步骤s808中被判断为具有最高得分的被摄体时的摄像方向一致。第一控制单元223还基于在步骤s1209中最后记录的关于被摄体的信息来确定要拍摄的被摄体。在该步骤中的处理之后，第一控制单元223进行用于拍摄被摄体的图像的处理。用于拍摄被摄体的图像的处理类似于根据第一示例性实施例的图10所示的流程图的处理。
193.已经描述了根据本示例性实施例的摄像设备101的被摄体改变处理。
194.通过以这种方式在被摄体改变处理中拍摄运动图像，与在被摄体改变处理中拍摄静止图像的情况相比，摄像设备101可以更可靠地拍摄用户想要拍摄的被摄体的图像。
195.[其他示例性实施例]
[0196]
当经由网络或存储介质将用于实现根据上述示例性实施例的功能其中至少之一的程序提供给系统或设备，并且该系统或设备的计算机中的至少一个处理器读取并执行该程序时，也可以实现本公开。此外，本公开还可以通过用于实现至少一个功能的电路(例如，专用集成电路(asic))来实现。
[0197]
本公开不限于上述示例性实施例，而是在实现时，可以在不脱离其精神和范围的情况下修改和构成要素。通过适当组合上述示例性实施例中公开的多个构成要素可以形成不同的发明。例如，一些构成要素可以从根据示例性实施例的整体构成要素中删除。此外，不同示例性实施例的构成要素可以适当地组合。
[0198]
其它实施例
[0199]
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提提供系统或设备，该系统或设备的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
[0200]
虽然已经参考示例性实施例描述了本公开，但是应当理解，本公开不限于所公开的示例性实施例。权利要求的范围应符合最广泛的解释，以包含所有这样的修改以及等效结构和功能。