成像设备、成像控制方法和程序与流程

1.本公开涉及一种成像设备、成像控制方法和程序。


背景技术：

2.正在开发具有执行像素细化或添加的功能的成像设备(参见ptl1)。此外，存在执行像素细化从而允许以高帧速率进行拍摄的成像设备。这使得能够对高速移动的被摄对象执行拍摄。
3.引文列表
4.专利文献
5.ptl 1：日本未审查专利申请公开号2018
‑
19191


技术实现要素：

6.允许以高帧速率进行拍摄的成像设备通常具有较低的图像质量。难以以高图像质量在期望的定时对高速移动的被摄对象执行拍摄。
7.希望提供一种成像设备、成像控制方法和程序，该成像设备、成像控制方法和程序允许以高图像质量并在期望定时对高速移动的被摄对象进行拍摄。
8.根据本公开的一个实施例的成像设备包括曝光部件和控制器。控制器在基于以第一帧速率拍摄的被摄对象的状态被预测为满足预定条件的预测曝光定时的曝光定时，以第二帧速率控制曝光部件。第二帧速率不同于第一帧速率。
9.根据本公开的一个实施例的成像控制方法包括：使用包括曝光部件的成像设备以第一帧速率拍摄被摄对象；和在基于以第一帧速率拍摄的被摄对象的状态被预测为满足预定条件的预测曝光定时的曝光定时，以第二帧速率控制曝光部件，第二帧速率不同于第一帧速率。
10.根据本公开的一个实施例的程序使计算机执行包括以下处理的处理：使用包括曝光部件的成像设备以第一帧速率拍摄被摄对象；和在基于以第一帧速率拍摄的被摄对象的状态被预测为满足预定条件的预测曝光定时的曝光定时，以第二帧速率控制曝光部件，第二帧速率不同于第一帧速率。
11.在根据本公开的实施例的成像设备、成像控制方法或程序中，控制曝光部件的曝光定时，以允许在预测的最佳曝光定时执行被摄对象的拍摄。
附图说明
12.图1是示出将应用根据本公开的第一实施例的成像设备的相机的配置的概要的框图。
13.图2是示出难以在通常曝光定时拍摄的拍摄场景的示例的说明图。
14.图3是示出根据第一实施例的相机的操作的概要的说明图。
15.图4是示出根据第一实施例的相机的操作的概要的说明图。
16.图5是示出根据第一实施例的相机的识别和预测处理的操作流程的示例的流程图。
17.图6是示出根据第一实施例的相机在连续拍摄模式或运动图像模式下的通常成像处理的操作流程的示例的流程图。
18.图7是示出根据第一实施例的相机在连续拍摄模式或运动图像模式下的曝光定时的示例的定时图。
19.图8是示出根据第一实施例的相机在自动确定模式下的识别和预测处理的操作流程的示例的流程图。
20.图9是示出根据第一实施例的相机的识别和预测处理的操作流程的第一特定示例的流程图。
21.图10是示出根据第一实施例的相机的识别和预测处理的操作流程的第二特定示例的流程图。
22.图11是示出根据第一实施例的相机在识别和预测处理中要使用的数据库的数据内容的示例的说明图。
23.图12是示出图11之后的数据库的示例的说明图。
24.图13是示出在选择单次拍摄模式(特别地，预测最佳曝光定时优先模式)的情况下，根据第一实施例的相机的成像处理的操作流程的示例的流程图。
25.图14是图13之后的流程图。
26.图15是示出在选择单次拍摄模式(特别地，拍摄触发优先模式)的情况下，根据第一实施例的相机的成像处理的操作流程的示例的流程图。
27.图16是图15之后的流程图。
28.图17是示出根据第一实施例的相机在单次拍摄模式下的曝光定时和图像数据读取定时的概要的定时图。
29.图18是示出在选择单次拍摄模式(特别地，预测最佳曝光定时优先模式)的情况下，根据第一实施例的相机的曝光定时和图像数据读取定时的示例的定时图。
30.图19是示出在选择单次拍摄模式(特别地，拍摄触发优先模式)的情况下，根据第一实施例的相机的曝光定时和图像数据读取定时的示例的定时图。
31.图20是示出在单次拍摄模式下通过半按控制预测最佳曝光定时允许时间的示例的定时图。
32.图21是示出与根据第一实施例的相机的曝光定时控制功能、拍摄触发、识别和预测处理以及主图像拍摄相关的定时的示例的定时图。
33.图22是示出在抑制识别和预测处理的帧速率的情况下，与根据第一实施例的相机的曝光定时控制功能、拍摄触发、识别和预测处理以及主图像拍摄相关的定时的第一示例的定时图。
34.图23是示出在抑制识别和预测处理的帧速率的情况下，与根据第一实施例的相机的曝光定时控制功能、拍摄触发、识别和预测处理以及主图像拍摄相关的定时的第二示例的定时图。
35.图24是示出在根据第一实施例的相机拍摄时确定为最佳曝光定时的情况下给用户的通知的示例的说明图。
36.图25是示出在再现由根据第一实施例的相机拍摄的图像时通知用户已在最佳曝光定时执行了拍摄的示例的说明图。
37.图26是示出将应用根据第二实施例的成像设备的相机的配置的概要的框图。
38.图27是示出将应用根据第三实施例的成像设备的相机的配置的概要的框图。
具体实施方式
39.在下文中，参考附图详细描述了本公开的实施例。需要注意的是，将按照以下顺序给出描述。
40.1.第一实施例(图1至25)
41.1.1根据第一实施例的相机的配置
42.1.2根据第一实施例的相机的操作
43.1.3效果和修改
44.2.第二实施例(图26)
45.3.第三实施例(图27)
46.4.其他实施例
47.<1.第一实施例>
48.[1.1根据第一实施例的相机的配置]
[0049]
图1示出了将应用根据本公开第一实施例的成像设备的相机的配置的概要。
[0050]
根据第一实施例的相机包括相机主体100中的成像设备10、处理器30、触发if(接口)41、显示部件42和记录介质43。触发if 41、显示部件42和记录介质43可以与相机主体100分开配置。此外，根据第一实施例的相机可以包括形成被摄对象的光学图像的透镜部件。
[0051]
成像设备10包括曝光部件11和曝光定时控制部件12。处理器30包括识别和预测处理部件31、处理执行确定部件32、图像显影处理部件33、数据库34以及内部存储器35。曝光定时控制部件12对应于本公开技术中的“控制器”的特定示例。此外，除了曝光定时控制部件12之外，识别和预测处理部件31、处理执行确定部件32或图像显影处理部件33中的至少一个可以包括在本公开技术中的“控制器”中。
[0052]
触发if 41包括例如指示曝光部件11执行快门操作的拍摄触发(快门按钮)。此外，触发if 41包括模式盘、功能选择按钮等。根据第一实施例的相机被配置为例如在拍摄时执行各种模式的选择，例如选择连续拍摄模式、运动图像模式或单次拍摄模式，并且使用模式盘、功能选择按钮等配置拍摄时的各种设定等。此外，根据第一实施例的相机被配置为使用模式盘、功能选择按钮等来配置曝光定时控制功能的开/关设定。
[0053]
需要注意的是，一般情况下，作为拍摄触发的相机快门按钮具有半按功能，其允许通过按下按钮大约一半来启动某种功能。此外，一般而言，关于相机，可以例如将拍摄相关功能分配给设置在相机外壳上的另一按钮。在根据第一实施例的相机中，代替将快门按钮按下一半，例如，可以通过按下设置在相机外壳上的另一按钮来实现半按功能。此外，用于实现半按功能的按钮可以是专用于半按功能的按钮。
[0054]
曝光部件11包括成像元件，例如ccd(电荷耦合器件)或cmos(互补金属氧化物半导体)。曝光部件11执行被摄对象的拍摄并输出成像信号。曝光部件11被配置为基于快门按钮
打开时的定时以第二帧速率(例如，20fps)执行连续拍摄和运动图像拍摄(参见将在后面描述的图3至7中的操作)。
[0055]
此外，曝光部件11被配置为基于快门按钮打开时的定时执行单次拍摄(参见将在后面描述的图13至16和图17至20)。
[0056]
图像显影处理部件33基于来自曝光部件11的成像信号生成适于记录在内部存储器35和记录介质43中的图像数据。此外，图像显影处理部件33基于来自曝光部件11的成像信号生成适合于显示在显示部件42上的图像数据。从曝光部件11提供给图像显影处理部件33的成像信号是所有像素都被读取的通常图像数据。通常图像数据是通过例如在连续拍摄模式或运动图像模式下以通常第二帧速率(例如，20fps)执行拍摄而获得的图像数据。此外，通常图像数据是例如在单次拍摄模式下通过执行单次拍摄而获得的图像数据。
[0057]
识别和预测处理部件31识别被摄对象的移动，并预测被摄对象的状态成为预定状态的最佳曝光定时。以下，由识别和预测处理部件31预测的最佳曝光定时也称为“预测最佳曝光定时”或“预测曝光定时”。预定状态例如是被摄对象的状态变为图2所示的碰撞瞬间的状态或者将在后面描述的图11和12中的特定示例的时刻的状态的状态。识别和预测处理部件31基于来自曝光部件11的成像信号执行识别和预测处理。然而，期望以高速执行识别和预测处理。因此，期望识别和预测处理部件31接收通过像素细化等高速读取的图像数据。高速读取的图像数据是通过以高于通常第二帧速率的第一帧速率(例如，1000fps)执行连续拍摄而获得的图像数据。识别和预测处理部件31基于识别和预测的结果控制曝光定时控制部件12，以实现在使用触发if 41等设定的操作模式下的控制。识别和预测处理部件31向曝光定时控制部件12提供指示复位由曝光部件11执行的曝光的复位信号和指示开始由曝光部件11执行的曝光的处理开始信号。
[0058]
识别和预测处理部件31例如基于打开曝光定时控制功能的定时来识别被摄对象的移动，并预测被摄对象的状态变为预定状态的最佳曝光定时(参见将在后面描述的图5、8、21至23等)。
[0059]
此外，识别和预测处理部件31识别被摄对象的移动，并基于例如在单次拍摄模式下快门按钮被按下一半的定时预测被摄对象的状态成为预定状态的最佳曝光定时。
[0060]
数据库34存储用于由识别和预测处理部件31进行的识别和预测处理的各种数据(例如，它存储将在后面描述的图11和12中的内容)。
[0061]
曝光定时控制部件12在基于预测的曝光定时的曝光定时以第二帧速率控制曝光部件11。第二帧速率不同于第一帧速率。预测曝光定时是预测以第一帧速率拍摄的被摄对象的状态满足预定条件的定时。此外，预测曝光定时是在识别和预测处理部件31已经基于以第一帧速率拍摄的被摄对象的移动预测了被摄对象的移动的情况下，被摄对象的预测移动满足预定状态的定时。例如，曝光定时控制部件12控制曝光部件11，以使曝光定时与连续拍摄模式、运动图像模式等中的预测曝光定时相匹配。
[0062]
此外，例如，在单次拍摄模式下，曝光定时控制部件12基于预测曝光定时和拍摄触发来控制曝光部件11的曝光定时。例如，在单次拍摄模式下，在预测曝光定时在基于拍摄触发的预定时段内的情况下，曝光定时控制部件12根据预测曝光定时和拍摄触发之间的时间差来控制曝光部件11的曝光定时。本文所使用的预定时段是指“预测的最佳曝光定时允许时间”，其将在后面描述(参见将在后面描述的图13至16、17至20等)。例如，根据用户操作来
设定预定时段。例如，用户操作是将快门按钮按下一半的操作，或者是对另一个按钮的操作，该按钮被分配了半按功能。此外，在单次拍摄模式中，在预测曝光定时在基于拍摄触发的预定时段内的情况下，曝光定时控制部件12根据预测曝光定时和拍摄触发之间的时间差来控制曝光部件11的曝光定时(参见将在后面描述图13至16、17至20等)。
[0063]
曝光定时控制部件12根据来自用户的指示使曝光部件11以第一帧速率开始拍摄。这里，来自用户的指示对应于例如通过使用触发if41的模式盘、功能选择按钮等来打开曝光定时控制功能。
[0064]
曝光定时控制部件12使曝光部件11根据预定的确定条件，以不同于第一帧速率的帧速率执行用于预测被摄对象状态的拍摄。如本文所使用的，预定确定条件例如是指基于用户操作的条件，并且是例如基于将快门按钮按下一半的操作的条件，或者是基于对半按功能被分配到的另一按钮的操作的条件(参见稍后将描述的图22)。此外，预定确定条件可以是基于被摄对象的状态的条件(参见稍后将描述的图8和23)。
[0065]
应当注意，识别和预测处理部件31对被摄对象状态的识别和预测处理可以基于用户对第一操作构件的操作来启动。预定确定条件可以是基于对第二操作构件的用户操作的条件。如本文所使用的，对第一操作构件的用户操作可以指例如按下快门按钮一半的操作和对分配了半按功能的另一按钮的操作中的一个。此外，对第二操作构件的用户操作可以是例如按下快门按钮一半的操作和对分配了半按功能的另一按钮的操作中的另一个。
[0066]
曝光定时控制部件12控制曝光部件11的曝光定时，以使得在由识别和预测处理部件31预测的最佳曝光定时执行被摄对象的拍摄。曝光定时控制部件12基于来自识别和预测处理部件31的复位信号使得曝光部件11对曝光进行复位。此外，曝光定时控制部件12基于来自识别和预测处理部件31的处理开始信号使曝光部件11开始曝光。
[0067]
在识别和预测处理部件31预测最佳曝光定时的情况下，曝光定时控制部件12控制曝光部件11的曝光定时，以复位曝光部件11执行的曝光，并使得从最佳曝光定时开始曝光。例如，在识别和预测处理部件31在连续拍摄模式、运动图像模式等中预测最佳曝光定时的情况下，曝光定时控制部件12在不改变帧速率的情况下改变曝光部件11的曝光定时的相位(参见将在后面描述的图3、4、6、7等)。
[0068]
处理执行确定部件32使得识别和预测处理部件31和图像显影处理部件33基于来自触发if 41的触发信号，在使用触发if 41设定的操作模式下执行各种处理。
[0069]
显示部件42包括例如液晶显示器、有机(电致发光)显示器等。显示部件42显示已经拍摄的图像数据、当前正在拍摄的被摄对象的实时取景图像等。
[0070]
根据第一实施例的相机可以包括通知部件，该通知部件发出关于在基于预测的曝光定时的曝光定时执行了被摄对象的拍摄的通知。通知部件可以是例如显示部件42。显示部件42可以执行要由曝光部件11拍摄的被摄对象的实时取景显示，并且可以在到了由识别和预测处理部件31预测的最佳曝光定时的情况下，显示指示到了与实时取景显示的图像相关联的最佳曝光定时的通知(参见稍后将描述的图24)。此外，显示部件42可以显示指示它是在最佳曝光定时获得的图像数据的通知，其与通过在最佳曝光定时对被摄对象进行拍摄而获得的图像数据相关联(参见稍后将描述的图25)。
[0071]
内部存储器35或记录介质43中的至少一个对应于本公开的技术中的“存储部件”的特定示例。
[0072]
内部存储器35是临时存储由曝光部件11拍摄的图像数据的缓冲存储器。内部存储器35临时存储例如在单次拍摄模式下在快门按钮打开时的定时或在最佳曝光定时拍摄的图像数据(参见将在后面描述的图13至16、17至20等)。
[0073]
记录介质43是其中可以记录拍摄图像数据的记录介质，例如半导体记录设备等。记录介质43可以是要设置在相机主体100内部的内置类型的记录介质，或者可以是可附接到相机主体100内部并可从相机主体100内部拆卸的卡类型的外部记录介质等。
[0074]
在根据第一实施例的相机中，曝光定时控制部件12和处理器30各自可以包括微型计算机，例如，微型计算机包括cpu(中央处理器)、rom(只读存储器)和ram(随机存取存储器)。在这种情况下，要由曝光定时控制部件12和处理器30执行的处理可以通过cpu执行基于存储在rom或ram中的程序的处理来实现。此外，由曝光定时控制部件12和处理器30执行的处理可以通过cpu执行基于例如经由有线或无线网络从外部接收的程序的处理来实现。
[0075]
[1.2根据第一实施例的相机的操作]
[0076]
在下文中，描述了根据第一实施例的相机的独特操作，主要是识别和预测处理部件31的识别和预测处理以及曝光定时控制部件12的曝光定时控制操作。
[0077]
图2示出了在通常曝光定时难以拍摄的拍摄场景的示例。
[0078]
在当前情况下，例如，在静止图像连续拍摄模式下，普通相机无法为高速移动的被摄对象确保足够的帧速率，这妨碍了捕捉重要瞬间。例如，如图2所示，为了拍摄拳击中的碰撞瞬间、羽毛球中的扣球或碰撞的瞬间等，前一情况需要约500fps到800fps的帧速率，后一情况需要约1000fps的帧速率。
[0079]
图3和图4示出了根据第一实施例的由相机进行的识别和预测处理以及曝光定时控制的操作的概要。
[0080]
在图3和4中，相机执行例如以20fps的高图像质量在通常连续拍摄模式下的拍摄。在这种情况下，相机无法在通常连续拍摄模式下以静止图像拍摄间隔完全捕捉重要瞬间。例如，图3中的示例是打羽毛球的场景(场景)，其中存在被摄对象71(运动员)和被摄对象72(羽毛球)。例如，在这种情况下，打羽毛球时的扣杀或撞击的瞬间无法被捕捉。因此，识别和预测处理部件31例如基于以1000fps的高速读取的图像数据，预测打羽毛球时的扣杀或撞击的瞬间作为最佳曝光定时。识别和预测处理部件31向曝光定时控制部件12提供复位信号和处理开始信号，以使曝光部件11在最佳曝光定时复位曝光，并在新的曝光定时开始曝光。曝光定时控制部件12使得曝光部件11基于来自识别和预测处理部件31的复位信号复位曝光。此外，曝光定时控制部件12基于来自识别和预测处理部件31的处理开始信号，使曝光部件11从最佳曝光定时开始曝光。曝光定时控制部件12在不改变帧速率情况下改变(更新)曝光部件11的曝光定时的相位。如上所述，根据第一实施例的相机复位当前曝光定时，并调整曝光定时以从最佳曝光定时恢复曝光。这允许在不错过超过连续拍摄速度的重要瞬间的情况下进行拍摄。这使得相机能够理解连续拍摄间隔之间的最佳曝光定时并更新连续拍摄相位。
[0081]
以下描述了具体的操作流程。
[0082]
(识别和预测处理的基本操作)
[0083]
图5示出了根据第一实施例的相机的识别和预测处理的操作流程的示例。识别和预测处理可以是连续拍摄模式、单次拍摄模式和运动图像模式共有的操作。
[0084]
首先，在触发if 41处开启曝光定时控制功能(步骤s101)。此后，曝光部件11执行曝光并高速读取用于识别和预测处理的图像数据(步骤s102)。此后，识别和预测处理部件31基于高速读取的图像数据识别主要被摄对象(识别被摄对象的姿势、识别对象等)(步骤s103)。此后，识别和预测处理部件31基于高速读取的图像数据执行预测最佳曝光定时的处理(步骤s104)。
[0085]
此后，识别和预测处理部件31确定是否已成为预测的最佳曝光定时(步骤s105)。在确定尚未成为预测的最佳曝光定时的情况下(步骤s105；n)，识别和预测处理部件31使处理返回到步骤s102。相反，在确定已成为预测的最佳曝光定时的情况下(步骤s105；y)，识别和预测处理部件31生成预测的最佳曝光定时信号作为中断信号(复位信号或处理开始信号)(步骤s106)，并使处理返回到步骤s102。
[0086]
(连续拍摄/运动图像模式下的成像处理操作)
[0087]
图6示出了根据第一实施例的相机在连续拍摄模式或运动图像模式下的通常成像处理(不是通过高速读取而是通过通常全像素读取的成像处理)的操作流程的示例。
[0088]
首先，打开曝光定时控制功能，选择连续拍摄模式或运动图像模式，并在触发if 41处打开拍摄触发(快门按钮)(步骤s111)。此后，曝光部件11开始通常曝光(不是针对高速读取而是针对通常的全像素读取的曝光)(步骤s112)。此后，曝光定时控制部件12确定是否作为来自识别和预测处理部件31的中断信号(复位信号或处理开始信号)存在预测的最佳曝光定时信号的中断(步骤s113)。在确定存在预测的最佳曝光定时信号的情况下(步骤s113；y)，曝光定时控制部件12复位由曝光部件11执行的曝光或读取(步骤s114)，并使曝光部件11在新定时开始通常曝光(步骤s112)。
[0089]
相反，在确定不存在预测的最佳曝光定时信号的情况下(步骤s113；n)，之后，曝光定时控制部件12使曝光部件11结束曝光并通过全部像素读取来读取图像数据(步骤s115)。此后，曝光定时控制部件12确定是否作为来自识别和预测处理部件31的中断信号(复位信号或处理开始信号)存在预测的最佳曝光定时信号的中断(步骤s116)。
[0090]
在确定存在中断的情况下(步骤s116；y)，曝光定时控制部件12使处理进行到上述步骤s114。相反，在曝光定时控制部件12确定不存在预测的最佳曝光定时信号的中断的情况下(步骤s116；n)，处理返回到步骤s122，并且在完成图像数据的读取之后，图像显影处理部件33对读取的图像数据执行图像显影处理(步骤s117)。此后，图像显影处理部件33将图像数据记录(存储图像)在内部存储器35或记录介质43中(步骤s118)。
[0091]
图7示出了根据第一实施例的相机的连续拍摄模式或运动图像模式下的曝光定时的示例。
[0092]
如图7所示，在根据第一实施例的相机中，在基于连续拍摄模式下的连续拍摄帧速率(例如，20fps)的拍摄触发定时进行曝光或读取图像数据时出现预测的最佳曝光定时的情况下，复位图像数据的曝光或读取，并且使曝光部件11基于预测的最佳曝光定时开始曝光。因此，在不改变连续拍摄帧速率的情况下改变曝光部件11的曝光定时的相位。这类似地适用于运动图像模式。
[0093]
(自动确定模式下识别和预测处理的操作)
[0094]
图8示出了根据第一实施例的相机的自动确定模式下的识别和预测处理的操作流程的示例。根据第一实施例的相机具有自动确定模式，其中相机侧自动确定是否需要曝光
定时控制。自动确定模式中的操作可以是连续拍摄模式、单次拍摄模式和运动图像模式共同的操作。图8所示的操作流程对应于例如稍后将描述的图23中的定时图。
[0095]
首先，打开曝光定时控制功能，并在触发if 41处选择自动确定模式(步骤s121)。在自动确定模式中，曝光定时控制部件12首先将用于识别和预测处理的图像数据的读取速度设定为相对低的速度(例如，60fps)(步骤s122)。此后，曝光部件11执行图像的曝光(步骤s123)。此后，识别和预测处理部件31基于以相对低的速度读取的图像数据识别主被摄对象(识别被摄对象的姿势、识别对象等)(步骤s124)。此后，识别和预测处理部件31确定是否需要曝光定时控制(步骤s125)。该确定是根据例如被摄对象的速度、场景等进行的。例如，基于被摄对象是否是在将在后面描述的识别和预测处理的特定示例(图9至12)中描述的对象识别目标来执行该确定。在确定不需要曝光定时控制的情况下(步骤s125；n)，识别和预测处理部件31使处理返回到步骤s122。
[0096]
相反，在识别和预测处理部件31确定需要曝光定时控制的情况下(步骤s125；y)，曝光定时控制部件12根据被摄对象的场景等将用于识别和预测处理的图像数据的读取速度设定为相对低的速度(例如，60fps)或高速(例如，从500fps到1000fps)(步骤s126)。此后，识别和预测处理部件31基于读取的图像数据执行预测最佳曝光定时的处理(步骤s127)。
[0097]
此后，识别和预测处理部件31确定是否已成为预测的最佳曝光定时(步骤s128)。在确定尚未成为预测的最佳曝光定时的情况下(步骤s128；n)，识别和预测处理部件31使处理返回到步骤s123。相反，在确定已成为预测的最佳曝光定时的情况下(步骤s128；y)，识别和预测处理部件31生成预测的最佳曝光定时信号作为中断信号(复位信号或处理开始信号)(步骤s129)，并使处理返回到步骤s123。
[0098]
(识别和预测处理的具体示例)
[0099]
图9示出了根据第一实施例的相机的识别和预测处理的操作流程的第一具体示例。
[0100]
图9示出了与图5的操作流程中的步骤s103和s104以及图8的操作流程中的步骤s124和s127相对应的处理的具体示例。
[0101]
作为要拍摄的场景的示例，图9示出了运动(网球等)的情况、拍摄人的情况、拍摄动物的情况和其他情况。
[0102]
在运动场景(网球等)的情况下，识别和预测处理部件31首先执行对象识别，例如，人、工具、球等的识别(步骤s211)。此后，识别和预测处理部件31执行人体姿势的估计(步骤s212)。此后，识别和预测处理部件31执行预测目标的运动(例如，人体的姿势、对象的运动等)的预测(步骤s213)。此后，识别和预测处理部件31执行碰撞确定(步骤s214)。
[0103]
在拍摄人的场景的情况下，首先，识别和预测处理部件31执行人的识别作为对象识别(步骤s221)。此后，识别和预测处理部件31执行人体姿势的估计(步骤s222)。此后，识别和预测处理部件31执行预测目标的姿势形状改变的预测(步骤s223)。此后，识别和预测处理部件31执行其与峰值姿势之间的匹配的确定(步骤s224)。
[0104]
在拍摄动物的场景的情况下，首先，识别和预测处理部件31执行对动物种类的识别作为对象识别(步骤s231)。此后，识别和预测处理部件31执行动物姿势的估计(步骤s232)。此后，识别和预测处理部件31执行预测目标的姿势形状改变的预测(步骤s233)。此
后，识别和预测处理部件31执行急剧运动改变定时的确定(步骤s234)。
[0105]
在其他场景的情况下，首先，识别和预测处理部件31执行对象识别(步骤s241)。此后，识别和预测处理部件31提取诸如构图之类的特征(步骤s242)。此后，识别和预测处理部件31执行与预先保持的最佳曝光定时的字典(数据库)匹配的确定(步骤s243)。
[0106]
图10示出了根据第一实施例的相机的识别和预测处理的操作流程的第二具体示例。
[0107]
在图10的操作流程中，用户使用相机的ui(用户界面)预先指定识别目标和边界线(步骤s300)。
[0108]
识别和预测处理部件31识别由用户指定的对象(步骤s301)。此后，识别和预测处理部件31确定识别对象是否是人、动物等(步骤s302)。
[0109]
在确定识别对象是人、动物等的情况下(步骤s302；y)，之后，识别和预测处理部件31估计人、动物等的姿势(步骤s303)。此后，识别和预测处理部件31预测姿势的形状改变(步骤s304)。此后，识别和预测处理部件31确定人、动物等是否越过由用户指定的边界线(步骤s307)。
[0110]
相反，在确定识别对象不是人、动物等的情况下(步骤s302；n)之后，识别和预测处理部件31估计识别目标的形状(步骤s305)。此后，识别和预测处理部件31预测识别目标的运动(步骤s306)。此后，识别和预测处理部件31确定识别目标是否越过由用户指定的边界线(步骤s307)。
[0111]
图11示出了根据第一实施例的相机在识别和预测处理中要使用的数据库34的数据内容的示例。图12示出了图11之后的数据库34的数据内容的示例。
[0112]
数据库34包括“用于识别场景中的运动等的数据库”、“用于识别场景的数据库”和“用于预测所识别运动的最佳曝光定时的数据库”。
[0113]
例如，“用于识别场景中的运动等的数据库”包括人们使用工具的运动项目(网球、棒球、羽毛球和高尔夫)。
[0114]
例如，“用于识别场景的数据库”包括人体运动项目、工具1(球拍)和工具2(球)。
[0115]
例如，“用于预测所识别运动的最佳曝光定时的数据库”包括工具1(球拍)和工具2(球)之间的碰撞定时的项目。
[0116]
最佳曝光定时的具体示例包括例如球拍击中球的瞬间、球棒击中球的瞬间、球拍击中羽毛球的瞬间、确定球进入球门的瞬间等。
[0117]
(单次拍摄模式下的操作)
[0118]
根据第一实施例的相机具有作为单次拍摄模式的预测最佳曝光定时优先模式和拍摄触发优先模式。预测最佳曝光定时优先模式对预测最佳曝光定时给予优先级。拍摄触发优先模式对拍摄触发给予优先级。下面，按顺序给出描述。
[0119]
图13和14示出了在选择单次拍摄模式(特别地，预测最佳曝光定时优先模式)的情况下，根据第一实施例的相机的成像处理的操作流程的示例。
[0120]
首先，打开曝光定时控制功能，并且在触发if 41处选择单次拍摄模式，特别地，预测最佳曝光定时优先模式(步骤s401)。此后，曝光定时控制部件12确定是否在预测最佳曝光定时允许时间内(步骤s402)。应注意，“预测最佳曝光定时允许时间”将在后面参考图20描述。
[0121]
在确定不在预测最佳曝光定时允许时间内的情况下(步骤s402；n)，之后，曝光定时控制部件12确定预测最佳曝光定时允许时间是否结束(步骤s414)。在确定预测最佳曝光定时允许时间未结束的情况下(即在进入预测最佳曝光定时允许时间之前)(步骤s414；n)，曝光定时控制部件12使处理返回到步骤s402。相反，在曝光定时控制部件12确定预测最佳曝光定时允许时间结束的情况下(步骤s414；y)，图像显影处理部件33将基于在时间上最接近于拍摄触发的预测曝光定时拍摄的图像数据记录在内部存储器35或记录介质43中(稍后将描述的图17的步骤s415和(b))。
[0122]
此外，在确定在预测最佳曝光定时允许时间内的情况下(步骤s402；y)，之后，曝光定时控制部件12确定是否作为来自识别和预测处理部件31的中断信号存在预测最佳曝光定时信号(步骤s403)。在确定存在预测最佳曝光定时信号的情况下(步骤s403；y)，曝光定时控制部件12使曝光部件11开始曝光(步骤s411)。当曝光部件11的曝光结束时，曝光定时控制部件12使曝光部件11开始读取图像数据(步骤s412)，并使处理返回到步骤s402。这里，当图像数据的读取结束时，图像显影处理部件33执行图像显影处理，并且基于预测最佳曝光定时拍摄的图像数据被记录(暂时存储)在内部存储器35中(图17的步骤s413，(a)和图18的(a)，这将在后面描述)。
[0123]
此外，在确定不存在预测最佳曝光定时信号的情况下(步骤s403；n)，之后，曝光定时控制部件12确定是否存在拍摄触发(步骤s404)。在确定不存在拍摄触发的情况下(步骤s404；n)，曝光定时控制部件12使处理返回到步骤s402。在确定存在拍摄触发的情况下(步骤s404；y)，曝光定时控制部件12使曝光部件11基于拍摄触发开始曝光(步骤s405)。此后，曝光定时控制部件12确定在基于拍摄触发的曝光结束之前作为来自识别和预测处理部件31的中断信号是否存在预测最佳曝光定时信号(步骤s406)。在确定在基于拍摄触发的曝光结束之前存在预测最佳曝光定时信号的情况下(步骤s406；y)，曝光定时控制部件12复位基于拍摄触发的曝光(步骤s410)，并使处理返回到步骤s411。
[0124]
相反，在确定在基于拍摄触发的曝光结束之前不存在预测最佳曝光定时信号的情况下(步骤s406；n)，当曝光部件11的曝光结束时，曝光定时控制部件12使曝光部件11开始读取图像数据(步骤s407)。此后，曝光定时控制部件12确定在基于拍摄触发的图像数据的读取结束之前是否存在作为来自识别和预测处理部件31的中断信号的预测最佳曝光定时信号(步骤s408)。在确定在基于拍摄触发的图像数据的读取结束之前存在预测最佳曝光定时信号的情况下(步骤s408；y)，曝光定时控制部件12复位基于拍摄触发的图像数据的读取(步骤s410)，并使处理进入步骤s411。在确定在基于拍摄触发的图像数据的读取结束之前不存在预测最佳曝光定时信号的情况下(步骤s408；n)，曝光定时控制部件12可以使处理返回到步骤s402。这里，当图像数据的读取结束时，图像显影处理部件33执行图像显影处理，并且图像显影处理部件33将基于拍摄触发拍摄的图像数据记录在内部存储器35或记录介质43中(图17的步骤s409，(a)，和图17的(b)，其将在后面描述)。
[0125]
图15和16示出了在单次拍摄模式(特别地，拍摄触发优先模式)的情况下，根据第一实施例的相机的成像处理的操作流程的示例。
[0126]
首先，打开曝光定时控制功能，并且在触发if 41处选择单次拍摄模式，特别地，拍摄触发优先模式(步骤s401)。此后，曝光定时控制部件12确定是否在预测最佳曝光定时允许时间内(步骤s402)。应注意，“预测最佳曝光定时允许时间”将在后面参考图20描述。
[0127]
在确定不在预测最佳曝光定时允许时间内的情况下(步骤s402；n)，之后，曝光定时控制部件12确定预测最佳曝光定时允许时间是否结束(步骤s414)。在确定预测最佳曝光定时允许时间未结束的情况下(即在进入预测最佳曝光定时允许时间之前)(步骤s414；n)，曝光定时控制部件12使处理返回到步骤s402。相反，在由曝光定时控制部件12确定预测最佳曝光定时允许时间结束的情况下(步骤s414；y)，图像显影处理部件33将基于在时间上最接近于拍摄触发的预测曝光定时拍摄的图像数据记录在内部存储器35或记录介质43中(图17的步骤s415和(b)，稍后将描述)。
[0128]
此外，在确定在预测最佳曝光定时允许时间内的情况下(步骤s402；y)，之后，曝光定时控制部件12确定是否作为来自识别和预测处理部件31的中断信号存在预测最佳曝光定时信号(步骤s403)。在确定存在预测最佳曝光定时信号的情况下(步骤s403；y)，曝光定时控制部件12使曝光部件11开始基于预测最佳曝光定时的曝光(步骤s511)。此后，曝光定时控制部件12确定在基于预测最佳曝光定时的曝光结束之前是否存在拍摄触发(步骤s512)。在确定在基于预测最佳曝光定时的曝光结束之前存在拍摄触发的情况下(步骤s512；y)，曝光定时控制部件12复位基于预测最佳曝光定时的曝光(步骤s410)，并使处理进入步骤s405。
[0129]
相反，在确定在基于预测最佳曝光定时的曝光结束之前不存在拍摄触发的情况下(步骤s512；n)，当曝光部件11的曝光结束时，曝光定时控制部件12使曝光部件11开始读取图像数据(步骤s513)。此后，曝光定时控制部件12确定在基于预测最佳曝光定时的图像数据的读取结束之前是否存在拍摄触发(步骤s514)。在确定在基于预测最佳曝光定时的图像数据的读取结束之前存在拍摄触发的情况下(步骤s514；y)，曝光定时控制部件12复位基于预测最佳曝光定时的图像数据的读取(步骤s410)，并使处理进入步骤s405。在确定在基于预测最佳曝光定时的图像数据的读取结束之前不存在拍摄触发的情况下(步骤s514；n)，曝光定时控制部件12使处理返回到步骤s402。这里，当图像数据的读取结束时，由图像显影处理部件33执行图像显影处理，并且基于预测最佳曝光定时拍摄的图像数据被记录(暂时存储)在内部存储器35中(图17的步骤s515和(a)，后面将描述)。
[0130]
此外，在确定不存在预测最佳曝光定时信号的情况下(步骤s403；n)，之后，曝光定时控制部件12确定是否存在拍摄触发(步骤s404)。在确定不存在拍摄触发的情况下(步骤s404；n)，曝光定时控制部件12使处理返回到步骤s402。在确定存在拍摄触发的情况下(步骤s404；y)，曝光定时控制部件12使曝光部件11开始基于拍摄触发的曝光(步骤s405)。当曝光部件11的曝光结束时，曝光定时控制部件12使曝光部件11开始读取图像数据(步骤s407)，并使处理返回到步骤s402。这里，当图像数据的读取结束时，图像显影处理部件33执行图像显影处理，并且图像显影处理部件33将基于拍摄触发拍摄的图像数据记录在内部存储器35或记录介质43中(将在后面描述的步骤s409，图17的(a)，图17的(b)，图19的(a)和图19的(b))。
[0131]
(单次拍摄模式下曝光定时的具体示例)
[0132]
图17的(a)和图17的(b)示出了与根据第一实施例的相机相关的单次拍摄模式下的曝光定时和图像数据读取定时的概要。图17示出了与单次拍摄模式下的预测最佳曝光定时优先模式(图13和14)和拍摄触发优先模式(图15和16)相同的曝光定时和图像数据读取定时的示例。在图17的(a)和图17的(b)中，适当地给出对应于图13和14或图15和16的操作
流程的步骤编号。
[0133]
如图17的(a)所示，在单次拍摄模式下，根据第一实施例的相机被配置为在内部存储器35或记录介质43中不仅记录基于预定时段内的拍摄触发拍摄的图像数据(预测最佳曝光定时允许时间宽度)，而且记录基于预定时段内的预测曝光定时拍摄的图像数据。
[0134]
此外，如图17的(b)中所示，在单次拍摄模式下，在预定时段(预测最佳曝光定时允许时间宽度)内已经多次执行了基于预测曝光定时的拍摄的情况下，根据第一实施例的相机被配置为在内部存储器35或记录介质43中记录在预定时段内基于拍摄触发拍摄的图像数据和在预定时段内基于在时间上最接近拍摄触发的预测曝光定时拍摄的图像数据。
[0135]
图18的(a)和图18的(b)示出了在选择单次拍摄模式(特别地，预测最佳曝光定时优先模式)的情况下(图13和14)，与根据第一实施例的相机相关的曝光定时和图像数据读取定时的示例。在图18的(a)和图18的(b)中，适当给出与图13和14中的操作流程相对应的步骤编号。
[0136]
如图18的(a)所示，在选择单次拍摄模式(特别地，预测最佳曝光定时优先模式)的情况下，根据第一实施例的相机被配置成在当曝光部件11在预定时段(预测最佳曝光定时允许时间宽度)内执行基于预测曝光定时的曝光或图像数据的读取时发生拍摄触发的情况下，忽略拍摄触发并控制曝光部件11以避免执行基于拍摄触发的曝光。
[0137]
此外，如图18的(b)所示，在选择单次拍摄模式(特别地，预测最佳曝光定时优先模式)的情况下，根据第一实施例的相机被配置成在当曝光部件11在预定时段(预测最佳曝光定时允许时间宽度)内执行基于拍摄触发的曝光或图像数据的读取时出现预测曝光定时的情况下，复位基于拍摄触发的曝光或图像数据的读取，并使曝光部件11开始基于预测曝光定时的曝光。
[0138]
图19的(a)和图19的(b)示出了在选择单次拍摄模式(特别地，拍摄触发优先模式)的情况下(图15和16)，与根据第一实施例的相机相关的曝光定时和图像数据读取定时的示例。在图19的(a)和图19的(b)中，适当给予与图15和16中的操作流程相对应的步骤号。
[0139]
如图19的(a)所示，在选择单次拍摄模式(特别地，拍摄触发优先模式)的情况下，根据第一实施例的相机被配置成在当曝光部件11在预定时段(预测最佳曝光定时允许时间宽度)内执行基于预测曝光定时的曝光或图像数据的读取时发生拍摄触发的情况下，复位基于预测曝光定时的曝光或图像数据的读取，并使曝光部件11开始基于拍摄触发的曝光。
[0140]
此外，如图19的(b)所示，在选择单次拍摄模式(特别地，拍摄触发优先模式)的情况下，根据第一实施例的相机被配置成在当曝光部件11在预定时段(预测最佳曝光定时允许时间宽度)内执行基于拍摄触发的曝光或图像数据的读取时发生预测曝光定时的情况下，忽略预测曝光定时，并控制曝光部件11避免执行基于预测曝光定时的曝光。
[0141]
图20的(a)和图20的(b)示出了在单次拍摄模式下通过半按控制预测最佳曝光定时允许时间的示例。需要注意的是，在这里，半按可以是指作为拍摄触发的快门按钮的半按，或者可以是除快门按钮之外的按钮、分配了快门按钮的半按功能的专用于半按功能的按钮等的半按。应注意，图20的(a)示出了半按定时和拍摄触发的开启定时。图20的(b)示出了曝光部件11的曝光定时和图像数据读取定时。
[0142]
如图20的(a)和图20的(b)所示，例如，通过半按拍摄触发，预测最佳曝光定时允许时间开始。此外，预测最佳曝光定时允许时间的结束时间被设定，例如从拍摄触发到经过下
面的时间(1)和(2)中较短或较长的时间时的时刻。
[0143]
(1)设定时间
[0144]
(2)与从半按到拍摄触发的时间等同的时间
[0145]
(通过抑制识别和预测处理的帧速率来降低功耗)
[0146]
图21的(a)到图21的(d)示出了与根据第一实施例的相机相关的曝光定时控制功能的开启定时(图21的(a))、拍摄触发的开启定时(图21的(b))、识别和预测处理的定时(图21的(c))和主图像拍摄的定时(图21的(d))的示例。
[0147]
例如，如图21的(a)和图21的(c)所示，在曝光定时控制功能打开，同时，以高帧速率(例如，1000fps)读取图像数据以进行识别和预测处理，并执行高速识别和预测处理的情况下，担心功耗增加。因此，如下面图22的(a)至图22的(d)或图23的(a)至图23的(d)所示，可以通过抑制识别和预测处理的帧速率来降低功耗。应当注意，识别和预测处理的帧速率的抑制可以是连续拍摄模式、单次拍摄模式和运动图像模式共同的处理。
[0148]
图22的(a)到图22的(d)示出了在抑制识别和预测处理的帧速率的情况下，根据第一实施例的相机的曝光定时控制功能的开启定时(图22的(a))、半按定时和拍摄触发的开启定时(图22的(b))、识别和预测处理的定时(图22的(c))以及主图像拍摄的定时(图22的(d))的第一示例。需要注意的是，在这里，半按可以是指作为拍摄触发的快门按钮的半按，或者可以是除快门按钮之外的按钮、分配了快门按钮的半按功能的专用于半按功能的按钮等的半按。
[0149]
例如，如图22的(a)和图22的(c)所示，可以打开曝光定时控制功能，同时，可以以相对低的帧速率(例如，60fps)读取用于识别和预测处理的图像数据，以执行相对低速的识别和预测处理。此外，在拍摄触发被半按的情况下，可以以高帧速率(例如，1000fps)读取用于识别和预测处理的图像数据，并且可以执行高速识别和预测处理。此后，在打开拍摄触发并且释放半按的情况下，可以将图像数据的读取返回到相对低的帧速率(例如，60fps)，以执行相对低速的识别和预测处理。
[0150]
图23的(a)到图23的(d)示出了在抑制识别和预测处理的帧速率的情况下，根据第一实施例的相机的曝光定时控制功能的开启定时(图23的(a))、拍摄触发的开启定时(图23的(b))、识别和预测处理的定时(图23的(c))以及主图像拍摄的定时(图23的(d))的第二示例。
[0151]
如图8所示，根据第一实施例的相机具有自动确定模式，用于自动确定相机侧是否需要曝光定时控制。自动确定模式可用于识别主被摄对象，并根据场景、被摄对象的移动等改变帧速率。例如，如图23的(a)和图23的(c)所示，可以打开曝光定时控制功能，同时，可以以相对低的帧速率(例如，60fps)读取用于识别和预测处理的图像数据，以执行相对低速的识别和预测处理。此外，自动确定模式可用于识别主被摄对象，并根据场景、被摄对象的移动等改变帧速率。在图23的(c)中的示例中，通过基于场景、被摄对象的运动等执行确定，以高帧速率(例如，500fps)读取用于识别和预测处理的图像数据，以执行高速识别和预测处理。此后，通过再次基于场景、被摄对象的运动等执行确定，将图像数据的读取返回到相对低的帧速率(例如，60fps)，以执行相对低速的识别和预测处理。
[0152]
(通知用户的示例)
[0153]
图24示出了在根据第一实施例的相机拍摄时确定是最佳曝光定时的情况下通知
用户的示例。
[0154]
在拍摄时，显示部件42可以执行由曝光部件11拍摄的被摄对象的实时取景显示，并且在是由识别和预测处理部件31预测的最佳曝光定时的情况下，可以显示指示是与实时取景显示的图像相关联的最佳曝光定时的通知。例如，如图24的示例1中那样，可以在当确定为最佳曝光定时时的瞬间在实时取景图像上叠加字符(例如，“调整触发”)、标记等。为了可见性，可将叠加部分保持显示约0.5s。此外，如图24的示例2中那样，可以在当确定为最佳曝光定时时的瞬间在实时取景图像上叠加帧。为了可见性，可将叠加部分保持显示约0.5s。
[0155]
图25示出了在再现由根据第一实施例的相机拍摄的图像时通知用户已在最佳曝光定时执行拍摄的示例。
[0156]
显示部件42可以在与通过曝光定时控制在最佳曝光定时对被摄对象进行拍摄而获得的图像数据相关联地再现图像时，显示指示其是在最佳曝光定时获得的图像数据的通知。如图25所示，对于由通常拍摄产生的帧图像，没有特别显示任何内容。例如，如图25的示例1所示，关于通过执行曝光定时控制获得的帧图像，当曝光定时控制处于关闭状态时执行连续拍摄的定时与当曝光定时控制处于打开状态时执行拍摄的定时之间的差值量可以叠加在画面上。此外，如图25的示例2中所示，可以在画面上叠加标记。此外，如图25的示例3所示，可以显示画面框。
[0157]
(元数据的记录)
[0158]
除了上述在显示部件42上的显示之外，还可以通过在内部存储器35或记录介质43中进行记录时将其作为元数据记录在图像数据上来执行对用户的通知。在这种情况下，图像数据可以是在连续拍摄模式或单次拍摄模式下记录的静止图像数据，或者可以是在运动图像模式下记录的运动图像数据。要记录为元数据的信息可以是曝光定时控制功能的开/关的信息，或者可以是基于预测最佳曝光定时的图像数据的曝光定时和基于拍摄触发的图像数据的曝光定时之间的(当曝光定时控制功能处于打开状态时已记录的)差值量的信息。
[0159]
将其作为元数据记录在图像数据上使得例如在不仅由相机主体而且还由pc(个人计算机)或任何其他再现装置再现图像数据的情况下，可以知道曝光定时已被调整为最佳曝光定时。
[0160]
[1.3效果和修改]
[0161]
如上所述，根据第一实施例的相机，控制曝光部件11的曝光定时，以使得在识别和预测处理部件31预测的最佳曝光定时执行被摄对象的拍摄。因此，可以在期望的定时以高图像质量对高速移动的被摄对象执行拍摄。
[0162]
根据第一实施例的相机，例如，与在运动图像拍摄之后拍摄静止图像并且从运动图像中切出处于最佳曝光定时的图像的方法相比，可以获得质量高得多的图像。
[0163]
通常，普通相机会导致摄影者做出响应的时间或按下快门按钮的时间与实际进行拍摄的时间之间的延迟。此外，无反射镜相机导致显示部件中的延迟。因此，不能根据摄影者的意图执行拍摄，并且快门定时与基于摄影者的意图的快门定时不匹配。根据第一实施例的相机，可以在期望的定时以高图像质量对高速移动的被摄对象执行拍摄，而与这种延迟无关。根据第一实施例的相机，不必知道快门滞后。根据第一实施例的相机，可以在单次拍摄模式下以较少的拍摄次数执行最佳瞬间的拍摄。此外，根据第一实施例的相机，可以在不太预先了解被摄对象如何移动的情况下，以期望的定时对高速移动的被摄对象执行拍
摄。
[0164]
应注意，本文所述的效果仅为说明性和非限制性的。此外，可以提供任何其他效果。这类似地适用于以下其他实施例的效果。
[0165]
<2.第二实施例>
[0166]
接下来，描述根据本公开第二实施例的相机和成像设备。应注意，在下文中，对与根据上述第一实施例的相机和成像设备的组件基本相同的部件给出相同的附图标记，并且将适当地省略其描述。
[0167]
图26示出了应用了根据第二实施例的成像设备的相机的配置的概要。
[0168]
根据第二实施例的相机包括成像设备10a，而不是根据第一实施例的相机中的成像设备10。此外，根据第二实施例的相机包括处理器30a，而不是根据第一实施例的相机中的处理器30。
[0169]
根据第二实施例的相机包括不在处理器30a中而是在成像设备10a中的识别和预测处理部件31。
[0170]
在根据第二实施例的相机中，在成像设备10a中设置识别和预测处理部件31。这使得能够以更高的速度将用于识别和预测处理的图像数据从曝光部件11传送到识别和预测处理部件31。因此，可以以更高的精度执行识别和预测处理。
[0171]
其他配置、操作和效果可以基本上类似于根据上述第一实施例的相机和成像设备的配置、操作和效果。
[0172]
<3.第三实施例>
[0173]
接下来，描述根据本公开第三实施例的相机和成像设备。应注意，在下文中，对与根据上述第一或第二实施例的相机和成像设备的组件基本相同的部件给出相同的附图标记，并且将酌情省略其描述。
[0174]
图27示出了应用了根据第三实施例的成像设备的相机的配置的概要。
[0175]
与根据第一实施例的相机的配置相比，根据第二实施例的相机包括与成像设备10分开的成像设备60。应当注意，成像设备60可以与相机主体100分开设置，或者可以与成像设备10分开设置，但仍在相机主体100内。
[0176]
分开设置的成像设备60包括曝光部件61和曝光开始控制部件62。
[0177]
曝光部件61包括成像元件，例如ccd或cmos。曝光部件61拍摄被摄对象，并输出通过像素细化等高速读取的图像数据作为用于识别和预测处理的成像信号。
[0178]
曝光开始控制部件62例如从识别和预测处理部件31接收基于由触发if 41的拍摄触发的定时的处理开始信号。曝光开始控制部件62使曝光部件61基于来自识别和预测处理部件31的处理开始信号开始曝光。
[0179]
在根据第二实施例的相机中，识别和预测处理部件31基于来自分开设置的成像设备60的成像信号执行识别和预测处理。希望成像设备60的拍摄视角范围比以通常帧速率进行成像的成像设备10的拍摄视角范围宽。这使得能够针对更宽的拍摄视角范围执行识别和预测处理。
[0180]
需要注意的是，在图27所示的配置示例中，成像设备10仅输出通常图像数据，其中读取所有像素。然而，与根据第一实施例的相机一样，它可以输出高速读取的图像数据，用于识别和预测处理。识别和预测处理部件31可以基于从分开设置的成像设备60高速读取的
图像数据和从成像设备10高速读取的图像数据两者来执行识别和预测处理。这使得能够精度更高地执行识别和预测处理。
[0181]
其他配置、操作和效果可以与根据上述第一实施例的相机和成像设备的配置、操作和效果基本相似。
[0182]
<4.其他实施例>
[0183]
本公开的技术不限于上述每个实施例的描述，并且可以以多种方式进行修改。
[0184]
例如，本技术可具有以下配置。
[0185]
根据具有以下配置的本技术，控制曝光部件的曝光定时，以使得在预测最佳曝光定时执行被摄对象的拍摄。因此，可以在期望的定时以高图像质量对高速移动的被摄对象执行拍摄。
[0186]
(1)一种成像设备，包括：
[0187]
曝光部件；和
[0188]
控制器，在基于以第一帧速率拍摄的被摄对象的状态被预测为满足预定条件的预测曝光定时的曝光定时，以第二帧速率控制曝光部件，第二帧速率不同于第一帧速率。
[0189]
(2)根据上述(1)的成像设备，其中所述控制器控制所述曝光部件以允许所述曝光定时与所述预测曝光定时匹配。
[0190]
(3)根据上述(1)的成像设备，其中所述控制器基于所述预测曝光定时和拍摄触发控制所述曝光部件的曝光定时。
[0191]
(4)根据上述(3)的成像设备，其中，在所述预测曝光定时在基于所述拍摄触发的预定时段内的情况下，所述控制器根据所述预测曝光定时和所述拍摄触发之间的时间差来控制所述曝光部件的曝光定时。
[0192]
(5)根据上述(4)的成像设备，其中根据用户操作设定所述预定时段。
[0193]
(6)根据上述(4)或(5)所述的成像设备，还包括
[0194]
存储部件，其中要记录图像数据，其中
[0195]
控制器在存储部件中记录在所述预定时段内基于所述预测曝光定时拍摄的图像数据和在所述预定时段内基于拍摄触发拍摄的图像数据。
[0196]
(7)根据上述(6)的成像设备，其中，在所述预定时段内已经执行了基于所述预测曝光定时的多次拍摄的情况下，所述控制器在所述存储部件中记录在所述预定时段内基于拍摄触发拍摄的图像数据和在所述预定时段内基于在时间上最接近拍摄触发的预测曝光定时拍摄的图像数据。
[0197]
(8)根据上述(4)或(5)所述的成像设备，其中当在所述预定时段内曝光部件执行基于所述预测曝光定时的曝光或图像数据读取时发生拍摄触发的情况下，控制器控制曝光部件以防止基于拍摄触发的曝光。
[0198]
(9)根据上述(4)或(5)的成像设备，其中当在所述预定时段内曝光部件执行基于拍摄触发的曝光或图像数据读取时出现所述预测曝光定时的情况下，所述控制器复位基于拍摄触发的曝光或图像数据读取，并使所述曝光部件开始基于所述预测曝光定时的曝光。
[0199]
(10)根据上述(4)或(5)的成像设备，其中当在所述预定时段内曝光部件执行基于所述预测曝光定时的曝光或图像数据读取时发生拍摄触发的情况下，所述控制器复位基于所述预测曝光定时的曝光或图像数据读取，并使所述曝光部件开始基于拍摄触发的曝光。
[0200]
(11)根据上述(4)或(5)的成像设备，其中当在所述预定时段内曝光部件执行基于拍摄触发的曝光或图像数据读取时出现所述预测曝光定时的情况下，控制器控制曝光部件以防止基于所述预测曝光定时的曝光。
[0201]
(12)根据上述(1)至(11)中任一项的成像设备，其中在根据以第一帧速率拍摄的被摄对象的运动预测被摄对象的运动的情况下，所述预测曝光定时包括被预测的被摄对象的运动满足预定状态的定时。
[0202]
(13)根据上述(1)至(12)中任一项的成像设备，其中所述控制器使所述曝光部件根据来自用户的指示以第一帧速率开始拍摄。
[0203]
(14)根据上述(13)的成像设备，其中，所述控制器根据预定确定条件使所述曝光部件以不同于第一帧速率的帧速率执行用于预测所述被摄对象的状态的拍摄。
[0204]
(15)根据上述(14)的成像设备，其中所述预定确定条件包括基于用户操作的条件。
[0205]
(16)根据上述(15)的成像设备，其中
[0206]
基于对第一操作构件的用户操作开始对被摄对象的状态的预测，并且所述预定确定条件包括基于对第二操作构件的用户操作的条件。
[0207]
(17)根据上述(14)的成像设备，其中所述预定确定条件包括基于所述被摄对象的状态的条件。
[0208]
(18)根据上述(1)至(17)中任一项的成像设备，还包括通知部件，该通知部件进行关于在基于所述预测曝光定时的曝光定时执行了所述被摄对象的拍摄的通知。
[0209]
(19)一种成像控制方法，包括：
[0210]
使用包括曝光部件的成像设备以第一帧速率拍摄被摄对象；和
[0211]
在基于以第一帧速率拍摄的被摄对象的状态被预测为满足预定条件的预测曝光定时的曝光定时，以第二帧速率控制曝光部件，第二帧速率不同于第一帧速率。
[0212]
(20)一种使计算机执行包括以下处理的处理的程序：
[0213]
使用包括曝光部件的成像设备以第一帧速率拍摄被摄对象；和
[0214]
在基于以第一帧速率拍摄的被摄对象的状态被预测为满足预定条件的预测曝光定时的曝光定时，以第二帧速率控制曝光部件，第二帧速率不同于第一帧速率。
[0215]
本技术基于2019年6月13日向日本专利局提交的第2019
‑
110548号日本专利申请要求优先权，其全部内容通过引用并入本技术。
[0216]
本领域技术人员应当理解，根据设计要求和其他因素，可发生各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内。