图像处理设备、图像处理方法和程序与流程

1.本公开涉及图像处理设备、图像处理方法和程序。更具体地说，本发明涉及基于由照相机拍摄的图像生成并显示将来预测图像和诸如预测移动的说明的引导信息的图像处理设备、图像处理方法和程序。


背景技术：

2.在许多一般照相机中，在快门操作和图像拍摄之间存在延迟时间。因此，即使在试图在特定时刻拍摄移动被摄体的图片时操作快门，也可能拍摄通过延迟时间延迟获得的图片。
3.并且，虽然许多近期的照相机和具有照相机功能的智能电话在观看在显示单元上显示的图像(lv图像(通过图像))的同时执行拍摄，但是在显示单元上的图像显示处理也需要预定时间周期，并且显示图像是稍微延迟的图像。因此，即使用户在观看监视器屏幕时试图在特定时刻拍摄图像，也会拍摄与在监视器屏幕上观看的图像不同的稍微延迟时间的图像。
4.具体地说，例如，即使在显示单元上确认鸟振翅的时刻的图像并且为了拍摄鸟振翅的时刻执行了快门操作，所拍摄的图像也可能变为鸟已经起飞之后的图像。
5.为了确定地拍摄鸟振翅的时刻的图像，必须通过感测鸟的移动在紧挨着鸟振翅之前操作快门。
6.尽管专业摄影师可能能够通过考虑延迟时间并感测鸟的移动执行在紧挨着鸟振翅之前操作快门的拍摄，但是对于许多一般用户来说，这种高级拍摄是困难的。
7.当在连续拍摄模式下执行连续拍摄时，可以拍摄预定间隔处的图像，但是连续拍摄模式通常具有例如20f/s即约每秒20帧的拍摄间隔，并且，在检查所拍摄的图像之前，希望的定时处的图像是否包含于在各间隔处取得的拍摄图像中仍然不清楚。
8.尽管能够执行高速连续拍摄或移动图像拍摄，但是存在图像质量变得比具有高图像质量的静止图像的质量差的问题。
9.如上所述，当一般用户通过确认在照相机或智能电话的显示单元上显示的图像执行快门操作时，存在在用户期望的特定时刻拍摄图像变得困难的问题。
10.为了解决该问题，将将来状态而不是当前状态通知用户是有效的。
11.应当注意，作为公开预测将来状态并在显示单元上显示预测图像的处理的现有技术，存在例如ptl 1(日本专利公开no.2000
‑
322556)。
12.该文献公开了生成和显示要预测的将来天气图像(诸如雨云的移动)的处理示例。
13.然而，由在上述ptl中公开的处理生成的将来预测图像是几分钟到几小时之后的将来预测图像，并且不启用向作为照相机摄影师的用户教导快门操作定时的处理。
14.【引文列表】
15.【专利文献】
16.【ptl 1】日本专利公开no.2000
‑
322556


技术实现要素：

17.【技术问题】
18.本发明是鉴于例如上述问题而提出的，并且提供了通过在照相机或智能电话的显示单元上显示将来预测图像和诸如预测移动的说明的引导信息使得摄影师(用户)能够在适当的定时拍摄图片的图像处理设备、图像处理方法和程序。
19.【问题的解决办法】
20.根据本公开的第一方面，提供一种图像处理设备，该图像处理设备包括执行包含于来自成像单元的输入图像中的移动被摄体的移动预测、生成将来预测图像并在显示单元上显示图像的图像处理单元。
21.并且，根据本公开的第二方面，提供一种在图像处理设备中执行的图像处理方法，其中，图像处理单元执行包含于来自成像单元的输入图像中的移动被摄体的移动预测，生成将来预测图像并在显示单元上显示图像。
22.并且，根据本公开的第三方面，提供一种程序，该程序导致图像处理设备中的图像处理单元执行图像处理，该图像处理执行包含于来自成像单元的输入图像中的移动被摄体的移动预测，生成将来预测图像并在显示单元上显示图像。
23.应当注意，本公开的程序为例如可以通过以计算机可读形式提供的存储介质或通信介质提供给能够执行各种程序代码的图像处理设备或计算机系统的程序。通过以计算机可读形式提供这种程序，在图像处理设备或计算机系统上实现根据程序的处理。
24.从基于要在后面描述的本公开的实施例和附图的更详细描述，本发明的其它目的、特征和优点将变得清晰。应当注意，本说明书中的系统是多个设备的逻辑组装配置，并且不限于各配置的设备被设置在同一外壳中的系统。
25.根据本公开的实施例的配置，实现执行包含于来自成像单元的输入图像中的移动被摄体的移动预测、生成将来预测图像并在显示单元上显示图像的设备和方法。
26.具体地，例如，设置执行包含于来自成像单元的输入图像中的移动被摄体的移动预测、生成将来预测图像并在显示单元上显示图像的图像处理单元。要显示的将来预测图像是考虑了基于在通过用户的被摄体拍摄开始准备操作和图像拍摄的完成之间发生的延迟因素的延迟时间的图像，并且是例如提前显示单元的显示延迟以及快门操作和图像记录之间的延迟时间的总延迟时间的将来预测图像。并且，图像处理单元分析包含于输入图像中的移动被摄体的状态，生成用于说明状态的信息和用于说明要预测的移动的信息，并在显示单元上显示信息。
27.通过该配置，实现执行包含于来自成像单元的输入图像中的移动被摄体的移动预测、生成将来预测图像并在显示单元上显示图像的设备和方法。
28.应当注意，在说明书中描述的效果仅仅是说明性的，并且不受限制，并且可以提供附加效果。
附图说明
29.图1描绘分别描述作为本公开的图像处理设备的示例的成像设备的配置示例的示图。
30.图2描绘分别描述由本公开的图像处理设备执行的处理的示例的示图。
31.图3描绘分别描述由本公开的图像处理设备执行的处理的示例的示图。
32.图4是用于描述从用户(摄影师)将成像设备指向被摄体的时间到执行实际图像拍摄(主拍摄)的时间的序列以及在该序列期间发生的延迟因素的示图。
33.图5描绘分别描述本公开的图像处理设备的ui的示例的示图。
34.图6描绘分别描述由本公开的图像处理设备执行的处理的示例的示图。
35.图7是用于描述本公开的图像处理设备的ui的示例的示图。
36.图8描绘分别描述由本公开的图像处理设备执行的处理的示例的示图。
37.图9描绘分别描述由本公开的图像处理设备执行的处理的示例的示图。
38.图10描绘分别描述由本公开的图像处理设备执行的处理的示例的示图。
39.图11是用于描述由本公开的图像处理设备执行的处理的具体示例的示图。
40.图12是用于描述由本公开的图像处理设备执行的处理的具体示例的示图。
41.图13是用于描述用于执行由本公开的图像处理设备执行的学习处理和确定处理(预测处理)的配置示例的示图。
42.图14是用于描述由本公开的图像处理设备执行的学习处理和确定处理(预测处理)的具体示例的示图。
43.图15是用于描述由本公开的图像处理设备执行的学习处理和确定处理(预测处理)的具体示例的示图。
44.图16是用于描述本公开的图像处理设备的配置示例的示图。
45.图17是用于描述本公开的图像处理设备的图像处理单元的配置和处理的示例的示图。
46.图18是用于描述本公开的图像处理设备的图像处理单元的配置和处理的示例的示图。
具体实施方式
47.以下，将参考附图详细描述本公开的图像处理设备、图像处理方法和程序。应当注意，将根据以下项目进行描述。
48.1.关于本公开的图像处理设备的外部配置示例
49.2.关于由本公开的图像处理设备执行的处理的具体示例
[0050]2‑
(1)关于用于在显示单元上显示将来预测图像的处理的具体示例
[0051]2‑
(2)关于用于在显示单元上显示被摄体的移动的说明或预测信息的处理的具体示例
[0052]
3.关于由本公开的图像处理设备的图像处理单元执行的参考数据库的分析处理的具体示例
[0053]
4.关于作为要存储于数据库中的数据的生成处理执行的学习处理和学习结果的利用处理
[0054]
5.关于本公开的图像处理设备的配置示例
[0055]
6.本公开的配置的概要
[0056]
【1.关于本公开的图像处理设备的外部配置示例】
[0057]
首先，将描述本公开的图像处理设备的外部配置示例。
[0058]
应当注意，下面将描述使用成像设备(照相机)作为本公开的图像处理设备的示例的示例。然而，本发明的配置和处理不仅可以应用于成像设备，还可以应用于具有照相机功能和显示单元的设备，诸如智能电话或平板机终端。
[0059]
另外，在用于执行与成像设备的通信的远程设备中，本公开的配置和处理也可以被用于用于接收和处理成像设备的被拍摄图像的设备中。本公开的图像处理设备包括这些各种设备。
[0060]
图1描绘分别示出作为本公开的图像处理设备的示例的成像设备10的配置示例的示图。成像器件10具有镜头11、快门12、各种操作单元13和15、以及显示单元(监视器单元)14。
[0061]
显示单元14与快门12的操作无关地将当前被摄体图像显示为lv图像(实时取景图像(通过图像))。
[0062]
在要拍摄图像的情况下，例如，用户观看在成像设备10的显示单元14上显示的图像，并在预定定时按下快门12。
[0063]
然而，如上所述，成像设备10不能获取在完全等于快门12的操作定时的定时的拍摄图像，并且，在快门操作定时和图像拍摄定时之间存在延迟时间。因此，在拍摄快速移动被摄体的图片的情况下，必须在考虑延迟时间的情况下操作快门。
[0064]
另外，显示单元14的显示图像也是发生了延迟的图像，并且，即使在观看监视器屏幕的同时执行拍摄的情况下，也需要考虑到延迟时间的快门操作。
[0065]
这种拍摄处理对于一般用户来说是困难的。
[0066]
本公开的图像处理设备，例如，图1所示的成像设备10，在显示单元14上显示将来预测图像和诸如要预测的移动的说明的引导信息。
[0067]
以下，将参考图2和随后的附图描述由本公开的成像器件10执行的处理的具体示例。
[0068]
【2.关于由本公开的图像处理设备执行的处理的具体示例】
[0069]
接下来，将参考图2和随后的附图描述由本公开的图像处理设备执行的处理的具体示例。
[0070]
如上所述，本发明的图像处理设备，例如，图1中所示的成像设备10，在显示单元14上显示将来预测图像和诸如要预测的移动的说明的引导信息。
[0071]
以下，将依次描述以下两种类型的处理的具体示例。
[0072]
(1)用于在显示单元上显示将来预测图像的处理的具体示例
[0073]
(2)用于在显示单元上显示被摄体的移动的说明或预测信息的处理的具体示例
[0074]
【2
‑
(1)关于用于在显示单元上显示将来预测图像的处理的具体示例】
[0075]
首先，将描述用于在显示单元上显示将来预测图像的处理的具体示例。
[0076]
参考图2，描述由本公开的成像设备10的图像处理单元执行的处理的示例，即，用于在成像设备10的显示单元14上显示将来预测图像的处理的具体示例。
[0077]
(a)图2所示的输入图像是输入到成像设备10的图像处理单元的图像。即，这些图像是经由成像设备10的成像元件输入的图像。这些图像通常作为lv图像(通过图像)显示在成像设备10的显示单元14上。
[0078]
本公开的成像设备10的图像处理单元基于这些输入图像生成将来预测图像，并执
行用于在显示单元14上显示图像的处理。
[0079]
图2示出作为(a)输入图像的帧f(n
‑
2)、帧f(n
‑
1)和帧f(n)的三个连续拍摄帧。
[0080]
这些不是通过由用户执行的快门操作拍摄和记录的图像，而是作为不要记录的lv图像(通过图像)输入的图像。
[0081]
假设当前是帧f(n)的输入定时。
[0082]
本公开的成像设备10的图像处理单元在每次输入各输入图像帧时检测各图像帧中的移动的被摄体，即“移动被摄体”，并对检测到的移动被摄体执行移动分析。
[0083]
具体而言，执行骨架(框架)分析和重心分析。
[0084]
分析结果是图2(b)所示的帧单位分析图像。
[0085]
如图2(b)所示，图像处理单元分析包含于各图像帧中的移动被摄体的骨架(框架)和重心位置。
[0086]
并且，图像处理单元通过使用图2(b)所示的多个帧单位分析图像分析帧之间的骨架和重心的移动和变化的量和方向，并估计在经过预定时间段后获得的“移动被摄体”的状态，即“移动被摄体”的位置和姿势。
[0087]
在图2(c)中示出分析处理(估计处理)的结果的示例，即，(c)将来预测图像生成数据(骨架图像(框架图像))。
[0088]
(c)将来预测图像生成数据(骨架图像(框架图像))是指示拍摄图像中的移动被摄体的骨架(框架)的结构和重心位置的数据。
[0089]
最后，图像处理单元将从输入图像(例如，帧f(n
‑
2)到f(n)的图像)获得的移动被摄体的图像粘贴到“(c)将来预测图像生成数据(骨架图像(框架图像))”，并生成将来预测图像。
[0090]
该图像是图2所示的(d)将来预测图像。
[0091]
图2所示的(d)将来预测图像对应于从当前(在输入帧f(n)时)提前三个帧(f(n 3))的图像。
[0092]
图像处理单元在成像器件10的显示单元14上显示将来预测图像。
[0093]
图3示出将来预测图像在成像器件10的显示单元14上的显示示例。
[0094]
通常，当前拍摄图像(lv图像)显示于成像设备10的显示单元14上。然而，当显示模式被设定为用于显示将来预测图像的将来预测图像显示模式时，显示单元14可以显示将来预测图像而不是当前拍摄图像(lv图像)。
[0095]
在设定将来预测图像显示模式的情况下，如图3所示，成像设备10的显示单元14可以显示将来预测图像(提前三帧的帧f(n 3)而不是当前拍摄图像(帧f(n))。
[0096]
用户检查在显示单元14上显示的将来预测图像并操作快门，由此成功拍摄对应于显示单元14上显示的将来预测图像的图像，即，不是当前输入图像帧f(n)，而是将来输入图像帧f(n 3)。
[0097]
应当注意，考虑到显示单元的显示延迟时间以及快门操作和图像拍摄处理之间的处理延迟时间，要在显示单元14上显示的将来预测图像为例如提前对应于总延迟时间的时间长度的时间的将来预测图像。
[0098]
图像处理单元利用这种设定生成将来预测图像，并将其显示在显示单元14上。
[0099]
通过该设定，用户可以检查在显示单元14上显示的将来预测图像并操作快门，使
得可以拍摄和记录与显示单元14上显示的将来预测图像相同的图像。
[0100]
应当注意，在如上面描述的那样被设定为提前对应于在快门操作和图像拍摄处理之间发生的总延迟时间的时间长度的时间的将来预测图像以外，要在显示单元14上显示的将来预测图像能够以各种方式被设定。
[0101]
图4示出用于描述当用户(摄影师)使用成像设备10拍摄图像时发生的延迟因素的示图。
[0102]
图4是用于描述从用户(摄影师)将成像设备10指向被摄体的时间到执行实际图像拍摄(主拍摄)的时间的序列以及在该序列期间发生的延迟因素的示图。
[0103]
在步骤s01中，通过将成像设备10指向被摄体，在成像设备10中捕获拍摄图像(lv图像)。
[0104]
在步骤s02，在显示单元14上显示拍摄图像(lv图像)。
[0105]
在步骤s03中，用户(摄影师)识别显示在显示单元14上的拍摄图像(lv图像)。
[0106]
在步骤s04中，用户(摄影师)观看拍摄图像(lv图像)并预测拍摄定时。
[0107]
在步骤s05中，用户(摄影师)执行拍摄操作。
[0108]
在步骤s06，执行根据用户(摄影师)的拍摄操作的图像拍摄。
[0109]
基本上，按照步骤s01到s06的顺序执行处理。
[0110]
作为在这些处理序列期间可能发生的延迟因素，在图4的右侧示出延迟因素(1)到(5)。即，延迟因素如下。
[0111]
延迟因素(1)：将照相机所指向的场景拍摄为拍摄图像(lv图像)和在显示单元上显示图像(发生在诸如evf(电子取景器)的显示单元中)之间的延迟。
[0112]
延迟因素(2)：显示和用户识别被摄体之间的延迟(可能发生在突然发生的事件或难以识别的被摄体的情况下)。
[0113]
延迟因素(3)：用户对被摄体的行为和动作的识别和可行预测之间的延迟(在预测行为/动作的同时执行拍照的情况下可能发生)。
[0114]
延迟因素(4)：用户预测和确定拍摄以及完成拍摄操作之间的延迟。
[0115]
延迟因素(5)：用户在照相机上执行拍摄操作与实际曝光开始之间的延迟。
[0116]
例如，存在这些延迟因素。
[0117]
这些延迟因素导致用户打算拍摄的图像与实际拍摄的图像不同。
[0118]
例如，由作为本公开的图像处理设备的成像设备的图像处理单元生成的将来预测图像是考虑了基于在用户对成像设备的被摄体拍摄开始准备操作和图像拍摄的完成之间发生的上述各种延迟因素的延迟时间的将来预测图像。考虑到这些各种延迟因素，本公开的图像处理设备执行处理以使用户打算拍摄的图像与实际拍摄的图像匹配。
[0119]
应当注意，用户可以设定要用作要显示在显示单元14上的将来预测图像的图像要提前的时间长度。考虑到用户之间快门操作速度的差异和用户的偏好等，进行该设定。
[0120]
在图5中示出用于该设定的ui(用户界面)的示例。
[0121]
图5示出以下两个ui示例。
[0122]
(a)用于将来预测图像设定时间调整的ui示例1
[0123]
(b)用于将来预测图像设定时间调整的ui示例2
[0124]
用于将来预测图像设定时间调整的(a)ui示例1是基本ui的示例。用户可以在10ms
到1000ms之间设定要在显示单元14上显示的将来预测图像要提前的时间长度。
[0125]
通过向左或向右滑动图中所示的滚动条21，能够任选地将要在显示单元14上显示的将来预测图像设定在从提前10ms的图像到提前1000ms的图像的范围内。
[0126]
成像设备10的图像处理单元基于用户设定信息执行以上参考图1和图2描述的处理，根据由用户设定的设定时间生成将来预测图像，并在显示单元14上显示将来预测图像。
[0127]
用于将来预测图像设定时间调整的(b)ui示例2是另外显示设定辅助信息22的ui的示例。
[0128]
设定辅助信息22是作为用于从被摄体的移动估计的最佳将来预测图像的设定时间的指示的辅助信息。设定辅助信息22是通过在成像装置10的图像处理单元中分析被摄体的移动而计算的范围内的时间。
[0129]
参考图3描述的将来预测图像的显示示例是在显示单元14上仅显示将来预测图像而不显示lv图像的示例，但是显示单元14上的将来预测图像的显示模式不限于这样的显示示例。
[0130]
将参考图6描述将来预测图像的另一显示示例。
[0131]
图6所示的示例是在显示单元14上叠加和显示lv图像和将来预测图像的示例。
[0132]
作为显示单元14上的图像显示示例，图6示出以下两种显示模式中的图像显示示例。
[0133]
(1)将来预测图像非显示模式中的显示图像示例(lv图像(通过图像)显示)
[0134]
(2)将来预测图像显示模式中的显示图像示例(lv图像(通过图像)与将来预测图像的叠加显示和混合显示)
[0135]
与现有技术类似，图6(1)所示的显示图像是仅显示lv图像的示例。在设定“将来预测图像非显示模式”的情况下，与现有技术一样，显示单元14显示从成像元件输入的当前拍摄图像，即lv图像。
[0136]
另一方面，图6(2)所示的显示图像是通过将由图像处理单元生成的将来预测图像与lv图像叠加或混合而显示的显示图像的示例。在设定“将来预测图像显示模式”的情况下，显示单元14显示由图像处理单元生成的将来预测图像与从成像元件输入的当前拍摄图像即lv图像叠加或混合的图像。
[0137]
应当注意，在混合并显示lv图像和将来预测图像的情况下，用户能够调整其混合比。
[0138]
在图7中示出用于该设定的ui(用户界面)的示例。
[0139]
图7示出以下的ui示例。
[0140]
(a)用于调整lv图像和将来预测图像的混合比设定的ui示例
[0141]
使用图7所示的ui，用户能够在100％的lv图像到100％的将来预测图像的范围内调整如何混合lv图像和将来预测图像以显示要在显示单元14上显示的图像。
[0142]
通过向左或向右滑动图中所示的滚动条23，能够调整要在显示单元14上显示的图像的混合比。
[0143]
成像设备10的图像处理单元混合lv图像和将来预测图像，并基于用户设定信息在显示单元14上显示图像。
[0144]
例如，在设定100％的lv图像的情况下，如图6(1)所示，仅显示对应于将来预测图
像非显示模式的图像，即lv图像。
[0145]
并且，在设定100％的将来预测图像的情况下，如图3(e)所示，显示仅有将来预测图像的图像。
[0146]
并且，在混合比设定为50％的情况下，如例如图6(2)所示，显示对应于将来预测图像显示模式的图像，即叠加lv图像和将来预测图像的图像。
[0147]
如上所述，用户可以通过使用混合比调整ui进行调整。
[0148]
应当注意，可以采用其中执行自动显示切换控制而不在ui上执行这种调整处理的配置。例如，控制如下。
[0149]
(1)在用户触摸或半按下快门的情况下，显示从lv图像切换到将来预测图像。
[0150]
并且，可以采用照相机具有用于在lv图像和将来预测图像之间切换显示的操作单元(开关等)并且根据操作单元的操作进行这种切换的配置。
[0151]
【2
‑
(2)关于用于在显示单元上显示被摄体的移动的说明或预测信息的处理的具体示例】
[0152]
接下来，将描述用于在显示单元上显示被摄体的移动的说明或预测信息的处理的具体示例。
[0153]
图8示出由本公开的成像设备10的图像处理单元执行的处理的示例，并且描绘用于描述用于在显示单元14上显示与被摄体的移动有关的说明信息的处理示例的示图。
[0154]
图8所示的示例是在从成像元件输入的lv图像中包括“鸟”作为“移动被摄体”的情况的示例。
[0155]
图8示出用户将成像设备(照相机)10指向鸟并且在成像设备10的显示单元14上显示lv图像的状态。
[0156]
图8在(1)到(3)中示出根据时刻t1到t3的时间序列的显示数据。
[0157]
首先，显示单元14在(1)时刻t1的显示图像是仅有lv图像的显示。
[0158]
接下来，显示单元14在接下来的(2)时刻t2的显示图像示出了其中与lv图像一起显示关于移动被摄体(＝鸟)的状态的说明信息“起飞准备”的显示数据。
[0159]
接下来，显示单元14在接下来的(3)时刻t3的显示图像还示出了其中与lv图像一起显示关于移动被摄体(＝鸟)的状态的说明信息“起飞开始”的显示数据。
[0160]
如上所述，本公开的成像设备10的图像处理单元在显示单元14上显示与被摄体的移动有关的说明信息。
[0161]
如果作为用户的摄影师检查例如在(2)时刻t2在显示单元14的显示图像上附加显示的说明信息“起飞准备”并在该定时操作快门，则可以拍摄紧接着快门操作之后的图像，例如(3)中所示的起飞瞬间的图像。
[0162]
在没有这样的说明的情况下，存在例如用户在图8(3)所示的时刻t3的定时匆忙执行快门操作的可能性。这种情况会导致拍摄鸟已起飞并从画面消失的图像的情况。
[0163]
如上所述，本公开的成像设备10的图像处理单元与lv图像一起输出与包含于lv图像中的移动被摄体的移动有关的注释信息。
[0164]
应当注意，为了执行该处理，需要根据包含于lv图像中的移动被摄体的类型的分析数据。
[0165]
例如，在包含于lv图像中的移动被摄体是鸟的情况下，将需要诸如字典的分析数
据，通过该字典可以获取鸟的姿势和移动的含义。本公开的成像设备预先将分析数据存储在数据库中，并且通过参考数据库中的记录数据，根据包含于lv图像中的移动被摄体的类型呈现信息。
[0166]
例如，数据库存储与各种类型的移动被摄体(诸如人、鸟、狗和猫)相关的分析数据。即，存储其中各移动被摄体的类型、根据要执行的处理的移动被摄体的姿势和移动、以及状态的注释信息彼此关联的数据。
[0167]
与图8类似，图9示出用于描述在显示单元14上与lv图像一起另外显示信息的具体示例的图。图9所示的示例是用于在显示单元14上显示被摄体的移动的预测信息的处理的具体示例。
[0168]
图9示出以下的显示示例。
[0169]
(a)仅有lv图像的显示示例
[0170]
(b1)移动被摄体(人)的移动预测信息附加显示示例1
[0171]
(b2)移动被摄体(人)的移动预测信息附加显示示例2
[0172]
(b3)移动被摄体(人)的移动预测信息附加显示示例3
[0173]
(b1)至(b3)中的每一个是在本公开的成像设备10的图像处理单元中添加并显示移动被摄体(人)的移动预测信息的示例。
[0174]
移动被摄体(人)的(b1)移动预测信息附加显示示例1是预测信息“七秒后出框(frame
‑
out)(3km/h)”被附加显示为移动被摄体(人)的移动预测信息的示例。
[0175]
本公开的成像设备10的图像处理单元通过分析连续输入的lv图像分析移动被摄体(人)的行走速度，并计算移动被摄体(人)出框的时间长度。基于计算结果，在显示单元14上另外显示预测信息“七秒后出框(3km/h)”。
[0176]
基于该信息，用户(摄影师)可以通过在移动被摄体(人)出框之前操作快门或改变照相机的方向来执行各种类型的处理，诸如拍摄。
[0177]
移动被摄体(人)的(b2)移动预测信息附加显示示例2是其中指示移动被摄体(人)的移动方向的箭头图标附加显示为移动被摄体(人)的移动预测信息的示例。
[0178]
本公开的成像设备10的图像处理单元通过分析连续输入的lv图像分析移动被摄体(人)的移动方向，并且基于分析结果在显示单元14上另外显示指示移动被摄体(人)的移动方向的箭头。
[0179]
用户(摄影师)可以识别移动被摄体(人)的移动方向，并基于该信息执行诸如改变照相机的方向的处理。
[0180]
移动被摄物(人)的(b3)移动预测信息附加显示示例3是其中预测信息“预定时间段后的移动被摄物(人)的图像”在作为移动被摄物(人)的移动预测信息被叠加在lv图像上的同时被显示的示例。
[0181]
本公开的成像设备10的图像处理单元通过分析连续输入的lv图像分析移动被摄体(人)的行走速度，并计算移动被摄体(人)在经过预定时间段后存在的位置。基于计算结果，在显示单元14上另外显示预测信息“预定时间段之后的移动被摄体(人)的图像”。
[0182]
用户(摄影师)可以基于该信息例如预先识别移动被摄体(人)的最佳拍摄定时，并且可以拍摄用户设想的图像。
[0183]
并且，与图8和图9类似，图10描绘用于描述在显示单元14上与lv图像一起另外显
示信息的具体示例的示图。
[0184]
图10所示的示例是用于防止在拍摄人的面部时拍摄由于眨眼而闭上眼睛的状态的图像的预测信息的显示示例。
[0185]
在附图中，提取并示出作为在成像装置10的显示单元14上显示的人的面部图像的一部分的眼睛区域图像。
[0186]
图10(1)示出从成像器件10的成像元件输入到图像处理单元的输入图像的一部分。提取并示出作为人的面部图像的一部分的眼睛区域图像。作为输入图像的示例，示出(1a)至(1d)的四个示例。
[0187]
当输入这些图像时，本公开的成像设备10的图像处理单元分析包含于输入图像中的眼睛的状态。具体地，确定每只眼睛的状态是被确定为不在其后立即引起眨眼的(x)状态还是被确定为眨眼或者在其后立即眨眼的(y)状态。
[0188]
在包含于输入图像中的眼睛的状态中被确定为处于不在其后立即引起眨眼的(x)状态中的示例是图10(1a)和图10(2a)所示的示例。
[0189]
在这种情况下，图像处理单元在显示单元14上仅显示(2a)中所示的lv图像。
[0190]
另一方面，在包含于输入图像中的眼睛的状态中被确定为处于被确定为眨眼或者在其后立即眨眼的(y)状态中的示例是图10(1b到12)和(2b到2d)所示的示例。
[0191]
在这种情况下，图像处理单元在显示单元14上显示(2b到2d)所示的预测信息“眨眼注意”。
[0192]
用户(摄影师)可以检查该信息，并在该定时通过使用快门操作停止拍摄。
[0193]
应当注意，还通过参考上述数据库即存储预先分析的各种移动被摄体的移动预测数据的数据库的记录信息执行该处理。
[0194]
【3.关于由本公开的图像处理设备的图像处理单元执行的参考数据库的分析处理的具体示例】
[0195]
接下来，将描述由本公开的图像处理设备的图像处理单元执行的参考数据库的分析处理的具体示例。
[0196]
如上所述，本公开的成像设备10的图像处理单元与lv图像一起输出关于包含于lv图像中的移动被摄体的移动的预测信息和注释信息。
[0197]
为了执行该处理，图像处理单元例如从数据库获取根据包含于lv图像中的移动被摄体的类型的分析数据，并参考所获取的分析数据。
[0198]
如上所述，例如，在包含于lv图像中的移动被摄体是鸟的情况下，将需要诸如字典之类的分析数据，通过该字典可以获取鸟的姿势和移动的含义。本公开的成像设备预先将分析数据存储在数据库中，并且通过参考数据库的记录数据根据包含于lv图像中的移动被摄体的类型呈现信息。
[0199]
例如，数据库存储与各种类型的移动被摄体(如人、鸟、狗和猫)相关的分析数据。即，存储其中各移动被摄体的类型、根据要执行的处理的移动被摄体的姿势和移动、以及状态的注释信息彼此关联的数据。
[0200]
参考图11和图12描述由本公开的成像设备10的图像处理单元基于存储在数据库中的数据执行的处理的具体示例。
[0201]
图11和图12是分别示出由本公开的成像设备10的图像处理单元执行的各场景的
处理示例的示图。
[0202]
应当注意，以使得图像处理单元将输入的lv图像与存储在数据库中的用于场景规范的数据进行比较的方式执行场景分析。
[0203]
数据库存储例如对应于图11和图12所示的七个场景类别的场景规范的特征数据。图11和图12所示的场景1到7如下。
[0204]
1.人使用多个可移动工具的运动(网球、棒球、羽毛球、高尔夫)
[0205]
2.人使用一个可移动工具的运动(足球、剑道)
[0206]
3.人不使用可移动工具的运动(田径、游泳、舞蹈、艺术体操、柔道)
[0207]
4.肖像拍摄
[0208]
5.动物拍摄
[0209]
6.移动对象拍摄
[0210]
7.风景拍摄
[0211]
本公开的成像设备10的图像处理单元首先将从成像元件输入的lv图像与存储在数据库中的场景规范数据进行比较，并确定输入的lv图像对应于场景1到7中的哪个。
[0212]
当场景确定完成时，指定作为场景中的移动分析目标的移动被摄体。
[0213]
作为用于从连续输入图像检测移动被摄体的处理，执行移动被摄体的指定。
[0214]
图11和图12中的项目“(b)移动分析目标”示出在各场景中检测的移动被摄体即作为移动分析处理的目标的移动被摄体的示例。
[0215]
在“场景1：人使用多个可移动工具的运动(网球、棒球、羽毛球、高尔夫)”的情况下，人体、工具1(球拍)和工具2(球)是移动被摄体，即，作为移动分析处理的目标的移动被摄体。
[0216]
在“场景2：人使用一个可移动工具的运动(足球、剑道)”的情况下，人体和工具1(球)是移动被摄体，即作为移动分析处理的目标的移动被摄体。
[0217]
在“场景3：人不使用可移动工具的运动(田径、游泳、舞蹈、艺术体操、柔道)”的情况下，人体是移动被摄体，即作为移动分析处理的目标的移动被摄体。
[0218]
在“场景4：肖像拍摄”的情况下，人体和面部是移动被摄体，即作为移动分析处理的目标的移动被摄体。
[0219]
在“场景5：动物拍摄”的情况下，动物是移动被摄体，即作为移动分析处理的目标的移动被摄体。
[0220]
在“场景6：移动对象拍摄”的情况下，移动对象是移动被摄体，即作为移动分析处理的目标的移动被摄体。
[0221]
在“场景7：风景拍摄”的情况下，目标对象的移动和出现的迹象是移动分析处理的目标。
[0222]
例如，在指定对应于各场景的“(b)移动分析目标”之后，图像处理单元对这些移动分析目标中的每一个决定特定移动预测模式和预测定时。即，例如，执行图11和图12的(c)中所示的“移动预测模式和预测定时”的指定处理。
[0223]
在“场景1：人使用多个可移动工具的运动(网球、棒球、羽毛球、高尔夫)”的情况下，执行工具1(球拍)和工具2(球)的移动预测，并且碰撞的定时被用作移动预测定时。
[0224]
具体地，例如，执行在“特定示例”中描述的以下事件的定时预测。
[0225]
球拍击打球时的移动和瞬间
[0226]
球棒击打球时的移动和瞬间
[0227]
球拍击打羽毛球时的移动和瞬间
[0228]
确定球已进入球门时的瞬间
[0229]
在“场景2：人使用一个可移动工具的运动(足球、剑道)”的情况下，执行人和工具1(球)的移动预测，并且碰撞的定时被用作移动预测定时。
[0230]
具体地，例如，执行在“特定示例”中描述的以下事件的定时预测。
[0231]
脚踢球时的移动和瞬间
[0232]
手击打球时的移动和瞬间
[0233]
球离开手时的移动和瞬间
[0234]
竹剑击打护面时的移动和瞬间
[0235]
在“场景3：人不使用可移动工具的运动(田径、游泳、舞蹈、艺术体操、柔道)”的情况下，执行人体的移动预测，并使用人们希望在运动中看到的最佳定时作为移动预测定时。
[0236]
具体地，例如，执行在“特定示例”中描述的以下事件的定时预测。
[0237]
越过终点线的瞬间
[0238]
超过的瞬间
[0239]
跳远中的最高点
[0240]
摆姿势的瞬间
[0241]
在拳击中击出拳的瞬间
[0242]
铲断的移动或瞬间
[0243]
被铲倒的移动或瞬间
[0244]
用投掷技术使身体漂在空中的瞬间
[0245]
在“场景4：肖像拍摄”的情况下，执行人体和面部的移动预测，并且肖像的最佳姿势和表情的定时被用作移动预测定时。
[0246]
具体地，例如，执行在“特定示例”中描述的以下事件的定时预测。
[0247]
微笑的瞬间
[0248]
几个人没有闭上其眼睛时的瞬间
[0249]
人转身时的瞬间
[0250]
在演讲期间眼睛没有闭上、嘴形良好时的瞬间
[0251]
在“场景5：动物拍摄”的情况下，执行动物的移动预测，并且动物的移动开始或显著移动的定时被用作移动预测定时。
[0252]
具体地，例如，执行在“特定示例”中描述的以下事件的定时预测。
[0253]
鸟起飞时的移动和瞬间
[0254]
鸟儿展开翅膀时的瞬间
[0255]
动物开始奔跑时的移动和瞬间
[0256]
动物看这边时的移动和瞬间
[0257]
动物捕食另一只动物(张大嘴巴)时的瞬间
[0258]
水生动物从水面出来时的瞬间
[0259]
在“场景6：移动对象拍摄”的情况下，执行移动对象的移动预测，并且移动对象处
于最佳构图中的定时被用作移动预测定时。
[0260]
具体地，例如，执行在“特定示例”中描述的以下事件的定时预测。
[0261]
正在运行的火车的正面图片
[0262]
汽车赛中的得分场面
[0263]
飞机起飞或降落的场景
[0264]
在“场景7：风景拍摄”的情况下，预测对象出现的定时，并且将对象处于最佳位置的定时被用作移动预测定时。
[0265]
具体地，例如，执行在“特定示例”中描述的以下事件的定时预测。
[0266]
雷击时的瞬间
[0267]
流星被美丽地反射时的瞬间
[0268]
烟火绽放时的瞬间
[0269]
烟花的轨迹被美丽地反射时的瞬间
[0270]
【4.关于作为存储于数据库中的数据的生成处理执行的学习处理和学习结果的利用处理】
[0271]
接下来，将描述作为存储于数据库中的数据的生成处理执行的学习处理和学习结果的利用处理。
[0272]
数据库存储通过预先执行的机器学习处理获取的数据。本公开的图像处理设备执行用于输出对应于各种场景的各种类型的预测数据的学习处理，并将学习结果存储在数据库中。
[0273]
将参考图13和随后的附图描述学习处理的具体示例。
[0274]
图13示出在本公开的图像处理设备中配置的学习机/确定机51和用于存储学习结果的数据库52。
[0275]
学习机/确定机51中的学习机通过使用对应于各种场景的时间序列图像数据作为输入数据40执行用于估计将来移动和变化的预测数据的学习处理。学习结果存储在数据库52中。
[0276]
应当注意，各种算法可以被用作学习算法。例如，可以使用高斯处理、贝叶斯神经网络、支持向量机(svm)和逻辑回归等。
[0277]
另外，学习机/确定机51的确定机通过使用存储在数据库52中的学习结果生成并输出包括将来预测数据的输出60。
[0278]
通过使用存储在数据库52中的学习数据，执行在上述各实施例中的每一个中生成的将来预测图像。
[0279]
学习机/确定机51中的学习机在各种场景单位中执行用于获取对应于各场景的输出(预测图像等)的学习处理。
[0280]
例如，输入通过拍摄鸟起飞的场景作为特定场景而获得的大量现有时间序列图像，并且执行用于估计哪些图像是鸟起飞的瞬间的图像和紧挨着的之前的图像的学习处理。
[0281]
即，在指定人踢球的瞬间的情况下，输入其中许多不同的人踢球的时间序列图像，并且执行用于估计哪些图像是人踢球的瞬间的图像和紧接着的之前的图像的学习处理。
[0282]
对应于这些场景的各条学习结果数据存储在数据库中。
[0283]
学习机/确定机51的确定机输入用于执行将来预测的新处理目标图像(时间序列图像)，以首先确定场景，并然后通过使用对应于存储在数据库52中的场景的学习结果生成并输出包括将来预测数据的输出60。
[0284]
例如，在新输入的处理目标图像(时间序列图像)是上面参照图8描述的鸟的图像的情况下，通过参考存储于数据库52中的通过分析鸟起飞瞬间的场景获得的学习数据，估计在紧挨着鸟起飞瞬间之前将获得的图像帧，并且，执行以上参考图8等描述的说明信息的输出处理。
[0285]
如上所述，作为用于各场景的不同处理，执行学习机/确定机51的学习处理和确定处理(将来预测处理)。
[0286]
将参考图14和图15描述对于/来自图13所示的学习机/确定机51的输入数据和输出数据的具体示例。
[0287]
与上述的图11和图12类似，图14和图15是用于示出对于/来自学习机/确定机51的各场景的输入数据和输出数据的具体示例的示图。
[0288]
场景为以下场景1至7。
[0289]
1.人使用多个可移动工具的运动(网球、棒球、羽毛球、高尔夫)
[0290]
2.人使用一个可移动工具的运动(足球、剑道)
[0291]
3.人不使用可移动工具的运动(田径、游泳、舞蹈、艺术体操、柔道)
[0292]
4.肖像拍摄
[0293]
5.动物拍摄
[0294]
6.移动对象拍摄
[0295]
7.风景拍摄
[0296]
图14和图15中的每一个示出对应于各场景的(b)移动分析目标和对于/来自学习机/确定机51的(p)输入数据和(q)输出数据。
[0297]“(b)移动分析目标”是在各场景中检测到的移动被摄体，即，作为移动分析处理的目标的移动被摄体。
[0298]“(p)输入数据”是对于学习机/确定机51的输入数据。具体地说，该数据是时间序列图像数据。
[0299]“(q)输出数据”是来自学习机/确定机51的输出数据。当执行学习处理时，输出数据是基于输入数据估计的输出数据，并且输入数据和输出数据的组合数据被存储在数据库52中。
[0300]
当执行确定处理(预测处理)时，基于输入数据搜索数据库52以选择更接近输入数据的学习数据，并且，生成并输出作为输出数据的预测数据，例如预测图像。
[0301]
学习机/确定机51指定对应于各场景的“(b)移动分析目标”，并然后针对这些移动分析目标执行学习机的学习处理或确定机的确定处理(预测处理)。
[0302]
以下，将描述对应于要由学习机/确定机51处理的各场景的“(b)移动分析目标”、对于学习机/确定机51的“(p)输入数据”以及由学习机/确定机51生成的“(q)输出数据”的具体示例。
[0303]
在“场景1：人使用多个可移动工具的运动(网球、棒球、羽毛球、高尔夫)”的情况下，要由学习机/确定机51处理的“(b)移动分析目标”是人体、工具1(球拍)和工具2(球)。
[0304]
对于学习机/确定机51的“(p)输入数据”是工具1(球拍)和工具2(球)的移动的时间序列图像。
[0305]
由学习机/确定机51生成的“(q)输出数据”是工具1(球拍)和工具2(球)的移动的将来图像或碰撞定时等。
[0306]
学习机/确定机51估计例如在“特定示例”中描述的以下事件的移动和定时。
[0307]
球拍击打球时的移动和瞬间
[0308]
球棒击打球时的移动和瞬间
[0309]
球拍击打羽毛球时的移动和瞬间
[0310]
确定球已进入球门时的瞬间
[0311]
学习机执行用于估计这些事件的移动和定时的学习处理，并将学习结果存储在数据库52中。并且，确定机通过使用存储在数据库52中的学习结果来生成预测数据。
[0312]
在“场景2：人使用一个可移动工具的运动(足球、剑道)”的情况下，要由学习机/确定机51处理的“(b)移动分析目标”是人体和工具1(球)。
[0313]
对于学习机/确定机51的“(p)输入数据”是人和工具1(球)的移动的时间序列图像。
[0314]
由学习机/确定机51生成的“(q)输出数据”是人和工具1(球)的移动的将来图像或碰撞的定时等。
[0315]
学习机/确定机51例如估计在“特定示例”中描述的以下事件的移动和定时。
[0316]
脚踢球时的移动和瞬间
[0317]
手击打球时的移动和瞬间
[0318]
球离开手时的移动和瞬间
[0319]
竹剑击打护面时的移动和瞬间
[0320]
学习机执行用于估计这些事件的移动和定时的学习处理，并将学习结果存储在数据库52中。并且，确定机通过使用存储在数据库52中的学习结果生成预测数据。
[0321]
在“场景3：人不使用可移动工具的运动(田径、游泳、舞蹈、艺术体操、柔道)”的情况下，要由学习机/确定机51处理的“(b)移动分析目标”是人体。
[0322]
对于学习机/确定机51的“(p)输入数据”是人体移动的时间序列图像。
[0323]
由学习机/确定机51生成的“(q)输出数据”是人体移动的将来图像和人们希望在运动中看到的最佳定时等。
[0324]
学习机/确定机51例如估计在“特定示例”中描述的以下事件的移动和定时。
[0325]
越过终点线的瞬间
[0326]
超过的瞬间
[0327]
跳远中的最高点
[0328]
摆姿势的瞬间
[0329]
在拳击中击出拳的瞬间
[0330]
铲断的移动或瞬间
[0331]
被铲倒的移动或瞬间
[0332]
用投掷技术使身体漂在空中的瞬间
[0333]
学习机执行用于估计这些事件的移动和定时的学习处理，并将学习结果存储在数
是要预测的对象的移动和出现的迹象。
[0363]
对于学习机/确定机51的“(p)输入数据”是要预测的对象的移动的时间序列图像。
[0364]
由学习机/确定机51生成的“(q)输出数据”是预测目标出现的定时或对象处于最佳位置的定时等。
[0365]
学习机/确定机51估计例如在“特定示例”中描述的以下事件的移动和定时。
[0366]
雷击时的瞬间
[0367]
流星被美丽地反射时的瞬间
[0368]
烟火绽放时的瞬间
[0369]
烟花的轨迹被美丽地反射时的瞬间
[0370]
学习机执行用于估计这些事件的移动和定时的学习处理，并将学习结果存储在数据库52中。并且，确定机通过使用存储在数据库52中的学习结果生成预测数据。
[0371]
如上所述，学习机/确定机51中的学习机在各种场景单位中执行用于获取对应于各场景的输出(预测图像等)的学习处理。
[0372]
并且，学习机/确定机51的确定机输入用于执行将来预测的新处理目标图像(时间序列图像)，以首先确定场景，并然后通过使用对应于存储在数据库52中的场景的学习结果生成并输出包括将来预测数据的输出60。
[0373]
【5.关于本公开的图像处理设备的配置示例】
[0374]
接下来，将描述本公开的图像处理设备的配置示例。
[0375]
图16是示出本公开的图像处理设备(照相机)100的配置示例的框图。图像处理设备100对应于图1中所示的成像设备10。
[0376]
如图16所示，图像处理设备100具有镜头101、图像传感器102、图像处理单元103、数据库104、内存105、通信单元106、驱动单元107、控制单元108、输入单元109、显示单元110和存储单元111。
[0377]
通过镜头101在图像传感器102中捕获拍摄的图像。
[0378]
图像传感器102为例如ccd(电荷耦合器件)图像传感器或cmos(互补金属氧化物半导体)图像传感器等。
[0379]
图像处理单元103输入从图像传感器102输出的图像数据，例如lv图像，以执行上述处理，即，识别包含于lv图像中的移动被摄体，执行移动被摄体的状态分析和移动预测，生成将来预测图像，以及生成移动被摄体的状态信息和预测信息。
[0380]
图像处理单元103还具有上面参考图13描述的学习机/确定机51的功能，并且执行学习处理和确定处理(预测处理)。
[0381]
应当注意，图像处理单元103还执行与正常图像拍摄相关联的信号处理。例如，执行一般照相机中的信号处理，诸如去马赛克处理、白平衡(wb)调整和伽马校正。
[0382]
数据库104是在其中记录在图像处理单元103中执行的移动被摄体的识别处理、移动被摄体的状态分析和移动预测、将来预测图像的生成、以及进一步的移动被摄体的状态信息和预测信息的生成处理中要参照的数据的数据库。
[0383]
即，如上所述，数据库104存储与各种类型的移动被摄体(诸如人、鸟、狗和猫)相关的分析数据。即，存储其中各移动被摄体的类型、根据要执行的处理的移动被摄体的姿势和移动、以及状态的注释信息彼此关联的数据。
[0384]
内存105是包括用于存储拍摄图像的ram和rom等并且被用作在图像处理设备100中执行的处理程序和各种参数等的存储区域的内存。
[0385]
通信单元106是用于与外部设备(例如，服务器或其它信息终端)进行通信处理的通信单元。
[0386]
驱动单元107执行图像拍摄所需的各种类型的驱动处理，诸如用于图像拍摄的镜头驱动和光圈控制。在例如控制单元108的控制下执行该驱动处理。
[0387]
控制单元108执行由图像处理设备(照相机)100执行的各种类型的处理(诸如图像拍摄、图像分析、作为移动预测的确定处理、学习处理和通信处理)的控制。控制单元108用作根据存储在内存105中的数据处理程序执行各种类型的处理的数据处理单元。
[0388]
输入单元109是用于除了快门之外由用户输入各种类型的设定信息的输入单元。以上参照图5和图7描述的用于将来预测图像设定时间的调整和用于调整lv图像和将来预测图像之间的混合比的数据的输入处理的ui中的每一个也是输入单元109的一部分。
[0389]
显示单元110对应于图1所示的成像设备10的显示单元14。显示lv图像，显示将来预测图像，并且执行移动被摄体信息和预测信息等的显示处理。另外，显示单元110还用于显示ui画面。
[0390]
存储单元111被用作拍摄图像的存储区域，并且还用作各种处理参数和程序等的存储区域。
[0391]
应当注意，具有照相机功能的智能电话还具有图16所示的硬件配置。
[0392]
接下来，将参考图17描述图像处理单元103的详细配置示例。
[0393]
如图17所示，图像处理单元103具有场景确定单元201、移动被摄体识别单元202、移动被摄体状态和移动分析单元203、显示信息生成单元204和记录信息生成单元205。
[0394]
场景确定单元201基于从图像传感器102输入的输入图像(lv图像)301确定拍摄场景。通过参考存储在数据库104中的用于场景确定的数据执行场景确定。
[0395]
具体地，例如，确定场景对应于以上参考图11和图12描述的以下场景1到7中的哪个场景。
[0396]
1.人使用多个可移动工具的运动(网球、棒球、羽毛球、高尔夫)
[0397]
2.人使用一个可移动工具的运动(足球、剑道)
[0398]
3.人不使用可移动工具的运动(田径、游泳、舞蹈、艺术体操、柔道)
[0399]
4.肖像拍摄
[0400]
5.动物拍摄
[0401]
6.移动对象拍摄
[0402]
7.风景拍摄
[0403]
场景确定单元201的场景确定结果与输入图像(lv图像)301一起被输入到移动被摄体识别单元202。
[0404]
移动被摄体识别单元202从输入图像(lv图像)301的内部检测移动被摄体，并识别作为移动预测的目标的移动被摄体。应当注意，在移动被摄体识别处理中，可以使用场景确定单元201的场景确定结果。数据库104存储具有高可检测性且对应于各场景的移动被摄体信息。在图11和图12所示的项目(b)中示出数据。
[0405]
移动被摄体识别单元202参考存储在数据库104中的数据，以从输入图像(lv图像)
301决定作为移动预测的目标的移动被摄体。
[0406]
例如，指定用于移动预测的目标，诸如人、鸟或人眼。
[0407]
由移动被摄体识别单元202指定的移动预测处理目标的移动被摄体识别信息与输入图像(lv图像)301一起被输入到移动被摄体状态和移动分析单元203。
[0408]
移动被摄体状态和移动分析单元203执行由移动被摄体识别单元202指定的移动预测处理目标的状态分析和移动预测。对于该处理，使用存储在数据库104中的分析数据(学习结果数据)。
[0409]
如上所述，数据库104存储与各种类型的移动被摄体(诸如人、鸟、狗和猫)相关的分析数据。即，存储其中各移动被摄体的类型、根据要执行的处理的移动被摄体的姿势和移动、以及状态的注释信息彼此关联的数据。
[0410]
移动被摄体状态和移动分析单元203针对由移动被摄体识别单元202指定的移动预测处理目标参考存储在数据库104中的数据，并执行移动被摄体的状态分析和移动预测。
[0411]
由移动被摄体状态和移动分析单元203分析的各条数据，即由移动被摄体识别单元202指定为分析目标的移动被摄体的状态分析信息和移动预测信息，被输入到显示信息生成单元204。
[0412]
基于从移动被摄体状态和移动分析单元203输入的移动被摄体的状态分析信息和移动预测信息，显示信息生成单元204生成要在显示单元110上显示的将来预测图像、说明移动被摄体的状态的信息、以及说明移动被摄体的将来移动的信息等。
[0413]
具体地，例如，生成用于显示(1)参考图2、图3和图6描述的将来预测图像以及(2)参考图8至图10描述的说明移动被摄体的状态的信息和说明移动被摄体的将来移动的信息的数据。
[0414]
显示信息生成单元204进一步向显示单元110输出信息(1)和(2)，并将其与从图像传感器102输入的输入图像(lv图像)一起显示。
[0415]
应当注意，用户通过输入单元109根据设定信息改变显示单元110的显示模式。
[0416]
例如，用户可以通过使用上面参考图5所述的ui设定要用作要显示的将来预测图像的将来预测图像要提前的时间长度。
[0417]
另外，用户可以通过使用上面参考图7描述的ui设定将来预测图像和lv图像之间的混合比。
[0418]
显示信息生成单元204根据这些用户设定生成显示信息，并将其显示在显示单元110上。
[0419]
记录信息生成单元205根据配置输入单元109的快门的操作，执行用于将从图像传感器102输入的图像记录到存储单元111中的处理。应当注意，在该图像记录处理中，执行与现有技术中的成像设备的信号处理类似的信号处理。
[0420]
应当注意，在图17所示的配置中，作为要应用于场景确定单元201的场景确定处理、移动被摄体识别单元202中的移动被摄体识别处理、以及移动被摄体状态和移动分析单元203中的分析处理的图像，原样使用从图像传感器102输入的输入图像(lv图像)301。
[0421]
然而，当数据量大时，分析处理所需的时间长度变长，因此，为了缩短处理时间长度，输入到这些处理单元的图像可以是例如通过像素稀疏化减少数据量的图像。
[0422]
在图18中示出这种配置的示例。
[0423]
在图18所示的示例中，从图像传感器102输出的图像是两种类型的图像。正常高像素输入图像(lv图像)301被输出到显示信息生成单元204和记录信息生成单元205。
[0424]
另一方面，例如，通过像素稀疏化减少数据量的用于识别的图像321被输出到从场景确定单元201继续的图像分析处理执行单元。
[0425]
通过该配置，能够在从场景确定单元201继续的图像分析处理执行单元中在短时间段内执行分析处理。
[0426]
并且，可以采用设置多个成像元件的配置。例如，如果采用两个成像元件被设置在间隔开的位置处以分析这两个图像的配置，则可以计算到被摄体的距离，并且可以执行对被摄体的移动的高精度三维移动分析。
[0427]
并且，例如，作为可以进行高速拍摄的配置或设置红外传感器和测距传感器的配置，可以采用通过使用这些高速拍摄图像和传感器获取信息执行移动被摄体的移动预测的配置。
[0428]
【6.本公开的配置的概要】
[0429]
以上已经参考特定实施例详细描述了本公开的实施例。然而，显而易见，本领域技术人员可以在不脱离本公开的要点的情况下修改或替换实施例。即，本发明已以示例方式被公开，并且不应以限制的方式被解释。为了确定本公开的要点，应考虑权利要求部分。
[0430]
应当注意，在说明书中公开的技术可以如下配置。
[0431]
(1)一种图像处理设备，包括：
[0432]
图像处理单元，图像处理单元执行包含于来自成像单元的输入图像中的移动被摄体的移动预测、生成将来预测图像并在显示单元上显示图像。
[0433]
(2)根据(1)所述的图像处理设备，
[0434]
其中，图像处理设备包括成像设备，以及
[0435]
由图像处理单元生成的将来预测图像包括考虑了基于在用户对成像设备的被摄体拍摄开始准备操作和图像拍摄的完成之间发生的延迟因素的延迟时间的将来预测图像。
[0436]
(3)根据(2)所述的图像处理设备，
[0437]
其中，图像处理设备包括成像设备，以及
[0438]
由图像处理单元生成的将来预测图像包括提前对应于成像设备的显示单元的显示延迟以及快门操作和图像记录之间的延迟时间的总延迟时间的时间长度的将来预测图像。
[0439]
(4)根据(1)～(3)中的任一项所述的图像处理设备，
[0440]
其中，图像处理单元基于从成像元件输入的多个连续拍摄图像执行移动被摄体的移动预测。
[0441]
(5)根据(1)～(4)中的任一项所述的图像处理设备，
[0442]
其中，图像处理设备具有用户能够设定要被用作由图像处理单元在显示单元上显示的将来预测图像的图像要提前的时间长度的配置，以及，
[0443]
图像处理单元根据用户设定信息生成要在显示单元上显示的将来预测图像。
[0444]
(6)根据(1)～(5)中的任一项所述的图像处理设备，
[0445]
其中，图像处理单元向显示单元输出作为来自成像单元的输入图像的实时取景图像(lv图像)，并且将实时取景图像切换到将来预测图像和将图像输出到显示单元。
[0446]
(7)根据(1)～(6)中的任一项所述的图像处理设备，
[0447]
其中，图像处理单元叠加或混合作为来自成像单元的输入图像的实时取景图像(lv图像)和将来预测图像，并将图像输出到显示单元。
[0448]
(8)根据(7)所述的图像处理设备，
[0449]
其中，图像处理设备具有用户能够设定实时取景图像(lv图像)和将来预测图像之间的混合比的配置，以及
[0450]
图像处理单元根据用户设定信息生成要在显示单元上显示的混合图像。
[0451]
(9)根据(1)～(8)中的任一项所述的图像处理设备，
[0452]
其中，图像处理单元分析包含于输入图像中的移动被摄体的状态，生成分析出的移动被摄体状态的说明信息并在显示单元上显示信息。
[0453]
(10)根据(9)所述的图像处理设备，
[0454]
其中，图像处理单元通过参考在数据库中累积的数据而分析包含于输入图像中的移动被摄体的状态。
[0455]
(11)根据(1)～(10)中的任一项所述的图像处理设备，
[0456]
其中，图像处理单元执行包含于输入图像中的移动被摄体的移动预测，生成用于说明移动预测结果的说明信息并在显示单元上显示信息。
[0457]
(12)根据(11)所述的图像处理设备，
[0458]
其中，说明信息包括描述到移动被摄体出框为止的时间长度的信息。
[0459]
(13)根据(11)所述的图像处理设备，
[0460]
其中，说明信息包括指示移动方向的图标。
[0461]
(14)根据(11)所述的图像处理设备，
[0462]
其中，说明信息包括用于说明要执行人的眨眼的注意信息。
[0463]
(15)一种在图像处理设备中执行的图像处理方法，
[0464]
其中，图像处理单元执行包含于来自成像单元的输入图像中的移动被摄体的移动预测，生成将来预测图像并在显示单元上显示图像。
[0465]
(16)一种导致图像处理设备中的图像处理单元执行图像处理的程序，该图像处理执行包含于来自成像单元的输入图像中的移动被摄体的移动预测，生成将来预测图像并在显示单元上显示图像
[0466]
另外，可以通过硬件、软件或两者的组合配置执行在说明书中描述的一系列处理。在通过软件执行处理的情况下，可以通过将记录了处理序列的程序安装在集成在专用硬件中的计算机的内存中，或者通过将该程序安装在能够执行各种类型的处理的通用计算机中，执行处理。例如，可以预先在记录介质上记录程序。除了从记录介质在计算机上安装程序外，程序还可以经由诸如lan(局域网)或因特网的网络被接收，并且被安装在诸如内置硬盘的记录介质上。
[0467]
应当注意，在说明书中描述的各种处理不仅以根据描述的时间序列被执行，而且还根据执行处理的设备的处理能力或根据需要以并行或单独的方式执行。并且，本说明书中的系统是多个设备的逻辑组装配置，并且不限于各配置的设备被设置在同一外壳中的系统。
[0468]
【工业适用性】
[0469]
如上所述，根据本公开的实施例的配置，实现了执行包含于来自成像单元的输入图像中的移动被摄体的移动预测、生成将来预测图像并在显示单元上显示图像的设备和方法。
[0470]
具体地，例如，设置执行包含于来自成像单元的输入图像中的移动被摄体的移动预测、生成将来预测图像并在显示单元上显示图像的图像处理单元。要显示的将来预测图像是考虑了基于在通过用户的被摄体拍摄开始准备操作和图像拍摄的完成之间发生的延迟因素的延迟时间的图像，并且为例如提前显示单元的显示延迟以及快门操作和图像记录之间的延迟时间的总延迟时间的将来预测图像。并且，图像处理单元分析包含于输入图像中的移动被摄体的状态，生成用于说明状态的信息和用于说明要预测的移动的信息，并在显示单元上显示信息。
[0471]
通过该配置，实现了执行包含于来自成像单元的输入图像中的移动被摄体的移动预测、生成将来预测图像并在显示单元上显示图像的设备和方法。
[0472]
【附图标记列表】
[0473]
10：成像设备
[0474]
11：镜头
[0475]
12：快门
[0476]
13、15：各种操作单元
[0477]
14：显示单元(监视器单元)
[0478]
21、23：滚动条
[0479]
22：设定辅助信息
[0480]
51：学习机/确定机
[0481]
52：数据库
[0482]
100：图像处理设备
[0483]
101：镜头
[0484]
102：图像传感器
[0485]
103：图像处理单元
[0486]
104：数据库
[0487]
105：内存
[0488]
106：通信单元
[0489]
107：驱动单元
[0490]
108：控制单元
[0491]
109：输入单元
[0492]
110：显示单元
[0493]
111：存储单元
[0494]
201：场景确定单元
[0495]
202：移动被摄体识别单元
[0496]
203：移动被摄体状态和移动分析单元
[0497]
204：显示信息生成单元
[0498]
205：记录信息生成单元
[0499]
301：输入图像(lv图像)
[0500]
321：用于识别的图像