手势识别装置、手势识别装置的工作方法、手势识别装置的工作程序与流程

1.本发明的技术涉及一种手势识别装置、手势识别装置的工作方法、手势识别装置的工作程序。


背景技术：

2.在日本特开2019-219904号公报中，记载有一种识别映在由智能手机拍摄的图像中的用户的手所表示的手势的技术。在日本特开2019-219904号公报中，在识别手势之前，从智能手机的姿势判定映在图像中的用户的手是右手和左手中的哪一只手。例如，在智能手机的右侧面朝向垂直方向的情况下，推测用户在用左手把持智能手机，并将映在图像中的用户的手判定为右手。然后，例如在仅准备右手用的手势识别词库，并且映在图像中的用户的手为左手的情况下，在将图像进行镜像翻转而置换为右手的基础上识别手势。


技术实现要素：

3.发明要解决的技术课题
4.在日本特开2019-219904号公报中所记载的技术中，如上所述，基于智能手机的姿势，判定映在图像中的手是右手还是左手。因此，在用户以与预想不同的把持方式把持智能手机的情况下等，有可能会判定错误。
5.本发明的技术的目的在于，提供一种能够降低错误判定映在图像中的摄影对象人物的左右手的可能性的手势识别装置、手势识别装置的工作方法、手势识别装置的工作程序。
6.用于解决技术课题的手段
7.本发明的手势识别装置基于由具有用于改变摄影范围的摄影范围改变机构的数码相机拍摄摄影对象人物而获得的图像，识别摄影对象人物的手所表示的手势，所述手势识别装置具备至少一个处理器，处理器进行如下处理：在图像内的摄影对象人物的面部的位置从预先设定的设定位置偏离的情况下，通过控制摄影范围改变机构的动作而使数码相机拍摄将面部的位置作为设定位置的适当面部位置图像，并基于从适当面部位置图像检测出的手的位置与设定位置之间的位置关系，判定所检测出的手是右手和左手中的哪一只手。
8.在所检测出的手不是右手和左手中的预先设定的一只手的情况下，优选处理器相对于适当面部位置图像进行镜像翻转处理，并基于适当面部位置图像或者进行了镜像翻转处理的适当面部位置图像，进行手势的识别。
9.关于处理器，优选从数码相机的摄影方向观察时，所检测出的手的位置处于设定位置的左侧的情况下判定为右手，处于设定位置的右侧的情况下判定为左手。
10.关于处理器，优选从适当面部位置图像剪切围绕所检测出的手的矩形状的区域而生成手区域图像，并基于手区域图像进行手势的识别。
11.关于处理器，优选使手的中心与图像的中心一致，并且在手的周围设置空白，从适当面部位置图像剪切手区域图像。
12.关于处理器，优选通过改变手区域图像的尺寸，进行将映在手区域图像中的手设为预先设定的设定尺寸的尺寸改变处理。
13.关于处理器，优选从手区域图像生成提取手的关节的关节图像，并基于关节图像进行手势的识别。
14.处理器优选使用第一机器学习模型，该第一机器学习模型将进行了尺寸改变处理的手区域图像设为输入数据，将关节图像设为输出数据。
15.第一机器学习模型优选为选择性地提供映出尺寸为设定尺寸的预先设定的一只手的手区域图像来作为学习用输入数据而进行了学习的模型。
16.第一机器学习模型优选为选择性地提供以不同的姿势映出尺寸为设定尺寸的预先设定的一只手的多个手区域图像来作为学习用输入数据而进行了学习的模型。
17.处理器优选使用第二机器学习模型，该第二机器学习模型将关节图像设为输入数据，将手势的种类设为输出数据。
18.第二机器学习模型优选为选择性地提供从映出尺寸为设定尺寸的预先设定的一只手的手区域图像生成的关节图像来作为学习用输入数据而进行了学习的模型。
19.第二机器学习模型优选为选择性地提供从以不同的姿势映出尺寸为设定尺寸的预先设定的一只手的多个手区域图像生成的多个关节图像来作为学习用输入数据而进行了学习的模型。
20.设定位置优选为图像的中央的位置。
21.关于本发明的手势识别装置的工作方法，所述手势识别装置基于由具有用于改变摄影范围的摄影范围改变机构的数码相机拍摄摄影对象人物而获得的图像，识别摄影对象人物的手所表示的手势，所述手势识别装置的工作方法具备如下步骤：控制步骤，在图像内的摄影对象人物的面部的位置从预先设定的设定位置偏离的情况下，通过控制摄影范围改变机构的动作而使数码相机拍摄将面部的位置作为设定位置的适当面部位置图像；及判定步骤，基于从适当面部位置图像检测出的手的位置与设定位置之间的位置关系，判定所检测出的手是右手和左手中的哪一只手。
22.关于本发明的手势识别装置的工作程序，所述手势识别装置基于由具有用于改变摄影范围的摄影范围改变机构的数码相机拍摄摄影对象人物而获得的图像，识别摄影对象人物的手所表示的手势，所述手势识别装置的工作程序使计算机作为如下机构而发挥作用：控制部，在图像内的摄影对象人物的面部的位置从预先设定的设定位置偏离的情况下，通过控制摄影范围改变机构的动作而使数码相机拍摄将面部的位置作为设定位置的适当面部位置图像；及判定部，基于从适当面部位置图像检测出的手的位置与设定位置之间的位置关系，判定所检测出的手是右手和左手中的哪一只手。
23.发明效果
24.根据本发明的技术，能够提供一种能够降低错误判定映在图像中的摄影对象人物的左右手的可能性的手势识别装置、手势识别装置的工作方法、手势识别装置的工作程序。
附图说明
25.图1是表示摄影系统的图。
26.图2是表示在带打印机的数码相机与控制装置之间发送和接收的信息的图。
27.图3是带打印机的数码相机的正面立体图。
28.图4是从下侧观察带打印机的数码相机时的图。
29.图5是带打印机的数码相机的框图。
30.图6是表示印刷图像生成部的处理的图。
31.图7是表示构成控制装置的计算机的框图。
32.图8是控制装置的框图。
33.图9是表示面部检测部及手检测部的处理的图。
34.图10是表示通过改变相机部的摄影范围，将面部位置设为图像的中央位置的状态的图。
35.图11是表示手势识别部的详细结构的图。
36.图12是表示在判定部中，判定所检测出的手是右手和左手中的哪一只手的状态的图。
37.图13是表示在判定部中，判定所检测出的手是右手和左手中的哪一只手的状态的图。
38.图14是表示生成手区域图像的状态的图。
39.图15是表示在所检测出的手为右手的情况下，不通过镜像翻转处理部进行镜像翻转处理的状态的图。
40.图16是表示在所检测出的手为左手的情况下，由镜像翻转处理部进行镜像翻转处理的状态的图。
41.图17是表示基于尺寸改变处理部的尺寸改变处理的状态的图。
42.图18是表示基于尺寸改变处理部的尺寸改变处理的状态的图。
43.图19是表示从手区域图像生成关节图像的状态的图。
44.图20是表示从手区域图像生成关节图像的状态的图。
45.图21是表示关节图像生成用模型的学习用数据的图。
46.图22是表示关节图像生成用模型的学习阶段的图。
47.图23是表示从关节图像输出手势种类的分类结果的状态的图。
48.图24是表示从关节图像输出手势种类的分类结果的状态的图。
49.图25是表示种类分类用模型的学习用数据的图。
50.图26是表示种类分类用模型的学习阶段的图。
51.图27是表示对应信息的图。
52.图28是表示识别结果输出部的处理的图。
53.图29是表示识别结果输出部的处理的图。
54.图30是表示识别第一手势之后的相机部的动作的转变的图。
55.图31是表示识别第一手势而未识别出第二手势的情况下的相机部及打印机部的动作的转变的图。
56.图32是表示识别第一手势且识别了第二手势的情况下的相机部及打印机部的动
作的转变的图。
57.图33是表示参加者未站在摄影位置且面部检测区域不是预先设定的设定尺寸的情况下的即时显示画面及引导声音的图。
58.图34是表示在进行改变相机部的摄影范围的控制的情况下的即时显示画面及引导声音的图。
59.图35是表示完成了相机部的摄影范围的改变的情况下的即时显示画面及引导声音的图。
60.图36是表示参加者的面部位置处于图像的中央位置的情况下的即时显示画面及引导声音的图。
61.图37是表示参加者进行v手势，并且由手势识别部识别出第一手势的情况下的即时显示画面及引导声音的图。
62.图38是表示摄影待机期间的剩余秒数为3秒的情况下的即时显示画面及引导声音的图。
63.图39是表示摄影待机期间的剩余秒数为2秒的情况下的即时显示画面及引导声音的图。
64.图40是表示摄影待机期间的剩余秒数为2秒的情况下的即时显示画面及引导声音的图。
65.图41是表示进行了图像的摄影动作的情况下的即时显示画面及模拟快门声的图。
66.图42是表示印刷待机期间的剩余秒数为10秒的情况下的预览显示画面及引导声音的图。
67.图43是表示印刷待机期间的剩余秒数为7秒的情况下的预览显示画面及引导声音的图。
68.图44是表示参加者进行停止手势，并且由手势识别部识别出第二手势的情况下的预览显示画面及引导声音的图。
69.图45是表示带打印机的数码相机及控制装置的处理顺序的流程图。
70.图46是表示控制装置的处理顺序的流程图。
71.图47是表示带打印机的数码相机及控制装置的处理顺序的流程图。
72.图48是表示带打印机的数码相机及控制装置的处理顺序的流程图。
73.图49是表示识别为第一手势的手势的另一例的图。
74.图50是表示识别为第二手势的手势的另一例的图。
75.图51是表示使带打印机的数码相机担任移动控制信号生成部、摄影控制信号生成部及印刷控制信号生成部的功能的方式的图。
76.图52是表示使带打印机的数码相机担任面部检测部、手检测部、手势识别部、移动控制信号生成部、摄影控制信号生成部及印刷控制信号生成部的功能的方式的图。
具体实施方式
77.在图1中，摄影系统2具备带打印机的数码相机10及控制装置11，例如设置于展览会的接待柜台12。带打印机的数码相机10配置于接待柜台12上。带打印机的数码相机10对到访接待柜台12的展览会的参加者13的面部进行拍摄，将由此获得的图像14p印刷在即时
metal-oxide semiconductor：互补金属氧化物半导体)图像传感器。
88.在摄像元件43上连接有模拟信号处理部(以下，简称为afe(analog front end))44。摄像元件43将光电转换被摄体光的模拟电信号按照规定的帧速率输出到afe44。afe44对模拟电信号实施相关双采样处理、扩增处理等各种模拟信号处理之后，实施将模拟电信号转换成数字电信号的a/d(analog-to-digital)转换处理。另外，在摄像元件43为cmos图像传感器的情况下，afe44内置于摄像元件43。
89.带打印机的数码相机10具备图像输入部45、图像存储器46、数字信号处理部(以下，简称为dsp(digital signal processor))47、印刷图像生成部48、胶片供给部49、胶片输送部50、印刷头51、发送部52、接收部53、马达54等。这些图像输入部45、图像存储器46、dsp47、印刷图像生成部48、胶片供给部49、胶片输送部50、印刷头51、发送部52、接收部53、马达54等，经由总线55而与控制器56连接。在总线55上还连接有前述的扬声器23。
90.图像输入部45读取来自afe44的数字电信号作为图像14。图像输入部45将所读取的图像14存储于图像存储器46。图像存储器46能够存储多个帧量的图像14。
91.dsp47从图像存储器46读取图像14。dsp47对所读取的图像14实施缺陷像素校正处理、偏差校正处理、增益校正处理、线性矩阵处理、白平衡校正处理、γ校正处理、去马赛克处理、yc(y是指亮度、c是指色差)转换处理等各种数字信号处理。dsp47将已处理的图像14存储于图像存储器46并输出到发送部52。发送部52将图像14发送到控制装置11。
92.印刷图像生成部48从存储于图像存储器46中的已处理的图像14生成图像14p。印刷图像生成部48将所生成的图像14p存储于图像存储器46并输出到发送部52。发送部52将图像14p发送到控制装置11。另外，摄影光学系统40、摄像元件43、afe44、图像输入部45、图像存储器46、dsp47及印刷图像生成部48构成相机部21。
93.胶片供给部49从胶卷盒32送出1张即时胶卷15，并将所送出的即时胶卷15供给至印刷头51。胶片输送部50将由胶片供给部49从胶卷盒32送出的1张即时胶卷15向排出口34输送。
94.印刷头51在即时胶卷15上印刷图像14p。印刷头51例如由线型的曝光头构成。印刷头51从图像存储器46读取图像14p。印刷头51在由胶片输送部50输送的即时胶卷15上逐行记录图像14p。另外，胶片供给部49、胶片输送部50及印刷头51构成打印机部22。
95.每当在图像14p的印刷中消耗即时胶卷15时，打印机部22将剩余张数24输出到发送部52。发送部52将剩余张数24发送到控制装置11。
96.接收部53接收移动控制信号25、摄影控制信号26及印刷控制信号27。接收部53将所接收的移动控制信号25、摄影控制信号26及印刷控制信号27输出到控制器56。
97.马达54使车轮35向前后左右移动。该马达54和车轮35构成移动机构20。
98.控制器56例如为mpu(micro-processing unit：微处理单元)，对带打印机的数码相机10的整体动作进行控制。在控制器56上连接有程序存储器57及工作存储器58。在程序存储器57中存储有工作程序60。工作程序60为本发明的技术所涉及的“手势识别装置的工作程序”的一例。
99.工作存储器58为用于供控制器56执行处理的作业用存储器。控制器56将存储在程序存储器57中的工作程序60加载到工作存储器58，并执行根据工作程序60的处理。由此，控制器56作为移动控制部65、摄影控制部66、印刷控制部67及声音控制部68发挥作用。控制器
56为本发明的技术所涉及的“处理器”的一例。并且，由控制器56、程序存储器57及工作存储器58构成的计算机70为本发明的技术所涉及的“手势识别装置”的一例。
100.移动控制部65基于来自控制装置11的移动控制信号25，控制移动机构20，具体而言控制马达54的动作。摄影控制部66基于来自控制装置11的摄影控制信号26，控制相机部21的动作。具体而言，摄影控制信号26表示图像14p的摄影命令，摄影控制部66接收摄影控制信号26，并使相机部21进行输出图像14p的摄影动作。移动控制部65及摄影控制部66为本发明的技术所涉及的“控制部”的一例。
101.印刷控制部67基于控制装置11的印刷控制信号27，控制打印机部22的动作。印刷控制信号27中包括表示图像14p的印刷命令的信号、及表示图像14p的印刷中止命令的信号。印刷控制部67接收表示图像14p的印刷命令的印刷控制信号27，使打印机部22进行图像14p的印刷。相对于此，在印刷控制部67接收表示图像14p的印刷中止命令的印刷控制信号27的情况下，向打印机部22命令图像14p的印刷中止。声音控制部68控制扬声器23的动作。
102.如图6所示，图像14例如呈4∶3的纵横比的矩形形状。该图像14的一部分区域被设为打印机部22的印刷区域73。印刷区域73呈1∶1的纵横比的正方形状。印刷区域73的边的长度与图像14的短边的长度一致，印刷区域73的中心与图像14的中心一致。印刷图像生成部48通过从存储于图像存储器46中的已处理的图像14剪切印刷区域73而生成图像14p。因此，图像14p成为去除了图像14的左右两端的区域的图像。
103.在图7中，构成控制装置11的计算机除了前述的显示器17之外，还具备存储装置75、存储器76、cpu(central processing unit：中央处理单元)77及通信部78。它们经由总线79而相互连接。
104.存储装置75例如为内置于构成控制装置11的计算机的硬盘驱动器或者固态驱动器。在存储装置75中存储有操作系统等的控制程序、各种软件程序、及伴随这些程序的各种数据等。
105.存储器76为用于供cpu77执行处理的作业用存储器。cpu77将存储在存储装置75中的程序加载到存储器76，并执行按照程序的处理，由此总体控制计算机的各部。通信部78进行与带打印机的数码相机10等的各种信息的传输控制的接口。
106.在图8中，在存储装置75中存储有工作程序80。工作程序80是用于使构成控制装置11的计算机作为本发明的技术所涉及的“手势识别装置”工作的程序。即，工作程序80与工作程序60同样地，是本发明的技术所涉及的“手势识别装置的工作程序”的一例。并且，控制装置11是本发明的技术所涉及的“手势识别装置”的一例。
107.若启动工作程序80，则控制装置11的cpu77与存储器76等协作而作为图像接收部85、剩余张数接收部86、面部检测部87、手检测部88、手势识别部89、移动控制信号生成部90、摄影控制信号生成部91、印刷控制信号生成部92、控制信号发送部93及显示控制部94发挥作用。cpu77是本发明的技术所涉及的“处理器”的一例。
108.图像接收部85接收来自带打印机的数码相机10的图像14及图像14p。图像接收部85将所接收的图像14输出到面部检测部87、手检测部88、手势识别部89及显示控制部94。并且，图像接收部85将所接收的图像14p输出到显示控制部94。
109.剩余张数接收部86接收来自带打印机的数码相机10的剩余张数24。剩余张数接收部86将所接收的剩余张数24输出到显示控制部94。
的一例。以下，将在将参加者13的面部位置设为设定位置的状态下拍摄的图像14标记为适当面部位置图像14c。另外，符号oa表示摄影光学系统40的光轴，符号sd及箭头表示带打印机的数码相机10的摄影方向。摄影方向sd是与光轴oa平行且与排列有摄像元件43的像素的摄像面垂直的方向。
122.在参加者13站在预先设定的摄影位置，并且面部检测区域115成为预先设定的设定尺寸的情况下，移动控制信号生成部90生成移动控制信号25。摄影位置例如由放置在接待柜台12的前面的足型薄片等指示。
123.在图11中，手势识别部89具有判定部130、手区域图像生成部131、镜像翻转处理部132、尺寸改变处理部133、关节图像生成部134、种类分类部135及识别结果输出部136。
124.来自手检测部88的手的检测结果140被输入到判定部130。判定部130基于判定条件100，判定由手检测部88检测出的参加者13的手是右手和左手中的哪一只手。判定部130将判定结果141输出到镜像翻转处理部132。
125.来自图像接收部85的适当面部位置图像14c及来自手检测部88的手的检测结果140被输入到手区域图像生成部131。手区域图像生成部131从适当面部位置图像14c剪切围绕手检测区域116的矩形状的区域而生成手区域图像14h(也参考图14)。手区域图像生成部131将手区域图像14h输出到镜像翻转处理部132。
126.镜像翻转处理部132对手区域图像14h进行镜像翻转处理。镜像翻转处理部132将镜像翻转处理后的手区域图像14h输出到尺寸改变处理部133。
127.尺寸改变处理部133通过改变手区域图像14h的尺寸，进行将映在手区域图像14h中的手设为预先设定的设定尺寸的尺寸改变处理。尺寸改变处理部133将尺寸改变处理后的手区域图像14h输出到关节图像生成部134。
128.关节图像生成部134使用关节图像生成用模型102，从进行了尺寸改变处理的手区域图像14h生成提取了手的关节的关节图像14j。关节图像生成部134将关节图像14j输出到种类分类部135。关节图像生成用模型102例如是利用了convolutional pose machines的模型。关节图像生成用模型102为本发明的技术所涉及的“第一机器学习模型”的一例。
129.种类分类部135使用种类分类用模型103，并基于关节图像14j而对手势的种类进行分类。种类分类部135将分类结果142输出到识别结果输出部136。种类分类用模型103例如是使用了由imagenet学习的vgg(visual geometry group：视觉几何组)16的模型。种类分类用模型103为本发明的技术所涉及的“第二机器学习模型”的一例。
130.识别结果输出部136基于对应信息104及分类结果142进行手势的识别。识别结果输出部136将手势的识别结果143输出到摄影控制信号生成部91、印刷控制信号生成部92及显示控制部94。
131.如图12所示，从摄影方向sd观察时，在手检测区域116的中心cp_h处于中心线cl的左侧的情况下，判定部130根据判定条件100a判定所检测出的手为右手。另一方面，如图13所示，从摄影方向sd观察时，在手检测区域116的中心cp_h处于中心线cl的右侧的情况下，判定部130根据判定条件100b判定所检测出的手为左手。
132.如图14所示，手区域图像生成部131根据正方形状的剪切框150剪切适当面部位置图像14c，并设为手区域图像14h。剪切框150具有手检测区域116的长边的规定数倍，例如1.5倍～2倍的长度的边。并且，剪切框150的中心与手检测区域116的中心cp_h一致。即，手
区域图像生成部131使手的中心与图像的中心一致，并且在手的周围设置空白，从适当面部位置图像14c剪切手区域图像14h。另外，在剪切框150从适当面部位置图像14c突出时，对于该突出部分，将像素值置换为黑色。
133.如图15所示，在来自判定部130的判定结果为右手的情况下，镜像翻转处理部132不进行镜像翻转处理，而是将手区域图像生成部131的手区域图像14h直接输出到尺寸改变处理部133。另一方面，如图16所示，在来自判定部130的判定结果为左手的情况下，镜像翻转处理部132对来自手区域图像生成部131的手区域图像14h进行镜像翻转处理之后输出到尺寸改变处理部133。即，在这种情况下，右手为本发明的技术所涉及的“预先设定的一只手”的一例。另外，相反地，也可以将左手设为“预先设定的一只手”。
134.在来自镜像翻转处理部132的手区域图像14h的尺寸为基准尺寸101的情况下，尺寸改变处理部133不进行尺寸改变处理，而是将来自镜像翻转处理部132的手区域图像14h直接输出到关节图像生成部134。在此，基准尺寸101是用于将映在手区域图像14h中的手设为预先设定的设定尺寸的手区域图像14h的尺寸。并且，设定尺寸是用于精度良好地生成关节图像14j的优选的手的尺寸。
135.如图17所示，在来自镜像翻转处理部132的手区域图像14h的尺寸小于基准尺寸101的情况下，尺寸改变处理部133将来自镜像翻转处理部132的手区域图像14h放大到基准尺寸101。另一方面，如图18所示，在来自镜像翻转处理部132的手区域图像14h的尺寸大于基准尺寸101的情况下，尺寸改变处理部133将来自镜像翻转处理部132的手区域图像14h缩小到基准尺寸101。
136.如图19及图20所示，关节图像生成部134向关节图像生成用模型102输入进行了尺寸改变处理的手区域图像14h作为输入数据。由此，从关节图像生成用模型102输出关节图像14j作为输出数据。关节图像14j是在由关节图像生成用模型102提取的手的指尖的位置及关节的位置处附加标记155的图像。另外，在图19及图20中，在关节图像14j中用虚线表示手，但实际上关节图像14j是仅显示有标记155的的图像。以下的图21等也相同。
137.图19表示在竖起食指和中指并弯曲了其他手指的状态下，将手掌侧朝向带打印机的数码相机10的手势。以下，将该图19所示的手势称为v手势。
138.图20表示在张开所有手指的状态下，将手掌侧朝向带打印机的数码相机10的手势。以下，将该图20所示的手势称为停止手势。
139.图21表示关节图像生成用模型102的学习用数据160。在关节图像生成用模型102的学习阶段中，学习用数据160被提供给关节图像生成用模型102中(参考图22)。学习用数据160具有多个学习用手区域图像14h_l和学习用关节图像14j_l的组。学习用手区域图像14h_l的所有尺寸为基准尺寸101。并且，在所有的学习用手区域图像14h_l中映有作为“预先设定的一只手”的右手。而且，映在学习用手区域图像14h_l中的右手不是完全相同的姿势，而是指尖朝上或朝斜向而姿势不同。学习用手区域图像14h_l中包括右手做出v手势的图像、做出停止手势的图像、做出除此以外的手势的图像(省略图示)。
140.学习用关节图像14j_l是关节图像生成用模型102的制作者对一对学习用手区域图像14h_l附加标记155的图像。学习用关节图像14j_l是用于根据学习用手区域图像14h_l而与从关节图像生成用模型102输出的关节图像14j进行所谓的对答的图像，并且与关节图像14j进行比较。关节图像生成用模型102的关节的提取精度越高，学习用关节图像14j_l和
关节图像14j一致的概率越高。
141.如图22所示，在关节图像生成用模型102的学习阶段中，学习用手区域图像14h_l被提供给关节图像生成用模型102。由此，从关节图像生成用模型102输出关节图像14j。以此方式，对从关节图像生成用模型102输出的关节图像14j和学习用关节图像14j_l进行比较，并且对关节图像生成用模型102的关节的提取精度进行评价。然后，根据该评价结果来更新关节图像生成用模型102。
142.在学习阶段中，在替换学习用手区域图像14h_l和学习用关节图像14j_l的组的同时，进行学习用手区域图像14h_l向关节图像生成用模型102的输入和关节图像14j从关节图像生成用模型102的输出、关节图像生成用模型102的关节的提取精度的评价、以及关节图像生成用模型102的更新，并且反复进行直到关节图像生成用模型102的关节的提取精度达到所期望的水平为止。以此方式，将关节的提取精度被提高到所期望的水平为止的关节图像生成用模型102存储于存储装置75并提供给关节图像生成部134。
143.如图23及图24所示，种类分类部135向种类分类用模型103输入关节图像14j作为输入数据。由此，从种类分类用模型103输出手势的种类的分类结果142作为输出数据。
144.图23表示手势为v手势并且输出v手势作为分类结果142的情况。相对于此，图24表示手势为停止手势并且输出停止手势作为分类结果142的情况。
145.图25表示种类分类用模型103的学习用数据165。在种类分类用模型103的学习阶段中，学习用数据165被提供给种类分类用模型103(参考图26)。学习用数据165具有多个学习用关节图像14j_l和学习用分类结果142l的组。所有学习用关节图像14j_l是从尺寸为基准尺寸101的手区域图像14h生成的图像。并且，所有学习用手区域图像14h_l是从映出作为“预先设定的一只手”的右手的手区域图像14h生成的图像。而且，学习用关节图像14j_l不是从映出完全相同姿势的右手的手区域图像14h生成的图像，而是从映出指尖朝上或朝斜向而姿势不同的右手的手区域图像14h生成的图像。学习用关节图像14j_l中包括从右手做出v手势的手区域图像14h生成的图像、从做出停止手势的手区域图像14h生成的图像、从做出除此以外的手势的手区域图像14h生成的图像(省略图示)。
146.学习用分类结果142_l是种类分类用模型103的制作者将手势的种类登录在一对学习用关节图像14j_l中的数据。学习用分类结果142_l是用于根据学习用关节图像14j_l而与从种类分类用模型103输出的分类结果142进行所谓的对答的数据，并且与分类结果142进行比较。种类分类用模型103的手势的种类的分类精度越高，学习用分类结果142_l和分类结果142一致的概率越高。
147.如图26所示，在种类分类用模型103的学习阶段中，学习用关节图像14j_l被提供给种类分类用模型103。由此，从种类分类用模型103输出分类结果142。以此方式，对从种类分类用模型103输出的分类结果142和学习用分类结果142_l进行比较，并对种类分类用模型103的手势的种类的分类精度进行评价。然后，根据该评价结果来更新种类分类用模型103。
148.在学习阶段中，在替换学习用关节图像14j_l和学习用分类结果142_l的组的同时，进行学习用关节图像14j_l向种类分类用模型103的输入和分类结果142从种类分类用模型103的输出、种类分类用模型103的手势的种类的分类精度的评价、以及种类分类用模型103的更新，并且反复直到种类分类用模型103的手势的种类的分类精度达到所期望的水
平为止。以此方式，将手势的种类的分类精度被提高到所期望的水平为止的种类分类用模型103存储于存储装置75并提供给种类分类部135。
149.在图27中，对应信息104中登录有与手势的种类对应的识别结果143。手势的种类为v手势的情况下的识别结果143的内容是将v手势识别为用于摄影印刷命令的第一手势，所述摄影印刷命令兼具图像14p的摄影命令和图像14p的印刷命令。另一方面，手势的种类为停止手势的情况下的识别结果143的内容是将停止手势识别为用于图像14p的印刷中止命令的第二手势。
150.如图28所示，在分类结果142为v手势的情况下，识别结果输出部136根据对应信息104，输出识别出第一手势的识别结果143。相对于此，如图29所示，在分类结果142为停止手势的情况下，识别结果输出部136根据对应信息104，输出识别出第二手势的识别结果143。
151.如图30所示，摄影控制部66在识别第一手势后待机直到经过预先设定的摄影待机期间wps为止，然后使相机部21进行对成为图像14p的来源的图像14进行静止图像拍摄的摄影动作。摄影控制部66在摄影待机期间wps期间，向相机部21输出图像(即时显示用的实时取景图像)14。摄影待机期间wps例如为3秒。
152.如图31所示，摄影控制部66在预先设定的印刷待机期间wpp中，进行将应印刷的图像14p从相机部21的图像存储器46传送到打印机部22的印刷头51的处理。并且，当印刷控制部67在印刷待机期间wpp中未识别出第二手势的情况下，使打印机部22进行图像14p的印刷。印刷待机期间wpp是相机部21输出图像14p时开始的期间，例如为10秒。
153.另一方面，如图32所示，当在印刷待机期间wpp中识别出第二手势的情况下，摄影控制部66中止图像14p的传送。并且，印刷控制部67向打印机部22命令图像14p的印刷中止。
154.如图33所示，在显示控制部94的控制下输出到显示器17的即时显示画面110中即时显示有图像14。关于图像14的除了印刷区域73以外的左右两端的区域170l、170r，如阴影线所示那样变灰。即，显示控制部94进行在图像14中显示印刷区域73的控制。
155.显示控制部94进行在区域170r的下部显示即时胶卷15的剩余张数24的控制。并且，显示控制部94进行在图像14中显示面部检测区域115及手检测区域116的控制。
156.图33表示参加者13未站在摄影位置且面部检测区域115不是预先设定的设定尺寸的情况下的即时显示画面110。在这种情况下，如符号171所示，声音控制部68从扬声器23输出将参加者13引导至摄影位置的引导声音即“请站在摄影位置。”。
157.图34表示参加者13站在摄影位置且面部检测区域115为预先设定的设定尺寸的情况下的即时显示画面110。并且，图34表示面部检测区域115的中心cp_f与图像14的长边的中心线cl偏离，通过移动控制部65进行改变相机部21的摄影范围120的控制，以使参加者13的面部位置成为图像14的中央位置的情况下的即时显示画面110。在这种情况下，如符号172所示，声音控制部68从扬声器23输出正在改变相机部21的摄影范围120的引导声音即“正在改变摄影范围。”。
158.图35表示完成基于移动控制部65的相机部21的摄影范围120的改变，并且参加者13的面部位置成为图像14的中央位置的情况下的即时显示画面110。在这种情况下，如符号173所示，声音控制部68从扬声器23输出完成了相机部21的摄影范围120的改变的引导声音即“已完成摄影范围的改变。”。
159.图36表示参加者13的面部位置为图像14的中央位置的情况下的即时显示画面
110。在这种情况下，如符号174所示，声音控制部68从扬声器23输出督促参加者13做出作为第一手势的v手势的引导声音即“请做出v手势。”。
160.图37表示参加者13做出v手势，并且由手势识别部89识别出第一手势的情况下的即时显示画面110。在这种情况下，如符号175所示，声音控制部68从扬声器23输出识别出v手势和进行图像14p的摄影动作的引导声音即“识别出v手势。开始拍摄。”。
161.图38～图40表示摄影待机期间wps中的即时显示画面110。在这种情况下，显示控制部94进行在区域170l的中央部显示摄影待机期间wps的剩余秒数180的控制。即，声音控制部68向参加者13通知识别出第一手势。
162.图38表示摄影待机期间wps开始且剩余秒数180为3秒的情况下的即时显示画面110。在这种情况下，如符号181所示，声音控制部68从扬声器23输出剩余秒数180为3秒的引导声音即“3”。即，显示控制部94向参加者13通知摄影待机期间wps的进展状况。
163.图39表示剩余秒数180为2秒的情况下的即时显示画面110。在这种情况下，如符号182所示，声音控制部68从扬声器23输出剩余秒数180为2秒的引导声音即“2”。
164.图40表示剩余秒数180为1秒的情况下的即时显示画面110。在这种情况下，如符号183所示，声音控制部68从扬声器23输出剩余秒数180为1秒的引导声音即“1”。即，声音控制部68也向参加者13通知摄影待机期间wps的进展状况。
165.图41表示剩余秒数180为0秒，摄影待机期间wps结束，并进行了图像14p的摄影动作的情况下的即时显示画面110。在这种情况下，如符号184所示，声音控制部68从扬声器23输出表示快门42被释放的模拟快门声即“咔哒”。即，声音控制部68向参加者13通知图像14p的摄影动作的执行时刻。图像14p的摄影动作的执行时刻也可以解释为图像14p的摄影时刻。另外，在这种情况下的即时显示画面110中瞬间显示快门42被释放时所获得的黑色图像。通过该黑色图像也能够向参加者13通知图像14p的摄影动作的执行时刻。
166.如图42所示，在显示控制部94的控制下在印刷待机期间wpp中输出到显示器17的预览显示画面111中预览显示印刷前的图像14p。关于区域170l、170r，如阴影线所示那样变黑。即，显示控制部94与即时显示画面110的情况同样地，在预览显示画面111中也进行显示印刷区域73的控制。
167.显示控制部94进行在区域170l的中央部显示印刷待机期间wpp的剩余秒数190的控制。即，显示控制部94向参加者13通知印刷待机期间wpp的进展状况。
168.图42表示印刷待机期间wpp开始且剩余秒数190为10秒的情况下的预览显示画面111。在这种情况下，如符号191所示，声音控制部68从扬声器23输出印刷显示的图像14p、和中止印刷的情况下希望做出作为第二手势的停止手势的引导声音即“印刷显示的图像。中止印刷的情况下请做出张开手掌而示意的停止手势。”。
169.图43表示剩余秒数190为7秒的情况下的预览显示画面111。在这种情况下，如符号192所示，声音控制部68从扬声器23输出剩余秒数190为7秒的引导声音即“7”。另外，虽然省略了图示，但剩余秒数190为6秒以下的情况下，在声音控制部68的控制下，也从扬声器23输出表示剩余秒数190的引导声音。
170.图44表示参加者13做出停止手势，并且由手势识别部89识别出第二手势的情况下的预览显示画面111。在这种情况下，如符号193所示，声音控制部68从扬声器23输出识别停止手势并中止了图像14p的印刷、督促图像14p的再摄影的引导声音即“识别停止手势并中
止了印刷。请再次做出v手势后重新拍摄。”。即，声音控制部68向参加者13通知识别出第二手势。
171.接着，参考图45～图48的流程图对基于上述结构的作用进行说明。首先，如图5所示，若启动工作程序60，则带打印机的数码相机10的控制器56作为移动控制部65、摄影控制部66、印刷控制部67及声音控制部68发挥作用。并且，如图8所示，若启动工作程序80，则控制装置11的cpu77作为图像接收部85、剩余张数接收部86、面部检测部87、手检测部88、手势识别部89、移动控制信号生成部90、摄影控制信号生成部91、印刷控制信号生成部92、控制信号发送部93及显示控制部94发挥作用。如图11所示，手势识别部89中构建有判定部130、手区域图像生成部131、镜像翻转处理部132、尺寸改变处理部133、关节图像生成部134、种类分类部135及识别结果输出部136。
172.在带打印机的数码相机10中，从相机部21输出图像14。图像14由发送部52发送到控制装置11。
173.在控制装置11中，由图像接收部85接收来自带打印机的数码相机10的图像14。图像14从图像接收部85输出到面部检测部87、手检测部88、手势识别部89及显示控制部94。
174.在图45中，在通过面部检测部87从图像14检测参加者13的面部(步骤st100中为“是”)，并且面部检测区域115的中心cp_f与图像14的中心线cl偏离，从而面部位置不是图像14的中央位置的情况下(步骤st101中为“否”)，由移动控制信号生成部90使中心cp_f与中心线cl一致，并生成用于将面部的位置设为图像14的中央位置的移动控制信号25。移动控制信号25从移动控制信号生成部90输出到控制信号发送部93，并通过控制信号发送部93发送到带打印机的数码相机10(步骤st102)。
175.在带打印机的数码相机10中，由接收部53接收移动控制信号25(在步骤st200中为“是”)。移动控制信号25从接收部53输出到移动控制部65。
176.如图10所示，通过移动控制部65根据移动控制信号25而使移动机构20动作，通过改变相机部21的摄影范围120，进行将参加者13的面部位置设为图像14的中央位置的控制(步骤st201)。由此，在摄影控制部66的控制下，拍摄适当面部位置图像14c(步骤st202)。步骤st201及步骤st202为本发明的技术所涉及的“控制步骤”的一例。
177.在图46中，在控制装置11中，在显示控制部94的控制下，适当面部位置图像14c的即时显示画面110或者图像14p的预览显示画面111显示于显示器17(步骤st110)。在这种状态下，通过手检测部88从图像14检测参加者13的手的情况下(在步骤st111中为“是”)，手的检测结果140从手检测部88输出到判定部130及手区域图像生成部131。并且，适当面部位置图像14c从图像接收部85输出到手区域图像生成部131。
178.在判定部130中，基于判定条件100，判定由手检测部88检测出的参加者13的手是右手和左手中的哪一只手(步骤st112)。更详细而言，如图12所示，从摄影方向sd观察时，在手检测区域116的中心cp_h处于中心线cl的左侧的情况下，判定为所检测出的手为右手。另一方面，如图13所示，从摄影方向sd观察时，在手检测区域116的中心cp_h处于中心线cl的右侧的情况下，判定为所检测出的手为左手。判定结果141从判定部130输出到镜像翻转处理部132。步骤st112为本发明的技术所涉及的“判定步骤”的一例。
179.如图14所示，通过手区域图像生成部131，从适当面部位置图像14c剪切围绕所检测出的手的矩形状的剪切框150而生成手区域图像14h(步骤st113)。剪切框150是其中心与
手检测区域116的中心cp_h一致，并且在所检测出的手的周围设置空白的框。手区域图像14h从手区域图像生成部131输出到镜像翻转处理部132。
180.在判定结果141为右手的情况下(在步骤st114中为“是”)，如图15所示，镜像翻转处理部132不进行镜像翻转处理，而将手区域图像14h直接输出到尺寸改变处理部133。另一方面，在判定结果141为左手的情况下(在步骤st114中为“否”)，如图16所示，通过镜像翻转处理部132，对手区域图像14h进行镜像翻转处理(步骤st115)。镜像翻转处理后的手区域图像14h从镜像翻转处理部132输出到尺寸改变处理部133。
181.在来自镜像翻转处理部132的手区域图像14h的尺寸为基准尺寸101的情况下(在步骤st116中为“是”)，尺寸改变处理部133不进行尺寸改变处理，而将手区域图像14h直接输出到关节图像生成部134。另一方面，在来自镜像翻转处理部132的手区域图像14h的尺寸不是基准尺寸101的情况下(在步骤st116中为“否”)，如图17及图18所示，尺寸改变处理部133进行尺寸改变处理而将手区域图像14h的尺寸设为基准尺寸101(步骤st117)。尺寸改变处理后的手区域图像14h从尺寸改变处理部133输出到关节图像生成部134。
182.如图19及图20所示，通过关节图像生成部134利用关节图像生成用模型102而从手区域图像14h生成关节图像14j(步骤st118)。关节图像14j从关节图像生成部134输出到种类分类部135。
183.如图23及图24所示，通过种类分类部135利用种类分类用模型103而从关节图像14j输出手势的种类的分类结果142(步骤st119)。分类结果142从种类分类部135输出到识别结果输出部136。
184.如图28所示，在手势的种类为v手势的情况下(在步骤st120中为“是”)，从识别结果输出部136输出识别出第一手势的识别结果143(步骤st121)。相对于此，如图29所示，在手势的种类为停止手势的情况下(在步骤st120中为“否”，在步骤st122中为“是”)，从识别结果输出部136输出识别出第二手势的识别结果143(步骤st123)。识别结果143输出到摄影控制信号生成部91、印刷控制信号生成部92及显示控制部94。
185.如图47所示，在从手势识别部89输出识别出第一手势的识别结果143的情况下，通过摄影控制信号生成部91生成表示图像14p的摄影命令的摄影控制信号26。摄影控制信号26从摄影控制信号生成部91输出到控制信号发送部93。并且，通过印刷控制信号生成部92生成表示图像14p的印刷命令的印刷控制信号27。印刷控制信号27从印刷控制信号生成部92输出到控制信号发送部93。摄影控制信号26及印刷控制信号27通过控制信号发送部93而被发送到带打印机的数码相机10(步骤st130)。
186.在带打印机的数码相机10中，由接收部53接收摄影控制信号26及印刷控制信号27(在步骤st210中为“是”)。摄影控制信号26从接收部53输出到摄影控制部66。印刷控制信号27从接收部53输出到印刷控制部67。
187.如图37所示，在声音控制部68的控制下，从扬声器23输出识别出第一手势的引导声音175(步骤st211)。然后，如图38～图40所示，通过显示控制部94，将摄影待机期间wps的剩余秒数180显示于即时显示画面110(步骤st131)。并且，在声音控制部68的控制下，从扬声器23输出表示剩余秒数180的引导声音181～183(步骤st212)。由此，向参加者13通知摄影待机期间wps的进展状况。
188.经过摄影待机期间wps后(在步骤st213中为“是”)，在摄影控制部66的控制下，在
相机部21中进行图像14p的摄影动作。此时，如图41所示，在声音控制部68的控制下，从扬声器23输出模拟快门声184(步骤st214)。
189.在图48中，在摄影动作后，如图42及图43所示，通过显示控制部94，将印刷待机期间wpp的剩余秒数190显示于预览显示画面111(步骤st140)。并且，在声音控制部68的控制下，从扬声器23输出印刷显示的图像14p、中止印刷的情况下希望做出停止手势的引导声音191后，从扬声器23输出表示剩余秒数190的引导声音192(步骤st220)。由此，向参加者13通知印刷待机期间wpp的进展状况。
190.如图31及图32所示，在印刷待机期间wpp中，在摄影控制部66的控制下，进行将图像14p从相机部21的图像存储器46传送到打印机部22的印刷头51的处理(步骤st221)。
191.在这种状态下，从手势识别部89输出识别第二手势的识别结果143的情况下(在步骤st141中为“是”)，通过印刷控制信号生成部92生成表示图像14p的印刷中止命令的印刷控制信号27。印刷控制信号27从印刷控制信号生成部92输出到控制信号发送部93。印刷控制信号27通过控制信号发送部93而被发送到带打印机的数码相机10(步骤st142)。
192.在带打印机的数码相机10中，由接收部53接收印刷控制信号27(在步骤st222中为“是”)。印刷控制信号27从接收部53输出到印刷控制部67。在这种情况下，如图44所示，在声音控制部68的控制下，从扬声器23输出识别出第二手势的引导声音193(步骤st223)。然后，如图32所示，印刷控制部67使打印机部22不动作，并中止向即时胶卷15的图像14p的印刷(步骤st224)。
193.当在印刷待机期间wpp中没有识别第二手势且接收部53没有接收到表示印刷中止命令的印刷控制信号27的情况下(在步骤st222中为“否”，在步骤st225中为“是”)，如图31所示，印刷控制部67使打印机部22动作，在即时胶卷15上印刷图像14p(步骤st226)。由此，向参加者13提供印刷有图像14p的即时胶卷15。
194.在经过印刷待机期间wpp后(在步骤st143中为“是”)，通过显示控制部94，显示从预览显示画面111切换为即时显示画面110(步骤st144)。
195.如以上说明，带打印机的数码相机10的控制器56作为移动控制部65及摄影控制部66发挥作用。控制装置11的cpu77作为判定部130发挥作用。在图像14内的参加者13的面部位置从预先设定的设定位置偏移的情况下，移动控制部65及摄影控制部66通过控制移动机构20的动作来拍摄将面部位置作为设定位置的适当面部位置图像14c。判定部130基于从适当面部位置图像14c检测出的参加者13的手的位置与设定位置之间的位置关系，判定所检测出的手是右手和左手中的哪一只手。因此，与通过智能手机的姿势等不准确的基准判定左右手的日本特开2019-219904号公报相比，能够降低对映在图像14中的参加者13的左右手判定错误的可能性。
196.在所检测出的手不是右手和左手中的预先设定的一只手的情况下，手势识别部89通过镜像翻转处理部132对手区域图像14h进行镜像翻转。然后，基于手区域图像14h或者进行了镜像翻转处理的手区域图像14h，进行手势的识别。因此，不需要强求参加者13做出基于左右任意一只手的手势。能够应对右撇子及左撇子中的任何参加者13。并且，能够无区别地识别基于左右中的任意一只手的手势。
197.关于判定部130，从带打印机的数码相机10的摄影方向sd观察时，所检测出的手的位置处于设定位置的左侧的情况下判定为右手，处于设定位置的右侧的情况下判定为左
手。由于根据这样明确的判定条件100来判定左右手，因此能够确保判定结果141的有效性。
198.手势识别部89通过手区域图像生成部131从适当面部位置图像14c剪切围绕所检测出的手的矩形状的区域而生成手区域图像14h，并基于手区域图像14h进行手势的识别。因此，与将适当面部位置图像14c设为以后的处理对象的情况相比，能够减轻处理负荷。并且，由于处理对象被限定在手势的识别所需的区域中，因此能够提高手势的识别精度。
199.手区域图像生成部131使手的中心与图像的中心一致，并且在手的周围设置空白，从适当面部位置图像14c剪切手区域图像14h。因此，能够防止手从手区域图像14h突出而导致无法识别手势的问题。
200.尺寸改变处理部133通过改变手区域图像14h的尺寸，进行将映在手区域图像14h中的手设为预先设定的设定尺寸的尺寸改变处理。因此，能够避免参加者13将手向前后移动或者参加者13自己向前后移动，从而将映在手区域图像14h中的手调整为设定尺寸的麻烦。参加者13能够无需特别注意手的尺寸而做出手势。并且，若手的尺寸小于设定尺寸，则手势的识别精度会降低，但由于手的尺寸通过尺寸改变处理一律被设为设定尺寸，因此能够将手势的识别精度维持在较高的水平。
201.手势识别部89通过关节图像生成部134从手区域图像14h生成提取了手的关节的关节图像14j，并基于关节图像14j进行手势的识别。根据关节图像14j，手势的识别中所不需要的除了手以外的背景会被去除，因此能够进一步提高手势的识别精度。
202.关节图像生成部134将进行了尺寸改变处理的手区域图像14h设为输入数据，并且使用将关节图像14j设为输出数据的关节图像生成用模型102。因此，能够容易地获得关节图像14j。
203.如图21及图22所示，关节图像生成用模型102是选择性地提供映出尺寸为设定尺寸的预先设定的一只手的学习用手区域图像14h_l来作为学习用输入数据而进行了学习的模型。因此，无需准备映出尺寸与设定尺寸不同的手的学习用手区域图像14h_l、及映出不是预先设定的一只手的另一只手的学习用手区域图像14h_l，并能够在短时间内有效地完成学习。
204.并且，关节图像生成用模型102是选择性地提供以不同的姿势映出尺寸为设定尺寸的预先设定的一只手的多个学习用手区域图像14h_l来作为学习用输入数据而进行了学习的模型。因此，不需要强求参加者13做出某个特定的手的姿势。参加者13能够无需特别注意手的姿势而做出手势。
205.种类分类部135将关节图像14j设为输入数据，并使用将手势的种类的分类结果142设为输出数据的种类分类用模型103。因此，能够容易地获得分类结果142。
206.如图25及图26所示，种类分类用模型103是选择性地提供从映出尺寸为设定尺寸的预先设定的一只手的手区域图像14h生成的学习用关节图像14j_l来作为学习用输入数据而进行了学习的模型。因此，无需准备从映出尺寸与设定尺寸不同的手的手区域图像14h生成的学习用关节图像14j_l、及从映出不是预先设定的一只手的另一只手的手区域图像[4h生成的学习用关节图像14j_l，并且能够在短时间内有效地完成学习。
[0207]
并且，种类分类用模型103是选择性地提供从以不同的姿势映出尺寸为设定尺寸的预先设定的一只手的多个手区域图像14h生成的多个学习用关节图像14j_l来作为学习用输入数据而进行了学习的模型。因此，与关节图像生成用模型102的情况同样地，不需要
强求参加者13做出某个特定的手的姿势。参加者13能够无需特别注意手的姿势而做出手势。
[0208]
设定位置为图像14的中央位置。因此，能够与参加者13无关地，拍摄面部位于中央的、结构大致相同的图像14p。
[0209]
第一手势不限于例示的v手势，第二手势不限于例示的停止手势。例如如图49所示，可以将在竖起食指并弯曲了其他手指的状态下，将手掌侧朝向带打印机的数码相机10的手势，识别为用于摄影印刷命令的第一手势。并且，如图50所示，可以将在弯曲了所有手指的状态下，将手掌侧朝向带打印机的数码相机10的手势，识别为用于印刷中止命令的第二手势。
[0210]
也可以分别准备右手用的关节图像生成用模型102和左手用的关节图像生成用模型102、以及右手用的种类分类用模型103和左手用的种类分类用模型103，并根据左右手的判定结果141，切换要使用的关节图像生成用模型102。
[0211]
也可以仅用映出特定姿势的手的图像，使关节图像生成用模型102及种类分类用模型103进行学习。在这种情况下，识别映在手区域图像14h中的手的姿势，若所识别的姿势与特定姿势不同，则转动手区域图像14h以调整为特定的姿势。
[0212]
也可以并列显示即时显示画面110和预览显示画面111。并且，还可以在预览显示画面111内显示即时显示画面110作为插入画面。
[0213]
在此，在摄影动作的执行时刻，参加者13自己知道闭上了眼睛或者没有摆好姿势。因此，根据情况，参加者13不需要在预览显示画面111中确认图像14p，也能够判断摄影的成功与否。因此，也可以不将图像14p预览显示在显示器17上，而仅将印刷待机期间wpp的剩余秒数190通知给参加者13。
[0214]
在上述实施方式中，通过改变相机部21的摄影范围，使面部检测区域115的中心cp_f与图像14的长边的中心线cl一致，但并不限于此。也可以变相机部21的摄影范围，以使面部检测区域115的中心cp_f与图像14的中心一致。在这种情况下，图像14的中心为本发明的技术所涉及的“设定位置”及“图像的中央位置”的一例。
[0215]
与面部位置一致的设定位置不限于图像的中央的位置。也可以使设定位置偏向图像14的上下左右中的任一侧。在这种情况下，可以在偏离而生成的空白区域处印刷展览会名称等的文字信息。
[0216]
摄影范围改变机构不限于使主体30向前后左右移动的例示的移动机构20。可以为使主体30沿上下左右摇头的机构。并且，也可以为使摄影光学系统40及摄像元件43的单元移动的机构。
[0217]
也可以不设定印刷区域73，而印刷从摄像元件43输出的图像14本身。
[0218]
也可以从控制装置11的扬声器例如内置于显示器17的扬声器输出引导声音171、172、173、174、175、181、182、183、191、192、193、模拟快门声184等声音，而不是带打印机的数码相机10的扬声器23。
[0219]
关于“请站在摄影位置。”、“请做出v手势。”、“中止印刷的情况下请做出张开手掌而示意的停止手势。”等的引导声音，可以由现场的摄影系统2的管理者说出。
[0220]
模拟快门声184不限于例示的“咔哒”。只要是表示快门42被释放的声音即可，也可以为铃声等。
[0221]
摄影对象人物不限于例示的展览会的参加者13。也可以是婚礼的二次聚会、户外娱乐等其他活动的参加者。并且，不限于活动的参加者，也可以是使用带打印机的数码相机10进行自拍的一般用户。
[0222]
印刷图像14p的印刷介质不限于即时胶卷15。可以为普通的纸。
[0223]
在上述实施方式中，示出了由带打印机的数码相机10的计算机70和控制装置11担任本发明的“手势识别装置”的功能例，但并不限于此。可以由带打印机的数码相机10的计算机70担任本发明的“手势识别装置”的所有功能。相反地，也可以由控制装置11担任本发明的“手势识别装置”的所有功能。
[0224]
图51表示使带打印机的数码相机10担任移动控制信号生成部90、摄影控制信号生成部91及印刷控制信号生成部92的功能的方式。在这种情况下，基于控制装置11的面部检测部87的面部的检测结果被发送到带打印机的数码相机10的移动控制信号生成部90。并且，基于控制装置11的手势识别部89的手势的识别结果143被发送到带打印机的数码相机10的摄影控制信号生成部91及印刷控制信号生成部92。
[0225]
图52表示使带打印机的数码相机10担任面部检测部87、手检测部88、手势识别部89、移动控制信号生成部90、摄影控制信号生成部91及印刷控制信号生成部92的功能的方式。在这种情况下，面部的检测、手的检测、手势的识别、各控制信号25～27的生成全部在带打印机的数码相机10中进行。并且，这种情况下的控制装置11仅具有显示控制部94的功能。
[0226]
另外，图像接收部85和剩余张数接收部86可以集成为一个接收部。如此，构成控制装置11的计算机的硬件结构能够根据处理能力、安全性、可靠性等所要求的性能而进行适当改变。计算机70(控制器56)的硬件结构也相同。而且，不限于硬件，以确保安全性及可靠性为目的，当然也能够对工作程序60及工作程序80等的程序进行双重化或者分散地存储在多个存储装置中。
[0227]
在上述实施方式中，例示了带打印机的数码相机10，但也可以为不具有打印机部22的数码相机。作为数码相机，只要是能够拍摄摄影对象人物的相机即可，可以为智能手机、平板终端、笔记本型的个人计算机等。
[0228]
在上述实施方式中，例如，作为执行移动控制部65、摄影控制部66、印刷控制部67、声音控制部68、图像接收部85、剩余张数接收部86、面部检测部87、手检测部88、手势识别部89、移动控制信号生成部90、摄影控制信号生成部91、印刷控制信号生成部92、控制信号发送部93、显示控制部94、判定部130、手区域图像生成部131、镜像翻转处理部132、尺寸改变处理部133、关节图像生成部134、种类分类部135及识别结果输出部136等各种处理的处理部(processing unit：处理单元)的硬件结构，能够使用以下所示的各种处理器(processor)。各种处理器中，除了执行软件(工作程序60及工作程序80)而作为各种处理部发挥作用的通用的处理器即控制器56及cpu77之外，还包括fpga(field programmable gate array：现场可编程阵列)等在制造后能够改变电路结构的处理器即可编程逻辑器件(programmable logic device：pld)和/或asic(application specific integrated circuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。另外，除了控制器56及cpu77之外，还可以使用gpu(graphics processing unit：图形处理单元)。
[0229]
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类
的两个以上的处理器的组合(例如，多个fpga的组合和/或cpu与fpga的组合、或者cpu与gpu的组合)构成。并且，也可以由1个处理器构成多个处理部。
[0230]
作为由一个处理器构成多个处理部的例，第一，如以客户端及服务器等计算机为代表，存在由一个以上的cpu与软件的组合构成一个处理器，且该处理器作为多个处理部发挥作用的方式。第二，如以片上系统(system on chip：soc)等为代表，存在使用由一个ic(integrated circuit：急症电路)芯片来实现包括多个处理部的系统整体的功能的处理器的方式。如此，各种处理部使用上述各种处理器中的1个以上来构成硬件结构。
[0231]
另外，作为这些各种处理器的硬件结构，更具体而言，能够使用组合半导体元件等电路元件而成的电路(circuitry)。
[0232]
本发明的技术也能够适当地组合上述各种实施方式和/或各种变形例。并且，并不限于上述实施方式，只要不脱离宗旨，则当然能够采用各种结构。另外，本发明的技术除了涉及程序以外，还涉及非临时存储程序的存储介质。
[0233]
以上所示的记载内容及图示内容为关于本发明的技术所涉及的部分的详细说明，只不过是本发明的技术的一例。例如，与上述结构、功能、作用及效果相关的说明为与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此，在不脱离本发明的技术的宗旨的范围内，当然可以对以上所示的记载内容及图示内容删除不需要的部分，或者追加或替换新的要素。并且，为了避免错综复杂的情况，并便于理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了与在能够实施本发明的技术的基础上不需要特别进行说明的技术常识等相关的说明。
[0234]
在本说明书中，“a和/或b”的含义与“a及b中的至少一个”相同。即，“a和/或b”是指，可以仅为a，也可以仅为b，也可以为a与b的组合。并且，在本说明书中，将3个以上的事项用“和/或”连结并表现的情况也适用与“a和/或b”相同的思路。
[0235]
关于本说明书中所记载的所有文献、专利申请及技术标准，与具体地且分别地记载通过参考而并入各个文献、专利申请及技术标准的情况相同程度地，通过参考而并录入本说明书中。