显示装置及其控制方法与流程

显示装置及其控制方法
1.本技术是申请号为201580013392.8、国际申请日为2015年3月12日、并于2016年9月12日进入中国国家阶段的pct专利申请的分案申请。
技术领域
2.根据示例性实施例的设备和方法涉及一种由通过动作识别单元输入的用户动作控制的显示设备及其控制方法。


背景技术：

3.随着电子技术的发展，已开发并发布了各种类型的电子设备。具体地，在普通家庭中已经广泛使用各种显示装置，例如tv、移动电话、pc、笔记本pc、pda和平板pc。
4.对用于使用显示装置的各种功能的有效且交互式输入方法的需求不断增长。例如，提供遥控、鼠标控制、触摸板控制、键盘控制，作为显示装置的输入方法。
5.然而，使用这些简单输入方法难以有效地使用显示装置的各种功能。例如，如果显示装置的所有功能由遥控器控制，则应当增加遥控器上按钮的数目，这使得用户难以学习如何使用遥控器。
6.为了解决以上问题，动作识别技术已经引起注意且得到发展，从而允许用户更加方便地且直观地控制显示装置。
7.然而，现有动作识别技术在识别出用户动作时立即显示用于控制显示装置的图形用户界面(gui)。因此，gui会干扰用户观看内容，因为gui会在用户正享受内容时弹出。


技术实现要素：

8.示例性实施例至少解决上述问题和/或缺点以及以上未描述的其他缺点。此外，示例性实施例不需要克服上述缺点，并且可以不解决任何一个上述问题。
9.一个或多个示例性实施例提供一种能够通过动作识别的两个步骤执行动作任务的显示装置及其控制方法。
10.根据示例性实施例的一方面，提供了一种显示装置的控制方法，包括：显示模式转换用户界面(ui)，该ui提供进入动作任务模式的指导；识别与所述指导相对应的第一动作；在所述指导显示在显示装置上时，响应于识别出第一动作，进入支持第二动作控制显示装置的功能的动作任务模式；以及显示用于执行动作任务模式的动作任务ui。显示模式转换ui可以在中间模式下操作，并且所述方法还包括：在初始模式下识别用于激活所述中间模式的触发输入。
11.所述触发输入可以是以下项中的至少一个：对象的出现、对象的动作、以及激活所述中间模式的语音命令。
12.动作转换ui可以包括被配置为激活动作任务模式的模式转换图标和被配置为根据第一动作朝模式转换图标移动的指示器。
13.进入动作任务模式可以包括：响应于指示器根据第一动作移动到且放置在模式转
换图标上，进入动作任务模式。
14.所述指导可以指示被设置为激活动作任务模式的预定动作样式。
15.进入动作任务模式可以包括：响应于与所述预定动作样式相对应的第一动作，进入动作任务模式。
16.所述方法还可以包括：在模式转换ui显示之前在普通驱动模式下操作，并且响应于模式转换ui被显示，将普通驱动模式转换为功率驱动模式。
17.所述方法还可以包括：响应于在模式转换ui显示之后的预定时间内没有识别出第二动作，将功率驱动模式转换为普通驱动模式。
18.所述方法还可以包括：识别对象，其中显示模式转换ui包括：响应于识别出对象而显示模式转换ui，并且其中，通过跟踪所识别对象的动作来控制动作任务模式。
19.对象可以是用户的手、手指、手臂和脸部之一或无生命物体。
20.根据示例性实施例的另一方面，提供了一种显示装置，包括：动作识别单元，被配置为识别用户的第一动作和第二动作；显示器，被配置为显示对于激活动作任务模式的预定动作的指导；以及控制器，被配置为控制显示器显示提供所述指导的模式转换用户界面(ui)，在显示所述指导时响应于第一动作与预定动作相对应且识别出第一动作而进入支持第二动作控制显示器功能的动作任务模式，并且控制显示器显示动作任务ui以执行动作任务模式。
21.控制器还可以被配置为控制显示器显示被配置为激活动作任务模式的模式转换图标和被配置为根据第一动作朝模式转换图标移动的指示器。
22.控制器还可以被配置为响应于指示器根据第一动作移动到且放置在模式转换图标上而进入动作任务模式。
23.控制器还可以被配置为控制显示器通过动作样式引导ui显示所述指导，其中，所述动作样式引导ui引导用户进行预定动作以进入动作任务模式。
24.控制器还可以被配置为响应于识别出与动作样式引导ui相对应的第一动作的样式而进入动作任务模式。
25.控制器还可以被配置为在显示模式转换ui之前在普通驱动模式下驱动显示器，并且响应于模式转换ui被显示，将普通驱动模式转换为功率驱动模式。
26.控制器还可以被配置为响应于在显示模式转换ui之后的预定时间内没有识别到所述预定动作而将功率驱动模式转换为普通驱动模式。
27.控制器还可以被配置为识别对象，并响应于识别出对象而控制显示器显示模式转换ui，并且其中通过跟踪所识别对象的动作来控制动作任务模式。
28.对象可以是用户的手、手指、手臂和脸部之一或无生命物体。根据示例性实施例的另一方面，提供了一种显示装置的控制方法，包括：在初始模式下识别触发输入；响应于识别出所述触发输入，进入中间模式，以显示对于激活动作任务模式的动作输入的指导；在所述中间模式下识别与所述动作输入相对应的第一动作；在所述指导显示在显示装置上时响应于识别出第一动作，进入动作任务模式；以及响应于识别出第二动作，在动作任务模式下控制显示装置的功能。
29.所述方法还可以包括：确定是否在覆盖所显示的指导区域的预定大小的区域内执行第一动作。
30.所述方法还可以包括：响应于显示装置在预定时间段内没有识别出第一动作，将所述中间模式切换为初始模式。
31.所述方法还可以包括：在第一动作正被识别和处理时，改变所述指导的视觉指示器。
32.改变所述指导的视觉指示器包括：在第一动作正被识别和处理时，改变所述指导的字体或颜色。
33.改变所述指导的视觉指示器包括：在第一动作正被识别和处理时，保持视觉指示器闪烁。
34.根据上述各种示例性实施例，用户可以通过动作识别的两个步骤执行显示装置的动作任务，而不会由于误识别造成不便。因此，可以提供用户能够方便地使用的显示装置的控制功能。
附图说明
35.通过参照附图描述特定示例性实施例，上述和/或其他方面将更加显然，在附图中：
36.图1和图2是用于解释根据各种示例性实施例的显示装置的配置的框图；
37.图3a和图3b是用于解释根据示例性实施例的由显示装置识别对象的示图；
38.图4a至图4c是用于解释根据示例性实施例的使用动作转换图标和指示器转换到动作任务模式的方法的示图；
39.图5a至图6c是用于解释根据示例性实施例的使用动作样式引导用户界面(ui)和与样式相对应的用户动作转换到动作任务模式的方法的示图；以及
40.图7和图8是用于解释根据各种示例性实施例的显示装置的控制方法的流程图。
具体实施方式
41.示例性实施例可以改变，并且可以提供在不同示例性实施例中。将参考附图和详细说明来描述具体示例性实施例。
42.图1是示出了根据示例性实施例的显示装置100的配置的框图。如图1所示，显示装置100包括动作识别单元110、显示器120、控制器130和语音识别单元111。显示装置可以是智能tv，但这仅是示例。显示装置100可以实现为具有显示单元的各种装置，例如智能电话、平板pc、笔记本pc、监视器、电子相册、信息亭等，但是不限于此。
43.动作识别单元110拍摄对象并识别用户动作。具体地，动作识别单元110使用拍摄装置(例如，相机等)拍摄并识别对象，并且可以通过跟踪所识别对象的动作来识别用户动作。
44.显示器120在控制器130的控制下显示图像数据或各种用户界面(ui)。具体地，显示器120可以显示模式转换ui和动作任务ui。模式转换ui可以表示用于将当前模式切换到允许用户控制显示装置100的各种功能(例如，音量和频道控制)的动作任务模式的ui。动作任务ui可以表示用于在动作任务模式下控制显示装置110的各种控制功能的ui。
45.控制器130控制显示装置100的整体配置。如果通过动作识别单元110识别出对象，则控制器130控制显示器120显示动作转换ui。动作识别单元110还可以检测对象的动作，并
且控制器130可以使显示器120能够基于所识别的对象和动作来显示动作转换ui。备选地或与动作识别单元110结合地，语音识别单元111可以检测激活动作转换ui所需的语音命令。
46.转而，如果动作识别单元110在动作转换ui显示在显示器120上时检测到用户动作，则动作识别单元110可以确定检测到的用户动作是否与被设置为激活动作任务模式的预定用户动作相对应。如果动作识别单元110确定检测到的用户动作与预定用户动作相对应，则控制器130可以将显示装置100的当前模式转换为动作任务模式。另外，控制器130可以控制显示器120显示动作任务ui，并基于通过动作任务ui接收到的输入执行动作任务模式。
47.具体地，如果通过动作识别单元110识别出预定形状的对象(例如，用户紧握的拳头)或动作(例如，用户的手挥动)，则控制器130可以控制显示器120显示动作转换ui，并响应于通过动作转换ui接收到的输入将显示装置100的当前模式转换为动作任务模式。根据示例性实施例，控制器130可以控制显示器120显示用于转换到动作任务模式的模式转换图标以及根据用户动作而移动的指示器。根据另一示例性实施例，控制器130可以控制显示器120显示用于引导用户预定动作样式(例如，左右挥动手的动作样式)的动作样式引导ui。
48.同时，控制器130可以在动作识别单元110识别出对象之前在普通驱动模式下操作显示装置100，并在动作识别单元110识别出对象之后将普通驱动模式转换为功率驱动模式。在这种情况下，功率驱动模式可以是控制器130使用与普通驱动模式相比更多的功率(例如，增大控制器130的时钟率)控制动作识别单元110的模式。
49.如果动作识别单元110通过模式转换ui识别出预定用户动作，则控制器130可以将显示装置100的当前模式转换为动作任务模式。接着，控制器130能够利用用户动作来控制显示装置100。例如，如果模式转换图标和指示器显示在显示器120上，指示器根据第一用户动作而移动到动作转换图标，并且识别出选择模式转换图标的第二用户动作，则控制器130可以基于第二用户动作将显示装置100的当前模式转换为动作任务模式。此外，显示器120可以显示动作样式引导ui以便进入动作任务模式，该动作样式引导ui提供期望用户完成的关联的预定动作的信息。如果动作识别单元110识别出关联的动作样式，则控制器130可以将显示装置100的当前模式转换为动作任务模式。
50.当显示装置100处于动作任务模式时，控制器130可以控制显示器120显示用于执行动作任务模式的动作任务ui。在这种情况下，动作任务ui可以包括用于音量控制、频道改变、互联网搜索引擎等的图标。
51.同时，如果动作识别单元110在显示模式转换ui之后的特定时间段内没有识别出预定用户动作，则控制器130可以将功率驱动模式转换为普通驱动模式。
52.因此，显示装置100可以防止可能由用户动作误识别而引起的无意的模式改变。
53.图2是详细示出了显示装置100的配置的框图。如图2所示，显示装置100包括动作识别单元110、语音识别单元111、显示器120、控制器130、存储器140、图像接收器150、图像处理器160、音频处理器170、音频输出单元180和接口单元190。
54.在显示装置100的初始模式下，动作识别单元110拍摄对象并识别用户动作。具体地，动作识别单元110使用拍摄装置(例如，相机等)拍摄并识别对象，并且可以通过跟踪所识别对象的动作来识别用户动作。另外，动作识别单元110接收所拍摄的用户动作和对象的图像信号(例如，连续帧)，并将图像信号提供给控制器130。例如，动作识别单元110可以实
现为包括镜头和图像传感器的相机单元。动作识别单元110可以与显示装置100一体地实现，或者与显示装置100分开地实现。与显示装置100分开的动作识别单元110可以经由线缆或无线地连接。在这种情况下，如图3a和图3b所示，对象可以是人手或棒状的对象。另外，不同于包括手指、手臂和脸部在内的各身体部位的物体可以被识别为对象。另外，动作识别单元110可以预先确定并存储能够识别的对象。如果使用预定对象，则对动作识别单元110分析对象的形状和动作是有利的。例如，如果使用预定形状的对象来识别用户动作，则动作识别单元110需要较少的时间分析动作的形状。
55.显示器120显示从各种源输入的图像信号。例如，显示器120可以显示与通过图像接收器接收的图像信号相对应的图像。另外，显示器120可以显示通过外部终端输入单元所输入的图像数据(例如，运动图像)。
56.具体地，如果显示装置100的动作识别单元110识别出预定对象(例如，两个手指展开的用户的手)，则显示器120可以显示用于转换到动作任务模式的模式转换ui。例如，动作转换ui可以包括模式转换图标和根据用户动作而移动的指示器。此外，动作转换ui可以包括用于引导用户的预定动作样式的动作样式引导ui。
57.如果显示装置100的动作识别单元110在显示动作转换ui时识别出预定用户动作，则显示器120可以显示用于执行动作任务模式的动作任务ui。显示动作转换ui的显示装置100的状态可以称为中间模式。动作任务ui可以包括用于控制显示装置100的各种功能的图标。例如，如果显示装置100是智能tv，则动作任务ui可以包括用于执行以下至少一项的图标：频道改变、音量控制、互联网浏览、存储内容(例如，运动图像、音乐、照片等)的搜索和播放、以及连接的外部设备的搜索等。
58.存储器140存储显示装置100的操作必需的各种程序和数据。另外，存储器140可以包括随机存取存储器(ram)和只读存储器(rom)。如相关领域中公知的，rom单向地将数据和命令发送到cpu，ram通常用于双向地发送数据和命令。
59.图像接收器150接收流信号，并将流信号发送到控制器130或图像处理器160。
60.图像处理器160处理关于构成内容的图像信息的信号。一旦接收到流信号，图像处理器160可以通过对该流进行解复用，将该信号划分成图像信号、声音信号和数据信号。如果解复用的图像信号是编码的图像信号，则图像处理器160使用解码器执行解码。例如，图像处理器160可以使用mpeg-2解码器以mpeg-2标准对编码的图像信号进行解码，并使用h.264解码器以数字多媒体广播(dmb)或dvb-h的h.264标准对图像信号进行解码。另外，图像处理器160可以处理图像信号的亮度、色度、色调等。
61.音频处理器170通过对每个内容的音频数据执行诸如音频解码、噪声滤除、放大等的各种音频信号处理来生成音频信号。由音频处理器170生成的音频信号提供给音频输出单元180。
62.音频输出单元180输出由音频处理器170生成的音频信号。音频输出单元180可以与显示装置100一体地实现，或者与显示装置100分开地实现。与显示装置100分开的音频输出单元180经由线缆或无线地连接到显示装置100。
63.接口单元190允许显示装置100与用户交换命令。例如，接口单元190可以包括键区、触摸屏、遥控器、鼠标等。
64.控制器130控制显示装置100的其他元件，例如动作识别单元110、显示器120等。控
制器130可以包括用于存储控制cpu和显示装置100的模块和数据的只读存储器(rom)和随机存取存储器(ram)。
65.动作识别单元110可以实现在控制器130中作为动作检测模块和动作数据库，控制器130的动作检测模块可以从由连接到控制器130的相机捕获的用户动作和对象的图像中识别对象和用户动作。控制器130可以使用动作识别模块将与用户动作输入相对应的图像(例如，连续帧)划分为背景区域和对象区域，并识别对象的连续动作。控制器130存储接收到的图像的连续帧，并从所存储的帧检测对象和用户动作。控制器130通过检测帧中所包括的对象的形状、颜色和动作中的至少一个来检测对象。控制器130可以使用连续帧中包括的每个对象的位置来跟踪检测到的对象的动作。在这种情况下，控制器130可以确定检测到的动作是否与被设置为激活动作任务模式的预定用户动作相对应。
66.控制器130根据跟踪的对象的形状和动作来确定动作。例如，控制器130通过使用对象的变化、速度、位置和方向中的至少一个来确定用户动作。用户动作包括：手合上的抓取，用手移动所显示的光标的指向移动，手以比预定速度快的速度沿一个方向移动的拍击，手左右或上下摇晃的摇动，以及手转动的转动。另外，还可以包括合上的手伸展开的展开动作。
67.控制器130确定在预定时间(例如，800ms)内对象是否超出预定区域(例如，40cm
×
40cm的方形)，以确定用户动作是指向移动还是拍击。如果在预定时间内对象没有超出预定区域，则控制器130可以确定用户动作是指向移动。然而，如果在预定时间内对象超出预定区域，则控制器130可以确定用户动作是拍击。此外，如果确定对象的速度等于或小于预定速度(例如，30cm/s)，则控制器130确定用户动作是指向移动。然而，如果对象的速度超过了预定速度，则控制器130确定用户动作是拍击。
68.如上所述，控制器130使用识别出的动作来执行显示装置100中的动作任务功能。
69.更具体地，如果在动作识别单元110中识别出预定形状的对象，则控制器130控制显示器120显示用于转换到动作任务模式的动作转换ui。如果使用所显示的动作转换ui通过动作识别单元110识别出预定用户动作，则控制器130将显示装置100的模式转换为动作任务模式以使用用户动作来控制显示装置100。另外，控制器130控制显示器120显示用于执行动作任务模式的动作任务ui。
70.根据示例性实施例，控制器130可以控制显示器120显示用于转换到动作任务模式的模式转换图标以及根据用户动作而移动的指示器。在这种情况下，如果指示器根据第一用户动作移动到模式转换图标并且识别出用于选择模式转换图标的第二用户动作，则控制器130可以控制显示装置100进入动作任务模式。
71.具体地，如果在动作识别单元110中识别出对象，则如图4a所示，控制器130可以控制显示器120在屏幕的一部分上显示模式转换图标和根据用户动作而移动的指示器。在这种情况下，模式转换图标和指示器可以是透明的或半透明的，以最小化对用户观看的干扰。同时，模式转换图标可以包括以下消息：该消息指示了期望用户完成的动作或动作序列以激活动作任务模式。例如，如果需要抓取模式转换图标的动作，则如图4a所示，可以将消息“抓取这里”插入图标中。通过这样的消息，用户可以更加直观地控制显示装置100。当动作识别单元110检测到抓取的动作时，动作识别单元110可以确定该动作是否发生在模式转换图标周围的特定区域内。例如，如果动作识别单元110确定检测到的动作发生在图4a的虚线
区域内，则动作识别单元110可以将检测到的动作识别为与用于激活动作任务模式的动作相对应。
72.如图4b所示，指示器可以根据所识别的用户动作而移动到模式转换图标。当指示器被放置在模式转换图标上时，控制器130激活动作任务模式。用于选择模式转换图标并激活动作任务模式的用户动作不限于抓取，可以包括点击、拖动、摇动等。另外，显示器120可以不显示指示器，并可以使用其他视觉指示来指示用户动作被识别出并正被处理。例如，在用户动作正被识别和处理时，模式转换图标可以开始闪烁，或者图标的外观(例如，字体、颜色等)可以改变。
73.如果显示装置100进入动作任务模式，则如图4c所示，控制器130可以控制显示器120显示动作任务ui。另外，控制器130可以根据通过跟踪识别的对象所识别出的用户动作，通过动作任务ui控制显示装置100的各种功能。例如，控制器130可以执行音量控制、频道改变等，如图4c的左侧和右侧所示。另外，控制器130可以使用图4c的右上侧的图标执行互联网浏览、媒体内容搜索、预约设置等。
74.根据另一示例性实施例，控制器130可以控制显示器120显示用于引导用户预定动作样式的动作样式引导ui以转换到动作任务模式。在这种情况下，如果识别出具有与动作样式引导ui相对应的样式的用户动作，则控制器130可以激活动作任务模式。
75.具体地，如果在动作识别单元110中识别出对象，则如图5a所示，控制器130可以控制显示器120在屏幕的一部分上显示动作样式引导ui。在这种情况下，动作样式ui可以是透明的或半透明的，以最小化对用户观看内容的干扰。例如，动作样式引导ui可以表示为具有简单箭头的引导消息以告知用户应当进行的用户动作。如图5a所示，控制器130可以在显示器120上显示具有双向箭头的消息“摇动手”，以引导用户执行摇动手的动作，使得用户可以直观地理解要进行的动作。另外，如图5b所示，如果识别出具有与动作样式引导ui相对应的模式的用户动作，则控制器130将显示装置100的模式转换为动作任务模式。在这种情况下，控制器130可以控制显示器120附加地显示根据用户动作而移动的指示器，以允许用户检查识别出用户动作的状态。例如，如果用户根据用于引导挥手动作的动作样式引导ui而挥手，则控制器130可以控制显示器120在屏幕的一部分上显示根据挥手的用户动作而左右移动的指示器。如果显示装置100处于动作任务模式，则如图5c所示，控制器130控制显示器120显示动作任务ui。另外，控制器130可以根据通过跟踪识别的对象所识别出的用户动作，使用动作任务ui上的图标来控制执行显示装置100的各种功能。例如，控制器130可以执行诸如音量控制、频道改变等的功能，如图5c的左侧和右侧所示。此外，控制器10还可以使用在图5c的右上侧显示的图标来执行互联网浏览、媒体内容搜索、预约设置等。
76.根据在动作识别单元110中识别对象的另一示例性实施例，如图6a所示，控制器130可以控制显示器120在屏幕的一部分上显示动作样式引导ui。在这种情况下，动作样式引导ui可以是透明的或半透明的，以最小化对用户观看内容的干扰。例如，动作样式引导ui可以包括用于向用户告知要进行的动作的引导消息或动画引导。如图6a所示，控制器130可以显示消息“点击”以及示出了使用手指进行点击操作的动画，以引导用户使用手指执行点击操作，使得用户可以直观地理解要进行的动作。另外，如图6b所示，如果识别出具有与动作样式引导ui相对应的样式的用户动作，则控制器130将显示装置100的当前模式转换为动作任务模式。例如，如果用户使用手指，根据用于引导点击操作的动作样式引导ui执行点击
操作，则显示装置100的模式转换为动作任务模式。如果显示装置100的模式转换为动作任务模式，则如图6c所示，控制器130控制显示器120显示动作任务ui。另外，控制器130可以根据通过跟踪识别的对象所识别出的用户动作，使用动作任务ui上的图标来执行显示装置100的各种功能。例如，控制器130可以执行音量控制和频道改变，如图6c的左侧和右侧所示。另外，控制器130可以使用在图6c的右上侧显示的图标来执行互联网浏览、媒体内容搜索、预约设置等。
77.根据示例性实施例，控制器130可以在识别对象之前在普通驱动模式下驱动显示装置100，并在动作识别单元110识别对象之后将普通驱动模式转换为功率驱动模式。在这种情况下，功率驱动模式是控制器130控制动作识别单元110所需的资源(例如，功耗)与普通驱动模式相比增加的模式。
78.具体地，显示装置100执行各种功能，因此，对显示装置100必需的是，有效地使用显示装置100的电力和资源。同样地，对执行识别用户动作的功能的动作识别单元110也是这样。因此，控制器130可以控制显示装置100在识别对象之前在普通驱动模式下操作，以减少控制动作识别单元110所需的资源的分配。例如，控制器130可以在普通驱动模式下降低时钟率、功耗、可用存储容量等。然而，如果通过动作识别单元110识别出对象，则控制器130可以将普通驱动模式转换为功率驱动模式，以提高用户动作的识别精度。如果显示装置100处于功率驱动模式，则控制器130可以增加控制动作识别单元110所需的资源的分配，暂时提高时钟率、功耗、可用存储容量等，使得用户动作能够被更加快速准确地识别。另外，如果显示装置100处于功率驱动模式，则控制器130可以提高拍摄的图像帧或构成动作识别单元110的相机的分辨率等，或者增加用于识别用户动作的相机的数目。根据上述特征，可以实现具有低功耗和高效率的显示装置100，其可以确定是否优选地需要动作识别。
79.根据另一示例性实施例，如果在显示模式转换ui之后的预定时间内没有识别出预定用户动作，则控制器130可以将显示装置100的驱动模式从功率驱动模式转换为普通驱动模式。例如，如果用户展开手并举起手呼叫在不同地方的某人，则动作识别单元110将用户展开的手识别为对象，并且控制器130可以控制显示器120显示模式转换ui且将显示装置100的驱动模式转换为功率驱动模式。当发生这种误识别时，直至经过预定时间，也无法识别出用户的预定动作，所以控制器130可以再将功率驱动模式转换为普通驱动模式。
80.在功率驱动模式下，可以快速准确地识别用户动作，但是长时间地保持功率驱动模式对于显示装置100将是低效的，因为其需要高功耗。因此，控制器130可以在显示模式转换ui之后将功率驱动模式仅保持预定时间段。即使当由于对象的可能误识别而致使显示装置100的驱动模式转换为功率驱动模式时，控制器130在预定时间逝去之后再将显示装置100的驱动模式转换为普通驱动模式。因此，可以防止由于对象的误识别而引起的cpu资源、电力等的不必要消耗。
81.根据另一示例性实施例，在显示装置100处于动作任务模式时，控制器130可以根据通过跟踪识别的对象所识别出的用户动作来控制显示装置100。具体地，在动作任务模式下，控制器130可以控制显示器120在动作任务ui上显示用于执行一些功能的图标，并使用指示器等选择图标，其中，指示器根据用户动作而移动以执行每个图标所表示的显示装置的相应功能。
82.同时，在动作任务模式下，控制器130可以根据通过选择性动作跟踪仅跟踪所选对
象而识别出的用户动作，来控制显示装置100。具体地，为了将显示装置100的模式转换为动作任务模式，首先应当在动作识别单元110中识别对象。在这种情况下，控制器130可以使用关于所识别对象的形状、位置等的信息，控制动作识别单元110仅识别在近距离内具有相似形状的对象。例如，在动作任务模式下，控制器130可以通过移动识别的对象来控制显示装置100，以将显示装置100的模式转换为动作任务模式。这里，如果选择性地处理用于将显示装置100的模式转换为动作任务模式的关于所识别对象的动作识别，则可以有效地使用显示装置100的资源。然而，在动作任务模式下跟踪的识别对象不限于所识别的将显示装置100的模式转换为动作任务模式的对象。
83.根据上述显示装置100，用户可以通过动作识别的两个步骤执行显示装置的动作任务，而不会由于误识别造成任何不便。
84.下文中，将参考图7和图8来描述显示装置的控制方法。
85.如图7所示，显示装置100识别对象(s710)。在这种情况下，对象可以是手、手指、手臂、脸部和物体之一。
86.转而，显示装置100显示用于将显示装置100的当前模式转换为动作任务模式的模式转换ui(s720)。在这种情况下，模式转换ui可以是指用于显示模式转换图标和根据用户动作而移动的指示器的ui。模式转换ui还可以是指用于显示动作样式引导ui的ui。
87.显示装置100确定是否识别出使用模式转换ui的预定用户动作(s730)。在这种情况下，预定用户动作可以是以下用户动作：在指示器根据用户动作而移动到模式转换图标之后选择模式转换图标。预定用户动作还可以是具有与动作样式引导ui相对应的样式的用户动作。
88.如果识别出预定用户动作(s730-是)，则显示装置100的模式转换为动作任务模式(s740)。之后，显示装置100显示动作任务ui以执行动作任务模式。
89.根据显示装置100的上述控制方法，用户可以防止由于用户动作的误识别而引起的无意的模式转换。
90.如图8所示，显示装置100在识别对象之前在普通驱动模式下操作(s810)。
91.显示装置100识别对象(s820)，并且显示装置100将普通驱动模式转换为功率驱动模式。与普通驱动模式相比，功率驱动模式是识别用户动作所需的资源(例如，功耗)增加的模式。例如，功率驱动模式可以是以下驱动模式：识别用户动作所需的诸如时钟率、功耗等的资源暂时增加，用于识别用户动作的相机的数目增加，或者相机或图像帧的分辨率增加。
92.显示装置100显示模式转换ui(s840)。在模式转换ui显示之后，显示装置100确定在预定时间内是否识别出预定用户动作(s850)。
93.如果在预定时间内识别出预定用户动作(s850-是)，则显示装置100的当前模式转换为动作任务模式(s860)，并且显示装置100显示动作任务ui(s870)。
94.如果在预定时间内没有识别出预定用户动作(s850-否)，则显示装置100的驱动模式从功率驱动模式转换为普通驱动模式(s880)。具体地，如果显示装置100的驱动模式由于对象的误识别而转换为功率驱动模式，则在预定时间逝去之后，功率驱动模式再转换为普通驱动模式，因此，可以防止cpu资源和电力的不必要消耗。
95.根据示例性实施例，可以根据通过跟踪识别的对象所识别出的用户动作来控制动作任务模式。具体地，如果显示装置的模式转换为动作任务模式，则动作任务ui可以显示用
于执行各种功能的图标，并且用户可以使用根据用户动作而移动的指示器执行由每个图标表示的相应功能来控制显示装置100。同时，如果执行用于选择性地处理关于这种对象的动作识别的方法，则可以有效地使用显示装置100的资源。
96.可以在各种类型的记录介质中存储用于执行根据上述各种示例性实施例的控制方法的程序代码。具体地，程序代码可以存储在可由终端读取的各种类型的记录介质中，例如随机存取存储器(ram)、闪存、只读存储器(rom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeporm)、寄存器、硬盘、可移除盘、存储卡、usb存储器、cd-rom等。
97.上述实施例和优点仅是示例并不应视为限制本发明。本发明的教导易于应用于其他类型的设备。此外，示例性实施例的描述意在说明性的，而不是为了限制权利要求的范围，并且本领域技术人员将清楚多种替代、改进和变化。