远程控制系统的制作方法

1.本发明涉及远程控制系统，具体地，涉及可通过手势执行或控制操作或功能的远程控制系统。


背景技术：

2.除非另有说明，否则本节中描述的内容并非本发明的发明要求保护范围的背景技术，并不是包括在本节中就被认定为背景技术。
3.随着最近技术的发展，智能电视、智能手机、ar、vr设备和双向游戏机、智能家电、智能家居自动化、汽车的智能化及电场化等以难以列举的程度在各种领域具备各种功能的电子设备层出不穷。
4.并且，与此同时，上述电子设备提供了非常多种多样的功能。然而，与多种多样的电子设备和它们的功能增加很多相比，这些功能在远距离轻松运行的远程控制方式并没有得到很大的发展。到目前为止，使用最多的远程控制方式是远程控制器中具有对应于各个功能的按钮，当按下所需功能的按钮时，由电子设备接收对应的信号，控制单元识别以执行相应功能的方式运行。这种使用按钮式远程控制器的方式是按照提供的功能数量来在远程控制器具备按钮，由此用户简单选择相应功能的按钮以按下时提供最好的便利性。然而，这在很久以前功能数很少时是可行的，但像现在这种速度的技术发展时期，使用按钮式远程控制器的方式需要具备很多按钮，因此随着增大和变重，难以随身携带，并且，用户在数量众多的按钮中找到并执行所需功能成为非常困难的事情，从而失去了便利性。从至今为止的情况来看，智能电视的远程控制器似乎是用户可以理解并能够商业利用的具有最多数量按钮的远程控制器。
5.因此，为了克服这一点，作为使用按钮式远程控制器的方式，具有四向的按钮和确认按钮的方式。将待执行功能显示在屏幕以进行选择和运行。例如，对于现在的智能电视，在屏幕上的多个应用程序中选择并运行特定应用程序，或者播放、停止特定视频，或者在电视购物中购买时没有对应的按钮，所以用4个方向的按钮找到屏幕上显示的功能并进行选择以按下确认按钮进行运行。
6.然而，多次连续按这四向按钮，最终选择并按下确认按钮本身已经降低了用户的便利性。再加上，以后随着功能的进一步添加，为了找到屏幕上的功能，用户会更多地按下四向箭头按钮和确认按钮，因此用户的便利性会更低。
7.最近，还尝试着语音识别或三维空间鼠标等方式以代替远程控制器，对于语音识别，到目前为止还看不到所需的识别率和快速响应性，事实上，用语音命令执行本身也是一件麻烦的事情。而且，在三维空间鼠标等情况下，由于无法像pc鼠标一样快速、准确地选择和运行的响应性，因此没有得到很大的商用化。
8.因此，正在出现新的远程控制系统，它不仅是现在，通过今后的技术发展完成诸多功能，并在远距离方便容易地运行，同时具有快速反应性以增加了用户的便利性。
9.相关于此，在韩国公开专利第10-2010-0131213号中公开了基于手势的远程控制
系统。基于手势的远程控制系统包括摄像头模块300、图像识别模块100、无线发送器400及主控电子设备200。图像识别模块100与摄像头模块300电连接。无线发送器400与图像识别模块100电连接。主控电子设备200与图像识别模块100以能够分离的方式连接。主控电子设备200包括显示器202。运动控制命令是通过在具有图像识别模块100的摄像头模块300内识别用户的图像而获得。键控命令由图像识别模块100从运动控制命令和键码信息获得。键控命令由图像识别模块100传输到无线发送器400。键控命令由无线发送器传输到被控制电子设备以控制被控制电子设备。
10.现有技术文献
11.专利文献
12.专利文献1：韩国专利公开第10-2010-0131213号(公开日：2010年12月15日)


技术实现要素：

13.发明所要解决的问题
14.目的在于提供可使用手势来在远距离便利且容易地执行电子设备的多个功能，同时具有快速反应性的用户的便利性增加的新的远程控制系统。
15.并且，不限定于如上所述的技术问题，可以从以下描述推导出另一个技术问题是显而易见的。
16.用于解决技术问题的方案
17.根据本发明实施例通过手势进行工作的远程控制系统包括：输入单元及输出单元；存储单元，存储有与输入的手势动作进行相互匹配的手势信息；控制单元，与输入单元、输出单元或存储单元中至少一个电连接，用于识别和控制手势动作，控制单元用于识别由输入单元输入的手势动作，将识别的手势动作与存储在存储单元中的手势信息相互匹配，执行与匹配的手势信息相对应的操作并输出到输出单元。
18.根据本发明的优选特征，该远程控制系统的特征在于，控制单元用于将用户待输入的手势信息输出到输出单元。
19.根据本发明的优选特征，该远程控制系统的特征在于，控制单元用于为通过输出单元输出的以功能运行为目的的各个图形对象指定相应的手势图形，将各个图形对象和相应的手势图形存储到存储单元以作为与输入到输入单元中的手势动作相互匹配的手势信息，并将输出到输出单元中的所有对象作为对象。各个图形对象包括通过输出单元输出的菜单项、应用程序运行图标、流式视频中的特定事物或人、字符串、幻灯片、图片或照片中的特定事物或人，手势图形包括至少一个手势或者至少一个数字和至少一个手势的组合。
20.根据本发明的优选特征，控制单元用于为未通过输出单元输出的以功能运行为目的的各个图形对象指定相应的手势图形，并将各个图形对象和相应的手势图形存储到存储单元以作为与输入到输入单元中的手势动作相互匹配的手势信息。
21.根据本发明的优选特征，该远程控制系统的特征在于，控制单元用于在输入特定手势之后，向输出单元输出当前被指定与所有通过输出单元输出的以功能运行为目的的图形对象对应的各个手势图形。
22.根据本发明的优选特征，该远程控制系统的特征在于，控制单元用于在输入特定手势之后，在为未通过输出单元输出的以功能运行为目的的各个图形对象指定相应的手势
图形时，将在输出单元当前输出情况下可执行功能和被指定的手势图形的之间的映射列表输出到输出单元。
23.根据本发明的优选特征，该远程控制系统的特征在于，在控制单元中，与各个图形对象一同，向输出单元输出所有为通过输出单元输出的以功能运行为目的的各个图形对象指定手势动作。
24.根据本发明的优选特征，该远程控制系统的特征在于，控制单元用于通过服务器和网络，将通过输出单元输出的以功能运行为目的的各个图形对象以及相应的手势图形，和未通过输出单元输出的以功能运行为目的的各个图形对象和相应的手势图形进行实时安装、删除、修改及更新，并存储到存储单元中。
25.根据本发明的优选特征，该远程控制系统的特征在于，控制单元用于向输出单元输出输入到输入单元中的每个手势动作的轨迹。
26.根据本发明的优选特征，该远程控制系统的特征在于，存储到存储单元中的手势信息由每个应用程序所具备且在应用程序的功能运行时，对识别的手势动作进行相互匹配的情况下使用的应用程序手势库、和系统所具备且在系统的功能运行时对识别的手势进行相互匹配的情况下使用的系统手势库构成。应用程序手势库和系统手势库均由将输出到输出单元的以功能运行为目的的各个图形对象以及指定的手势图形存储为手势信息的可视(visible)手势库单元、和将未通过输出到输出单元的以功能运行为目的的各个图形对象指定的执行功能以及指定的手势图形存储为手势信息的隐藏(hidden)手势库单元构成。
27.根据本发明的优选特征，该远程控制系统的特征在于，控制单元用于，当安装应用程序时，将应用程序输出到输出单元以运行图标，并将指定的手势图形在系统手势库中进行注册。在应用程序运行图标时指定的手势图形应使用应用程序的制作者指定的手势图形，或控制单元推荐的手势图形，或用户所需的手势图形。
28.根据本发明的优选特征，该远程控制系统的特征在于，在控制单元中，在运行至少一个应用程序且其中选择至少一个应用程序的情况下，对识别的手势动作进行相互匹配时使用应用程序手势库。在一个应用程序也未运行或运行至少一个应用程序且其中没有选择任何应用程序的情况下，当对识别的手势进行相互匹配时使用系统手势库。
29.根据本发明的优选特征，该远程控制系统的特征在于，在控制单元中，通过服务器和网络，对应用程序手势库和系统手势库进行实时安装、删除、修改及更新，并存储到存储单元中。
30.根据本发明的优选特征，该远程控制系统的特征在于，在控制单元中，当特定手势输入到输入单元中且手势被判断为多个手势输入信号时向输出单元指示多个手势输入信号，等待多个手势输入信号结束之后，重复逐一接收输入的特定手势并继续存储在存储单元中的过程，当输入的特定手势被判断为多个手势输入结束信号时，当前为止存储在存储单元中的多个特定手势与存储的手势信息进行匹配判断并执行动作。
31.根据本发明的优选特征，该远程控制系统的特征在于，对于手势图形，当特定手势被判断为多个重复两次以上的手势时，控制单元在将特定手势输出到输出单元时，按照特定手势的重复数来重复手势以输出到输出单元，或仅输出特定手势并以上下标的形式输出特定手势的重复数。
32.根据本发明的优选特征，该远程控制系统的特征在于，包括发送器，发送器位于输
入单元以将打开(on)和关闭(off)信号发送到控制单元。在控制单元中，当输入单元的发送器无手势地发送打开(on)信号时，向输出单元输出当前被指定与所有通过输出单元输出的以功能运行为目的的图形对象对应的各个手势图形。当发送器继续无手势地保持打开(on)信号时，手势图形持续地被输出到输出单元，当发送器发送关闭(off)信号时，被输出的手势图形从输出单元消失。
33.根据本发明的优选特征，该远程控制系统的特征在于，包括发送器，发送器位于输入单元以将打开(on)和关闭(off)信号发送到控制单元。在控制单元中，当输入单元的发送器无手势地在预定时间以内发送两次打开(on)信号和两次关闭(off)信号时向输出单元输出多个手势输入信号，等待多个手势输入信号结束之后，重复逐一接收输入的手势动作并继续存储在存储单元中的过程。当输入单元的发送器无手势地再一次地在预定时间以内发送两次打开(on)信号和两次关闭(off)信号时，当前为止存储在存储单元中的手势动作与存储的手势信息进行匹配判断并执行动作。
34.根据本发明的优选特征，该远程控制系统的特征在于，包括发送器，发送器位于输入单元以将打开(on)和关闭(off)信号发送到控制单元。对于手势图形，当特定手势被指定为在预定时间以内与两次以上的打开(on)信号和两次以上的关闭(off)信号一同发送的多开关(multi-on off)手势图形时，控制单元在输出到输出单元时，在特定手势之前预定时间以内，以数字形式输出打开(on)信号和关闭(off)信号的重复数。
35.根据本发明的优选特征，该远程控制系统的特征在于，包括发送器，发送器位于输入单元以将打开(on)和关闭(off)信号发送到控制单元。当输入单元中，在预定时间以内，输入两次以上打开(on)信号和两次以上关闭(off)信号的同时输入手势动作时，控制单元将在预定时间以内打开(on)信号和关闭(off)信号的重复数和手势动作与存储的手势信息进行匹配判断并执行动作。
36.发明的效果
37.根据本发明实施例的远程控制系统，与现有的远程控制系统不同，为了让用户对所需功能进行直观、容易、快速的选择和执行，以执行屏幕上的以功能运行为目的的应用程序运行图标，对视频播放器的播放按钮、电视购物节目的购买按钮等图形对象指定每个手势。并且，当用户采取特定手势时，屏幕上会显示对图形对象进行指定的手势，例如上述示例。通过上述用户可知，对所要执行的屏幕上的图形对象指定的手势。并且，当用户采取其中的一个手势时，对相应图形对象指定的功能被执行。这使得本发明具有比pc鼠标更直观、更容易、更快地选择和执行屏幕上的所需功能的优点。
38.并且，进一步地，应用程序制作者、内容提供者(content provider)或系统制作者等可通过服务器和网络实时安装、删除、添加、更新指定的手势，从而与现有的一次制造就固定功能而无法重新添加新功能的远程控制系统不同，具有随时为新功能指定新手势的优点。
39.并且，当配置包括按钮的发送器时，可在各种情况下灵活地使用大量手势，因此，即使配置最小按钮，也有不损失用户的便利性的优点。
40.本发明的效果不限定于上述的效果，应理解为包括可从本发明的详细描述或发明要求保护范围中所记载的发明的结构推断出的所有效果。
附图说明
41.图1为根据本发明实施例的远程控制系统的结构图。
42.图2为根据本发明实施例的远程控制系统中输入单元由发送器和接收单元组成的结构图。
43.图3为根据本发明实施例的远程控制系统中在屏幕上显示用户待输入的手势信息。
44.图4为根据本发明实施例的远程控制系统中对屏幕上显示的图形对象指定和显示手势图形。
45.图5为根据本发明实施例的远程控制系统中对未使用屏幕上的图形对象进行指定的执行功能进行指定的手势图形的匹配列表。
46.图6为根据本发明实施例的远程控制系统中通过服务器和网络对手势信息进行安装、删除、修改、更新的结构图。
47.图7为根据本发明实施例的远程控制系统中应用程序手势库和系统手势库的，并且每个手势库由可视(visible)库单元和隐藏(hidden)库单元组成。
48.图8为根据本发明实施例的远程控制系统中通过服务器和网络对每个应用程序手势库和系统手势库进行安装、删除、修改、更新的界面图。
具体实施方式
49.以下，参照附图，可以看到根据优选实施例的远程控制系统的结构、动作及作用效果。作为参考，在以下附图中，为了方便和清楚性，省略或简要图示各个结构要素，各个结构要素的尺寸并非反应实际尺寸。并且，在说明书全文中，相同附图标记指代相同结构要素，在个别附图中省略对相同结构的附图标记。
50.图1为根据本发明实施例的通过手势进行工作的远程控制系统100的概念性结构图。该远程控制系统100包括：输入单元110及输出单元120；存储单元130，存储有与输入的手势动作进行相互匹配的手势信息；控制单元140，与输入单元110、输出单元120或存储单元130中至少一个电连接，用于识别和控制手势动作，控制单元140用于识别由输入单元输入的手势动作，将识别的手势动作与存储在存储单元130中的手势信息相互匹配，执行与匹配的手势信息相对应的操作并输出到输出单元120。
51.在根据本发明内容的实施例的基于摄像头的远程控制系统100中，输入单元110可配置为用于接收手势动作的输入的摄像头，当人使用手动作采取手势时，将其捕获并输入手势。
52.如图2所示，在根据另一实施例的远程控制系统100中，输入单元110可由发送手势的发送器111和接收所发送的信号的接收单元112构成。
53.输出单元120是在执行与后述的匹配的手势信息相对应的动作之后用于输出的装置，可以是包括能够输出图像或视频的任意装置。
54.存储单元130是对输入的手势存储相互匹配的手势信息的装置。
55.并且，控制单元140具有控制如下整体过程的作用，即，识别输入到输入单元110中的手势，将识别的手势与存储到存储单元130中的手势信息相互匹配，并进行判断以执行对应动作，输出到输出单元120中。
56.根据本发明的优选特征，远程控制系统100的特征在于，控制单元140将用户待输入的手势信息输出到输出单元120。
57.现有的基于手势的远程控制系统的最大问题在于，用户需要将用于执行所需的功能的手势全单元存储。功能越多，需要存储的手势只能越多，为了用户的方便而使用手势，但反而会使功能越多用户的便利性越差。因此，在此期间，基于手势的远程控制系统一直以辅助的方式，只对少数特定功能指定手势才可使用的程度来利用。
58.对于如上所述的问题，本发明通过在屏幕上显示用户无需记住手势就可以执行所需功能的手势的信息，以提出解决方案。如图3的示例，屏幕上存在多个应用程序，每个应用程序中单独指定显示“1”、“2”、“3”、
“┓”
、
“┗”
、“a”、“b”、“c”。这些“1”、“2”、“3”、
“┓”
、
“┗”
、“a”、“b”、“c”是为了执行每个应用程序而指定的每个不同手势示例。
59.在屏幕上提供可执行用户所需的功能的手势，当用户采取其中一个手势时，执行对应于该手势的功能。例如，为了执行图3的图中的app2(310)，用户采取手势2(320)时执行app2(310)。
60.根据本发明的优选特征，该远程控制系统100的特征在于，控制单元140用于为通过输出单元120输出的以功能运行为目的的各个图形对象指定相应的手势图形，将各个图形对象和相应的手势图形存储到存储单元130以作为与输入到输入单元110中的手势动作相互匹配的手势信息，并将输出到输出单元120中的所有对象作为对象。各个图形对象包括通过输出单元120输出的菜单项、应用程序运行图标、流式视频中的特定事物或人、字符串、幻灯片、图片或照片中的特定事物或人，手势图形包括至少一个手势或者至少一个数字和至少一个手势的组合。
61.如图4所例示，屏幕上显示有图片、应用程序运行图标、文本、幻灯片、目录、视频中的人或事物等图形创建的多个对象。并且，这些图形对象中的特定图形对象都有各自对应的执行功能。在本发明中，系统制作者或应用程序制作者或内容提供者(content provider)可以为执行该功能的每一个图形对象指定所需手势。图4中，以数字、韩文字母、英文字母、符号或它们的组合显示在每个图形对象方便以作为每个手势的显示。用户采取相应手势，从而可执行与相应图形对象相对应的功能。
62.现有远程控制系统中的另一大问题在于，如图4所例示，在屏幕上显示的多个功能中，选择和执行所需功能并不容易。如前所述，为了应对多个功能，最常用的按钮方式的远程控制系统需要使用四向按钮和确认按钮查找并运行所需的功能，因此速度慢，用户的便利性差。并且，语音识别方法首先对屏幕上的多个功能的每一个进行命名和调用也很困难，尚未达到能够满足准确性和反应性的水平，并且说话也很麻烦。并且，通过三维空间鼠标一样的方式，在屏幕上移动指针以执行屏幕上的功能，至今还尚未达到用户所需的反应性。
63.对此，本发明如上所述，用户直观地看到显示在屏幕上的图形对象上指定并显示的手势图形，采取该手势图形即可执行功能。这一优点比从pc上的鼠标系统将鼠标指针移动到所需的图形对象上，然后单击双按钮运行的方式更快更方便。甚至，若用户经常使用，特定图形对象的手势图形就会自动成为记忆。在这种情况下，用户不必为了查找屏幕上的图形对象上指定的手势图形而察看屏幕，而仅采取记忆中的手势图形来执行功能，因此可更快更方便地执行所需功能，从而可进一步提高用户的便利性。
64.另一方面，这里为每个图形对象指定的手势图形并不如图4所例示那样，只是为每
个图形对象指定一个手势图形410、420。根据需要，也可指定多个手势图形430、450。
65.并且，当后述的输入单元110中包括用于向控制单元140发送打开(on)和关闭(off)信号的发送器时，还可指定在预定时间以内两次以上的打开(on)信号和两次以上的关闭(off)信号和手势一同输入的多开关(multi-on off)手势图形440。
66.当屏幕上有很多用于执行功能的图形对象时，相应地会需要大量的手势图形，由此，简单容易的手势图形的数量有限，会需要很多复杂的手势图形。然而，基于手势的远程控制系统是为了让用户轻松、舒适地使用手势以执行功能，因这种复杂的手势图形，可能会导致用户难以采取手势或者控制单元140的手势识别率下降的情况。
67.对此，本发明使用如上所述的多个手势和多开关(multi-on off)手势图形，能够简单易用地避免手势图形在使用时冲突，或者多开关(multi-on off)和手势图形冲突在一起的情况，用较少的手势也可以覆盖多个功能。
68.并且，如图4所示，在屏幕上以图形方式显示指定的手势图形可仅由至少一个手势图形410、420、430显示或者由至少一个数字和至少一个手势图形的组合440、450构成，可显示多个手势和多开关(multi-on off)手势图形。
69.根据本发明的优选特征，其特征在于，控制单元140对未通过输出单元120输出的以功能运行为目的的各个图形对象指定相应的手势图形，并将各个图形对象和相应的手势图形存储到存储单元130以作为与输入到输入单元110中的手势动作相互匹配的手势信息。
70.如上所述，可通过显示在屏幕上的图形对象上指定的手势图形运行应用程序，选择菜单，上下移动幻灯片。然而，若仅使用将所有执行功能均显示在屏幕上的图形对象和对此指定的手势图形来运行系统，那么屏幕中的图形对象可能会变得异常复杂，反而会降低用户的便利性。
71.对此，本发明虽然不使用屏幕上的图形对象，但对所需的执行功能也指定每个手势图形，指定的执行功能和手势图形的信息存储在存储单元130中以作为手势信息。如图5所例示，用户对增加音量的功能510或上调电视频道的功能520，可以在没有图形对象的情况下直接指定手势图形530、540。
72.根据本发明的优选特征，远程控制系统100的特征在于，控制单元140用于在输入特定手势之后，向输出单元120输出当前被指定与所有通过输出单元120输出的以功能运行为目的的图形对象对应的各个手势图形。
73.用户不可能都记住对屏幕上输出的以功能运行为目的的所有图形对象进行指定的每个手势图形。然而，若因用户不记得而在屏幕上继续显示所有手势图形，则因屏幕与图形对象一同显示而看起来复杂。最终，会降低用户的集中度和便利性。
74.对此，本发明仅在用户采取特定的手势时，才在当前屏幕上显示以功能运行为目的的图形对象指定的所有手势图形。即，仅在用户需要时，才能看到在屏幕上的图形对象中指定的手势图形，从而提高用户的便利性。
75.根据本发明的优选特征，远程控制系统100的特征在于，控制单元140用于在输入特定手势之后，在为未通过输出单元120输出的以功能运行为目的的各个图形对象指定相应的手势图形时，将在输出单元120当前输出情况下可执行功能和被指定的手势图形的之间的映射列表输出到输出单元120。
76.用户查找当前在屏幕上输出的以功能运行为目的的图形对象，也有可能其中不存
在所需功能。例如，声音调节功能等是必不可少的功能，但对于该功能，应用程序制作者可能不想将图形对象放在屏幕上，指定手势图形来运行。在这种情况下，当用户采取特定的手势时，如图5所例示，在对未使用图形对象指定的执行功能进行指定的手势图形中，在屏幕上显示基于当前屏幕上可执行的所有功能以及各个指定的手势图形的映射列表。例如，用户在察看该映射列表以确认所需功能和手势之后，可采取右侧方向手势图形530来增加音量。
77.根据本发明的优选特征，远程控制系统100的特征在于，在控制单元140中，与各个图形对象一同，向输出单元120输出所有为通过输出单元120输出的以功能运行为目的的各个图形对象指定手势动作。
78.随着显示技术的发展，很多电子设备尽可能使用大屏幕进行制造。在这种情况下，特定的设备执行功能不多，即使相对较大屏幕中显示所有图形对象，也可能回屏幕区域充裕的情况。在这种情况下，即使屏幕上以功能运行为目的的图形对象和对此指定的势图形均显示在一起，也不会显得复杂。该功能即使用户不采取手势，屏幕上也看得见手势图形。
79.根据本发明的优选特征，远程控制系统100的特征在于，控制单元140用于通过服务器150和网络160，将通过输出单元120输出的以功能运行为目的的各个图形对象以及相应的手势图形，和未通过输出单元120输出的以功能运行为目的的各个图形对象和相应的手势图形进行实时安装、删除、修改及更新，并存储到存储单元130中。
80.现有的远程控制系统的一大缺点在于，已经生产的产品无法修改或升级。如果在工厂生产并上市，此后只能沿用其功能。例如，在按钮方式的远程控制器的情况下，按钮已经物理固定生产，因此当然不能修改。然而，智能电视等情况，即使功能增加也可以继续使用的原因在于，可以使用在屏幕上显示执行功能并使用四向按钮查找和选择所需功能并按下确认按钮的方法。然而，为了查找屏幕上的所需功能，需要多次按下四向按钮来找到所需功能之后，还需按下确认按钮，因此用户的便利性大大降低。
81.对此，如图6所例示，本发明可通过服务器150和网络160，实现对手势信息实时进行安装、删除、修改、更新，因此若系统上添加新的功能，则相应指定新的手势图形，并将相应信息存储到存储单元130。
82.根据本发明的优选特征，远程控制系统100的特征在于，控制单元140用于向输出单元120输出输入到输入单元110中的每个手势动作的轨迹。
83.当用户最初在输入单元110输入手势时，不知道用户自己创建的手势应该以多大的灵敏度的速度或大小进行操作。对此，作为优选示例，控制单元140能够在输出单元120以覆盖方式显示输入到输入单元110中的手势动作的轨迹显示。用户通过查看该轨迹显示来估计手势动作的灵敏度以进行调整。
84.根据本发明的优选特征，远程控制系统100的特征在于，存储到存储单元130中的手势信息由每个应用程序所具备且在应用程序的功能运行时，对识别的手势动作进行相互匹配的情况下使用的应用程序手势库710、和系统所具备且在系统的功能运行时对识别的手势进行相互匹配的情况下使用的系统手势库720构成。应用程序手势库710和系统手势库720均由将输出到输出单元120的以功能运行为目的的各个图形对象以及指定的手势图形存储为手势信息的可视(visible)手势库单元711、721，和将未通过输出到输出单元120的以功能运行为目的的各个图形对象指定的执行功能以及指定的手势图形存储为手势信息
的隐藏(hidden)手势库单元712、722构成。
85.应用程序制作者和系统制作者在各自的生态系统中，为了将指定的手势图形存储和管理为手势信息，如图7所例示，分为每个应用程序所具有的应用程序手势库710和系统所具有的系统手势库720，分别由基于屏幕上可见的图形对象的可视(visible)手势库单元711、721和基于未使用屏幕上可见的图形对象的执行功能的隐藏式(hidden)手势库单元712、722构成。
86.根据本发明的优选特征，远程控制系统100的特征在于，在控制单元140中，当安装应用程序时，输出到输出单元120的应用程序运行图标和随后指定的手势图形在系统手势库720中进行注册，在该应用程序运行图标中所指定的手势图形使用应用程序制作者指定的，或使用控制单元140推荐的，或使用用户所需的。
87.安装的应用程序本身是系统上的一个应用程序，应用程序安装后，系统屏幕中显示的应用程序运行图标仅为以系统屏幕上的功能运行为目的的一个图形对象。因此，当安装应用程序后，由此图形对象和手势图形注册在系统手势库720中，当指定的手势图形的应用程序制作者为著名品牌制作公司或广播公司等时，有可能希望使用应用程序本身的手势。例如，著名广播公司cnn可以制作新闻应用程序，将本身的应用程序的手势图形以本身固有的多个手势制作成与英语“cnn”相似形状。然而，在特定情况下，有可能在用户的系统手势库720中已经注册有与cnn相似形状的多个手势。像这样安装新手势图形时，因为已经存在指定的手势图形，因此无法指定，控制单元140可推荐其他手势。并且，用户可指定自己需要的手势图形进行使用。
88.根据本发明的优选特征，远程控制系统100的特征在于，在控制单元中140，在运行至少一个应用程序且选择至少一个应用程序的情况下，对识别的手势动作进行相互匹配时使用应用程序手势库710。在一个应用程序也未运行或运行至少一个应用程序且其中没有选择任何应用程序的情况下，当对识别的手势进行相互匹配时使用系统手势库720。
89.如上所述，本发明为了管理手势信息，由每个应用程序制作者创建、运行和管理的应用程序手势库710和系统制作者创建、运行和管理的系统手势库720构成。本发明通过在屏幕上显示和选择多个手势，从而可快速、容易、方便地运行功能，从而提高用户的便利性，但随着使用这么多的手势所带来的最大问题是出现手势冲突(conflict)的情况。
90.每个应用程序手势库710和系统手势库720可以管理每个应用程序制作者和系统制作者自己开发sw程序时产生手势冲突(conflict)的情况。若自己手势库710、720内单元出现手势冲突(conflict)的情况，则将在sw开发中的编译等阶段中被发现，这是漏洞(bug),因此可以修改。然而，若一个手势同时存在于应用程序手势库710和系统手势库720中，则这将会成为问题。并且，轻松简单的手势会在任何手势库710、720经常使用，因此出现手势冲突的概率更高。
91.为了解决上述问题，本发明将每个应用程序运行时和系统运行时分开输入的手势进行相互匹配，此时每个手势库710、720无论是应用程序还是系统，只有在运行本身功能时，才能使用自己的手势库710、720以阻止手势冲突(conflict)。
92.根据本发明的优选特征，远程控制系统100的特征在于，在控制单元140中，通过服务器150和网络160，对应用程序手势库710和系统手势库720进行实时安装、删除、修改及更新，并存储到存储单元130中。
93.如图8所例示，每个应用程序制作者和系统制作者可分别使用每个服务器150和网络160来对自己的手势库710、720的每一个进行实时安装、删除、修改、更新，并存储到存储单元130中。在现有的远程控制系统中，在运行应用程序的情况下，事实上仅能够使用系统制作者制定的范围内的功能。然而，通过本发明，可使应用程序制作者使用自己的手势库710用自己独有的功能单独运行应用程序。
94.例如，在电视购物企业为应用程序制作者的情况下，通过实时更新应用程序手势库710来指定并发送的手势图形，即“在实时节目中出现在屏幕上的产品有惊喜折扣”，观众在观看实时节目时，如前所述，可简单地采取特定手势，则屏幕上显示当前可进行的所有手势图形，其中，按照对屏幕上出现的产品进行指定的手势图形采取手势时，可看到电视购物企业所提供的信息。
95.并且，若新闻企业在实时广播中进行实时调查，通过更新实时应用程序手势库710，可在屏幕上显示能够在实时调查中选择的各种选项和对此指定的手势图形，观众可选择所需的选项，在实时与观众交流的情况下也可使用各种手势图形以简单轻松地与观众进行互动式(interactive)节目。
96.此外，若每个制作者能够将应用程序和系统手势库710、720实时安装、删除、修改、更新并存储到存储单元130中，则可以利用它们应用的领域将是无穷无尽的。
97.根据本发明的优选特征，远程控制系统100的特征在于，在控制单元140中，当特定手势输入到输入单元中且手势被判断为多个手势输入信号时向输出单元指示多个手势输入信号，等待多个手势输入信号结束之后，重复逐一接收输入的特定手势并继续存储在存储单元130中的过程，当输入的特定手势被判断为多个手势输入结束信号时，当前为止存储在存储单元中的多个特定手势与存储的手势信息进行匹配判断并执行动作。
98.如上所述，与以往的基于手势的远程控制系统不同，本发明不仅可以接收现有的单数手势，还可以接收多个手势。若将特定手势图形配置为多个手势，并将其指定给特定的图形对象，则为了运行对应于其图形对象的功能，用户需要向输入单元110中输入多个手势，控制单元140需要能够接收、识别多个手势并与存储的手势信息匹配判断。
99.为了接收多个手势，不要像通常情况下那样，控制单元140接收一个手势就立即执行手势，而是需要等待更多的手势。为此，当采取特定的手势时，可接收多个手势，并在屏幕上按步骤显示这些手势，并且等待用户逐一完成所需的多个手势的输入。当用户采取特定的手势提示没有额外的手势输入时，控制单元140将到目前为止存储的手势全单元合并起来，与存储的手势信息进行相互匹配。
100.根据本发明的优选特征，远程控制系统100的特征在于，对于手势图形，当特定手势被判断为多个重复两次以上的手势时，控制单元140在将特定手势输出到输出单元120时，按照特定手势的重复数来重复手势以输出到输出单元120，或仅输出特定手势并以上下标的形式输出特定手势的重复数。
101.当手势图形显示在屏幕上时，为了显示多个手势，将手势一个一个均显示时，手势图形显示可能会表现得很长，因而有可能会看起来与附近的图形对象重叠。
102.对此，如图4所例示的450，在本发明中，若特定手势重复两次以上，则在屏幕上显示时如数学的指数标记一样，在该手势上用上下标标记，则手势图形显示可能会变短，也可能会成为有趣的亮点。
103.根据本发明的优选特征，远程控制系统100的特征在于，包括发送器111，发送器111位于输入单元110以将打开(on)和关闭(off)信号发送到控制单元140。在控制单元140中，当输入单元110的发送器111无手势地发送打开(on)信号时，向输出单元120输出当前被指定与所有通过输出单元120输出的以功能运行为目的的图形对象对应的各个手势图形。当发送器111继续无手势地保持打开(on)信号时，手势图形持续地被输出到输出单元120，当发送器111发送关闭(off)信号时，被输出的手势图形从输出单元120消失。
104.位于上述的输入单元110以将打开(on)和关闭(off)信号发送到控制单元140的发送器只要是能够生成打开(on)和关闭(off)信号的装置，就均可使用，例如按钮、开关、光学方式的按钮、磁场方式的按钮、触摸按钮、触摸板、指点杆、触摸面板、触摸屏等。
105.作为优选实施例，如图2所例示，输入单元110可由包括按钮的发送器111和用于接收发送内容的接收单元112构成。从用户的角度来看，手势也会很麻烦。在这种情况下，若无手势地按下一次按钮(on)，则屏幕上就会显示在当前屏幕情况下以功能运行为目的的所有图形对象进行指定的所有手势图形。并且，在保持按钮按下(on)的期间，继续在屏幕上显示所有手势图形，当放下(off)按钮时，屏幕上的所有手势图形消失。
106.从用户的角度来看，屏幕上的图形对象和对此指定的手势图形显示功能有可能是非常常用的功能。作为最最简单的动作的按下一次按钮指定给该功能，从而可使用户的便利性最大化。使用该语言的语音识别更方便、快捷。
107.根据本发明的优选特征，远程控制系统100的特征在于，包括发送器111，发送器111位于输入单元110以将打开(on)和关闭(off)信号发送到控制单元140。在控制单元140中，当输入单元110的发送器111无手势地在预定时间以内发送两次打开(on)信号和两次关闭(off)信号时向输出单元120输出多个手势输入信号，等待多个手势输入信号结束之后，重复逐一接收输入的手势动作并继续存储在存储单元130中的过程。当输入单元110的发送器111无手势地再一次地在预定时间以内发送两次打开(on)信号和两次关闭(off)信号时，当前为止存储在存储单元130中的手势动作与存储的手势信息进行匹配判断并执行动作。
108.作为优选实施例，如图2所例示，输入单元110可由包括按钮的发送器111和用于接收发送的内容的接收单元112构成。从用户的角度来看，手势也会很麻烦。使用双击将多个手势输入的开始和结束通知控制单元140。若实际多个手势指定在手势图形中出现很多情况，则将成为对用户而言便利性非常高的功能。
109.根据本发明的优选特征，远程控制系统100的特征在于，包括发送器111，发送器111位于输入单元110以将打开(on)和关闭(off)信号发送到控制单元140。对于手势图形，当特定手势被指定为在预定时间以内与两次以上的打开(on)信号和两次以上的关闭(off)信号一同发送的多开关(multi-on off)手势图形时，控制单元140在输出到输出单元120时，在特定手势之前预定时间以内，以数字形式输出打开(on)信号和关闭(off)信号的重复数。
110.作为优选实施例，如图4所例示，在屏幕上显示使用预定时间以内两次以上的打开(on)和关闭(off)信号的多开关(multi-on off)手势图形时，将手势前的数字显示为440。
111.根据本发明的优选特征，远程控制系统100的特征在于，包括发送器111，发送器111位于输入单元110以将打开(on)和关闭(off)信号发送到控制单元140。当输入单元110中，在预定时间以内，输入两次以上打开(on)信号和两次以上关闭(off)信号的同时输入手
势动作时，控制单元140将在预定时间以内打开(on)信号和关闭(off)信号的重复数和手势动作与存储的手势信息进行匹配判断并执行动作。
112.当特定手势图形由多开关(multi-on off)手势图形指定时，用户需要向输入单元110中输入该多开关(multi-on off)手势图形，而控制单元140需要接收、识别该手势，还需要与存储的手势信息进行匹配判断。将在输入的预定时间以内打开(on)和关闭(off)信号重复的次数和手势与存储的手势信息匹配判断并执行动作。
113.参照以上附图，描述了本发明的优选实施示例，应理解的是，本文中所记载的实施例和附图中示出的结构仅为本发明最优选实施例，并不能代表本发明的所有技术精神，因此在本发明提出申请时可能有多种等同替代物和变形示例可以替代它们。因此，以上描述的实施例应理解为在所有方面都是示例，而不是限定性的，本发明的范围由后述的发明要求保护范围表示，而不是详细说明，发明要求保护范围的含义和范围以及从其等同概念导出的所有变更或变形的形式应解释为包括在本发明的范围内。
114.附图标记的说明
115.100：远程控制系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
110：输入单元
116.111：发送器
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
112：接收单元
117.120：输出单元
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
130：存储单元
118.140：控制单元
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
150：服务器
119.160：网络
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
310：应用程序运行图标
120.320：用户待采取的手势
ꢀꢀꢀꢀꢀꢀꢀ
410：单数手势
121.420：单数手势
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
430：多个手势
122.440：多开关(multi-on off)手势图形
123.450：多个手势
124.510：未用图形对象指定的执行功能(放大)
125.520：未用图形对象指定的执行功能(频道上调)
126.530：指定给放大的手势图形
127.540：指定给频道上调的手势图形
128.710：应用程序手势库
129.711：应用程序手势库的可视(visible)手势库单元
130.712：应用程序手势库的隐藏式(hidden)手势库单元
131.720:系统手势库
132.721:系统手势库的可视(visible)手势库单元
133.722:系统手势库的隐藏式(hidden)手势库单元。