电子装置的操控方法及外接式控制装置与流程

电子装置的操控方法及外接式控制装置
【技术领域】
1.本发明是有关于一种电子装置的操控方法及外接式控制装置，且特别是有关于一种电子装置的非接触式操控方法及用以影像操控的外接式控制装置。


背景技术：

2.公共场合自助服务系统越来越普及，如自动柜员机(automated teller machine,atm)、便利超商的多媒体装置等服务系统，多数采用触控面板作为人机接口输入设备。用户在使用这些自助服务系统时，需要触碰其触控面板以操作这些自助服务系统，但是面板的清洁对公共卫生有潜在的隐忧。触控装置多整合于平面显示器上，以符合手眼协调的人机操作模式，既有的电容式触控方案可通过增加电容感应电气特性增加感应距离，达到非接触目的，但是实务操作上在距离的控制仍有机会碰触到屏幕，而利用红外线(infrared,ir)光学式或超声波传感器模块装设在显示器外部侦测物体在屏幕平面上移动的位置，虽可适当调整组装位置增加感测平面与显示器平面之间的距离，实务上仍须考虑距离产生视差而影响使用者体验。另外也有诸如光学影像、飞时测距(time-of-flight,tof)传感器等侦测物体深度或辨识手势的方案达到远距操作，虽可免除上述困扰，但是使用上学习曲线较高并且有些情况若需要输入个人数据时，有可能因为操作动作而泄漏个人数据，反而不适合公共场合使用。


技术实现要素：

3.有鉴于此，针对前述自助服务系统的电子装置，本发明提供一种电子装置的操控方法以及外接式控制装置，可通过非接触式的方式来进行电子装置的操控动作。
4.本发明的其他目的和优点可以从本发明所公开的技术特征中得到进一步的了解。
5.为达上述之一或部分或全部目的或是其他目的，本发明的一实施例提出一种电子装置的操控方法。操控方法包括：使外接式控制装置与电子装置进行配对，并获得电子装置的显示规格信息；使外接式控制装置对电子装置的操控界面进行影像撷取动作，以获得撷取影像；依据显示规格信息以及撷取影像来计算出撷取影像以及电子装置的操控界面的影像之间的坐标转换信息；以及使外接式控制装置接收触控信息，依据坐标转换信息以转换触控信息来产生转换触控信息，并依据转换触控信息以通过操控界面来对电子装置执行操控动作。
6.为达上述之一或部分或全部目的或是其他目的，本发明的一实施例提出一种外接式控制装置，外接式控制装置用以操控电子装置。外接式控制装置包括：手持式电子装置以及运算控制装置。运算控制装置耦接手持式电子装置，并与电子装置进行配对以获取电子装置的显示规格信息。其中，手持式电子装置用以对电子装置的操控界面进行影像撷取动作以获得撷取影像。手持式控制装置并接收触控信息。外接式控制装置依据显示规格信息以及撷取影像来计算出撷取影像以及电子装置的操控界面的影像之间的坐标转换信息。外接式控制装置依据坐标转换信息以转换触控信息来产生转换触控信息，并依据转换触控信
息以通过操控界面来对电子装置执行操控动作。
7.基于上述，本发明的实施例至少具有以下其中一个优点或功效，第一，使用者通过触控外接式控制装置所撷取影像来操控电子装置，可以达到不直接接触电子装置的操控界面即可操控电子装置的目的，第二，更可以避免因为操作动作而泄漏个人数据。
8.为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
【附图说明】
9.图1为图示依据本发明一实施例所叙述的外接式控制装置与外接式控制装置所欲控制电子装置的架构示意图。
10.图2为依据本发明一实施例所图示外接式控制装置的操作示意图。
11.图3为依据本发明一实施例所图示手持式电子装置所撷取影像与电子装置的操控界面的影像之间的坐标转换示意图。
12.图4为依据本发明一实施例所图示手持式电子装置所撷取影像的示意图。
13.图5为图示依据本发明一实施例所叙述的外接式控制装置的系统方框与外接式控制装置欲控制的电子装置方框图。
14.图6为图示本发明一实施例针对撷取影像执行梯形校正动作示意图。
15.图7是本发明实施例所提供的操控方法的流程示意图。
16.【符号说明】
17.1：手持式电子装置
18.2：运算控制装置
19.3：电子装置
20.4：外接式控制装置
21.11：应用程序
22.12：影像撷取器
23.13：触控显示面板
24.14：第一通信接口
25.21：第二通信接口
26.22：运算器
27.23：输出接口
28.31：操控界面
29.42、43：撷取影像
30.431：特征符号
31.5：操控界面的影像
32.8：坐标转换信息
33.9：触控点
34.91：对应触控点
35.6：实际撷取影像
36.7：预期的影像
37.61：有效范围
38.s610、s620、s630、s640、s630：步骤
39.(x,y)：触控坐标
40.(x’,y’)：转换触控坐标
41.ci1、ci2、ci3、ci4、ci5、ci1’、ci2’、ci3’、ci4’、ci5’：选项。
【具体实施方式】
42.有关本发明的前述及其他技术内容、特点与功效，在以下配合附图的一较佳实施例的详细说明中，将可清楚的呈现。在本技术说明书全文(包括权利要求书)中所使用的“耦接(或连接)”一词可指任何直接或间接的连接手段，可通过有线或无线方式连接；有线通信连接方式例如是通过通用串行总线(universal serial bus，usb)进行连接；无线通信连接方式例如是通过全球移动通信系统(global system for mobile communications，gsm)、全球互通微波存取(worldwide interoperability for microwave access，wimax)、码分多址(code division multiple access，cdma)、近场通信(near field communication，nfc)、蓝牙或wi-fi等方式进行通信连接。
43.在下文中，将通过附图说明本发明的各种实施例来详细描述本发明。然而，本发明概念可能以许多不同形式来体现，且不应解释为限于本文中所阐述的例示性实施例。此外，在附图中相同参考数字可用以表示类似的元件。
44.请参考图1，其为图示依据本发明一实施例所叙述的外接式控制装置的示意图。外接式控制装置4耦接至电子装置3，用以操控电子装置3。外接式控制装置4包含手持式电子装置1以及运算控制装置2。在本实施例中，运算控制装置2耦接在手持式电子装置1与电子装置3间，其中，手持式电子装置1可为智能型手机、平板计算机、笔记本电脑等可手持使用的电子装置。电子装置3可为如自动柜员机、便利超商的多媒体装置等。在本实施例中，运算控制装置2可预先设置于电子装置3的外部，或者当用户想要使用电子装置3时，用户再使用运算控制装置2耦接电子装置3，本发明并不予以限制。
45.请参考图2，图2为依据本发明一实施例所图示外接式控制装置的操作示意图。在本实施例中，当要针对电子装置3进行操控动作时，外接式控制装置4可通过运算控制装置2来与电子装置3进行配对动作。并且，在配对动作完成后，使用者并可通过外接式控制装置4的影像撷取器12来对电子装置3的操控界面进行影像撷取动作，从而获得撷取影像42。在本实施例中，用户可针对电子装置3的触控屏幕(操控界面31)进行影像撷取动作，并获得包括触控屏幕的撷取影像42。
46.请同时参考图2以及图3，图3为依据本发明一实施例所图示手持式电子装置所撷取影像与电子装置的操控界面的影像之间的坐标转换示意图。由于上述的撷取影像的尺寸以及影像分辨率与电子装置3的触控屏幕(操控界面31)的尺寸以及影像分辨率通常不会相同，因此，外接式控制装置4可通过手持式电子装置1或运算控制装置2来计算出撷取影像42以及电子装置3的操控界面31的影像5之间的坐标转换信息8。在本实施例中，外接式控制装置4可依据电子装置3的显示规格信息以及撷取影像42来获得上述的坐标转换信息8。电子装置3的显示规格信息可以在外接式控制装置4与电子装置3配对动作完成后，由电子装置3提供给外接式控制装置4，其中显示规格信息包括电子装置3的操控界面的影像分辨率。
47.接着，用户可以通过手持式电子装置1上所显示对应电子装置3的操控界面31的影像5的撷取影像42，来执行触控操控。外接式控制装置4接收用户的触控操控所产生的触控信息，并依据坐标转换信息8以转换触控信息来产生转换触控信息。此转换触控信息可被传送至电子装置3，并通过电子装置3的操控界面31来对电子装置3执行操控动作。
48.在此请注意，在动作细节上，手持式电子装置1可显示一参考框架，使用者可依据参考框架来对电子装置3的操控界面进行影像撷取动作，以获得撷取影像42。
49.另外，外接式控制装置4可针对撷取影像执行梯形校正动作。在本实施例中，外接式控制装置4可应用本领域普通技术人员所熟知的梯形校正手段，来针对撷取影像执行梯形校正动作，没有特定的限制。利用梯形校正技术的更进一步说明，可参考图6及其下述相关段落的说明。
50.另外，依据电子装置3的操控界面31的影像分辨率，外接式控制装置4可以计算出电子装置3的操控界面31的尺寸大小，前述计算可由手持式电子装置1或运算控制装置2来完成，本发明并不予以限制。
51.接着，在当用户针对手持式电子装置1的触控屏幕(触控显示面板13)执行触控动作而产生触控信息时，手持式电子装置1通过触控显示面板13以接收触控信息。触控信息可为用户触控点9的触控坐标(x,y)，外接式控制装置4可依据坐标转换信息8来对触控信息执行坐标转换动作，并获得转换触控信息。
52.这个转换触控信息为对应在电子装置3的操控界面的一对应触控点91的位置，此位置具有转换触控坐标(x’,y’)的报点信息。外接式控制装置4可通过与电子装置3的配对动作，获取电子装置3数据传输格式或标准协议，以使此报点信息符合电子装置3的操控界面31的数据传输格式或标准协议。通过传送转换触控信息至电子装置3的操控界面。因为转换触控坐标具有电子装置3的操控界面31的数据传输格式或标准协议，因此便可依据转换触控坐标(x’,y’)产生操控界面31相对应的触控事件，如图3，撷取影像42中的选项ci1-ci5经坐标转换后会分别对应电子装置3的操控界面31的影像5中的选项ci1
’‑
ci5’。因此当用户通过手持式电子装置1上所显示对应电子装置3的撷取影像42来执行触控操控时，通过选取图3中撷取影像42中的选项ci1-ci5任一选项，以对电子装置3执行对应选项ci1
’‑
ci5’的操控动作。
53.在本发明的一实施例中，手持式电子装置1可通过对电子装置3所提供显示于操控界面31的图码进行扫描，以取得前述配对信息。前述图码可为一般一维条形码、二维条形码、快速响应码(quick response code,qr码)或其他任意形式可记载信息的图像，本发明并不予以限制。手持式电子装置1在取得前述配对信息后，再将配对信息传送给运算控制装置2，以完成前述运算控制装置2与电子装置3的配对动作。进一步的，运算控制装置2可取得完成配对的电子装置3的显示规格信息。需要注意的是，前述图码除显示于操控界面31外，亦可显示或记载于电子装置3的任何位置，只要用户能利用手持式电子装置1进行扫描即可，本发明并不予以限制。
54.在本发明的一实施例中，手持式电子装置1也可通过短距离通信机制，以取得前述配对信息。再将配对信息传送给运算控制装置2，以完成前述运算控制装置2与电子装置3的配对。完成运算控制装置2与电子装置3的配对可使运算控制装置2获取电子装置3的显示规格信息。前述短距离通信机制可为近场通信(near-field communication,nfc)或蓝牙等，
本发明并不予以限制。
55.请参考图4，图4为依据本发明一实施例所图示手持式电子装置所撷取影像的示意图。在配对动作完成以及使用者通过外接式控制装置4的影像撷取器12来对电子装置3的操控界面31进行影像撷取动作而获得撷取影像43后，手持式电子装置1可以直接对撷取影像43作图像辨识，以识别撷取影像43上的多个特征符号431。特征符号431可以是包含数字0-9或其组合的按键，也可以是包含“取消”、“清除”、“确认”等中文字的按键，或包含其他语言文字的按键，也可以是包含任何可以识别的符号的按键。
56.当用户通过手持式电子装置1上所显示对应电子装置3的撷取影像43来执行触控操控时，手持式电子装置1依用户触控点来判断用户触控的特征符号431为何，以产生触控信息。外接式控制装置4接收用户的触控操控所产生的触控信息，运算控制装置2可依据触控信息对应的特征符号431产生控制码，运算控制装置2依据控制码直接对电子装置3执行相应的操控动作。
57.须特别注意的是，运算控制装置2可以单独使用控制码对该电子装置3执行相应的操控动作或前述依据转换触控坐标(x’,y’)产生操控界面31相对应的触控事件的技术。当然也可以同时使用两者以使操作更精确或更便利，本发明并不予以限制。
58.在本发明一实施例中，在前述外接式控制装置4与电子装置3进行配对动作完成后，使用者可通过外接式控制装置4的影像撷取器12，来对电子装置3的实体键盘进行影像撷取动作，而获得实体键盘的撷取影像43。手持式电子装置1可以直接对实体键盘的撷取影像43作图像辨识，以识别撷取影像43上的多个特征符号431。
59.当用户通过手持式电子装置1上所显示实体键盘的撷取影像43，来执行触控操控时，手持式电子装置1依用户触控点来判断用户触控的特征符号431为何，以产生触控信息。外接式控制装置4接收用户的触控操控所产生的触控信息。运算控制装置2依据触控信息对应的特征符号431产生控制码。运算控制装置2则依据控制码直接对电子装置3执行相应的操控动作。以电子装置3为自动柜员机为范例，运算控制装置2依据触控信息对应的特征符号431所产生的控制码可以为键盘扫描码(keyboard scan code)。运算控制装置2将所产生的键盘扫描码传送至电子装置3，并产生等效于按压电子装置3的实体键盘上按键的效果，完成对电子装置3的操控。
60.请参考图5，图5为图示依据本发明一实施例所叙述的外接式控制装置的系统方框与外接式控制装置欲控制的电子装置方框图。在本实施例中，手持式电子装置1包括第一通信接口14以及影像撷取器12。第一通信接口14与运算控制装置2耦接。影像撷取器12耦接至第一通信接口14。影像撷取器12并用以获得撷取影像。手持式电子装置1另包括触控显示面板13，以通过触控显示面板13以接收用户的触控信息。
61.另一方面，在本实施例中，运算控制装置2包括第二通信接口21。第二通信接口21有线或无线耦接至第一通信接口14。运算控制装置2亦包括运算器22。运算器22耦接前述第二通信接口21，可用以计算坐标转换信息8。运算器22并可依据该坐标转换信息8转换用户的触控信息产生转换触控信息。运算控制装置2另包括输出接口23，输出接口23耦接至电子装置3。输出接口23用以传送该转换触控信息至电子装置3。
62.在本实施例中，手持式电子装置1通过一应用程序11，整合触控显示面板13、影像撷取器12以及第一通信接口14等设备，以执行对电子装置3的操控动作。
63.请同步参考图2以及图6，其中图6为图示本发明一实施例针对撷取影像42执行梯形校正动作示意图。如图6所示，虽然一般电子装置3的操控界面31或操控界面31中的选项ci1～ci5为矩形。然而，用户经由手持式电子装置1，参考触控显示面板13所显示一参考框架61而利用影像撷取器12撷取影像后。有时会因用户拍摄角度或硬件限制等因素，而使撷取影像6中本应呈现矩形的物体，变成梯形的形状。
64.此一现象有可能会影响到撷取影像42以及操控界面31的影像5间的坐标转换信息8的精准度。要解决此一问题，可使用梯形校正技术，通过计算实际撷取影像6的有效范围，例如，可以是参考框架61。并依据有效范围来计算撷取影像的梯形校正参数，再利用梯形校正参数校正实际撷取影像6以获得预期的影像7。因此，在本发明的一实施例中，手持式电子装置1还可使用图像处理技术，计算实际撷取影像6的有效范围。手持式电子装置1再依据有效范围及梯形校正技术来计算撷取影像的梯形校正参数。最后，手持式电子装置1再依据梯形校正参数以针对实际撷取影像6该执行梯形校正动作以获得预期的影像7。
65.请参考图7，图7是本发明实施例所提供的操控方法的流程示意图。在步骤s610中，使外接式控制装置与电子装置进行配对，并获得电子装置的显示规格信息；在步骤s620中，使外接式控制装置对电子装置的操控界面进行影像撷取动作，以获得撷取影像；在步骤s630中，依据显示规格信息以及撷取影像来计算出撷取影像以及电子装置的操控界面的影像之间的坐标转换信息；在步骤s640中，使外接式控制装置接收触控信息，依据坐标转换信息以转换触控信息来产生转换触控信息，并依据转换触控信息以通过操控界面来对电子装置执行操控动作。
66.关于上述步骤的实施细节，在前述的多个实施例中已有详尽的说明，在此恕不多赘述。
67.综上所述，本发明的实施例至少具有以下其中一个优点或功效：第一，使用者通过触控外接式控制装置所撷取影像来操控电子装置，可以达到不直接接触电子装置的操控界面即可操控电子装置的目的，而不需要再学习其他操作方式；第二，更可以避免因为操作动作而泄漏个人数据。
68.以上所述内容仅为本发明的较佳实施例而已，当不能以此限定本发明实施的范围，即大凡依本发明权利要求书及说明书内容所作的简单的等效变化与修饰，皆仍属本发明专利涵盖的范围内。另外本发明的任一实施例或权利要求不须达成本发明所公开的全部目的或优点或特点。此外，摘要部分和标题仅是用来辅助专利文件搜寻之用，并非用来限制本发明的权利范围。此外，本说明书或权利要求书中提及的“第一”、“第二”等用语仅用以命名元件(element)的名称或区别不同实施例或范围，而并非用来限制元件数量上的上限或下限。