终端装置的制作方法

终端装置
1.本技术是申请号为201580083804.5、申请日为2015.10.14、名称为“输入终端装置和操作输入方法”的发明专利申请的分案申请。
技术领域
2.本发明涉及佩戴在手腕等上使用的小型的输入终端装置和操作输入方法。


背景技术：

3.近年来，智能手机这样的不仅可用于通话还可进行各种信息的检索和邮件的收发、计划的管理等处理的便携信息终端正在迅速普及。但是，这些便携信息终端在用户移动时大多收在包、口袋中，为了进行所收到的邮件的确认等，每次都需要从包、口袋中取出便携信息终端。因此，人们正在开发了一种通过无线通信与这些便携信息终端连接的像手表那样的小型的输入用终端装置。
4.智能手机这样的便携信息终端能够通过触摸面板进行信息的显示和利用手指进行的输入，但是对于小型的输入终端装置而言，由于触摸面板也变小，所以难以通过手指的触摸进行精细的操作输入。为此，人们提出了一种将用户的手背作为输入面使用的非接触的输入方式。
5.例如在专利文献1中记载的腕带型输入设备中，在主体部设置有发光部和受光部，通过以非接触的方式检测手背或手掌上的指尖的位置，使得能够输入字符。
6.现有技术文献
7.专利文献
8.专利文献1：日本特开2014-106765公报


技术实现要素：

9.发明要解决的技术问题
10.在现有的使用触摸面板等进行的字符输入方法中，在用户的手指接触面板面时按照手指的运动进行字符的描绘(书写)，在用户的手指离开面板面时不进行描绘，能够区分输入的有效期间和无效期间。由此，在要输入由线段和点等多个“笔画”构成的字符的情况下，通过区分有效的“笔画”的部分和在“笔画”与“笔画”之间移动的无效的部分，能够正确输入所需的字符。
11.另一方面，在专利文献1等非接触输入方法中，检测指尖在手背上经过的多个格子点，根据其点阵信息识别所输入的字符。但是，关于指尖的通过位置，并没有区分对构成字符的“笔画”有效的部分和在“笔画”与“笔画”之间移动的无效的部分。即，由于将与“笔画”无关的无效的部分也作为字符的一部分检测，所以存在容易误识别所输入的字符的问题。换而言之，字符描绘的起点和终点不明确。即使提前预测到该无效部分并将其除去，在输入时采用不同笔画顺序的情况、或输入包括浊音符号的字符和笔画数多的字符的情况下，因为无效部分的轨迹不固定，而无法避免误输入。
12.本发明的目的在于提供一种输入终端装置，在非接触地检测手指的位置来进行输入操作的情况下，对手指运动的无效动作不作出反应，只按照用户所意图的输入操作而正确地执行处理。
13.解决问题的技术手段
14.本发明提供一种通过位置输入对象物来输入用户的操作的输入终端装置，其包括：以非接触的方式检测所述用户操作的所述位置输入对象物的位置的位置检测部；基于所述位置检测部检测出的位置显示光标的显示部；和基于所述位置检测部检测出的位置执行对应的操作处理的操作处理控制部，所述操作处理控制部具有关于所述操作处理的执行的多个动作模式，该动作模式之一包括除了与所述位置输入对象物的位置相应的所述光标的移动以外不执行任何操作处理的状态，所述操作处理控制部在所述用户通过所述位置输入对象物进行了特定的操作的情况下，切换所述多个动作模式。
15.本发明还提供一种通过位置输入对象物来输入用户的操作的操作输入方法，其包括：以非接触的方式检测所述用户操作的所述位置输入对象物的位置的位置检测步骤；基于所述位置检测步骤检测出的位置在显示部上显示光标的显示步骤；和基于所述位置检测步骤检测出的位置执行对应的操作处理的操作处理步骤，所述操作处理步骤具有关于所述操作处理的执行的多个动作模式，该动作模式之一包括除了与所述位置输入对象物的位置相应的所述光标的移动以外不执行任何操作处理的状态，所述操作处理步骤中，在所述用户通过所述位置输入对象物进行了特定的操作的情况下，切换所述多个动作模式。
16.发明效果
17.根据本发明能够提供一种输入终端装置，在非接触地检测手指的位置来进行输入操作的情况下，对手指运动的无效动作不作出反应，只按照用户所意图的输入操作而正确地执行处理。
附图说明
18.图1a是表示输入终端装置的结构的框图(实施例1)。
19.图1b是表示输入终端装置的软件结构之一例的图。
20.图2是表示输入终端装置的外观的图。
21.图3是表示手指操作模式的检测原理的图。
22.图4是表示手写字符输入处理的显示部的显示例的图。
23.图5是表示输入终端装置整体的动作切换的流程图。
24.图6是表示动作模式和对应的光标显示的例子的图。
25.图7是表示手写字符输入处理的画面显示的例子的图。
26.图8是表示图7的动作模式和描绘位置的时间变化的图。
27.图9是表示手指操作模式下的手写字符输入处理的流程图。
28.图10是表示图9的动作模式的判断处理s605的流程图。
29.图11是表示用于按键字符输入处理的显示部的结构的图(实施例2)。
30.图12是表示基于手指操作模式的按键字符输入处理的例子的图。
31.图13是表示基于手指操作模式的按键字符输入处理的流程图。
32.图14是表示图13的动作模式的判断处理s1105的流程图。
33.图15是表示鼠标操作输入处理中使用的动作模式和光标显示的例子的图(实施例3)。
34.图16是表示鼠标操作输入处理的画面显示的例子的图。
35.图17是表示基于手指操作模式的鼠标操作输入处理的流程图。
36.图18是表示图17的动作模式的判断处理s1504的流程图。
37.图19是表示3d手指操作模式的检测原理的图(实施例4)。
38.图20是表示3d手指操作模式的画面显示的例子的图。
39.图21是表示3d基于手指操作模式的鼠标操作输入处理的流程图。
40.图22是表示按键字符输入处理的画面显示的例子的图。
41.图23是表示在层间设置有过渡区域的情况下的画面显示的例子的图(实施例5)。
42.图24是表示在层间设置有过渡区域的情况下的鼠标操作输入处理的流程图。
具体实施方式
43.下面使用附图对本发明实施方式进行说明。
44.(实施例1)
45.实施例1中，对输入终端装置的结构和检测手指位置来输入手写字符的情况进行说明。
46.图1a是表示实施例1的输入终端装置1的结构的框图，对其内部结构(硬件结构)进行说明。输入终端装置1与智能手机等便携信息终端2连接起来使用。在本实施例的输入终端装置1中，作为操作输入功能具有使用了光反射的手指操作模式(非接触检测方式)和触摸操作模式(接触检测方式)。
47.主控制部101由cpu(central processing unit，中央处理单元)等构成，按照存储在rom(read only memory，只读存储器)102或ram(random access memory，随机访问存储器)103中的各种的动作程序和数据，控制整个输入终端装置1。系统总线100是用于在控制部101与输入终端装置1内的各模块之间进行数据收发的数据通信线路。
48.rom102是保存有用于控制输入终端装置1的各种程序的存储器，例如使用eeprom(electrically erasable programmable rom，电可擦可编程只读存储器)或快闪rom这样的可擦写的rom。ram103作为存储在rom102中的程序执行时的暂存区域使用，或作为手指位置检测传感器106检测到的手指的位置信息的暂时存储区域使用。存储部104存储输入终端装置1的动作设定值等信息，使用例如快闪rom、ssd(solid state drive，固态驱动器)这样的非易失性可擦写的设备。rom102和ram103也可以与主控制部101构成为一体。另外，rom102也可以不是独立结构，而是使用存储部104内的一部分存储区域来构成。
49.加速度传感器105是检测输入终端装置1的加速度的传感器。手指位置检测传感器106是利用反射光来非接触地检测用户的手指或笔等位置输入对象物的位置的传感器。近距离无线通信部107通过无线通信与便携信息终端2连接，发送输入到输入终端装置1的信息。作为通信方式，可以使用例如bluetooth(蓝牙，注册商标)、wifi(注册商标)等。
50.显示控制部108对将输入的字符、输入终端装置1的各种设定图像等显示于显示部109a进行控制。触摸面板109包括显示部109a和触摸操作输入部109b。显示部109a是液晶面板等显示设备，在显示控制部108的控制下显示字符、图像等。触摸操作输入部109b配置于
显示部109a的显示面。
51.触摸操作输入部109b是例如静电电容式等触摸板方式的输入设备，将手指、触摸笔等的接触操作作为操作输入检测出来。具体来说，例如检测这样的手势，即，在用手指触摸了触摸面板之后保持触摸状态使手指向特定的方向移动的被称为轻扫(swipe)的手势，在用手指触摸了触摸面板之后以规定值以上的速度使手指移动并使手指松开的被称为轻拂(flick)的手势，在用手指触摸了触摸面板之后迅速松开的被称为轻击(tap)的手势等。由此，能够以触摸方式对输入终端装置1进行操作输入。
52.计时部110使用rtc(real time clock，实时时钟)测量例如自用户设定的时间/时刻起的经过时间，输出时间/时刻信息。主控制部101通过读取从计时部110输出的时间/时刻信息来进行计时等处理。操作输入部111是对输入终端装置1输入操作指示的指示输入部，具有用于进行电源的开/关和操作模式的设定的按钮。
53.像这样，本实施例的输入终端装置1包括：以非接触的方式检测用户手指的位置来输入字符等的手指位置检测传感器106，通过使手指接触触摸面板109来进行操作输入的触摸操作输入部109b，和显示字符、图像等的显示部109a。由此，能够实现手指操作模式和触摸操作模式这2个操作输入功能。
54.图1b是表示输入终端装置1的软件结构之一例的图，示出了rom102、ram103和存储部104中的软件的结构。
55.主控制部101通过执行存储于rom102中的程序，构成基本动作处理控制部1021、手指位置信息获取部1022、触摸位置信息获取部1023。ram103包括暂存区域1031，在执行存储于rom102中的程序时根据需要暂时保存数据。存储部104中存储有执行存储于rom102中的程序时的设定信息1041。另外，以下为了简化说明，描述成由主控制部101执行保存在rom102中的程序来进行各动作模块的控制。
56.基本动作处理控制部1021控制输入终端装置1的各种设定和整体的动作。手指位置信息获取部1022基于手指位置检测传感器106的输出获取用户的手指、笔等位置输入对象物的位置信息。触摸位置信息获取部1023基于触摸操作输入部109a的输出，获取手指、触摸笔等与触摸面板109接触处的位置信息。
57.手指操作处理控制部1024基于从手指位置信息获取部1022取得的位置输入对象物的位置的信息，判断输入了何种操作，进行与判断结果对应的处理的控制。触摸操作处理控制部1024基于从触摸位置信息获取部1023取得的触摸在触摸面板109上的位置的信息，判断输入了何种操作，进行与判断结果对应的处理的控制。
58.图2是表示输入终端装置1的外观的图。其为手表型的输入终端装置，佩戴在用户的手腕上使用。装置正面侧配置有触摸面板109(显示部109a)。装置侧面的用户手背一侧配置有2个传感器106a、106b作为手指位置检测传感器106。这些传感器例如由发光/受光元件构成。另外，在装置侧面的用户手腕一侧配置有操作按钮作为操作输入部111。
59.图3是表示手指操作模式的检测原理的图，表示了手指的位置与显示部的显示位置的关系。用户的手指(位置输入对象物)ps例如在用户手背一侧的位置a-b-c-d内移动。手指位置检测传感器106a、106b包括红外线发光元件和受光元件，从发光元件出射的红外线被手指ps反射，由受光元件检测反射光。受光元件中的检测信号的等级，与从各传感器106a、106b至手指ps的距离la、lb对应。
60.手指位置检测传感器106的输出信号被发送到手指位置信息获取部1022，获取由位置a-b-c-d表示的位置输入检测范围pa中的手指ps的位置f。位置输入检测范围pa的位置a-b-c-d与触摸面板109的显示部109a的显示范围da的位置a-b-c-d分别对应。由此，与位置输入检测范围pa中的手指ps的位置f对应地，决定了显示范围da中的光标等的显示位置f。
61.图4是表示手写字符输入处理的显示部109a的显示例的图。区域501显示所输入的手写字符的识别结果，区域502显示由手指输入的手写字符。作为用于字符输入处理而供用户选择的按钮503，配置有识别处理指示按钮503a、字符种类切换处理指示按钮503b、清除处理指示按钮503c、字符转换处理指示按钮503d和结束处理指示按钮503e等，其中，识别处理指示按钮503a用于选择对手写字符进行识别的处理，字符种类切换处理指示按钮503b用于切换平假名、字母等要输入的字符的种类，清除处理指示按钮503c用于清除所输入的手写字符的显示，字符转换处理指示按钮503d用于选择将显示在区域501中的识别结果的字符串转换为汉字等的处理，结束处理指示按钮503e用于结束手写字符输入处理。
62.图5是表示输入终端装置1整体的动作切换的流程图。在此，基于操作输入部111上的按下按钮的操作，进行电源开/关和操作输入模式(手指操作模式/触摸操作模式)的切换。
63.在s301中，获取操作输入部111的输出，在s302中判断操作输入部111是否被按下。在操作输入部111被按下的情况下(“是”)，分支到s306。在s306中，判断操作输入部111被按下的时间，进入到电源开/关的切换或操作输入模式的切换处理。
64.在判断处理s306中，在操作输入部111被按压了规定的时间tp以上的情况下(“是”)，分支到s313，根据电源是否为接通状态进行开/关切换的处理。在s313中电源为接通状态的情况下(“是”)，分支到s314将电源关闭并返回到s301。在电源关闭后，为了减少功耗，停止向除了主控制部101、计时部110和操作输入部111等之外的部位供给电源。在s313中电源为关闭状态的情况下(“否”)，分支到s315将电源接通并返回到s301。在电源接通后，对构成输入终端装置1的各部分供给电源。
65.在判断处理s306中，在操作输入部111没有被按压规定的时间tp以上的情况下(“否”)，分支到s307判断电源是否为接通状态。在电源关闭的情况下(“否”)返回到s301。在电源接通的情况下(“是”)分支到s308。
66.在s308中，进行操作输入模式的切换处理。即，在当前的操作输入模式被设定为手指操作模式的情况下(“是”)，以在s309中切换到触摸操作模式，在s310中不在触摸面板109的显示部109a上显示光标的方式进行设定。在当前的操作输入模式没有被设定为手指操作模式的情况下(“否”)(即被设定为触摸操作模式的情况下)，以在s311中切换到手指操作模式，在s312中在触摸面板109的显示部109a上显示光标的方式进行设定。
67.在判断处理s302中操作输入部111没有被按下的情况下(“否”)，前进到s303，按照所设定的操作输入模式进行处理。在为手指操作模式的情况下(“是”)前进到s304，基于从手指位置信息获取部1022取得的手指的位置的信息，判断输入了何种操作，执行与判断结果对应的处理。在不是手指操作模式的情况下(“否”)(即是触摸操作模式的情况下)前进到s305，基于从触摸位置信息获取部1023取得的触摸到的位置的信息，判断输入了何种操作，执行与判断结果对应的处理。在执行了手指操作执行处理s304或触摸操作执行处理s305中的处理之后，返回到s301。
68.以下，对手指操作模式下的手写字符输入处理进行具体说明。本实施例中，通过对手指操作给予多个动作状态(动作模式)，能够正确且容易地通过手写进行字符输入。
69.图6是表示动作模式和对应的光标显示的例子的图。动作模式m0是即使操作手指也只移动光标而不进行用于字符输入的描绘的状态(停止描绘)。动作模式m1是当操作手指时根据手指位置执行用于字符输入的描绘的状态。另外，为了用户能够容易地辨识当前的动作模式，根据动作模式切换光标的显示(例如白/黑显示)。其中，关于动作模式的切换，如后所述，通过进行将操作中的手指在操作面内的某个位置保持规定时间t0以上这一特定的操作，能够将动作模式从m0切换到m1，或者反之从m1切换到m0。
70.由此，仅在动作模式为m1时能够进行描绘。从而，在输入由线段、点等多个“笔画”构成的字符的情况下，通过对有效的“笔画”的部分将动作模式设定为m1，对于在“笔画”与“笔画”之间移动的无效的部分将动作模式设定为m0，能够容易且正确地输入所需的字符。
71.图7是表示手写字符输入处理的画面显示的例子的图。在此，以输入平假名的
“あ”
的情况为例。字符输入的顺序用(s1)～(s9)表示，并标注当时的动作模式(m0/m1)。
72.在以下的说明中，表述为将光标“保持”在某个位置，但光标的位置在规定的距离r0以内活动(抖动)也是被允许的，也视作“保持”状态。该r0是用户无意识的动作(手抖等)所致的，例如为数mm程度的值。另外，用于判断为“保持”状态的时间t0，例如为数sec程度的值。这些阈值也可以根据用户或使用环境来设定。
73.(s1)：在动作模式为m0(停止描绘)的状态下，通过使手指ps在位置输入检测范围pa内移动，使光标移动到字符输入显示区域502的位置7a。
74.(s2)：将光标在位置7a的位置保持规定的时间t0以上。由此，将动作模式切换到m1(执行描绘)，并且改变光标的显示。
75.(s3)：在光标的显示改变时使手指移动，使得光标移动到字符输入显示区域502的位置7b。由此，描绘出从位置7a至位置7b的线。
76.(s4)：将光标在位置7b保持规定的时间t0以上。由此，将动作模式切换到m0(停止描绘)，并且改变光标的显示。
77.(s5)：在光标的显示改变时使手指移动，使得光标移动到字符输入显示区域502的位置7c。
78.(s6)：在位置7c保持规定的时间t0以上。由此，将动作模式切换到m1，并且改变光标的显示。
79.以下，同样地继续进行描绘动作。即，在进行描绘的情况下将动作模式设为m1使光标移动，在不进行描绘的情况下将动作模式设为m0使光标移动。并且，通过将光标在移动后的位置保持规定的时间t0以上来切换动作模式，由此进行手写字符输入。
80.(s7)：当完成了平假名
“あ”
的描绘后，在位置7d保持规定的时间t0以上。由此，将动作模式切换到m0，并且改变光标的显示。
81.(s8)：使光标移动到识别处理指示按钮503a。
82.(s9)：通过将光标在识别处理指示按钮503a上保持规定的时间t0以上来执行识别处理，将识别出的结果显示在显示区域501中。
83.图8是表示图7的动作模式和描绘位置的时间变化的图。(a)表示位置输入对象物(用户的手指)ps的位置，(b)表示动作模式，(c)表示显示部描绘位置。横轴的(s1)～(s6)和
标记(7a)～(7c)与图7的标记对应。像这样，进行描绘的仅为动作模式为m1的期间，通过将位置输入对象物ps在相同位置保持时间t0以上来进行动作模式的切换。
84.图9是表示手指操作模式下的手写字符输入处理的流程图。以下，依次对各处理的内容进行说明。
85.在s601中，利用手指位置信息获取部1022获取手指ps的位置f，在s602中，将获取到的手指ps的位置f如图3中说明的那样转换为显示范围da中的位置f。接着在s603中，判断位置f与存储在ram103的暂存区域中的上一次获取到的位置fd之间的距离r是否为规定的距离r0以下。
86.在判断处理s603中，在距离r为规定的距离r0以上的情况下(“否”)分支到s617。在s617中，判断位置f是否处于字符输入显示区域502的显示范围内。在位置f处于字符输入显示区域502的范围内的情况下(“是”)，分支到s618。在位置f处于字符输入显示区域502的范围外的情况下(“否”)，分支到s620。在s620中将动作模式设定为m0，前进到s615。
87.在s618中判断所设定的动作模式。在动作模式为m0的情况下，不进行描绘处理而前进到s615。在动作模式为m1的情况下分支到s619，进行显示范围da中的位置fd至位置f的描绘处理，前进到s615。
88.另一方面，在判断处理s603中，在距离r为规定的距离r0以下的情况下(“是”)分支到s604。在s604中，对位置f在显示范围da中是否处于进行字符输入的规定的区域502的显示范围内，或者是否处于处理指示按钮503的显示范围内进行判断。在位置f处于字符输入显示区域502或者处理指示按钮503的显示范围内的情况下(“是”)，前进到s605。在位置f处于字符输入显示区域502或者处理指示按钮503的显示范围外的情况下(“否”)，前进到s615。
89.在s605中利用计时器判断动作模式。即，将保持时间与规定时间t0作比较来进行动作模式的切换。其中，s605的判断处理的详情用图10进行说明。在s606中，根据判断出的动作模式进行分支处理。在动作模式为m0的情况下前进到s615，在动作模式为m1的情况下前进到s607。在s607中，对位置f是否处于处理指示按钮503的显示范围内进行判断。在位置f处于处理指示按钮503的显示范围内的情况下(“是”)前进到s608，在位置f处于处理指示按钮503的显示范围外的情况下(“否”)，前进到s615。
90.在s608中，根据位置f处于503a至503e的哪个处理指示按钮的显示范围内来进行分支处理。在位置f处于识别处理指示按钮503a的显示范围内的情况下，前进到s609执行识别处理。在位置f处于字符种类切换处理指示按钮503b的显示范围内的情况下，前进到s610执行字符种类切换处理。在位置f处于清除处理指示按钮503c的显示范围内的情况下，前进到s611执行清除处理。在位置f处于转换处理指示按钮503d的显示范围内的情况下，前进到s612执行转换处理。在执行各个处理之后，前进到s613将计时器重置并停止，在s614中将动作模式设定为m0。在位置f处于结束处理指示按钮503e的显示范围内的情况下，结束手写字符输入处理。
91.在s615中，根据所设定的动作模式，将例如图6所示的光标显示在显示范围da的位置f上。接着在s616中，将上一次位置fd置换为当前位置f，存储到ram103的暂存区域，返回到s601。
92.图10是表示图9的动作模式的判断处理s605的流程图。
93.在s701中，判断计时器是否已启动。在计时器没有启动的情况下(“否”)，前进到s702启动计时器并结束处理。在计时器已启动的情况下(“是”)，前进到s703。
94.在s703中，判断计时器是否超过规定的时间t0。在没有超过规定的时间t0的情况下(“否”)，结束处理。在超过规定的时间t0的情况下(“是”)，前进到s704。
95.在s704中，进行基于动作模式的分支处理。在动作模式为m0的情况下前进到s705，将动作模式切换设定为m1。在动作模式为m1的情况下前进到s706，将动作模式切换设定为m0。之后，前进到s707，将计时器重置并停止，结束处理。
96.如上所述，在实施例1中，通过将用户的手指等位置输入对象物的显示画面上的位置在规定的距离r0以内保持规定的时间t0以上来切换动作模式，在进行描绘的情况下将动作模式设为m1使光标移动，在不进行描绘的情况下将动作模式设为m0使光标移动。由此，即使在输入多笔画数的字符的情况下，也能够将笔画与笔画之间的移动作为非描绘区间区分开，即使笔画顺序错误也能够容易地正确输入想要输入的字符。并且，也能够输入汉字等更复杂的字符。
97.另外，通过使光标移动到显示有处理指示按钮的区域，并将光标维持规定的时间t0以上保持在移动后的位置起的规定的距离r0以内，能够进行与处理指示按钮对应的处理，能够进行与用鼠标等输入单元使光标移动到显示有处理指示按钮的位置并进行单击(click)以实现的操作同样的操作。
98.另外，在本实施例中表示了作为处理指示按钮由识别处理指示按钮503a、字符种类切换处理指示按钮503b、清除处理指示按钮503c、字符转换处理指示按钮503d、结束处理指示按钮503e构成的例子，但是并不限定于此，也可以设置其他处理指示按钮。
99.另外，在本实施例中，基于触摸面板109的操作输入模式(触摸操作模式)和基于手指位置检测传感器106的操作输入模式(手指操作模式)之间的切换是利用操作输入部111来进行的，但是也可以用其他方法进行切换。例如在用手指轻击手背的情况下，加速度传感器105检测到振动，而触摸面板109没有检测到触摸，所以可以采用这样的方式，即，根据触摸面板109的检测结果和加速度传感器105的检测结果判断为手背被轻击，在手指轻击了手背的情况下切换操作输入模式。
100.另外，在本实施例中，作为用于切换动作模式的特定的操作，采用了将用户的手指等位置输入对象物的显示画面上的位置在规定的距离r0以内保持规定的时间t0以上的操作，但并不限定于此。作为其他的特定的操作，也可以例如通过使位置输入对象物移动来使光标移动，并通过在移动后的位置轻击手背来切换动作模式。
101.(实施例2)
102.实施例2要说明的是通过选择像键盘那样显示于画面上的按键来进行输入的情况。小型的便携信息终端中，显示在显示部109a上的按键也较小，难以用手指触摸触摸面板109来进行输入。于是，利用手指操作模式进行按键字符输入。
103.图11是表示用于按键字符输入处理的显示部109a的结构的图。区域1001是显示供按键字符输入的字符的部分，字符输入键1002是用于选择要输入的字符的按键。按键1003用于指示各种处理，由字符种类切换处理指示键1003a、删除处理指示键1003b和结束处理指示键1003c等构成，其中，字符种类切换处理指示键1003a用于切换平假名、字母等要输入的字符的种类，删除处理指示键1003b用于删除显示于区域1001的输入字符，结束处理指示
键1003c用于结束按键字符输入处理。
104.图12是表示基于手指操作模式的按键字符输入处理的例子的图，在此，以输入字母“y”的情况为例。用(s1)～(s4)对输入的顺序进行说明。
105.(s1)：在动作模式为m0的状态下，通过使手指ps在位置输入检测范围pa内移动，使光标移动到显示有字符输入键“wxyz”的位置12a。
106.(s2)：将光标在位置12a保持规定的时间t0以上(这种情况下也允许规定的距离r0以内的移动。以下同样)。由此，动作模式切换设定为m1，并且进行用于选择字符“w”、“x”、“y”、“z”的字符选择显示。
107.(s3)：在进行了字符选择显示时，使手指移动，使光标移动到显示有字符“y”的位置12b。
108.(s4)：将光标在位置12b保持规定的时间t0以上。由此，将字符“y”决定为输入字符，在输入字符显示区域1001显示字符“y”。当完成字符输入后，动作模式切换到m0。
109.图13是表示基于手指操作模式的按键字符输入处理的流程图。
110.在s1101中，利用手指位置信息获取部1022获取手指ps的位置f，在s1102中，将获取到的手指ps的位置f转换为显示范围da中的位置f。接着在s1103中，判断位置f与上一次获取到的位置fd之间的距离r是否为规定的距离r0以下。
111.在判断处理s1103中，在距离r为规定的距离r0以上的情况下(“否”)分支到s1114。在距离r为规定的距离r0以下的情况下(“是”)分支到s1104。在s1104中，判断位置f是否处于字符输入键1002或者处理指示键1003的显示区域内。在判断处理1104中，在位置f处于字符输入键1002或者处理指示键1003的显示区域内的情况下(“是”)分支到s1105，在处于字符输入键1002或者处理指示键1003的显示区域外的情况下(“否”)分支到s1114。
112.在s1105中利用计时器判断动作模式。即，将保持时间与规定时间t0作比较来进行动作模式的切换。其中，s1105的判断处理的详情用图14进行说明。在s1106中，根据判断出的动作模式进行分支处理。在动作模式为m0的情况下前进到s1114，在动作模式为m1的情况下前进到s1107。在s1107中，对字符选择显示是否为开启(正在进行字符选择显示)的状态进行判断。
113.在判断处理s1107中，在字符选择显示为开启的情况下(“是”)前进到s1116，在字符选择显示为关闭(未在进行字符选择显示)的情况下(“否”)前进到s1108。在s1116中，判断位置f是否处于字符选择显示区域内。在位置f处于字符选择区域内的情况下(“是”)前进到s1117，在位置f处于字符选择显示区域外的情况下(“否”)前进到s1114。在s1117中，将显示于位置f的字符决定为输入字符，将其显示在输入字符显示区域1001中。在s1118中关闭字符选择显示，前进到s1112。
114.在s1108中，根据位置f处于字符输入键1002和处理指示键1003中的哪一个按键的显示区域内而进行分支处理。在位置f处于字符输入键1002的显示区域内的情况下，前进到s1109开启字符的选择显示(用于选择字符的显示)，进行与显示于位置f的按键对应的字符的选择显示。在位置f处于字符种类切换处理指示键1003a的显示区域内的情况下，前进到s1110执行字符种类切换处理。在位置f处于删除处理指示键1003b的显示区域内的情况下，前进到s1111执行删除处理。在执行各个处理之后，前进到s1112将计时器重置并停止，在s1113中将动作模式设定为m0。在位置f处于结束处理指示键1003c的显示区域内的情况下，
结束按键字符输入处理。
115.在s1114中，根据所设定的动作模式，将例如图6所示的光标显示在显示范围da的位置f上。接着在s1115中，将上一次位置fd置换为当前位置f，存储到ram103的暂存区域，返回到s1101。
116.图14是表示图13的动作模式的判断处理s1105的流程图。
117.在s1201中，判断计时器是否已启动。在计时器没有启动的情况下(“否”)，前进到s1202启动计时器并结束处理。在计时器已启动的情况下(“是”)，前进到s1203。
118.在s1203中，判断计时器是否超过规定的时间t0。在没有超过规定的时间t0的情况下(“否”)，结束处理。在超过规定的时间t0的情况下(“是”)，前进到s1204。
119.在s1204中，将动作模式切换设定为m1。在这种情况下，由于在图13的s1113中，按键字符输入执行后的动作模式会被切换为m0，所以此处不需要从m1到m0的切换。之后，前进到s1205，将计时器重置并停止，结束处理。
120.如上所述在实施例2中，通过使光标移动到显示有字符输入键或者处理指示键的位置，并将光标维持规定的时间t0以上保持在移动后的位置起的规定的距离r0以内，能够容易地选择要输入的字符或者指示要执行的处理。由此，能够进行与用鼠标等输入单元使光标移动到显示有字符输入键或者处理指示键的位置并进行单击(click)以实现的操作同样的操作。
121.另外，在本实施例中表示了作为处理指示键由字符种类切换键1003a、删除处理指示键1003b、结束处理指示键1003c构成的例子，但是并不限定于此，也可以设置与其他处理指示对应的按键。另外，关于字符输入键，也可以显示每一个按键与字母、平假名的每一个字符一一对应的键盘，或者显示与数字的输入对应的键盘来进行输入。
122.(实施例3)
123.实施例3中，利用手指操作模式来实现鼠标的单击、双击(double click)、拖放(drag and drop)等的操作(以下称为鼠标操作输入处理)。为了应对这样的功能，在本实施例中增设了动作模式的种类。
124.图15是表示鼠标操作输入处理中使用的动作模式和光标显示的例子的图。在此使用6个种类的动作模式m0～m5。动作模式m0是即使操作手指也不进行光标移动以外的输入操作的状态。动作模式m1～m5分别是进行单击处理(m1)、双击处理(m2)、拖拽(drag)处理的开始(m3)、拖拽处理的结束(m4)、释放(drop)处理(m5)的鼠标操作的状态。并且，根据各动作模式切换光标的显示(形状和/或颜色显示)。另外，动作模式的切换如后所述，通过将操作中的手指保持在操作面内的某个位置上的时间的长度与3个阈值t0、t1、t2相比较来进行。
125.图16是表示鼠标操作输入处理的画面显示的例子的图。在显示部109a上，显示与应用a～d对应的图标组1401作为窗口画面(主页(home)画面)。用户能够通过单击图标来选择所需的应用，并能够通过双击来执行应用，通过拖放来进行图标的显示位置的移动。用(s1)～(s7)对一系列的处理的流程进行说明。
126.(s1)：在动作模式为m0的状态下，通过使手指在位置输入检测范围内移动，使光标移动到显示有图标“d”的位置14a上。
127.(s2)：将光标在位置14a处保持规定的时间(t0～t1的范围)。由此，动作模式切换
到m1(单击处理)，作为鼠标操作对象选中图标“d”。并且，光标的显示改变为与图15的m1对应的显示。之后，在规定的时间t1尚未经过之前任意移动手指(在这种情况下，使光标从位置14a移动到离开规定的距离r0以上的位置)，由此对选中的图标“d”执行单击处理。
128.(s3)：当将光标在位置14a处保持了规定的时间t1以上时，动作模式切换到m2(双击处理)，光标改变为图15所示的与m2对应的显示。之后，在规定的时间t2尚未经过之前任意移动手指(使光标从位置14a移动规定的距离r0以上)，由此对选中的图标“d”执行双击处理。
129.(s4)：当将光标在位置14a处保持了规定的时间t2以上时，动作模式切换到m3(拖拽处理开始)，光标改变为图15所示的与m3对应的显示。
130.(s5)：之后，通过移动手指使光标从位置14a移动到离开规定的距离r0以上的位置14b，将动作模式切换到m4(拖拽处理结束)。由此，光标改变为图15所示的与m4对应的显示。并且，作为鼠标操作对象选中的图标“d”移动到光标移动后的位置14b上显示，执行了使选中的图标的位置移动的拖拽处理。
131.(s6)：进一步移动手指，使光标和选中的图标“d”移动到位置14c，将光标在位置14c处保持规定的时间t0以上。由此，动作模式切换到m5(释放处理)，执行将图标释放到位置14c的释放处理。
132.(s7)：通过执行释放处理，选中的图标“d”的显示位置被设定为14c。之后，动作模式切换到m0，光标成为与m0对应的显示。
133.图17是表示基于手指操作模式的鼠标操作输入处理的流程图。
134.在s1501中，利用手指位置信息获取部1022获取手指ps的位置f，在s1502中，将获取到的手指ps的位置f转换为显示范围da中的位置f。接着在s1503中，判断位置f与上一次获取到的位置fd之间的距离r是否为规定的距离r0以下。
135.在判断处理s1503中，在距离r为规定的距离r0以下的情况下(“是”)分支到s1504，在s1504中利用计时器判断动作模式。即，将保持时间与规定时间t0、t1、t2作比较来进行动作模式的切换。其中，s1504的判断处理的详情用图18进行说明。之后在s1505中，判断s1504判断出的动作模式是否为m5。在动作模式为m5的情况下(“是”)分支到s1508，在动作模式不是m5的情况下(“否”)分支到s1506。在s1508中，执行将通过拖拽处理选中的图标的显示位置设定为位置f的释放处理，前进到s1509。
136.在s1506中，对位置f是否处于图标的显示区域内进行判断。在位置f处于图标的显示区域内的情况下(“是”)分支到s1507，在处于图标的显示区域外的情况下(“否”)分支到s1509。在s1507中，将位置f处于显示区域内的图标选作鼠标操作对象，前进到s1518。在s1509中将动作模式设定为m0，前进到s1510。在s1510中将计时器重置并停止，前进到s1518。
137.另一方面，在判断处理s1503中，在距离r为规定的距离r0以上的情况下(“否”)分支到s1511。在s1511中，根据动作模式进行以下的分支处理。
138.在动作模式为m0的情况下，不进行处理而前进到s1518。
139.在动作模式为m1的情况下前进到s1515，对s1507中选作鼠标操作对象的图标进行单击处理，前进到s1516。
140.在动作模式为m2的情况下前进到s1514，对s1507中选作鼠标操作对象的图标进行
双击处理，前进到s1516。
141.在动作模式为m3的情况下前进到s1513，将动作模式设定为m4，前进到s1517。
142.在动作模式为m4的情况下前进到s1512，将s1507中选作鼠标操作对象的图标显示在位置f上。由此，进行用于使选中的图标的位置移动的拖拽处理，接着前进到s1518。
143.在s1516中将动作模式设定为m0，在s1517中将计时器重置并停止，前进到s1518。在s1518中，根据当前的动作模式将图15所示的光标显示在显示范围da的位置f上。接着在s1519中，将上一次位置fd置换为当前位置f，存储到ram103的暂存区域，返回到s1501。
144.图18是表示图17的动作模式的判断处理s1504的流程图。
145.在s1601中，判断计时器是否已启动。在计时器没有启动的情况下(“否”)，前进到s1602启动计时器并结束处理。在计时器已启动的情况下(“是”)，前进到s1603。
146.在s1603中，对动作模式是否为m4进行判断。在动作模式为m4的情况下(“是”)，前进到s1604。在s1604中，对计时器是否超过规定的时间t0进行判断，在没有超过规定的时间t0的情况下(“否”)，结束处理。在超过规定的时间t0的情况下(“是”)，前进到s1605将动作模式设定为m5，结束处理。在判断处理s1603中，在动作模式不是m4的情况下(“否”)，前进到s1606。
147.在s1606中，根据计时器的经过时间进行以下的分支处理。其中，以下的时间阈值为t0＜t1＜t2的关系。
148.在计时器没有超过规定的时间t0的情况下(计时器≤t0)，结束处理。
149.在计时器为规定的时间t0与t1之间的时间的情况下(t0＜计时器≤t1)，前进到s1609将动作模式设定为m1，结束处理。
150.在计时器为规定的时间t1与t2之间的时间的情况下(t1＜计时器≤t2)，前进到s1608将动作模式设定为m2，结束处理。
151.在计时器超过规定的时间t2的情况下(计时器＞t2)，前进到s1607将动作模式设定为m3，结束处理。
152.如上所述在实施例3中，根据将光标在自移动后的位置起规定的距离r0以内的位置上保持的时间的长度，将动作模式在m0～m5之间切换。然后，在动作模式切换后，通过像智能手机的触摸操作中的轻拂动作那样使光标移动到离开规定的距离r0以上的位置，能够利用手指操作输入模式来实现鼠标的单击、双击、拖放那样的操作。另外，能够根据光标的显示的变化确认动作模式切换的情况，能够容易地进行用户想要进行的鼠标操作。
153.(实施例4)
154.实施例4中，对三维地检测用户的手指的位置来进行输入操作的情况(以下称为3d手指操作模式)进行说明。
155.图19是表示3d手指操作模式的检测原理的图，表示了手指的位置与显示部的显示位置的关系。不仅检测手指ps在与输入终端装置1的显示部109a平行的方向(xy轴方向)上的位置，还检测垂直的方向(高度z轴方向)上的位置，进行输入操作。图中表示了检测出的手指(位置输入对象物)ps的位置f与显示部109a的显示位置f的关系。
156.为了三维地检测手指位置，设置有3个手指位置检测传感器106a、106b、106c。各传感器106a～106c例如包括红外线发光元件和受光元件，从各传感器106a～106c输出与各自到手指ps的距离la、lb、lc对应的等级的信号。手指位置信息获取部1022基于来自各传感器
106a～106c的输出信号，获取由位置a-b-c-d-a
’‑b’‑c’‑
d’围成的位置输入检测范围(空间)pa中的手指ps的位置f。与获取到的位置f的xy轴方向的位置对应地，决定由显示部109a的位置a-b-c-d围成的显示范围da中的位置f，显示例如光标等。另一方面，与获取到的位置f的z轴方向的位置对应地，如后所述进行多个显示画面的切换。
157.图20是表示3d手指操作模式的画面显示的例子的图。在此，作为操作用的画面，显示配置了图标的窗口画面(主页画面)。将显示部109a的高度z方向的位置以z0～z3为边界分割为多个层l0、l1、l2。根据手指ps位于哪个层来切换窗口画面进行显示。用(s1)～(s3)表示各层的显示状态。
158.(s1)：在手指ps的位置f0处于高度方向z0～z1的范围(层l0)的情况下，在窗口画面上显示与应用a～d对应的图标组1901。
159.(s2)：在手指ps的位置f1处于高度方向z1～z2的范围(层l1)的情况下，在窗口画面上显示与应用e～h对应的图标组1902。
160.(s3)：在手指ps的位置f2处于高度方向z2～z3的范围(层l2)的情况下，在窗口画面上显示与应用i～l对应的图标组1903。
161.之后，进行实施例3中说明过的鼠标操作输入处理。即，通过单击所显示的图标来选择应用，通过双击图标来执行应用，通过拖放图标来进行图标的显示位置的移动。
162.像这样，利用3d手指操作模式，能够按多个层的每一层对操作用的画面显示进行切换，所以能够容易地对大量的应用(图标)进行鼠标操作输入处理。
163.图21是表示3d基于手指操作模式的鼠标操作输入处理的流程图。对于与实施例3(图17)相同的处理，标注相同的标记，省略重复说明。
164.在s1501中，利用手指位置信息获取部1022获取手指ps的三维位置f，在s1502中，将获取到的位置f的xy方向的位置如图19中说明的那样转换为显示范围da中的位置f。接着在s1520中，辨别获取到的位置f的z方向的位置处于哪个层的范围内。在s1521中，判断辨别出的层ln是否与存储在ram103的暂存区域中的上一次辨别出的层lnd相同。根据判断的结果，在辨别出的层ln与上一次辨别出的层lnd相同的情况下(“是”)，前进到s1503。s1503以后的处理与图17相同，省略说明。根据判断的结果，在辨别出的层ln与上一次辨别出的层lnd不同的情况下(“否”)，前进到s1522。
165.在s1522中，判断动作模式是否为m3或m4。在动作模式为m3或m4的情况下(“是”)前进到s1523，在动作模式不是m3或m4的情况下(“否”)前进到s1525。在s1525中将动作模式设定为m0，前进到s1526。在s1526中将计时器重置并停止，前进到s1523。
166.在s1523中，将上一次辨别出的层lnd置换为辨别出的层ln，存储到ram103的暂存区域中，前进到s1524。在s1524中，更新显示部109a的画面以显示与辨别出的层ln对应的窗口画面(主页画面)，前进到s1511。s1511以后的处理是按照各动作模式m0～m4进行的鼠标操作输入处理，其与图17相同，省略说明。
167.如上所述，检测用户的手指的三维位置来进行操作输入，从而能够根据高度z方向的位置分割为多个层，显示与各层对应的操作用的窗口画面(主页画面)。并且，对显示于各层的窗口中的图标也能够进行单击、双击、拖放那样的鼠标操作。
168.在上述的例子中，对多个层的每一层在窗口画面上显示与不同的应用对应的图标，但并不限定于此，也能够按每个层进行不同的操作面的显示。
169.例如，图22是表示按键字符输入处理的画面显示的例子的图。在按键字符输入处理中，按每个层在显示部显示不同的字符种类的键盘。
170.(s1)：在手指ps的位置f0处于层l0的范围内的情况下，显示用于输入字母和符号的键盘。
171.(s2)：在位置f1处于层l1的范围内的情况下，显示用于输入平假名的键盘。
172.(s3)：在位置f2处于层l2的范围内的情况下，显示用于输入数字的键盘。
173.由此，用户通过改变手指ps的高度z方向的位置，能够容易地变更能输入的字符种类。
174.像这样根据实施例4，能够利用3d手指操作模式按每多个层的每一层切换画面显示和操作内容，所以能够容易地实现多个种类的操作。另外，也可以根据要使用的操作的种类由用户适当设定层数。
175.(实施例5)
176.实施例5要说明的是，在3d手指操作模式中，为了顺畅地进行多个层之间的切换，在层间设置有过渡区域的方案。
177.图23是表示在层间设置有过渡区域的情况下的画面显示的例子的图。将手指ps的高度z方向的位置分割为多个层l0～l2，并且在各层的边界设置层过渡区域t01、t12。与实施例4同样，与各层l0～l2对应地显示不同的操作用的窗口画面(此处为图标组)，但在层过渡区域t01、t12中，显示与相邻的某一层对应的窗口画面。以下，沿着手指ps的高度方向的移动，说明画面显示的变化。
178.首先，用(s1)～(s5)说明使手指ps的位置从f0向f4(即，从层l0向l2)移动的情况。
179.(s1)：在手指ps的位置f0处于层l0的范围内的情况下，在窗口画面上显示与应用a～d对应的图标组2101。
180.(s2)：在手指ps的位置f1移动到层l0与l1之间的层过渡区域t01的情况下，继续显示在这之前的层l0显示的窗口画面(图标组2101)。此时，画面背景变更为表示过渡区域的显示109t。
181.(s3)：手指ps的位置f2处于层l1的范围内，在窗口画面上切换显示与应用e～h对应的图标组2102。
182.(s4)：在手指ps的位置f3移动到层l1与l2之间的层过渡区域t12的情况下，继续显示在这之前的层l1显示的窗口画面(图标组2102)。此时，画面背景变更为表示过渡区域的显示109t。
183.(s5)：手指ps的位置f4处于层l2的范围内，在窗口画面上切换显示与应用i～l对应的图标组2103。
184.另一方面，用(s5’)～(s1’)说明使手指ps的位置从f4向f0(即，从层l2向l0)移动的情况。
185.(s5’)：手指ps的位置f4处于层l2的范围内，在窗口画面上显示与应用i～l对应的图标组2103。
186.(s4’)：在手指ps的位置f3移动到层l1与l2之间的层过渡区域t12的情况下，继续显示在这之前的层l2显示的窗口画面(图标组2103)。此时，画面背景变更为表示过渡区域的显示109t。
187.(s3’)：手指ps的位置f2处于层l1的范围内，在窗口画面上切换显示与应用e～h对应的图标组2102。
188.(s2’)：在手指ps的位置f1移动到层l0与l1之间的层过渡区域t01的情况下，继续显示在这之前的层l1显示的窗口画面(图标组2102)。此时，画面背景变更为表示过渡区域的显示109t。
189.(s1’)：手指ps的位置f0处于层l0的范围内，在窗口画面上切换显示与应用a～d对应的图标组2101。
190.如上所述，在手指ps位于各层的范围内的情况下显示与各层对应的窗口画面，在手指ps移动到层过渡区域的情况下继续显示这之前(前一刻)所处的层的窗口画面，并变更其背景地进行显示。
191.像这样，通过在各层之间设置过渡区域，并在手指ps移动到过渡区域时改变窗口画面的背景，向用户告知移动到了过渡区域。此时，保持继续显示这之前(前一刻)显示的窗口画面，所以不会对操作带来影响。由此，能够防止用户无意中移动到其他层。即，只要在窗口画面的背景发生了改变时使手指ps向原来的层的方向移动即可。
192.图24是表示在层间设置有过渡区域的情况下的鼠标操作输入处理的流程图。对于与实施例3(图17)和实施例4(图21)相同的处理标注相同的标记，省略重复说明。
193.在s1501中，获取手指ps的三维位置f，在s1502中，将位置f的xy方向的位置转换为显示范围da中的位置f。接着在s1520中，辨别位置f的z方向的位置处于哪个层的范围内，或者是否在层过渡区域内。在s1530中，根据层辨别结果进行分支处理。
194.在判断处理s1530中，在辨别出的层ln处于层过渡区域内的情况下(ln＝层间)，分支到s1531。在s1531中将窗口显示画面的背景设为与层过渡区域对应的显示109t，前进到s1503。
195.在判断处理s1530中，在辨别出的层ln与上一次辨别出的层lnd相同的情况下(ln＝lnd)，前进到s1503。s1503以后的处理与图17相同，省略说明。
196.在判断处理s1530中，在辨别出的层ln与上一次辨别出的层lnd不同的情况下(ln≠lnd)，前进到s1522。s1522以后的处理与图21相同，省略说明。
197.如上所述，根据实施例5，检测手指ps的三维位置，不仅与高度方向z的位置对应地显示与多个层对应的窗口，而且在各层之间设置有过渡区域。并且，在手指ps移动到过渡区域时通过改变窗口画面的背景来告知用户，能够防止用户无意中移动到其他层。由此，能够顺畅地进行各层之间的切换。
198.另外，本实施例中在手指ps移动到层过渡区域时改变窗口画面的背景，但并不限定于此。只要是用户能够识别到的方法即可，例如改变图标的显示、改变光标的显示、发出声音或振动等。另外，也可以在位于过渡区域时，显示原来的层的方向(上/下)。
199.以上的各实施例的说明中，表示了由发光/受光元件构成手指位置检测传感器106的例子，但并不限定于此，只要是能够检测用户的手指、笔等位置输入对象物的位置的元件即可，例如使用了超声波的传感器、摄像机等摄像元件等。另外，上面以手表型的输入终端装置为例进行了说明，但也可以在智能手机、平板电脑、个人计算机等中检测用户的手指、笔等位置输入对象物的位置，来进行手写字符输入或鼠标操作等。
200.另外，在以上的各实施例中，作为用于切换动作模式的特定的操作的条件，将用户
的手指等位置输入对象物的显示画面上的位置在规定的距离以内保持规定的时间以上，但并不限定于此。例如，也可以将规定的时间内的位置输入对象物在显示画面上的位置的移动量处于规定的距离以内的情况作为条件。或者，也可以将位置输入对象物在显示画面上的位置的移动速度为规定的速度以下的情况作为条件。
201.上面用几个实施例说明了本发明的实施方式，但实现本发明的技术的结构不限于上述实施例，能够考虑各种变形例。例如，能够将某个实施例的结构的一部分置换为其他实施例的结构，也能够在某个实施例的结构中添加其他实施例的结构。这些全部属于本发明的范畴。另外，文中和图中出现的数值和消息等只是一例，即使使用不同的也不损害本发明的效果。并且，各处理例中说明的程序，可以分别为独立的程序，也可以多个程序构成一个应用。另外，各处理进行的顺序也可以调换执行。
202.就上述本发明的功能等而言，其一部分或全部例如可以通过集成电路设计等而用硬件实现。另外，也可以通过微处理器单元等解释执行实现各功能等的动作程序等而用软件实现。也可以并用硬件和软件。
203.此外，图中所示的控制线、信息线表示的是说明所需的部分，并非一定表示了产品上所有的控制线和信息线。实际上可以认为所有的结构都相互连接。
204.附图标记说明
205.1：输入终端装置，2：便携信息终端，101：主控制部，102：rom，103：ram，104：存储部，105：加速度传感器，106、106a、106b、106c：手指位置检测传感器，108：显示控制部，109：触摸面板，109a：显示部，109b：触摸操作输入部，110：计时部，111：操作输入部，1022：手指位置信息获取部，1023：触摸位置信息获取部，1024：手指操作处理控制部，1025：触摸操作处理控制部，ps：用户的手指(位置输入对象物)。