一种触觉交互系统、方法及存储介质与流程

1.本发明涉及智能辅助系统技术领域，具体涉及一种触觉交互系统、方法及存储介质。


背景技术：

2.目前，我国现行的盲文是结合“布莱叶盲文”与“汉语拼音”，于1952年设计出了以词为单位的新盲文。盲人最大的困难在于信息摄入，一般都是通过触摸的方式来进行阅读交互，虽然现在也出现了盲人阅读器，但传统的盲人阅读器结构复杂，成本高。另外，聋哑人也可以通过触觉阅读手套将语音信息转化为触觉信息，有利于聋哑人与不懂手语的盲人、普通人进行交流互动，或者收看电影、电视节目等，这是现有设备所不具备的功能。


技术实现要素：

3.本发明的发明目的在于：提供了一种触觉交互系统、方法及存储介质，以克服现有技术中盲人与聋哑人之间无法沟通的缺陷。
4.第一方面：一种触觉交互系统，所述系统包括：
5.信息采集装置，用于采集外部对象所提供交互的信息载体；其中，所述信息载体包括文本、手语手印和语音信息；
6.处理装置，用于：
7.接收所述信息载体，为手语手印时；
8.基于所述信息载体中的内容调用预先存储的处理规则以确定转换后的触觉信息；其中，所述处理规则包括文本和手语手印对应的拼音组合，进而表示所有汉字发音；
9.为语音信息时，提取出所对应的拼音，然后反向查询出与之关联的手语手印信息；
10.触觉装置，用于展示所述手语手印信息；以及
11.接收所述触觉信息，并输出对应的触觉动作，以形成对应的交互信息；其中，所述触觉装置包括多个触觉子单元，各触觉子单元关联有对应的字母，各字母又对应有所述拼音组合中的声母或韵母。
12.作为本技术一种可选的实施方式，所述手语手印以图像的形式进行采集，所述处理装置结合图像中的手语手印以及处理规则进行转换；其中，所述手语手印中的右手印表示声母，左手印表示韵母，用两手之间的相对位置表示声调。
13.作为本技术一种可选的实施方式，图像中两手平行且靠近，代表“一声”；右手低于左手，代表“二声”；两手平行且远离，代表“三声”；右手高于左手，代表“四声”。
14.作为本技术一种可选的实施方式，所述信息载体还包括书籍文本，所述处理装置还用于将所述书籍文本中的文字进行提取，以得到对应的拼音信息，然后基于所述拼音信息转换为用于触发所述触觉装置的触觉信息。
15.作为本技术一种可选的实施方式，所述手语手印中还包括单手结印，所述单手结印的规则为通过单手表示声母或韵母，以及通过两只手的手指组合成一个手语手印。
16.第二方面：一种触觉交互方法，应用于第一方面所述的一种触觉交互系统，所述方法包括：
17.利用信息采集装置采集外部对象所提供交互的信息载体；其中，所述信息载体包括文本、手语手印和语音信息；
18.通过处理装置接收所述信息载体，为手语手印时；
19.基于所述信息载体中的内容调用预先存储的处理规则以确定转换后的触觉信息；其中，所述处理规则包括文本和手语手印对应的拼音组合，进而表示所有汉字发音；
20.为语音信息时，提取出所对应的拼音，然后反向查询出与之关联的手语手印信息；
21.利用触觉装置展示所述手语手印信息；以及
22.接收所述触觉信息，并输出对应的触觉动作，以形成对应的交互信息；其中，所述触觉装置包括多个触觉子单元，各触觉子单元关联有对应的字母，各字母又对应有所述拼音组合中的声母或韵母。
23.作为本技术一种可选的实施方式，所述手语手印以图像的形式进行采集，所述处理装置结合图像中的手语手印以及处理规则进行转换；其中，所述手语手印中的右手印表示声母，左手印表示韵母，用两手之间的相对位置表示声调，两手平行且靠近，代表“一声”；右手低于左手，代表“二声”；两手平行且远离，代表“三声”；右手高于左手，代表“四声”。
24.作为本技术一种可选的实施方式，所述信息载体还包括书籍文本，所述处理装置还用于将所述书籍文本中的文字进行提取，以得到对应的拼音信息，然后基于所述拼音信息转换为用于触发所述触觉装置的触觉信息。
25.作为本技术一种可选的实施方式，所述触觉装置可采用智能穿戴设备。
26.第三方面：一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第二方面所述方法的步骤。
27.采用上述技术方案，具有以下优点：本发明提出的一种触觉交互系统、方法及存储介质，通过对提供交互的信息载体所涉及的手语手印结合处理规则进行转换处理，得到手语手印对应的拼音组合，根据所述拼音组合中的声母或韵母，触发所关联字母的各触觉子单元动作，进而将聋哑人使用的手语手印转换为易于盲人接收信息的触摸方式；同时，又将盲人的语音转换成手语手印，从而建立起两者沟通的桥梁，以克服聋哑人无法凭现有技术直接接收声音信息的困难，有利于聋哑人与不懂手语的盲人、普通人进行交流互动，使盲人与聋哑人之间的沟通成为了可能。
附图说明
28.图1是本发明实施例所提供的一种触觉交互系统的结构框图；
29.图2是本发明实施例所提供的一种右手印所对应的示意图；
30.图3是本发明实施例所提供的一种左手印所对应的示意图；
31.图4是本发明实施例所提供的一种触觉阅读手套示意图；
32.图5是本发明实施例所提供的一种触觉交互方法的流程图。
具体实施方式
33.下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。
34.在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。
35.下面结合附图，对本发明作详细的说明。
36.参考图1所示，本发明实施例提供了一种触觉交互系统，所述系统包括：
37.信息采集装置，用于采集外部对象所提供交互的信息载体；其中，所述信息载体包括文本、手语手印和语音信息。
38.具体地，所述信息采集装置集成有多个传感器，例如，采集手语手印的摄像头和采集语音信息的语音采集模块。
39.处理装置，用于：
40.接收所述信息载体，为手语手印时；
41.基于所述信息载体中的内容调用预先存储的处理规则以确定转换后的触觉信息；其中，所述处理规则包括文本和手语手印对应的拼音组合，进而表示所有汉字发音，所述拼音组合采用智能abc的双拼，通过将手印与双拼进行结合，形成双拼手语；
42.为语音信息时，提取出所对应的拼音，然后反向查询出与之关联的手语手印信息。
43.具体地，所述手语手印以图像的形式进行采集，所述处理装置结合图像中的手语手印以及处理规则进行转换；其中，所述手语手印中的右手印表示声母，左手印表示韵母，用两手之间的相对位置表示声调；
44.图像中两手平行且靠近，代表“一声”；右手低于左手，代表“二声”；两手平行且远离，代表“三声”；右手高于左手，代表“四声”。
45.即，通过上述步骤，将手语手印转换成相应的汉字拼音；以及将盲人的语音转换成聋哑人易于理解的手语手印。
46.具体地，手语手印对应的声母、韵母如附图2和图3所示，其中：
47.24个“右手印”及对应的声母：
48.右空手印用来占位，具体手势为：右手掌心向外，五指伸开；
[0049]“右a”手印表示声母zh，具体手势为：右手掌心向内，伸出中指和小指；
[0050]“右b”手印表示声母b，具体手势为：右手掌心向内，伸出食指、中指和小指；
[0051]“右c”手印表示声母c，具体手势为：右手掌心向内，伸出拇指和食指；
[0052]“右d”手印表示声母d，具体手势为：右手掌心向内，伸出拇指、食指和小指；
[0053]“右e”手印表示声母ch，具体手势为：右手掌心向内，伸出拇指、食指和中指；
[0054]“右f”手印表示声母f，具体手势为：右手掌心向内，伸出食指、中指、无名指和小
指；
[0055]“右g”手印表示声母g，具体手势为：右手掌心向外，伸出食指和小指；
[0056]“右h”手印表示声母h，具体手势为：右手掌心向内，握拳；
[0057]“右j”手印表示声母j，具体手势为：右手掌心向外，伸出小指；
[0058]“右k”手印表示声母k，具体手势为：右手掌心向外，伸出中指、无名指和小指；
[0059]“右l”手印表示声母l，具体手势为：右手掌心向内，伸出中指、无名指和小指；
[0060]“右m”手印表示声母m，具体手势为：右手掌心向内，伸出拇指和小指；
[0061]“右n”手印表示声母n，具体手势为：右手掌心向内，伸出小指；
[0062]“右p”手印表示声母p，具体手势为：右手掌心向内，伸出食指；
[0063]“右q”手印表示声母q，具体手势为：右手掌心向外，伸出中指；
[0064]“右r”手印表示声母r，具体手势为：右手掌心向内，伸出食指和中指；
[0065]“右s”手印表示声母s，具体手势为：右手掌心向内，伸出中指；
[0066]“右t”手印表示声母t，具体手势为：右手掌心向内，伸出拇指；
[0067]“右v”手印表示声母sh，具体手势为：右手掌心向外，伸出食指和中指；
[0068]“右w”手印表示声母w，具体手势为：右手掌心向外，伸出拇指；
[0069]“右x”手印表示声母x，具体手势为：右手掌心向外，伸出食指；
[0070]“右y”手印表示声母y，具体手势为：右手掌心向外，握拳；
[0071]“右z”手印表示声母z，具体手势为：右手掌心向外，伸出无名指和小指；
[0072]
27个“左手印”及对应的韵母：
[0073]
左空手印用来占位，具体手势为：左手掌心向外，五指伸开；
[0074]“左a”手印表示韵母a，具体手势为：左手掌心向内，伸出中指和小指；
[0075]“左b”手印表示韵母ou，具体手势为：左手掌心向内，伸出食指、中指和小指；
[0076]“左c”手印表示韵母in、uai，具体手势为：左手掌心向内，伸出拇指和食指；
[0077]“左d”手印表示韵母ua、ia，具体手势为：左手掌心向内，伸出拇指、食指和小指；
[0078]“左e”手印表示韵母e，具体手势为：左手掌心向内，伸出拇指、食指和中指；
[0079]“左f”手印表示韵母en，具体手势为：左手掌心向内，伸出食指、中指、无名指和小指；
[0080]“左g”手印表示韵母eng，具体手势为：左手掌心向外，伸出食指和小指；
[0081]“左h”手印表示韵母ang，具体手势为：左手掌心向内，握拳；
[0082]“左i”手印表示韵母i，具体手势为：左手掌心向内，伸出无名指和小指。
[0083]“左j”手印表示韵母an，具体手势为：左手掌心向外，伸出小指；
[0084]“左k”手印表示韵母ao，具体手势为：左手掌心向外，伸出中指、无名指和小指；
[0085]“左l”手印表示韵母ai，具体手势为：左手掌心向内，伸出中指、无名指和小指；
[0086]“左m”手印表示韵母ue、ui，具体手势为：左手掌心向内，伸出拇指和小指；
[0087]“左n”手印表示韵母un，具体手势为：左手掌心向内，伸出小指；
[0088]“左o”手印表示韵母o、uo，具体手势为：左手掌心向内，五指伸开；
[0089]“左p”手印表示韵母uan，具体手势为：左手掌心向内，伸出食指；
[0090]“左q”手印表示韵母ei，具体手势为：左手掌心向外，伸出中指；
[0091]“左r”手印表示韵母er、iu，具体手势为：左手掌心向内，伸出食指和中指；
[0092]“左s”手印表示韵母iong、ong，具体手势为：左手掌心向内，伸出中指；
[0093]“左t”手印表示韵母uang、iang，具体手势为：左手掌心向内，伸出拇指；
[0094]“左u”手印表示韵母u，具体手势为：左手掌心向内，伸出食指和小指；
[0095]“左v”手印表示韵母
ü
，具体手势为：左手掌心向外，伸出食指和中指；
[0096]“左w”手印表示韵母ian，具体手势为：左手掌心向外，伸出拇指；
[0097]“左x”手印表示韵母ie，具体手势为：左手掌心向外，伸出食指；
[0098]“左y”手印表示韵母ing，具体手势为：左手掌心向外，握拳；
[0099]“左z”手印表示韵母iao，具体手势为：左手掌心向外，伸出无名指和小指。
[0100]
进一步地，为提升应用的灵活性，所述手语手印中还包括单手结印。所述单手结印的规则为：通过单手结印时手掌所处的位置，表示声母或韵母。比如在身体外侧结印表示声母，在身体范围内结印表示韵母，同样用两组手印的相对位置来表示四种声调。
[0101]
实施单手结印时，可空出一只手来操作设备、做记录、吃饭
……
即便左右手各缺几根手指，若加起来超过五根，就可以单手结印，用另一只手补上缺的手指，速度慢一点，别人也能看懂。用单用左手结“灵”字(对应的双拼为ln)，假如左手缺无名指，只需伸出中指和小指，同时右手伸出一根手指补上即可；
[0102]
触觉装置，用于展示所述手语手印信息；以及接收所述触觉信息，并输出对应的触觉动作，以形成对应的交互信息；其中，所述触觉装置包括多个触觉子单元，各触觉子单元关联有对应的字母，各字母又对应有所述拼音组合中的声母或韵母。
[0103]
具体地，一方面可展示手语手印便于聋哑人理解；另一方面，将手语手印转换成相应的汉字拼音，进而触发对应的各触觉子单元，得到汉字所对应的字母组合；
[0104]
进一步地，为实现提高盲人的阅读速度，所述信息载体还包括书籍文本，所述处理装置还用于将所述书籍文本中的文字进行提取，以得到对应的拼音信息，然后基于所述拼音信息转换为用于触发所述触觉装置的触觉信息。
[0105]
即实施时，将扫描的文字转化为对应的字母组合，从而刺激对应的触觉子单元；这种相较于传统的触摸阅读来说，提高了阅读速度；同时对现有的盲人阅读器来说，又能做到无声阅读，避免对他人造成干扰。
[0106]
应用时，所述触觉装置采用智能可穿戴装置，例如十根手指戴上“电击指环”，以微电流刺激各手印对应的手指，进而使得所有会“双拼手语”的人，都可以直接用触觉阅读的方式接收信息。如图4所示，进一步简化为“触觉阅读手套”，比如将26个电极分布在同一只手的正面和背面，字母在指节上分布，以电流刺激不同部位表示26个字母，用来表示双拼发音；适合那些触觉敏感，可区分“来自手掌不同区域的电流刺激”的人。对于盲人，也可以在身体不同部位植入电极，比如对背部26个不同位置进行电流刺激，来表示26个字母。需要说明的是，上述只是进行举例，并不是对其进行限制。
[0107]
上述方案，通过对提供交互的信息载体所涉及的手语手印结合处理规则进行转换处理，得到手语手印对应的拼音组合，根据所述拼音组合中的声母或韵母，触发所关联字母的各触觉子单元动作，进而将聋哑人使用的手语手印转换为易于盲人接收信息的触摸方式；同时，又将盲人的语音转换成手语手印和触觉信号，从而建立起两者沟通的桥梁，以克服聋哑人无法凭现有技术直接接收声音信息的困难，有利于聋哑人与不懂手语的盲人、普通人进行交流互动，使盲人与聋哑人之间的沟通成为了可能。
[0108]
基于同样的发明构思，参照图5所示，本发明实施例还提供了一种触觉交互方法，应用于第一方面所述的一种触觉交互系统，所述方法包括：
[0109]
s101，利用信息采集装置采集外部对象所提供交互的信息载体；其中，所述信息载体包括文本、手语手印和语音信息。
[0110]
具体地，所述手语手印以图像的形式进行采集，所述处理装置结合图像中的手语手印以及处理规则进行转换；其中，所述手语手印中的右手印表示声母，左手印表示韵母，用两手之间的相对位置表示声调，两手平行且靠近，代表“一声”；右手低于左手，代表“二声”；两手平行且远离，代表“三声”；右手高于左手，代表“四声”。
[0111]
s102，通过处理装置接收所述信息载体，为手语手印时。
[0112]
s103，基于所述信息载体中的内容调用预先存储的处理规则以确定转换后的触觉信息；其中，所述处理规则包括文本和手语手印对应的拼音组合，进而表示所有汉字发音。
[0113]
s104，为语音信息时，提取出所对应的拼音，然后反向查询出与之关联的手语手印信息。
[0114]
s105，利用触觉装置展示所述手语手印信息。
[0115]
s106，接收所述触觉信息，并输出对应的触觉动作，以形成对应的交互信息；其中，所述触觉装置包括多个触觉子单元，各触觉子单元关联有对应的字母，各字母又对应有所述拼音组合中的声母或韵母。
[0116]
进一步地，在上述方案的基础上，所述信息载体还包括书籍文本，所述处理装置还用于将所述书籍文本中的文字进行提取，以得到对应的拼音信息，然后基于所述拼音信息转换为用于触发所述触觉装置的触觉信息。
[0117]
同时，所述手语手印中还包括单手结印，所述单手结印的规则为通过单手表示声母或韵母，以及通过两只手的手指组合成一个手语手印。
[0118]
需要说明的是，上述方法实施中各步骤的具体步骤参照前文系统实施例的文字描述，在此不再赘述。
[0119]
通过上述方案的应用，一方面既可得到手语手印对应的拼音组合，根据所述拼音组合中的声母或韵母，触发所关联字母的各触觉子单元动作，进而将聋哑人使用的手语手印转换为易于盲人接收信息的触摸方式；同时，又将盲人的语音转换成手语手印，从而建立起两者沟通的桥梁；另一方面也可提高盲人的阅读速度。
[0120]
本发明还提供一种计算机可读存储介质的实施例，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述方法实施例描述的方法的步骤。
[0121]
其中，所述计算机程序的代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
[0122]
所述计算机可读存储介质可以是前述系统实施例所存在的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是单独的外部存储设备，例如所配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(securedigital,sd)卡，闪存卡(flash card)等。进一步地，所述计算机可读存储介质还可以既包括所述的内部存储单元也包括外部存储设备。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0123]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。