基于多模态接口的触觉装置的制作方法

1.本发明涉及一种基于多模态接口的触觉装置，更加详细地涉及一种基于手套及鞋垫形态的多模态接口的触觉装置。


背景技术：

2.扩展现实(extended reality，xr)是指由计算机技术和可穿戴装置生成的所有虚拟的结合，是包括虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)、混合现实(mixed reality，mr)的概念。随着扩展现实(xr)市场的壮大，对输入和再现人类五感相关数据的多模式系统的需求正在增加。特别是，多模式系统可有效活用于外科手术等医疗领域、射击训练或飞行员训练等国防领域、驾驶或乐器演奏等教育领域等多种虚拟训练系统。
3.多模式系统需要一种触觉装置，以便向用户传递人类的五感。作为触觉装置，用户通过握在手中而使用的手握形态的装置是富有代表性的。但是，问题在于，手握形态的装置的缺点在于，用户必须持续地用手握住控制器，在功能上也仅限于感知用户的动作的水平，在可以再现触觉的情况下，价格非常高。
4.另一方面，作为可穿戴在脚上的触觉装置，还有具有鞋子形态的装置。但是，问题在于，鞋子的形态体积大且携带性差，并且不能制作适合于各个用户的脚的形态，在功能上也只是感知用户的动作的水平。


技术实现要素：

5.为了解决上述问题，本发明的目的在于提供一种触觉装置，能够解决手握形态的触觉装置的使用上的不便，并且再现用户动作感知功能和触觉等感觉。
6.本发明的另一个目的在于提供一种鞋垫型触觉装置，能够根据用户的目的选择装置的安装，体积小且具有携带便利性，并且能够再现精确的用户动作感知功能、状态确认及触觉等感觉。
7.但是，本发明要解决的课题并不限于此，可以在不脱离本发明的思想和领域的范围内进行多种扩张。
8.为了解决上述问题，根据本发明的一个实施例的附着在手套或用户的手上并根据扩展现实(xr)内容向用户传递触觉的抓握型触觉装置包括：输入装置，其从用户获得用户输入的输入；9轴传感器，其对用户的手的动作进行感知；振动器，其向用户传递触觉；动作传感器，其对用户是否抓握抓握型触觉装置进行感知；通信模块，其在抓握型触觉装置和扩展现实(xr)处理装置之间传送和接收数据；以及电源，其供给电力至抓握型触觉装置。
9.根据一个侧面，压力装置可以是附着在抓握型触觉装置的按钮。
10.根据一个侧面，根据扩展现实(xr)内容，振动器在振动的强度、模式及周期中至少有一个不同，从而可以向用户传递触觉。
11.根据一个侧面，动作传感器可以是对用户的手指和抓握型触觉装置之间的距离进
行测量的距离传感器。
12.根据一个侧面，电源可包括电池和身体能量收集装置中的至少一个。
13.根据一个侧面，抓握型触觉装置可以为圆柱形态，以便用户能够抓握。
14.根据一个侧面，抓握型触觉装置还可包括温度再现装置，其向用户传递温度。
15.为了解决上述问题，根据本发明的一个实施例的为了根据扩展现实(xr)内容向用户传递触觉而可以以插入鞋子的形式穿戴的鞋垫型触觉装置包括：输入装置，其从用户获得用户输入的输入；多个9轴传感器，其对用户的脚的动作进行感知；振动器，其将触觉传递至用户的脚底；多个压力传感器，其均一地配置于鞋垫型触觉装置，并且对施加到用户脚底的各位置压力进行感知；通信模块，其在鞋垫型触觉装置和扩展现实(xr)处理装置之间传送和接收数据；以及电源，其供给电力至鞋垫型触觉装置。
16.根据一个侧面，振动器可以是包括多个振动元件的振动矩阵。
17.根据一个侧面，鞋垫型触觉装置还包括压力再现装置，并且可基于压力传感器感知的各位置压力信息，将加压用媒介注入压力再现装置。
18.根据一个侧面，基于压力传感器感知的各位置压力信息，将加压用媒介注入压力再现装置包括以下步骤：对用户的脚底各位置压力进行感知；将感知的各位置压力信息图表化；利用图表化的各位置压力信息，对用户的脚的压力均衡度进行计算；利用用户的医疗信息来判断加压用媒介是否注入压力再现装置；以及将加压用媒介注入压力再现装置。
19.根据一个侧面，将感知的各位置压力信息图表化的步骤可以是根据时间对感知的各位置压力信息进行区分并图表化。
20.根据一个侧面，对用户的脚的压力均衡度进行计算的步骤可以是按照用户的动作对压力均衡度进行计算,上述动作包括用户站立的情况和用户走路的情况。
21.根据一个侧面，用户的医疗信息可包括用户的脚的形态、步幅及步行姿势中的至少一个，并且通过对各位置压力信息进行分析来获取。
22.根据一个侧面，利用用户的医疗信息来判断是否将加压用媒介注入压力再现装置的步骤可包括决定注入加压用媒介的位置及注入量，以便改善用户的均衡度的步骤。
23.根据一个侧面，基于压力传感器感知的各位置压力信息，将加压用媒介注入压力再现装置，还可包括以下步骤：在注入加压用媒介后，确认是否改善了用户的均衡度。
24.根据一个侧面，电源可包括电池、热电收集装置及压电收集装置中的至少一个。
25.根据一个侧面，鞋垫型触觉装置还可包括温度/湿度传感器，其对鞋子内部的温度及湿度进行测量。
26.根据一个侧面，鞋垫型触觉装置还可包括温度再现装置，其向用户传递温度。
27.所公开的技术可具有以下效果。但是，特定实施例并不意味着必须全部包括以下效果或仅包括以下效果，因此所公开的技术的权利范围不应被理解为因此而受到限制。
28.根据上述的本发明的实施例的抓握型触觉装置，可解决手握形态的触觉装置使用上的不便，并且再现用户动作感知功能和触觉等感觉。
29.另外，根据上述的本发明的实施例的鞋垫触觉装置，能够根据用户的目的选择装置的安装，体积小且具有携带便利性，并且能够再现精确的用户动作感知功能、状态确认及触觉等感觉，并可利用脚底各位置压力信息来改善用户的均衡。
附图说明
30.图1概略示出了用于扩展现实系统的扩展现实机器的nui/nux格式(nfxm，nui/nux format for xr machine)。
31.图2及图3示出了可使用根据本发明的实施例的基于多模态接口的触觉装置的扩展现实系统中的协议格式。
32.图4示出了作为图2及图3的协议格式的一个示例的输入数据格式。
33.图5示出了作为图2及图3的协议格式的一个示例的输出数据格式。
34.图6是根据本发明的一个实施例的支架型触觉装置的构成图。
35.图7是将根据本发明的一个实施例的支架型触觉装置附着于手套的示例图。
36.图8是根据本发明的一个实施例的鞋垫型触觉装置的构成图。
37.图9示出了在鞋垫型触觉装置中压力传感器的示例性的配置。
38.图10是根据本发明的一个实施例的鞋垫型触觉装置利用压力信息来改善用户的均衡度的方法的顺序图。
具体实施方式
39.本发明可进行多种变更，并具有多种实施例，因此要在附图上对特定实施例进行示例并详细说明。
40.但是，这并不是要限定本发明的特定实施形态，而是应当理解为包含本发明思想及技术范围内的所有变更、均等物乃至替代物。
[0041]“第一”、“第二”等术语虽然用于对各种构成要素进行说明，但构成要素并不因这些术语而受限。术语的目的仅在于将一个构成要素与其他构成要素区分开来。例如，在不脱离本发明的权利范围的同时，第一构成要素可命名为第二构成要素，类似地，第二构成要素也可命名为第一构成要素。
[0042]
当提及某种构成要素“连接”或“接入”到其他构成要素时，虽然可理解为直接连接到或接入到其他构成要素，但也可以理解为中间存在另外的构成要素。相反，当提及某种构成要素“直接连接”或“直接接入”到其他构成要素时，可理解为中间不存在另外的构成要素。
[0043]
本技术中使用的术语仅用于说明特定的实施例，并不是用于限定本发明的意图。单数的表达包括多数的表达，除非上下文有明显不同的意思。在本技术中，“包括”或“具有”等术语应理解为要指定说明书中记载的特征、数字、步骤、动作、构成要素、部件或它们组合的存在，不是事先排除一个或一个以上的其他特征或数字、步骤、动作、构成要素、部件或它们组合的存在或者附加可能性。
[0044]
除非另有定义，否则包括技术的或科学的术语在内，在这里使用的所有术语都与在本发明所属的技术领域中具有一般知识的人通常所理解的含义具有相同的意义。通常使用的词典中定义的那些术语，应解释为具有与在相关技术的上下文中所具有的含义一致的意义，除非在本技术中明确定义，否则不能解释为理想的或过于形式上的意思。
[0045]
以下，将参照附图对本发明的优选实施例进行明确且详细的说明，以便在本发明所属的技术领域中具有一般知识的人能够轻易地实施本发明。
[0046]
首先，要对可使用根据本发明的实施例的基于多模态接口的触觉装置的扩展现实
系统进行说明。
[0047]
图1概略示出了用于扩展现实系统的扩展现实机器的nui/nux格式(nfxm，nui/nux format for xr machine)。
[0048]
参照图1，nfxm通过语音识别、手势识别、空间识别、抓握(grasp)识别、动作跟踪、头部跟踪等处理有关人的五感的输入数据，通过音频、视频、触觉等再现人的五感，并向用户提供扩展现实(xr)。
[0049]
例如，通过nfxm收集用户的行动数据可通过以下方法进行。语音识别可利用语音分析算法对通过麦克风输入的用户的语音数据进行处理，手势识别可利用手势算法对通过相机输入的用户的动作进行处理。空间识别可利用相机和空间算法进行分析和处理，抓握识别可利用微机电系统(mems，micro electro mechanical system)和抓握算法进行分析和处理。动作跟踪(motion tracking)可通过动作跟踪算法对通过陀螺传感器收集的数据进行分析和跟踪，头部跟踪(head tracking)可通过陀螺传感器和方位传感器，利用头部跟踪算法对接收的用户头部动作的数据进行处理。
[0050]
通过nfxm再现五感可通过以下方法进行。通过音频再现听觉可通过双扬声器输出的双耳音效(binaural effect)向用户提供具有立体感、空间感的声音，并且通过画面再现视觉可通过头戴式显示器(hmd，head mounted display)和扩展现实(xr)技术提供能够感受到真实感、现实感的画面。触觉可通过触觉设备的物理性的力、震动、压力等的技术，以及客体触觉算法，向用户提供客体的物性、形态、大小等触感。
[0051]
图2及图3示出了可使用根据本发明的实施例的基于多模态接口的触觉装置的扩展现实系统中的协议格式。
[0052]
参考图2和图3，协议格式的形态具有镜像结构(command msb-device count msb-device count lsb-command lsb，device id-packet size-packets-packet size-device id)。镜像结构与两次发送的相同数据是相同的形态，当在计算机和扩展现实(xr)输出装置之间异步通信时，比较从获得传递的数据成对的数据，自行进行数据的有效性检查，从而提供高水平的数据通信稳定性和可靠性。
[0053]
命令(command)示出了有关数据的种类的信息，分配有1字节。i/o示出该数据是输入数据还是输出数据，输入数据时显示为1，输出数据时则显示为0。以下5个位(bit)表示该数据是否包括有关视觉(sight)、听觉(hearing)、触觉(touch)、嗅觉(smell)、味觉(taste)中的某种感觉的再现数据。储备位(reserve bit)是可以根据需要进行使用的备用位。例如，除了五感之外，如果包括与其它感觉相关的再现数据的话，则可使用储备位。
[0054]
命令标志(cmdflag)包括示出再现数据是否再现的信息。根据适用领域，扩展现实(xr)系统有必要限制以安全或安保为目的的扩展现实(xr)输出装置即使接收再现数据也不会再现，或者限制只有特定用户才能再现再现数据。另外，还有必要限制特定用户在其他用户的输出设备中不再现再现数据。例如，扩展现实(xr)系统用于外科手术教育时，教授有必要限制学生穿戴的触觉手套不发生从特定位置脱离的动作。为了实现这一点，命令标志(cmd flag)包括示出再现数据是否再现的信息，扩展现实(xr)输出装置可基于命令标志(cmdflag)来再现或不再现再现数据。
[0055]
设备数(device count)示出了发送/接收数据的装置的数量，分配有1字节。
[0056]
设备id(device id)示出了数据属于哪个扩展现实(xr)输出装置，分配有2字节。
[0057]
数据包尺寸(packet size)示出了数据包的大小，分配有4字节。
[0058]
数据包(packet)包括测量数据或再现数据、限制时间。在输入数据的情况下(即，命令(command)的i/o位为1时)，包括测量装置(例如，麦克风、照相机、mems等)向计算机传送的测量数据；在输出数据的情况下(即，命令(command)的i/o位为0时)，包括输出装置必须再现的再现数据。
[0059]
决定以图4及图5的两个例子来对协议格式进行说明。
[0060]
图4示出了图2及图3的协议格式的一个示例的输入数据格式。参照图4示出了，所显示的输入数据格式是包括与视觉、听觉、触觉相关的测量数据的输入数据(0x90)，从两个装置传送(0x02)，从9轴传感器(0x7001)传送三种测量数据及时间信息，并且从触觉手套(0x1001)传送了一种测量数据及时间信息。
[0061]
图5示出了图2及图3的协议格式的一个示例的输出数据格式。参照图5示出了，所显示的输出数据格式是包括与视觉、听觉、触觉相关的再现数据的输出数据(0x70)，被传送到三个装置(0x03)，是显示器(0x4001)在限制时间内再现与视觉相关的再现数据，头戴式耳机(0x2001)在限制时间内再现与听觉相关的再现数据，触觉手套(0x1001)在限制时间内再现与触觉相关的再现数据的数据。
[0062]
图6是根据本发明的一个实施例的支架型触觉装置的构成图，图7是将根据本发明的一个实施例的支架型触觉装置附着于手套的示例图。
[0063]
参见图6，根据本发明的一个实施例的抓握型触觉装置500包括输入装置501、9轴传感器503、振动器505、动作传感器507、温度再现装置509、通信模块511和电源513。
[0064]
输入装置501从用户获得用户输入的输入。例如，输入装置501可以是附着于抓握型触觉装置500上端的按钮。用户通过按压按钮可以根据目前的扩展现实(xr)内容的内容进行适当的输入。
[0065]
9轴传感器503感知用户的手的动作。例如，9轴传感器503可感知用户的手的旋转角度和位置变化。
[0066]
振动器505向用户传递触觉。振动器505作为一种通过物理或电的方法传递触觉的装置，可以是，例如，振动马达、利用超声波的振动元件或利用电信号的振动元件。振动器505根据扩展现实(xr)内容的内容，可通过振动的强度、模式以及/或者周期的不同，向用户传递触觉。
[0067]
动作传感器507感知用户是否抓握抓握型触觉装置500。动作传感器507可以是根据用户的手指和抓握型触觉装置500之间的距离来感知抓握与否的距离传感器。例如，当利用扩展现实(xr)进行诸如网球培训或烹饪培训等虚拟训练时，如果用户抓握抓握型触觉装置500的话，则动作传感器507对其进行感知，并对用户在虚拟环境中抓握网球拍或烹饪工具进行识别。
[0068]
温度再现装置509向用户传递温度。温度再现装置509可通过发热反应来加热抓握型触觉装置500，并且通过吸热反应冷却抓握型触觉装置500。温度再现装置509可根据扩展现实(xr)内容再现需要的温度。例如，温度再现装置509可以是具有热电效果(thermoelectric effect)的元件，也可以是能够根据扩展现实(xr)处理装置的决定而产生温度的任意元件。
[0069]
通信模块511在抓握型触觉装置500和扩展现实(xr)处理装置之间传送和接收数
据。通信模块511利用无线通信方式，可将输入装置501的用户输入、9轴传感器503的用户的手的动作、传感器507的抓握与否等传送到扩展现实(xr)处理装置，并且从扩展现实(xr)处理装置接收根据扩展现实(xr)内容的触觉数据。扩展现实(xr)处理装置可根据从抓握型触觉装置500接收的用户输入、手的动作、抓握与否来处理扩展现实(xr)内容，并生成传递给用户的触觉数据，传送至抓握型触觉装置500。
[0070]
电源513供给电力至抓握型触觉装置500。电源513可以是电池和身体能量收集装置中的至少一个。身体能量收集装置作为利用通过用户的动作产生的温度差或位置差而生成能量的装置，利用身体能量收集装置即使在没有电池的情况下，抓握式触觉装置500也可启动。
[0071]
参照图7，抓握型触觉装置500制作成圆柱形态，并可以以附着于手套的形态使用。用户可穿戴附着有抓握型触觉装置500的手套，并且可根据扩展现实(xr)内容，通过输入装置501输入用户输入或感受抓握型触觉装置500传递的触觉。问题在于，就以往的手握形态的装置而言，用户必须一直用手握住控制器，但根据本发明的一个实施例的抓握型触觉装置500以附着于手套的形式来使用，因此用户不需要一直抓握抓握型触觉装置500，只要在必要的瞬间抓握即可，因此用户不会感到不便，从而可提高用户体验感(ux)。
[0072]
另一方面，与图6中的动作传感器507包括在抓握型触觉装置500不同，可通过在图7的手套附着多个传感器来感知用户的手形态(例如：手指全部伸直的状态、弯曲手指抓握抓握型触觉装置500的状态等)。
[0073]
图8是根据本发明的一个实施例的鞋垫型触觉装置的构成图，图9示出了在鞋垫型触觉装置中压力传感器的示例性的配置。
[0074]
参照图8，根据本发明的一个实施例的鞋垫型触觉装置600包括输入装置601、9轴传感器603、振动器605、压力传感器607、温度/湿度传感器609、温度再现装置611、压力再现装置613、通信模块615、电源617。决定省略对鞋垫型触觉装置600中与抓握型触觉装置500的对应的结构以相同形式动作的结构的说明。
[0075]
9轴传感器603感知用户的脚的动作。例如，鞋垫型触觉装置600可包括分别位于鞋垫的前部分和后部分的两个9轴传感器603，并且可利用该传感器来感知用户的脚的位置、移动的方向。
[0076]
振动器605传递触觉到用户的脚底。振动器605作为一种通过物理或电的方法传递触觉的装置，可以是，例如，振动马达、利用超声波的振动元件或利用电信号的振动元件。振动器605可以是包括多个振动元件的振动矩阵。振动器605根据扩展现实(xr)内容的内容，可通过振动的强度、模式、位置以及/或者周期的不同，向用户传递触觉。用户可通过从振动器605传递的触觉体验地面的材质、晃动、倾斜等。
[0077]
压力传感器607对施加给用户的脚底的压力进行感知。如图9所示，鞋垫型触觉装置600可包括整体配置在鞋垫的多个压力传感器607。利用压力传感器607感知的压力及9轴传感器603感知的脚的动作可以感知用户的脚移动的方向、脚的位置。鞋垫型触觉装置600利用压力传感器607测量的各位置压力，将加压用媒介注入压力再现装置613，以适合用户的脚形态，从而可提供用户舒适的步行、减少疲劳及矫正姿势等的效果。关于用户均衡度的改善，将参照图10进行后述。
[0078]
温度/湿度传感器609对鞋子内部的温度和湿度进行测量。鞋垫型触觉装置600利
用温度/湿度传感器609测量的温度和湿度信息，可确认用户的脚的状态，并且当温度或湿度高时，可向用户发送脱鞋休息的警告信号。
[0079]
温度再现装置611向用户传递温度。温度再现装置611可通过发热反应加热鞋垫型触觉装置600，通过吸热反应冷却鞋垫型触觉装置600。温度再现装置611可根据扩展现实(xr)内容再现需要的温度，也可根据温度/湿度传感器609测量的鞋子内部的温度再现需要的温度。例如，温度再现装置509可以是具有热电效果(thermoelectric effect)的元件，也可以是能够根据扩展现实(xr)处理装置的决定而产生温度的任意元件。
[0080]
压力再现装置613通过注入加压用媒介，将压力传递到用户的脚底。当加压用媒介注入压力再现装置613时，施加压力到用户的脚底的物质可以是气体(例如：空气)或液体(例如：水和油)。压力再现装置613可以以一体的形式构成，也可以以矩阵形态构成，并根据用户的压力均衡度决定注入加压用媒介的位置。
[0081]
电源617供给电力至鞋垫型触觉装置600。电源617可以是电池、热电收集装置和压电收集装置中的至少一个。热电收集装置是根据鞋内产生的温度而生成能量的装置，压电收集装置是根据由用户的脚施加的压力而生成能量的装置。利用热电收集装置和压电收集装置即使没有电池的情况，鞋垫型触觉装置600也可启动。
[0082]
图10是根据本发明的一个实施例的鞋垫型触觉装置利用压力信息来改善用户的均衡度的方法的顺序图。
[0083]
参照图10，在步骤s701中，对用户的脚底各位置的压力进行感知。如上所述，鞋垫型触觉装置600可利用整体配置于鞋垫的多个压力传感器607来感知用户的脚底各位置的压力。
[0084]
在步骤s703中，将感知的各位置压力信息图表化。这里的图表可以是三维图像的形态。此时，根据时间划分各位置的压力信息并进行图表化，从而用户可在站立或行走时用图表确认脚底的压力变化。
[0085]
在步骤s705中，利用步骤s703的图表来计算用户的脚的压力均衡度。压力均衡度示出了是否按用户的脚的位置施加适当的压力，利用压力均衡度可确认用户站立的姿势是否正确或用户的步伐是否保持均衡。此时，如果在步骤s703中根据时间划分压力信息并进行图表化，则可根据用户的动作(例如：站立、行走等)确认用户是否保持均衡。
[0086]
在步骤s707中，利用用户的医疗信息来判断是否将加压用媒介注入压力再现装置613。在这里，用户的医疗信息可以是用户的脚的形态(例如：正常脚、平脚、弓形脚等)、步幅、步行姿势等。用户的医疗信息可通过对步骤s701中感知的各位置压力信息进行分析来获得。在步骤s707中，如果判断需要注入加压用媒介，则可同时决定注入加压用媒介的位置和注入量，以改善用户的均衡度。
[0087]
在步骤s709中，根据步骤s707中的判断结果，将加压用媒介注入压力再现装置613，并且在步骤s711中，在注入加压用媒介后确认用户的均衡度是否得到改善。在注入加压用媒介后，如果均衡度没有改善，则可以返回步骤s701，在注入加压用媒介的状态下，重新感知脚底各位置的压力，并重复以下的步骤。
[0088]
虽然在上面参照附图和实施例进行了说明，但并不意味着本发明的保护范围限于上述附图或实施例，可以理解为相关技术领域熟练的工作人员在不脱离权利要求书中记载的本发明思想和领域的范围内，可对本发明进行多种修改和变更。