一种基于振动的假肢手力位信息反馈系统及方法与流程

1.本发明涉及人机交互技术领域，更具体地，涉及一种基于振动的假肢手力位信息反馈方法及系统。


背景技术：

2.各类自然灾害以及事故造成截肢者的数量不断攀升，多功能智能假肢是帮助他们恢复运动功能的主要途径。目前的肌电智能假肢能够完成抓握，旋转等基本手部动作。在临床使用中，截肢用户主要依靠眼睛的视觉反馈以及假肢手的空间位置信息来判断假肢手和物体之间的接触情况。但是视觉反馈方法主观性较强，无法准确地反馈假肢手抓握力度大小，而且当截肢者不能看到假肢的状况，就会失去对假肢姿态的掌握，严重影响假肢手的操控安全。
3.在现有技术中，专利申请cn201810474955.9提出了一种振动反馈与力反馈结合人机交互手指、手套及方法，其设计基于连杆结构的数据手套，通过振动电机产生振动实现对物体触碰信息的反馈，通过牵引绳控制对应关节的收缩实现抓握力的反馈，该方法仅适用于手部健全者，并不适合于失去手臂的截肢者使用。
4.专利申请cn201911352173.9提出了一种传递感觉的可穿戴设备，通过薄膜压力传感器、半导体温度传感器感受外界环境变化，将其转换为压力和温度控制信号，控制步进电机带动滑块上下滑动，在皮肤表面产生压感，通过pct加热模块产生温感。这种通过步进电机带动滑块上下滑动在皮肤表面产生压感的方法，容易对皮肤产生压痕，造成皮肤或肌肉组织损伤。
5.专利申请cn202011434904.7提出一种多模态信息引导环境感知的肌电假肢系统及环境感知方法，包括多模态感知能力的假肢手、阵列肌电传感模块、穿戴式摄像模块、穿戴式力触觉反馈装置、语音交互模块和数据处理器，能够实现假肢接近觉、温度觉和力触觉信息的感知。专利申请cn201810220841.1提出了一种用于假肢手控制与感知的双向残肢接口系统，既实现对多自由灵巧假肢的直观控制，又能感知假肢的抓取信息，利用振动或电刺激的方式产生触、压、滑感觉。
6.针对上述现有技术，基于数据手套、触控屏、键盘或者鼠标等外部设备获取人体运动感觉信息，再以视觉、电刺激以及振动等形式反馈给用户的方法大多用于肢体健全者，但不适合失去手臂的截肢者使用。现有的基于振动的触觉反馈系统和方法，都是在假肢手指腹位置放置压力传感器，实现抓握物体时的触觉反馈，无法实现假肢手指指背或手掌边缘触碰物体检测和提示。尤其是现有方法均没有对假肢腕旋角度的感知和反馈功能，而在实际使用中，用户对腕旋状态的感知对假肢手的操控性能尤为重要。


技术实现要素：

7.本发明的目的是克服上述现有技术的缺陷，提供一种基于振动的假肢手力位信息反馈方法及系统，是通过电机振动形式反馈假肢手动作姿态或与物体交互信息的新技术方
案。
8.根据本发明的第一方面，提供一种基于振动的假肢手力位信息反馈系统。该系统包括感知模块、处理模块和反馈模块，其中：
9.所述感知模块被配置获取腕旋状态传感器所感知的腕部旋转角度信息以及触觉传感器所感知的假肢手接触力信息，并将所感知信息传递给所述处理模块；
10.所述处理模块被配置为根据接收到的感知信息计算腕旋角度、接触力强度和接触力位置，并根据设定的触觉传感器和振动电机之间的对应关系，以及腕旋状态传感器和振动电机之间的对应关系控制所述反馈模块；
11.所述反馈模块响应于所述处理模块的控制，启动对应的振动电机，以振动方式向用户反馈假肢手接触位置、接触力度和腕旋角度，其中，反馈阵列中电机振动的位置表示假肢手的接触位置信息和旋转角度信息，反馈阵列中电机振动的强度表示假肢手与物体之间的接触力度。
12.根据本发明的第二方面，提供一种基于振动的假肢手力位信息反馈方法。该方法包括以下步骤：
13.获取腕旋状态传感器所感知的腕部旋转角度信息以及触觉传感器所感知的假肢手接触力信息；
14.根据所获取的感知信息计算腕旋角度、接触力强度和接触力位置，并根据设定的触觉传感器和振动电机之间的对应关系，以及腕旋状态传感器和振动电机之间的对应关系控制相应振动电机；
15.基于振动电机的振动方式，利用反馈阵列向用户反馈假肢手接触位置、接触力度和腕旋角度，其中，反馈阵列中电机振动的位置表示假肢手的接触位置信息和旋转角度信息，反馈阵列中电机振动的强度表示假肢手与物体之间的接触力度。
16.与现有技术相比，本发明的优点在于，通过在假肢手和截肢者残肢表面分别放置触觉传感器和振动电机，利用振动方式将假肢手接触力、接触位置以及腕部旋转角度等信息反馈给用户。反馈阵列中电机振动的位置表示义肢位置假肢手的位置信息，包括接触位置和旋转角度信息。反馈阵列中电机振动的强度表示假肢手与物体之间的接触力度。利用本发明可以增强假肢手的人机交互性能，提升了假肢使用的安全性和可靠性。
17.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
18.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
19.图1是根据本发明一个实施例的基于振动的假肢手力位信息反馈系统框图；
20.图2是根据本发明一个实施例的角度传感器示意图；
21.图3是根据本发明一个实施例的压力传感器位置示意图；
22.图4是根据本发明一个实施例的振动电机位置示意图；
23.图5是根据本发明一个实施例的各压力传感器与振动电机的对应关系示意图；
24.图6是根据本发明一个实施例的腕旋位置与振动电机对应关系俯视图。
具体实施方式
25.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
26.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
27.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
28.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
29.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
30.本发明通过在假肢手和截肢者残肢表面分别放置触觉传感器和振动电机，采集物体抓握过程中触觉传感器的压力信号，并将其映射到残肢表面相应位置的振动电机，实现假肢手接触力度和接触位置的实时反馈，电机振动越强表示接触力度越大；此外，通过在假肢手腕关节放置角度传感器，采集假肢手腕部旋转过程中的角度信息，并将其映射到残肢表面相应位置的振动电机，实现假肢手旋转角度的实时反馈。
31.具体地，参见图1所示，所提供的基于振动的假肢手力位信息反馈系统包括感知模块、处理模块和反馈模块。
32.在一个实施例中，感知模块包括角度传感器、触觉传感器和模数转换器，其中，角度传感器是假肢腕旋状态传感器的示例，压力传感器是假肢触觉传感器的示例。
33.如图2所示，角度传感器是一个带有d型孔转盘的电位器，电位器套在假肢腕部的旋转轴上，当受试者控制假肢手腕旋转时，角度传感器中间转盘跟随着旋转改变自身在检测电路中的分压，从而能够根据分压信息感知腕旋角度。应理解的是，也可采用其他类型的传感器作为腕旋状态传感器，例如，位移传感器等。
34.如图3所示，压力传感器(或称假肢触觉传感器)包括分布在假肢手不同部位的多个薄膜压力传感器，例如，将压力传感器分别设置在假肢的拇指指背，标记为100、小指下侧(或称小指指腹)200、手掌下边缘300、中指指腹400、拇指指腹500、手背600和中指指背700。当假肢触碰到物体时，相应部位的压力传感器在的检测电路中的分压改变、模数转换器将假肢腕旋角度传感器和假肢触觉传感器的分压转换为数字信号发送给处理模块。在该实施例中，除了在手指的指腹位置放置压力传感器外，还在假肢手的指背、手背、手掌边缘位置放置压力传感器。
35.在上述实施例中，感知模块除了实现假肢手接触位置、接触力度的感觉反馈外，还通过增加假肢腕旋状态传感器实现假肢手的旋转角度反馈，从而提高了假肢手操控的安全性。经反复验证，这种设置能够实现假肢手多方位触碰感知，感知日常生活中常用的动作，如手指伸屈、手腕伸屈、手腕内外旋转等。
36.在一个实施例中，处理模块包括微处理器及其搭载的假肢状态反馈程序，例如进一步划分为假肢状态感知、假肢触觉感知、假肢状态反馈和假肢触觉反馈等功能单元。微处理器分别与感知模块和反馈模块相连。假肢状态反馈程序分别实现假肢姿态感知及反馈、
假肢触觉感知及反馈。
37.具体地，假肢姿态感知和假肢状态反馈的作用是处理模数转换器所发送的电压信号，计算出对应的腕旋角度，然后控制反馈模块的通道选择器启动对应位置的振动电机。假肢触觉感知和假肢触觉反馈的作用是根据模数转换器所发送的电压信号计算各个压力传感器的受力值，选通被触碰到的压力传感器对应的振动电机并调节电机振动强度的大小。
38.在一个实施例中，反馈模块包括强度调节器、通道选通器、触觉反馈振动电机和假肢姿态反馈电机阵列。强度调节器是一个可以调节电流强度的电机驱动电路。微控制器根据压力传感器上的电压值计算出传感器收到的力的大小，从而判断触觉反馈电机需要多大的振动反馈强度，然后通过设置强度调节器输出电流的大小改变电机振动强度。通道选择器例如是多通道的模拟开关，与电机驱动电路和各个电机连接。在默认状态下，通道选择器内部连接全部断开。在微控制器检测到一定的假肢姿态或假肢上的压力传感器受触碰的情况下，微控制器判断需要哪个电机工作，并发送控制信号给通道选择器。通道选择器将相应电机连接上电机驱动电路。例如，振动电机阵列包括多个振动电机和固定带。固定带柔软可拉伸，在一个实施例中，假肢压力传感器的方位分布着凹槽。振动电机被固定在凹槽内。振动电机的方位分布如图4所示，共设置11个振动电机，其中，分别是在截肢者小臂的截面1个(标记为1)，小臂的前端内侧2个呈前后分布(标记为2和3)、上侧1个(标记为4)、下侧1个(标记为5)、外侧1个(标记为6)，小臂的后端外侧1个(标记为7)、外侧偏上1个(标记为8)、内侧1个(标记为9)、内侧偏上1个(标记为10)、上侧1个(标记为11)。
39.在上述实施例中，反馈模块主要通过振动向用户反馈假肢的触觉和旋转位置状态，为进一步理解本发明，以下具体介绍反馈系统的工作方式。
40.参见图5所示，对于假肢手的触觉反馈，在假肢手手部放置压力传感器，在截肢手臂的前端放置相同数量的振动电机。当假肢手接触物体时，压力传感器会根据接触力的大小产生相应的压力信号，通过将压力传感器的位置和压力信号的强度与振动电机的位置和振动强度进行对应，实现假肢手触觉信息的反馈。压力传感器与手臂上振动电机的对应位置如图5所示，中指的指腹位置的压力传感器对应小臂前内侧靠前位置的振动电机，大拇指指腹位置的压力传感器对应小臂前内侧靠后位置的振动电机，用于检测假肢手抓握物体力度；小指指腹和手掌下缘位置的压力传感器对应小臂前下侧位置的振动电机，大拇指指背位置的压力传感器对应小臂前上侧位置的振动电机，手背位置的压力传感器对应小臂前外侧位置的振动电机，中指的指背位置的1个压力传感器对应小臂前截面位置的振动电机，用于检测假肢手触碰情况。
41.参见图6所示，对于假肢手的腕旋姿态反馈，围绕截肢手臂前端靠近肘关节位置均匀放置一圈振动电机，当假肢手腕部旋转时，安装在腕关节中的关节角度计将实时输出腕部的旋转角度，根据旋转角度选择相应位置的振动电机进行反馈。振动电机的放置位置根据假肢手旋转过程中大拇指与前臂相对位置而定。
42.在一个实施例中，腕旋的电机根据所对应的腕旋角度分为两种，分别是三个对应确定腕旋角度的电机和两个对应过渡角度的电机。在以下描述中，手臂状态均为向前平伸状态。仍结合图6所示，当手掌水平朝上时，拇指对应的方位是前臂外侧中线，因此对应手掌朝上这一确定的腕旋角度的振动电机在前臂靠近肘部的外侧中线处，同理，对应手掌水平朝下这一确定腕旋角度的振动电机在前臂靠近肘部的内侧中线处，对应手掌竖直这一确定
腕旋角度的振动电机在前臂靠近肘部的正上方处。此外，在对应手掌竖直的振动电机和手掌水平朝上及水平朝下的电机之间还分别设有1个振动电机。这两个振动电机没有对应确定的腕旋角度，分别反映在手掌处于竖直和手掌水平朝上之间或竖直和水平朝下之间的状态。在手掌没有达到水平朝上、水平朝下或竖直状态时，两个电机中对应着拇指大致位置的那个电机会轻微震动，以提醒用户假肢手大致的旋转角度，而当用户旋转假肢至相应位置之后，手臂上对应位置的振动电机开始较强振动，以提醒用户假肢旋转达到了确定位置。综上，所提供的假肢状态反馈系统，通过传感器检测假肢的动作状态，并通过反馈阵列将假肢状态实时地反馈给佩戴者，帮助残疾人无需通过视觉信息就能够掌握所佩戴假肢的动作状态。
43.相应地，本发明还提供一种基于振动的假肢手力位信息反馈方法。该方法包括以下步骤：获取腕旋状态传感器所感知的腕部旋转角度信息以及触觉传感器所感知的假肢手接触力信息；根据所获取的感知信息计算腕旋角度、接触力强度和接触力位置，并根据设定的触觉传感器和振动电机之间的对应关系，以及腕旋状态传感器和振动电机之间的对应关系控制相应振动电机；基于振动电机的振动方式，利用反馈阵列向用户反馈假肢手接触位置、接触力度和腕旋角度，其中，反馈阵列中电机振动的位置表示假肢手的接触位置信息和旋转角度信息，反馈阵列中电机振动的强度表示假肢手与物体之间的接触力度。
44.需要说明的是，在不违背本发明精神和范围的前提下，本领域技术人员可对上述实施例进行适当的改变或变型。例如，振动电机数量、电机型号可根据需要改变。压力传感器和振动电机的位置以及强度对应关系可以和用户进行约定后修改，以用户最容易理解和记忆的方式实现假肢手接触力度、触碰位置的反馈。假肢手腕部旋转角度和振动电机的位置对应关系可以和用户进行约定后修改，以用户最容易理解和记忆的方式实现假肢手腕旋状态的反馈。此外，本发明的反馈系统除了用于假肢控制外，也可以用于其他人机交互应用。
45.综上所述，本发明提出的基于振动的假肢手力位信息反馈系统及方法，增强了假肢手的人机交互性能，提高了假肢使用的安全性和可靠性。通过在假肢手和截肢者残肢表面分别放置压力传感器和振动电机，利用振动方式将假肢手接触力、接触位置以及腕部旋转角度等信息反馈给用户。与现有技术相比，本发明能够实现假肢手多方位触碰感知，更重要的是能够将假肢腕旋的角度信息反馈给用户，提高了用户对假肢的操控能力。经验证，利用本发明，用户能够准确感知假肢手与物体间的接触情况，并且能够判断假肢手的旋转位置。
46.本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
47.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd
‑
rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可
读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
48.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
49.用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c 、python等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
50.这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
51.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
52.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
53.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也
可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
54.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。