基于视触觉传感器的可穿戴式设备及运动意图识别方法

摘要: 本发明涉及人机交互,尤其涉及基于视触觉传感器的可穿戴式设备及运动意图识别方法。背景技术:1、可穿戴式设备已广泛应用于各类人机交互场景。在日常生活中,常见的可穿戴...
基于视触觉传感器的可穿戴式设备及运动意图识别方法

本发明涉及人机交互,尤其涉及基于视触觉传感器的可穿戴式设备及运动意图识别方法。

背景技术:

1、可穿戴式设备已广泛应用于各类人机交互场景。在日常生活中,常见的可穿戴式设备包括智能手环、智能手表等;在专业领域中,可穿戴式设备还广泛应用于穿戴式机器人、外骨骼、假肢、外肢体、康复训练设备、虚拟现实交互设备以及无人机手势控制设备等场景。对于上述设备而言,如何准确、稳定、低延迟地获取穿戴者的运动意图,是实现自然人机交互和高效协同控制的关键问题。

2、当前,可穿戴式设备对人体运动意图的感知主要依赖两类信号:一类是生物生理信号,例如表面肌电信号;另一类是物理运动信号,例如加速度计、陀螺仪、角度传感器等。为了基于上述信号实现运动意图感知,现有技术中通常需要设计机器学习算法、模式识别算法或深度神经网络模型,对采集信号进行分类、回归或状态预测。

3、表面肌电信号通常被认为是与人体运动意图强相关的信号。由于肌肉电活动一般早于可观测肢体运动出现,因此表面肌电信号具有用于提前识别运动意图的潜力。然而,表面肌电信号容易受到皮肤表面状态、汗液、毛发、皮肤电极阻抗、传感器安装位置、电极贴合状态以及外部电磁噪声等因素影响。在长期穿戴、剧烈运动或实际应用环境中,表面肌电信号容易出现漂移、失真或信噪比下降,从而影响运动意图识别的准确性和稳定性。加速度计与陀螺仪等惯性传感器相较于表面肌电传感器具有安装方便、信号稳定、成本较低等优点,因此也被广泛用于人体运动识别。现有方法通常基于滑动时间窗口提取时域、频域或统计特征,并利用分类算法对步态、姿态或手势进行识别。然而,为了获得足够稳定的运动特征,该类方法往往需要较长时间窗口,容易带来意图感知延迟。部分方法采用阈值分割或状态机实现简单动作识别,但其适用动作类型有限,且在复杂运动、连续动作切换和个体差异较大的情况下鲁棒性不足。此外,若进一步使用速度、位置等由加速度积分得到的变量,还可能受到累计误差和数值漂移的影响。

4、为克服表面肌电信号易受皮肤状态和电磁环境影响、惯性传感信号存在响应滞后和漂移等问题,近年来力敏肌电,即 force myography,fmg,作为一种用于表征肌肉活动状态的测量方法得到发展。fmg并不直接测量肌肉产生的电信号,而是通过布置于人体表面的压力、应变或力敏传感单元,检测肌肉收缩、肌腱滑移、软组织形变以及肢体表面轮廓变化所引起的接触压力变化。由于肌肉收缩引起的形变与人体运动意图、关节运动趋势、手势状态及肌肉发力水平密切相关,因此fmg可用于穿戴式设备中的运动意图感知。同时,fmg 主要依赖机械形变和接触压力变化,不需要导电电极与皮肤形成稳定电接触,因而相较于表面肌电信号对汗液、皮肤阻抗变化和轻微电磁干扰具有更好的适应性;相较于惯性传感器,fmg 能够在肢体发生明显运动之前反映肌肉收缩趋势,具有降低意图识别延迟的潜力。

5、然而,常规 fmg 方案仍存在一定局限。现有 fmg 设备多采用离散式压力传感器、应变片、气压囊或力敏电阻阵列实现肌肉形变测量,其采集结果通常表现为单点或少量通道的压力幅值变化,空间分辨率有限,难以获得连续的肌肉表面形变分布。同时,部分柔性压力传感器存在迟滞、蠕变、温漂、长期佩戴漂移以及个体标定复杂等问题,影响其在长期穿戴和跨用户场景下的稳定性。此外,传统 fmg 难以同时表征肌肉形变的空间位置、方向、形变梯度以及多肌群之间的协同变化,因此在复杂姿态、连续动作切换和精细意图识别场景下,仍存在信息维度不足和鲁棒性不足的问题。

6、因此,现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供基于视触觉传感器的可穿戴式设备及运动意图识别方法,旨在解决现有技术中表面肌电信号易受皮肤状态和电磁干扰、惯性传感器存在响应滞后和积分漂移、以及传统力敏肌电传感空间分辨率低且信息维度不足,导致在长期佩戴和复杂运动场景下运动意图感知稳定性差、响应延迟的问题。

2、本发明实施例第一方面提供一种基于视触觉传感器的可穿戴式设备,所述基于视触觉传感器的可穿戴式设备包括如下步骤:

3、佩戴结构,所述佩戴结构被配置为环绕穿戴于人体肢体上并具有朝向人体肢体的内侧;

4、多个视触觉传感单元,多个所述视触觉传感单元沿所述佩戴结构的周向间隔布置,各所述视触觉传感单元的感知端均朝向所述内侧设置,以分别对应肢体周向的不同肌肉区域;

5、各所述视触觉传感单元均包括遮光壳体、设置于所述遮光壳体靠近所述内侧的开口处的柔性触觉介质、设置于所述柔性触觉介质表面或内部的标记层、设置于所述遮光壳体内部的光源以及设置于所述遮光壳体内部并朝向所述柔性触觉介质的光学成像单元;

6、所述柔性触觉介质包括由外至内依次层叠连接的遮光硅胶层、半透明硅胶层和透明硅胶层,所述遮光硅胶层用于贴合人体皮肤外表面,以阻断外界环境光并传递肌肉形变,所述柔性触觉介质用于在人体肌肉收缩产生的挤压或拉伸作用下发生局部形变,以改变所述标记层的空间位姿及所述光源在所述柔性触觉介质内部的光学反射路径,所述光学成像单元用于采集所述柔性触觉介质发生形变前后的触觉图像;

7、处理模块,所述处理模块设置于所述佩戴结构上并与各所述光学成像单元通信连接;

8、所述处理模块用于获取各所述光学成像单元在肌肉基准状态下采集的参考图像以及在肌肉形变状态下采集的实时图像,并根据各所述光学成像单元对应的所述实时图像与所述参考图像的亮度差异,生成各所述视触觉传感单元对应的用于表征肌肉隆起区域的暗区差分图和用于表征肌肉静息区域的亮区差分图;

9、所述处理模块还用于根据各所述视触觉传感单元对应的所述暗区差分图,通过预存的亮度深度映射表重建各所述视触觉传感单元对应肌肉形变区域的三维点云,并将各所述视触觉传感单元对应的所述暗区差分图、所述亮区差分图和所述参考图像输入深度神经网络回归得到各所述视触觉传感单元对应的六维接触力学特征;

10、所述处理模块还用于追踪各所述视触觉传感单元中所述标记层内标记点的位移变化,以生成各所述视触觉传感单元对应的表征肌肉剪切形变或滑移的光流特征;

11、所述处理模块还用于将多个所述视触觉传感单元各自对应的所述三维点云、所述六维接触力学特征和所述光流特征进行空间融合,以生成所述肢体周向的肌肉形变场,并根据所述肌肉形变场估计穿戴者的运动意图。

12、可选地,在本发明的一个实施例中,所述佩戴结构包括环形支撑主体和设置于所述环形支撑主体内侧的柔性贴合层,所述环形支撑主体为闭合环形结构、半闭合环形结构或可开合结构,所述柔性贴合层用于贴合人体皮肤外表面,以提高所述视触觉传感单元与人体肌肉区域之间的贴合稳定性。

13、可选地,在本发明的一个实施例中,多个所述视触觉传感单元沿所述佩戴结构的周向均匀间隔布置,且各所述视触觉传感单元分别通过卡扣连接、插拔连接、滑槽连接、磁吸连接或螺钉连接方式可拆卸地安装于所述佩戴结构上,各所述视触觉传感单元在所述佩戴结构上的周向位置可调,以适配不同目标肌群的位置分布。

14、可选地,在本发明的一个实施例中,所述处理模块还用于获取连续多个时刻的所述肌肉形变场,并根据所述肌肉形变场构建时序特征序列,所述时序特征序列表示为:

15、;

16、其中,表示用于运动意图估计的时序特征输入,表示时刻的肌肉形变场,表示时刻的肌肉形变场,表示时刻的所述肌肉形变场,表示预设时间窗口长度;

17、所述处理模块还用于根据所述时序特征序列估计穿戴者的运动意图,所述运动意图包括当前动作状态、连续运动状态或未来预设时间内的预测运动趋势。

18、可选地,在本发明的一个实施例中,所述佩戴结构的外侧设置有电子模块安装区域,所述处理模块安装于所述电子模块安装区域内;

19、所述可穿戴式设备还包括无线通信模块,所述无线通信模块设置于所述电子模块安装区域内并与所述处理模块通信连接,所述无线通信模块用于将所述处理模块生成的所述运动意图以无线方式输出至外部目标执行系统;

20、所述外部目标执行系统包括外骨骼机器人、假肢、外肢体、康复训练设备、虚拟现实交互设备或无人机控制系统。

21、本发明实施例第二方面还提供一种基于上述方案中任一项所述基于视触觉传感器的可穿戴式设备的运动意图识别方法,所述运动意图识别方法包括:

22、所述处理模块获取各所述光学成像单元在肌肉基准状态下采集的参考图像以及在肌肉形变状态下采集的实时图像,并根据各所述光学成像单元对应的所述实时图像与所述参考图像的亮度差异,生成用于表征肌肉隆起区域的暗区差分图和用于表征肌肉静息区域的亮区差分图;

23、所述处理模块根据各所述光学成像单元对应的所述暗区差分图,通过预存的亮度深度映射表重建对应肌肉形变区域的三维点云,并将各所述光学成像单元对应的所述暗区差分图、所述亮区差分图和所述参考图像输入深度神经网络回归得到各所述光学成像单元对应的六维接触力学特征;

24、所述处理模块追踪各所述光学成像单元中所述标记层内标记点的位移变化,以生成各所述光学成像单元对应的表征肌肉剪切形变或滑移的光流特征;

25、所述处理模块将多个所述视触觉传感单元各自对应的所述三维点云、所述六维接触力学特征和所述光流特征进行空间融合,以生成所述肢体周向的肌肉形变场,并根据所述肌肉形变场估计穿戴者的运动意图。

26、可选地,在本发明的一个实施例中,所述根据各所述光学成像单元对应的所述实时图像与所述参考图像的亮度差异,生成用于表征肌肉隆起区域的暗区差分图和用于表征肌肉静息区域的亮区差分图,具体包括:

27、将各所述光学成像单元对应的所述参考图像减去对应的所述实时图像,得到各所述视触觉传感单元对应的所述暗区差分图,其中,所述暗区差分图用于表征因肌肉隆起导致柔性触觉介质局部膨胀引起的图像亮度降低区域;

28、将各所述光学成像单元对应的所述实时图像减去对应的所述参考图像,得到各所述视触觉传感单元对应的所述亮区差分图,其中,所述亮区差分图用于表征因肌肉静息导致柔性触觉介质局部凹陷引起的图像亮度增强区域。

29、可选地,在本发明的一个实施例中,所述六维接触力学特征包括法向力、切向力和力矩;

30、所述根据各所述光学成像单元对应的所述暗区差分图,通过预存的亮度深度映射表重建对应肌肉形变区域的三维点云,并将各所述光学成像单元对应的所述暗区差分图、所述亮区差分图和所述参考图像输入深度神经网络回归得到各所述光学成像单元对应的六维接触力学特征,具体包括:

31、根据各所述视触觉传感单元对应的所述暗区差分图中各像素位置的亮度值,通过预存的亮度深度映射表查询各像素位置处的相对深度值,得到对应肌肉形变区域的深度图;

32、将各所述深度图中各像素位置的二维坐标与所述相对深度值组合,生成各所述视触觉传感单元对应的三维点云;

33、将各所述视触觉传感单元对应的所述暗区差分图、所述亮区差分图和所述参考图像拼接为三通道拼接张量,并将所述三通道拼接张量输入至预先训练好的深度神经网络,经所述深度神经网络输出各所述视触觉传感单元对应的法向力、切向力和力矩。

34、可选地,在本发明的一个实施例中,所述光流特征为形变中心运动速度;

35、所述追踪各所述视触觉传感单元中所述标记层内标记点的位移变化,以生成各所述视触觉传感单元对应的表征肌肉剪切形变或滑移的光流特征,具体包括:

36、获取各所述视触觉传感单元对应的所述暗区差分图中各像素位置的亮度值,并根据各像素位置的亮度值计算各所述视触觉传感单元对应的形变中心位置;

37、获取各所述视触觉传感单元对应的所述形变中心位置在预设时间间隔内的位置变化量,并根据所述位置变化量与所述预设时间间隔的比值,生成各所述视触觉传感单元对应的形变中心运动速度。

38、可选地,在本发明的一个实施例中,所述肌肉形变场包括形变深度分布、力学分布和剪切形变分布;

39、所述将多个所述视触觉传感单元各自对应的所述三维点云、所述六维接触力学特征和所述光流特征进行空间融合,以生成所述肢体周向的肌肉形变场,具体包括:

40、获取各所述视触觉传感单元在所述佩戴结构上的周向位置;

41、根据各所述视触觉传感单元的所述周向位置,将各所述视触觉传感单元对应的所述三维点云映射至肢体周向截面的对应角度位置,并将映射后各角度位置的所述三维点云按周向顺序拼接,生成所述肢体周向各角度位置的形变深度分布;

42、根据各所述视触觉传感单元的所述周向位置,将各所述视触觉传感单元对应的所述六维接触力学特征和所述光流特征分别映射至所述肢体周向截面的对应角度位置,并将映射后各角度位置的所述六维接触力学特征和所述光流特征按所述周向顺序拼接,生成所述肢体周向各角度位置的力学分布和剪切形变分布。

43、有益效果:本发明提供基于视触觉传感器的可穿戴式设备及运动意图识别方法,本发明通过将具有遮光硅胶层、半透明硅胶层和透明硅胶层依次层叠连接的柔性触觉介质集成于可穿戴环形佩戴结构上,并沿肢体周向间隔布置多个视触觉传感单元,利用肌肉收缩引起的柔性触觉介质局部形变来改变标记层空间位姿及光源的光学反射路径,并经光学成像单元采集形变前后的触觉图像,再通过处理模块对参考图像与实时图像的亮度差异生成暗区差分图和亮区差分图、基于暗区差分图重建三维点云并将差分图与参考图像输入深度神经网络回归得到六维接触力学特征、追踪标记点位移变化生成光流特征,最终将多个传感单元各自对应的三维点云、六维接触力学特征和光流特征进行空间融合生成肢体周向的肌肉形变场并根据该形变场估计运动意图,由此不依赖皮肤电极接触即可稳定感知肌肉活动,能够在肢体关节动作之前捕捉肌肉收缩相关的表面形变以降低意图感知延迟,同时通过高分辨率的图像化触觉感知和周向多传感单元空间融合获取比传统离散式力敏肌电传感和惯性传感更丰富的形变幅值、形变位置、形变方向、多区域协同变化及六维接触力学信息,从而有效提升了长期佩戴和复杂应用环境下人体运动意图感知的稳定性、响应速度、识别准确性。