一种基于相机与肌电信号的假肢手控制系统及方法

1.本发明属于假肢手控制领域，涉及一种机器视觉与肌电信号多模态的控制方法，特别涉及一种基于相机与肌电信号的假肢手控制系统及方法。


背景技术：

2.目前假肢手主流的控制方式是通过采集截肢患者手臂的肌电信号来对假肢手进行控制，从而帮助截肢患者完成对日常生活中的一些常见物品的抓取和简单操作。目前仅仅采用肌电控制的方法虽能无侵入式地提取用户的肌肉信号，但是由于人类前臂肌群叠合，例如指深屈肌肌肉位于前臂的第二层肌群，且肌音信号微弱，存在肌电控制信号质量不佳的问题。
3.此外，目前的假肢手还存在缺少例如触觉等本体状态的反馈的能力。上述肌电控制质量不佳与缺乏反馈能力的两个问题，会进一步加重患者的“认知负荷”，导致“假肢拒绝”现象的发生。
4.中国专利号cn108742957b提出了一种多传感融合的假肢控制方法。该控制方法利用视觉信息进行假肢手抓取模式选择，通过肌电信号进行比例控制，虽然能实现对日常物体的抓握控制，但存在肌电控制信号质量不佳的问题。此外，其反馈性能较差，并未将假肢手的本体状态信息反馈给假肢手用户。从而降低了用户的参与感和支配感。


技术实现要素：

5.为了克服目前主流假肢手存在的肌电控制质量不佳，缺乏反馈能力，以及患者的“认知负荷”的问题，本发明提供了一种基于相机与肌电信号的假肢手控制装置及方法。本发明主要通过以下两类技术手段分别克服患者的“认知负荷”的问题，与假肢手控制反馈质量的问题。即，第一个技术手段是通过头戴式相机对假肢手的动作原语实现自主推理与切换，以降低用户的“认知负荷”；第二个技术手段是通过肌电信号与视觉信号结合，主动修正假肢手控制模型，以提升假肢手控制质量，通过触觉压力云图投影方式，以提升用户的支配感。
6.本发明解决其技术问题所采用的技术方案是：
7.一种基于相机与肌电信号的假肢手控制装置，其特征在于，包括假肢手、cmos图像传感器、显示器、语音识别模块、肌电信号采集模块、控制器；其中假肢手具有触觉感知能力，cmos图像传感器用于获取假肢手环境图像，显示器用于显示假肢手的运动状态和接触力分布，语音识别模块用于语音控制假肢手的复位与急停，肌电信号采集模块用于采集用户残臂的肌电信号，控制器根据假肢手环境图像获得物体信息及手物空间关系，并根据物体信息产生对应的假肢手动作原语组合、根据手物距离实现动作原语的切换以及融合肌电信号实现所述假肢手的比例控制。
8.进一步的，所述控制器主要由四个微处理器组成：两个arduino模块；一个stm32模块；一个jetson模块；其中，两个arduino模块分别用于处理肌电信号与语音信号，并将处理
完成的信息分别通过串口通信反馈至所述stm32模块与所述jetson模块；所述stm32模块用于管理所述假肢手运动时序控制，并将控制时序指令通过蓝牙发送至所述假肢手的mcu上，并采集所述假肢手的触觉信息；所述jetson模块用于将所述cmos图像传感器的视觉信息进行语义分割与卷积计算获得物体信息，并通过hdmi向所述显示屏传输视频信息，所述stm32模块与所述jetson模块通过串口交互数据。
9.进一步的，所述cmos图像传感器优选为头戴式。
10.一种基于相机与肌电信号的假肢手控制方法，该方法包括：通过绑定物体分类与动作原语类型，采用视觉获得的物体信息触发相应的动作原语类型，并引入假肢手与物体的空间系进行动作原语类型的切换；在物品抓取过程中采用具有主动修正控制模型能力的人在环控制器方法、并结合肌电信号实现对假肢手的控制。
11.进一步的，所述方法包括：
12.第一步，针对人手日常的高频抓取动作，根据物品类别的形状差异及人类对不同类别物体的抓取特征，构建动作原语库；
13.第二步，通过所述cmos图像传感器获取工作空间内的物体图像信息，进行语义分割和物体识别，获得物体分类；
14.第三步，根据所获得的物体信息，在动作原语库中选择相应动作原语；
15.第四步，根据物体信息与残肢运动状态，进行动作原语切换。
16.进一步的，在任务开始阶段，初始动作原语为自由原语；
17.在物体识别阶段，在完成目标识别后，根据识别的物体信息所述假肢手形成预手型；倘若目标丢失，则认定为用户放弃抓取，所述假肢手恢复所述自由原语；
18.在抓取准备阶段，所述cmos图像传感器实时返回所述假肢手与物体间的空间关系，当手物空间距离小于阈值，则认定手物接触，进入抓取原语阶段，当手物空间距离大于阈值，则认定手物分离，返回预手型阶段，当用户改变自身视域则恢复初始自由原语；
19.在抓取阶段，所述假肢手由肌电信号与视觉返回的物体信息进行多模态的比例控制，由人在环控制器实现；
20.在抓取完成后，返回预手型阶段或通过语音指令复位。
21.进一步的，所述具有主动修正控制模型能力的人在环控制器方法包括如下：所述控制模型以所识别的物体信息为输入，以假肢手电机控制量为输出，所述控制模型修正优化的目标函数梯度如下：
[0022][0023]
其中，θ为所述控制模型参数，是目标函数需要优化的参数；n表示所述模型训练的轨迹次数；tn为所述假肢手每次抓取物体时采样的次数，p
tn
表示在第n次抓取的第t次采样时的肌电强度数值；表示在所述模型参数θ时，在第n次抓取的第t次采样时所述物体信息为时，采取所述比例控制数值为的概率大小；所述肌电强度数值的获取方法为：采集用户指深屈肌肌肉与指伸肌这对拮抗肌肉的动作电位，经信号放大、包络、均值滤波、带通滤波后，计算出其均方根值，作为肌电信号的肌电强度值；
[0024]
所述控制模型计算得到目标函数梯度后，通过梯度上升法进行所述控制模型
参数θ的更新
[0025][0026]
其中，θ为所述控制模型更新前的参数；θ'为所述控制模型更新后的参数；α是所述控制模型的学习率。
[0027]
进一步的，所述控制模型在缺少用户数据的初期，通过以下方式进行模型训练：将其他用户的所述控制模型结构与参数共享至新用户的所述控制模型内，并通过新用户的少量数据进行迁移学习，加速其收敛；或者，在所述控制模型收敛前切断其比例控制，在实际控制层面将肌电强度数值直接作为所述假肢手控制输入，在所述控制模型层面，将识别的物体信息与肌电强度值作为状态动作对训练所述控制模型，其函数梯度退化为
[0028][0029]
本发明的有益效果是：
[0030]
本发明通过头戴式相机对假肢手的动作原语进行自主推理与切换，以降低用户“认知负荷”，通过肌电信号与视觉信号结合，主动修正假肢手控制模型，以提升假肢手控制质量，通过触觉压力云图投影方式，以提升用户的支配感。有效解决了肌电控制质量不佳以及患者的认知负荷问题。
附图说明
[0031]
图1是本发明中控制装置的通信架构示意图；
[0032]
图2是本发明装置的一种结构使用示意图；
[0033]
图3是本发明中假肢手控制方法的流程示意图；
[0034]
图4是动作原语切换示意图；
[0035]
图5是人在环控制器控制流程示意图；
[0036]
图6是肌电信号处理流程图；
[0037]
图7是控制模型的一种训练方法流程图；
[0038]
图中：1为假肢手；2为肌电信号采集设备；3为arduino模块；4为jetson模块；5为stm32模块；6为微型显示器；7为头戴式cmos图像传感器。
具体实施方式
[0039]
为了使得本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0040]
本发明的一种基于头戴式相机与肌电信号的假肢手控制装置，主要由具有触觉感知能力的假肢手、头戴式cmos图像传感器、微型显示器、语音识别模块、肌电信号采集模块、可穿戴式控制器组成。所述具有触觉感知能力的假肢手用于接触力感知。所述头戴式cmos图像传感器作为本发明的关键组件，在本发明中主要具有三种作用，分别是1.根据返回的物体类别，产生对应的所述假肢手动作原语组合；2.获取手物距离，为控制器实现动作原语
切换作信息匹配；3.获取物体信息，为控制器实现假肢手比例控制作信息匹配。所述微型显示器用于显示假肢手的运动状态和接触力分布，所述语音识别模块用于所述假肢手抓取任务的复位与急停，所述肌电信号采集模块用于采集用户残臂的肌电信号，所述可穿戴式控制器用于所述头戴式cmos图像传感器的视觉信号处理、肌电信号处理、所述假肢手运动控制和用于系统内关键程序的执行。
[0041]
本发明的通信架构如图1所示。所述可穿戴式控制器主要由四个微处理器组成：两个arduino模块；一个stm32模块；一个jetson模块。其中，两个arduino模块分别用于处理用户的肌电信号与语音信号，并将处理完成的信息分别通过串口通信反馈至所述stm32模块与所述jetson模块，此外，所述stm32模块用户管理所述假肢手运动时序控制，并将控制时序指令通过蓝牙发送至所述假肢手的mcu上，并采集所述假肢手的触觉信息。所述jetson模块用于将所述头戴式cmos图像传感器的视觉信息进行语义分割与卷积计算获得物体信息，并通过hdmi向所述微型显示屏传输视频信息，所述stm32模块与所述jetson模块通过串口交互数据。
[0042]
本发明的装置连接组成图2所示，所述jetson模块通过3d打印的固定支架固连于用户的背带后部，其中所述jetson模块，所述固定支架通过铜柱进行固连。所述固定支架与人类用户背部之间垫有吸汗海绵，以防止用户在长时间穿戴使用过程中，汗水对设备造成不良影响。所述固定支架上部固连有stm32模块和arduino模块。所述头戴式cmos图像传感器通过螺栓连接于头带前额部分的固定片上。所述微型显示器则通过磁对接连接于用户的眼镜支架上。所述肌电信号采集模块通过挂钩固定于左胸前，此外，所述假肢手则通过腕带固连于用户的腕部。
[0043]
本发明的控制方法是本发明创新性与创造性的核心，针对本发明在技术背景中提到的三个现有发明问题，即1.目前假肢手用户的“认知负荷”的问题；2.肌电信号质量不佳；3.缺乏反馈。本发明采用基于头戴式相机与肌电信号的假肢手控制方法克服上述三个发明问题，具体方案如图3所示，包括：
[0044]
首先，针对目前假肢手用户的“认知负荷”的问题，本发明构建了仿生控制器，通过绑定物体分类与动作原语类型，采用视觉获得的物体信息触发相应的动作原语类型，并引入假肢手与物体的空间系进行动作原语类型的切换。下面将结合图3对该过程进行详细展开说明：
[0045]
第一步，针对人手日常的高频抓取动作，进行动作原语库的构建。
[0046]
根据物品所述类别的形状差异，参考人类对不同物体的抓取特征，构建动作原语库。
[0047]
第二步，通过所述头戴式cmos图像传感器获取图像信息，并进行语义分割和物体识别，本发明的具体实施案例可采用成熟的ssd-mobilenet-v2网络实现，具体过程此处不再赘述；所述头戴式cmos图像传感器在获取到工作空间内的物体图像信息后，首先通过ssd(卷积神经网络)方法对获取图像进行语义分割，再通过mobilenet-v2卷积网络对边界框内的物体进行识别，产生物体信息，并进一步获得物体分类。
[0048]
第三步，根据上一步所获得的所述物体分类信息，选择相应动作原语。
[0049]
第四步，根据所述物体信息与残肢运动状态，进行相应的动作原语切换，其切换过程结合图4做进一步说明：
[0050]
1.在任务开始阶段，初始动作原语为自由原语。
[0051]
2.在物体识别阶段，在完成目标识别后，根据所述物体信息产生的信息，所述假肢手形成预手型；倘若目标丢失，则认定为用户放弃抓取，所述假肢手恢复所述自由原语。
[0052]
3.在抓取准备阶段，所述头戴式cmos图像传感器实时返回所述假肢手与物体间的空间关系。手物空间距离小于阈值，则认定手物接触，进入抓取原语阶段；手物物空间距离大于阈值，则认定手物分离，返回预手型阶段。在此阶段，用户可改变自身视域，从而恢复初始自由原语。
[0053]
4.在抓取阶段，所述假肢手由肌电信号与视觉返回的物体信息进行多模态的比例控制，具体控制采用人在环控制器方法实现，后文将展开说明。
[0054]
5.在抓取完成后，用户在条件允许情况下，可通过手物分离，返回预手型阶段，接着改变自身视域，从而恢复初始自由原语。在条件不允许或紧急情况下，可通过语音指令进行紧急复位。考虑到用户使用安全，本发明不允许通过目标脱离用于视域的方法，从抓取原语直接切换至自由原语。
[0055]
进一步地，针对肌电信号质量不高与缺少反馈的发明问题，本发明结合图5，进一步阐述具有主动修正控制模型能力的人在环控制器方法。
[0056]
所述具有主动修正控制模型能力的人在环控制器方法实现步骤如下：
[0057]
1.所述肌电采集模块会采集人类用户指深屈肌肌肉与指伸肌这对拮抗肌肉信息，这对拮抗肌肉的动作电位会依次经过信号放大、包络、均值滤波，带通滤波，并计算出其均方根值，作为肌电信号的肌电强度值。
[0058]
2.所述物体信息是由所述仿生控制器内ssd-mobilenet-v2神经网络处理后产生，所述控制模型的输入是所述物体信息的输出，所述控制模型的输出为假肢手电机控制量，所述控制模型由用户肌电信号参与构建其目标函数。所述控制模型修正优化的目标函数梯度如下
[0059][0060]
其中，θ为所述控制模型参数，是目标函数需要优化的参数；n表示所述模型训练的轨迹次数；tn所述假肢手每次抓取物体时采样的次数，p
tn
表示在第n次抓取的第t次采样时，所述肌电强度数值；表示在所述模型参数θ时，在第n次抓取的第t次采样时所述物体信息为时，采取所述比例控制数值为的概率大小。
[0061]
3.所述控制模型计算得到目标函数梯度后，通过梯度上升法进行所述控制模型参数θ的更新
[0062][0063]
其中，θ为所述控制模型更新前的参数；θ'为所述控制模型更新后的参数；α是所述控制模型的学习率。
[0064]
本发明所述控制模型的训练方法能够将所述肌电强度与所述头戴式cmos图像传感器获取的所述物体信息进行结合，提升所述假肢手的控制质量，克服仅仅采用肌电信号控制质量不高的缺陷。所述肌电强度作为增量还会与所述控制模型的控制量比例输出进行
叠加控制，在所述控制模型的外部修正假肢手电机的pwm值。并且在所述假肢手接触物体后，相应区域的触觉传感器会产生压力变化，通过opengl绘制相应的触力云图，经由所述微型显示器投影至用户眼睛上，实现假肢手本体状态的反馈。
[0065]
考虑到所述可穿戴式控制器在使用的初期，缺少用户数据，所述控制模型不能较好收敛。作为优选，所述控制模型在缺少用户数据的初期情况下具有两种方案，优选方案一是将其他用户的所述控制模型结构与参数共享至新用户的所述控制模型内，并通过新用户的少量数据进行迁移学习，加速其收敛。优选方案二是如图7所示，在所述控制模型收敛前切断其比例控制，在实际控制层面肌电强度直接作为所述假肢手控制输入，在所述控制模型层面，将所述物体信息与所述肌电强度作为状态动作对训练所述控制模型。
[0066]
该优选方案二，在缺少用户数据的初期，其函数梯度退化为
[0067]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。