一种基于多模态传感的肌肉形变智能检测系统及方法

1.本发明涉及传感数据处理、计算机视觉与深度学习技术，具体为一种基于多模态传感方式的肌肉形变智能检测系统及方法，属于医疗器械制作技术领域。


背景技术：

2.近年来，帕金森病、亨廷顿病等运动障碍疾病的社会关注度有所提升，病例数量也呈逐年上升趋势。该类疾病的早期症状主要有静止性震颤、运动迟缓、肌强直和姿势步态障碍等。病人的主要表现为：静止时手、手臂或腿发生振动或颤抖；肌肉僵硬、面部表情异常；运动行走协调性、步态异常，以及姿势、平衡障碍等。上述病人的症状与肌张力的异常变化有着密不可分的关系，故发展肌肉形变的智能检测系统及方法，对运动障碍类疾病的及时干预有着重要意义。
3.目前，在临床和科研方面国内外的重点是对运动障碍的病情进行评估，并根据运动障碍症状的轻重来进行评分。该方法在临床应用方面面临的主要问题在于：评分由训练有素、经验丰富的神经学家进行，完整的运动评估非常耗时，且获得的结果主观性太强，评分误差较大；病人病情的跟踪调查和及时随访也给患者的医疗服务带来巨大挑战，尤其在医疗资源分配有差异、新冠肺炎疫情存在的当下，发展基于人工智能的肌肉形变自动检测技术具有重大的应用价值。
4.运动障碍的智能量化是实现病患运动功能智能评估的关键。目前的智能检测方法可分为运动传感和视觉传感两大类。有研究者通过病人身上的运动传感器组成传感器网络，在时域和频域提取病人的运动学特征，再进行分析。由于运动传感器的运动信号准确，这些基于传感器的方法大都可以得到良好的效果。然而，大多数金属传感器都直接接触患者的身体，且存在触感冰冷、佩戴不适等缺点，不可避免地影响患者指定的运动，进而影响识别的准确率。基于视觉传感的方法，研究者通过kinect传感器和彩色摄像机采集的视频中获取病人的关节坐标，并从图像序列中提取人体轮廓特征，通过多元回归模型进行进一步的分析。但由于病人宽松的病号服的遮挡，不可避免地影响了视觉特征点的检测。除此之外，基于视觉传感的方案由于图像分辨率的问题，难以识别病人面部肌肉的异常。利用传统特征，设计数学函数来表征步态运动的细微差异，是个具有挑战性的艰难工作。


技术实现要素：

5.针对上述技术不足，本发明的目的是提供一种基于多模态传感的肌肉形变智能检测系统及方法。该系统通过传感信息采集模块，获取多模态传感数据；通过数据处理模块将传感数据进行分析与处理得到多尺度的特征向量，再由智能检测模块将多尺度的特征向量作为输入，通过深度学习技术进行分类，获得肌肉形变结果。
6.相对于视觉传感方式，应变传感器通常有更高的传感精度。单一的传感方式各有各的问题，但不难发现两种传感方式的优势互补，因此，如何结合两种传感方式各自的优点，利用多模态传感信息的融合，以提高肌肉形变人的智能检测效率和识别率。
7.为实现上述技术目标，本发明所提出的技术方案是：一种基于多模态传感的肌肉形变智能检测系统，包括：
8.传感信息采集模块，用于获取多模态传感信息；所述多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；
9.数据处理模块，用于分别对数据类信息和图像类信息进行处理并进行特征融合，得到同一尺度的特征向量；
10.智能检测模块，用于将同一尺度的特征向量与部分数据类信息构成多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态。
11.所述传感信息采集模块包括应变传感器与视觉传感器；
12.所述应变传感器，用于采集面部肌肉抽动或人体各关节形变的运动传感数据，所述运动传感数据纳入数据类信息；
13.所述视觉传感器，用于采集人体行走的视觉传感数据；所述视觉传感数据纳入图像类信息。
14.所述应变传感器为可穿戴的应变传感器。
15.所述应变传感器为压阻式传感器、压电式传感器、电容式传感器、或以上复合式的传感器阵列。
16.所述运动传感数据包括压力分布、弹性分布、三维形态信息中的一种或多种。
17.一种基于多模态传感的肌肉形变智能检测方法，包括以下步骤：
18.s1.通过传感信息采集模块获得多模态传感信息；所述多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；
19.s2.将数据类信息进行预处理存为一维数据向量，按照等时间间隔采样将n个一维数据向量合并成一个矩阵，通过卷积操作生成多尺度的传感数据矩阵；
20.对与数据类信息具有同时间戳的图像类信息进行卷积核操作，得到与传感数据矩阵相同大小的多尺度图像块；
21.将传感数据矩阵与多尺度图像块通过asff方法进行特征融合，得到同一尺度的特征向量；
22.s3.将同一尺度的特征向量与部分数据类信息构成多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态。
23.所述将数据类信息进行预处理存为一维数据向量，按照等时间间隔采样将n个一维数据向量合并成一个矩阵，包括以下步骤：
24.将数据类信息进行离散化、归一化操作之后，存为一维数据向量：
25.f＝(v1,v2,...,vm)
t
26.式中，vi表示第i个的传感器在某时刻获取的传感数据，m是传感器的数目；i＝1
…
m；
27.按照等时间间隔采样t生成n个一维数据向量f
t
,f
2t
,...,f
nt
，并生成多尺度的传感数据矩阵f＝[f
1 f2...fn]。
[0028]
所述将传感数据矩阵与图像块通过asff方法进行特征融合，得到多尺度的特征向量，包括以下步骤：
[0029]
通过asff方法，将传感数据矩阵与图像块分别通过大小为1*1、3*3、5*5的卷积核
得到两组不同尺度的特征图i1,i2,i3，对于每组特征图i1,i2,i3，通过插值及修改步幅将各层级的特征图变为同一尺度，作为融合后的统一尺度特征向量，用于输入深度神经网络。
[0030]
所述深度神经网络预先进行训练，包括以下步骤：
[0031]
将融合后多尺度的特征向量进行池化操作后作为输入，用textcnn神经网络进行特征提取，提取出来的信息既包含用于表征人体宏观动作的全局特征，，又包含用于表征人体微观动作的局部特征；最后通过softmax层，得到分类结果，即关节肌肉形变的程度。
[0032]
所述将多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态，包括以下步骤：
[0033]
同一尺度的特征向量与用于采集面部的数据类信息构成多尺度的特征向量，通过深度神经网络进行分类，得到面部肌肉形变的结果、以及关节处肌肉形变的结果。
[0034]
本发明具有以下有益效果及优点：
[0035]
1.本发明提出了一种基于多模态传感的肌肉形变智能检测系统，创新性地结合了运动传感信息和视觉传感信息，并将多尺度、多模态的传感数据有效地进行了特征融合，实现肌肉形变人的智能检测。
[0036]
2.本发明集成了可穿戴的柔性应变传感器、视觉传感器和处理器，对所获取的多模态传感信息进行记录、分析与处理。可对单一病人在不同时间或治疗过程中的运动障碍情况进行跟踪分析，在智能医疗领域有很大的应用潜力。
[0037]
3.本发明综合采用两种传感方式对病人进行检测，相对于单一的传感方式识别率更高。可同时精准检测病人的面部肌肉异常、行走步态僵硬和身体协调性问题等三种运动障碍，检测非常全面。
附图说明
[0038]
图1是系统组成示意图；
[0039]
图2是面部肌肉应变传感器分布示意图；
[0040]
图3是人体关节应变传感器分布示意图；
[0041]
图4是数据库信息录入流程图；
[0042]
图5是输入传感数据特征融合示意图；
[0043]
图6是系统整体流程示意图。
具体实施方式
[0044]
下面结合实施例对本发明做进一步的详细说明。
[0045]
本发明涉及肌肉形变的智能医疗领域，具体为一种基于多模态传感的肌肉形变智能检测系统及方法，系统结合了传感数据建模、计算机视觉和深度学习技术。本系统包括传感信息采集模块、数据处理模块和智能检测模块。传感信息采集模块包括柔性可穿戴应变传感器和视觉传感器，应变传感器负责获得面部肌肉以及各关节点的运动数据，视觉传感器负责获取病人的步态数据；数据处理模块负责将运动传感数据与视觉传感数据通过深度学习技术进行特征提取，集合传感数据的时间与空间信息，采用asff方法进行特征融合，得到多尺度的特征向量；智能检测模块通过将多尺度的特征向量作为输入，通过深度神经网络分析多尺度的特征向量进行分类，获得肌肉形变结果。
[0046]
一种基于多模态传感的肌肉形变智能检测系统，包括传感信息采集模块、数据处理模块和智能检测模块，所述传感信息采集模块负责采集多模态传感数据；所述数据处理模块将传感数据进行分析与处理得到多尺度的特征向量；所述智能检测模块将多尺度的特征向量作为输入，通过深度学习技术进行分类，获得肌肉形变结果。所述多模态传感信息采集装置与处理器通信；所述数据处理模块和智能检测模块由处理器和人机交互界面构成；所述处理器，用于对多模态传感数据信息的采集、记录、分析与处理；所述人机交互界面，用于实现肌肉形变结果的可视化，以及病人数据的记录与查询。
[0047]
所述传感信息采集模块包括柔性可穿戴应变传感器和视觉传感器中的一种或多种。所述柔性可穿戴应变传感器为压阻式、压电式、电容式、或以上复合式的传感器或传感器阵列；其中，用于面部贴附的应变传感器应具有高灵敏度，当应变为0.1％-10％时，其灵敏因子应高于200。用于躯干贴附的应变传感器应具有高应变响应范围，其应变检测范围应高于200％
[0048]
所述视觉传感器包括彩色相机、深度相机、红外相机中的一种或多种。
[0049]
所述深度神经网络包含cnn，gcn，rnn中的一种或多种。
[0050]
所述传感信息采集模块包括应变传感器与视觉传感器。用于采集疑似病人的面部肌肉抽动、人体各关节的形变情况等运动传感数据；行走的视频、图像等视觉传感数据等多模态传感数据信息；
[0051]
所述应变传感器为柔性可穿戴的应变传感器，具体为压阻式、压电式、电容式、或以上复合式的传感器阵列；
[0052]
所述运动传感信息包括压力分布、弹性分布、三维形态信息中的一种或多种。
[0053]
所述视觉传感器包括彩色相机、深度相机、红外相机中的一种或多种。
[0054]
所述视觉传感数据包括彩色rgb图像、深度图像、红外图像的一种或多种。
[0055]
所述传感信息采集模块与数据处理模块通信；
[0056]
所述数据处理模块和智能检测模块由处理器和人机交互界面构成；
[0057]
所述处理器，用于对多模态传感数据信息的采集、记录、分析与处理；
[0058]
所述人机交互界面，用于实现肌肉形变结果的可视化，以及病人数据的记录与查询。
[0059]
一种基于多模态传感的肌肉形变智能检测方法，包括以下步骤：
[0060]
s1.通过传感信息采集模块获得多模态传感信息；多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；
[0061]
s2.用户信息、数据类信息、图像类信息一同存入数据处理模块；处理流程如下：将数据类信息进行离散化、归一化操作之后，存为一维数据向量；按照等时间间隔采样生成数个上述列向量，并将列向量合并成一个矩阵，通过卷积操作，改变矩阵的大小，生成多尺度的传感数据矩阵；通过视觉算法检测出人的图像，并通过将含人的图像与具有同时间戳的图像类信息，通过卷积核操作得到与传感数据矩阵相同大小的图像块；将传感数据矩阵与图像块通过asff方法进行特征融合，得到多尺度的特征向量，而后通过深度神经网络进行分类和识别。
[0062]
s3.所述智能检测模块而后通过将多尺度的特征向量作为输入，通过深度神经网络分析多尺度的特征向量，进行分类，用大尺度的特征向量度量各个关节点的形变，用小尺
度的特征向量度量肌肉的微观变化，并提供给人机交互界面。
[0063]
本实施例的一种基于多模态传感的肌肉形变智能检测方法，具体为：
[0064]
通过传感信息采集模块获得多模态传感信息；多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；
[0065]
用户信息、数据类信息、图像类信息一同存入数据处理模块；
[0066]
数据处理模块处理流程如下：
[0067]
将数据类信息进行离散化、归一化操作之后，存为一维数据向量；
[0068]
f＝(v1,v2,...,vm)
t
[0069]
式中，m,vi分别是传感器的数目及编号为i的传感器在某时刻获取的传感数据。大写字母t代表矩阵转置操作。
[0070]
按照等时间间隔采样t生成数个上述列向量f
t
,f
2t
,...,f
nt
，并生成多尺度的传感数据矩阵f＝[f
1 f2...fn]；
[0071]
将具有同时间戳的图像类信息通过卷积核操作得到与传感数据矩阵相同大小的图像块；
[0072]
具体为，读取视觉传感器在时间t,2t,...,nt的图像g
t
,g
2t
,...,g
nt
，通过卷积核操作得到与传感数据矩阵相同大小的图像块gn×m＝[g
1 g2...gn]；
[0073]
深度神经网络中与浅层的语义信息弱，但具有丰富的位置信息；相反，越深层的语义信息强，但位置信息弱。通过asff方法，将传感数据矩阵与图像块进行特征融合，得到多尺度的特征向量，而后通过深度神经网络进行分类和识别。具体为，通过大小为1*1，3*3，5*5的卷积核得到不同尺度的特征图i1,i2,i3。通过插值及修改步幅的方法，将各层级的特征图变为同一尺度。
[0074]
在通过上、下采样和池化操作，对特征图进行尺度统一后，下一步进行特征融合。将不同尺度的特征图在层级l，在每个(i,j)与各自的权重矩阵α,β,γ的(i,j)处相乘再相加，得到融合后的asff-l。
[0075]
记为层级n缩放到层级l的特征图中位置为(i,j)的特征向量，则对应层级l中融合的特征为中融合的特征为表示三个不同层级到l层特征图的空间重要性权重，可以由网络自适应学习。
[0076]
所述智能检测模块而后通过将多尺度的特征向量作为输入，通过深度神经网络分析多尺度的特征向量，进行分类，获得肌肉形变结果。
[0077]
将数据类信息通过预处理得到带病人标签的数据特征，提供给人机交互界面。
[0078]
一种基于多模态传感的肌肉形变智能检测系统及方法，如图1所示，系统包括：由柔性应变传感器、彩色相机和处理器组成的传感信息采集模块和处理器。系统软件功能包括对数据信息的采集、记录、分析与处理功能，以及图形化的人机交互界面。
[0079]
多模态传感信息采集装置，采集数据包括：面部肌肉的运动传感信息、人体关节点处的运动传感信息、基于人体骨架结构的视觉传感信息。面部、人体关节处的应变传感器分布如图2、图3所示，这些传感信息被进一步分析与处理后分别纳入图像传感信息和运动传感信息。
[0080]
该系统既可对单一病人的运动障碍情况或在不同时间的变化情况做记录和对比，
因此在软件内部设有存储信息的数据库。数据库信息的录入过程，如图4所示。首先，多模态传感信息经分析与处理后，分别纳入视觉传感数据与运动传感数据，在对相同时间戳的多尺度的传感数据进行特征融合(如图5所示)得到数据特征向量。在处理器端，通过基于深度神经的网络的方法，进行分类与识别。获得病人在面部肌肉、行走步态和整体协调性3个方面获得评分。并录入数据库，以便用户通过人机交互界面进行分析与病情跟踪，整体流程如图6所示。
[0081]
在人机交互界面上，用户可以调取病人相应的传感信息以及结果进行对比和参考。随着数据库信息的不断完善，对病人运动障碍信息的不断跟踪补充，可以对肌肉形变人的病情为用户提供重要的参考。