一种基于混合现实的精确抓握肌间协调性测试评估系统

1.本发明涉及抓握测试技术领域，特别是涉及一种基于混合现实的精确抓握肌间协调性测试评估系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.精确抓握是日常生活中十分常见且重要的手部活动。人手进行抓握时，多块肌肉参与活动且存在由中枢神经系统控制下的肌群协同效应。作为运动控制系统的动力来源，多肌肉间的协同活动在抓握运动的过程中起着关键作用。普遍认为熟练的物体操纵需要神经控制机制中的前馈和反馈控制共同作用完成，多种模态的感知信息包括：视觉、触觉、本体感觉和听觉等，均在感知反馈中发挥着重要作用，并与运动意图密切耦合形成感知运动融合机制，对精确抓握等精细操作产生重要影响。如何实现感知运动融合下多肌肉协调性的测试与评估不仅可以反映神经肌肉系统的功能，而且对感知运动一体化发展、操作性技能的学习与认知机制、临床多种神经肌肉疾病的诊断、评估与康复均有重要的意义。
4.虚拟现实(virtual reality,vr)利用计算机产生一个能够为使用者提供模拟的视觉、触觉和听觉信息的虚拟环境，使使用者犹如身临其境并与环境进行交互。但是，vr技术将使用者与周围真实环境完全隔离，当使用者在虚拟环境中完成动作时，由于缺乏实际物体的真实触碰感，在抓握时无法获得有效的接触感知反馈，无法实现精确抓握过程中视觉与触觉的去同步，在对多肌肉协调过程中无法实现精确测量和定量评估。


技术实现要素：

5.为了解决上述问题，本发明提出了一种基于混合现实的精确抓握肌间协调性测试评估系统，在真实场景与虚拟场景中引入时间延迟，以实现视觉反馈信息与体感信息的去同步；同时提出多层新型加权复杂网络，计算多通道肌电信号间的交互关系，定量评估肌间协调性。
6.为了实现上述目的，本发明采用如下技术方案：
7.第一方面，本发明提供一种基于混合现实的精确抓握肌间协调性测试评估系统，包括：真实场景采集装置、肌电传感装置和混合现实平台；
8.所述真实场景采集装置用于获取抓握过程中的真实抓握信息；
9.所述肌电传感装置用于获取抓握过程中的多通道肌电信号；
10.所述混合现实平台包括处理器和混合现实设备，所述处理器接收真实抓握信息，根据真实抓握信息进行真实场景的三维重建后反馈至混合现实设备上，以此构建虚拟场景，并在虚拟场景中引入时间延迟，以实现不同时间延迟下的肌间协调性评估；
11.所述处理器接收多通道肌电信号，根据多通道肌电信号进行肌间协调性的评估，具体地，根据多通道肌电信号构建以肌电采样点为节点，以节点间的有向连接为边的多层
新型加权复杂网络，根据多层新型加权复杂网络中任意两层网络的相位同步关系提取用于评估肌间协调性的网络结构指标。
12.作为可选择的实施方式，在虚拟场景中引入时间延迟，以实现体感反馈信息与视觉反馈信息的去同步，使得体感反馈信息与视觉反馈信息不一致，以量化评估视觉-体感感知冲突对肌间协调性的影响。
13.作为可选择的实施方式，所述多层新型加权复杂网络的构建过程包括：每个通道的肌电信号映射为一层新型加权复杂网络，根据同步采集的多通道肌电信号的每个肌电采样点存在的自然对应关系，最终构建得到多层新型加权复杂网络。
14.作为可选择的实施方式，多层新型加权复杂网络中任意两层网络的相位同步关系采用锁相值进行表征，当锁相值为零时不存在相位同步，当锁相值为1时存在相位同步。
15.作为可选择的实施方式，所述锁相值为：对每层新型加权复杂网络提取平均加权度特征，根据任意两层网络的平均加权度序列的相位差得到锁相值。
16.作为可选择的实施方式，所述平均加权度特征为每个节点的所有边的平均权重，由每层网络所有节点的平均加权度特征得到所述平均加权度序列。
17.作为可选择的实施方式，所述用于评估肌间协调性的网络结构指标包括聚类系数和特征路径长度。
18.作为可选择的实施方式，所述聚类系数为：
[0019][0020]
其中，cc为聚类系数，m是网络层数，k
p
是第p层网络的度；plv
pq
，plv
rp
，plv
rq
是矩阵plv中(p,q)，(r,p)，(r,q)相对应位置的元素。
[0021]
作为可选择的实施方式，所述特征路径长度为：
[0022][0023]
其中，l
p
是第p层网络的平均特征路径长度，l
pq
是第p层和第q层网络的最短路径长度；m是网络层数，cpl为特征路径长度。
[0024]
第二方面，本发明提供一种基于混合现实的精确抓握肌间协调性测试评估方法，包括：
[0025]
获取抓握过程中的真实抓握信息和抓握过程中的多通道肌电信号；
[0026]
根据真实抓握信息进行真实场景的三维重建后反馈至混合现实设备上，以此构建虚拟场景，并在虚拟场景中引入时间延迟，以实现不同时间延迟下的肌间协调性评估；
[0027]
所述肌间协调性评估的过程包括：根据多通道肌电信号构建以肌电采样点为节点，以节点间的有向连接为边的多层新型加权复杂网络，根据多层新型加权复杂网络中任意两层网络的相位同步关系提取用于评估肌间协调性的网络结构指标。
[0028]
与现有技术相比，本发明的有益效果为：
[0029]
本发明提出一种基于混合现实的精确抓握肌间协调性测试评估系统，由混合现实平台提供视觉反馈，在真实场景与虚拟场景中引入时间延迟，以实现视觉反馈信息与体感信息的去同步，使得视觉反馈信息与体感反馈信息不一致。将不同时间延迟下的肌肉活动
参数与无延迟条件进行对比，以量化视觉-体觉感知冲突对精确抓握多肌肉间协调性的影响。
[0030]
本发明提出一种基于混合现实的精确抓握肌间协调性测试评估系统，全程记录抓握活动期间手部及前臂多块肌肉的肌电信号，提出一种多层新型加权复杂网络，用于在多通道肌电信号中构建复杂网络，计算多通道肌电信号间的交互关系，定量评估肌间协调性，实现精准抓握的功能性评估与对抓握相关肌肉功能损伤程度以及康复程度的精准定量评估，对神经系统感知运动功能测试、精确抓握多肌肉协调功能评估、多种神经肌肉疾病的早期诊断和康复评价等都具有重要的应用价值。
[0031]
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0032]
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0033]
图1为本发明实施例1提供的抓握装置结构示意图；
[0034]
图2为本发明实施例1提供的混合现实抓握平台示意图；
[0035]
图3为本发明实施例1提供的混合现实界面示意图；
[0036]
图4为本发明实施例1提供的测试流程图；
[0037]
图5为本发明实施例1提供的多层新型加权复杂网络示意图；
[0038]
其中，1、立柱，2、力/力矩传感器，3、力/力矩传感器，4、力/力矩传感器，5、力/力矩传感器，6、力/力矩传感器，7、底座，8、抓握装置，9、肌电传感装置，10、混合现实头盔，11、深度相机，12、上位机平台，13、测试平台桌，14、手，15、虚拟圆台。
具体实施方式
[0039]
下面结合附图与实施例对本发明做进一步说明。
[0040]
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0041]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0042]
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0043]
实施例1
[0044]
混合现实(mixed reality,mr)是vr的一个重要分支，其与vr的关键区别就是mr中将真实图像与虚拟场景相融合，而非将使用者与周围真实环境完全隔离。通过利用mr技术来实现精确抓握过程中视觉和触觉的去同步，实现视觉时间延迟来产生视觉的干扰，获得
视觉信息与触觉等体感信息不一致状态下的运动行为表征，在确保参与者的参与度及临场感的前提下形成对感知运动功能的精确定量评估。
[0045]
由此，本实施例提出一种基于混合现实的精确抓握肌间协调性测试评估系统，包括：真实场景采集装置、肌电传感装置和混合现实平台；
[0046]
所述真实场景采集装置用于获取抓握过程中的真实抓握信息；
[0047]
所述肌电传感装置用于获取抓握过程中的多通道肌电信号；
[0048]
所述混合现实平台包括处理器和混合现实设备，所述处理器接收真实抓握信息，根据真实抓握信息进行真实场景的三维重建后反馈至混合现实设备上，以此构建虚拟场景，并在虚拟场景中引入时间延迟，以实现不同时间延迟下的肌间协调性评估；
[0049]
所述处理器接收多通道肌电信号，根据多通道肌电信号进行肌间协调性的评估，具体地，根据多通道肌电信号构建以肌电采样点为节点，以节点间的有向连接为边的多层新型加权复杂网络，根据多层新型加权复杂网络中任意两层网络相位同步关系提取用于评估肌间协调性的网络结构指标。
[0050]
在本实施例中，如图1所示的抓握装置包括主体1、对应于各个手指的力/力矩传感器以及底座7；所述立柱1设于底座7上，所述力/力矩传感器设于立柱1上。
[0051]
具体地，所述力/力矩传感器的位置由人手抓握时的自然排布位置确定，拇指以及对侧四指力/力矩传感器位置的排布基于人体的生理结构及五指自然抓握姿态；其中，力/力矩传感器2对应于桡侧(拇指)位置，力/力矩传感器3-6位于力/力矩传感器2的对侧，分别对应于尺侧四指(食指、中指、无名指和小指)，用于记录指尖力/力矩的实时信号。
[0052]
所述立柱采用圆柱状立柱，其直径根据抓握孔径确定。
[0053]
所述底座采用圆盘底座，其直径略大于立柱部分，底座为抓握装置增加负载且提高稳定性，以防止测试过程中因操作不当导致抓握装置倾倒。
[0054]
在本实施例中，所述肌电传感装置设于手部及前臂肌肉的相应位置处，利用肌电传感装置同步记录抓握过程中的手部及手臂前侧多块肌肉的表面肌电信号。例如，可选择肱桡肌(brachioradialis,br)、尺侧腕屈肌(flexor carpi ulnaris,fcu)、桡侧腕屈肌(flexor carpi radialis,fcr)、指总伸肌(extensor digitorum communis,edc)、指浅屈肌(flexor digitorum superficialis,fds)、拇短展肌(abductor pollicis brevis,apb)和第一骨间背侧肌(first dorsal interosseous,fdi)以及其他在抓握过程中起到重要作用的肌肉进行肌电信号的记录。
[0055]
在本实施例中，所述真实场景采集装置采用深度相机，实时采集人手抓握过程的图像，以对人手抓握过程进行三维重建，并构建混合现实虚拟场景，在虚拟场景中引入视觉时间延迟，由此设计一种高沉浸性且与现实世界中抓握装置进行实时交互的可视化混合现实虚拟场景。
[0056]
如图2所示为本实施例提供的混合现实抓握平台，混合现实抓握平台包括测试平台桌13、两台深度相机11及上位机平台12，抓握装置8和两台深度相机11放置于测试平台桌12上，上位机平台12设于测试平台桌13的一侧；
[0057]
本实施例利用两台基于视差原理且位于不同位置的深度相机11，从不同位置实时采集人手抓握过程的彩色图像和深度图像，上位机平台12由处理器接收实时采集的真实场景中的抓握信息，对彩色图像和深度图像进行预处理后，通过计算图像对应点间的位置偏
差获取物体的三维几何信息、位置、姿态等数据，以此进行真实场景的三维重建，同时将重建后的三维立体场景反馈至混合现实设备上，以呈现给受试者。
[0058]
同时，本实施例从抓握活动的动态时间维度出发，在虚拟场景中引入两个水平的时间延迟，实现了体感信息与视觉信息的去同步，使得视觉反馈信息与体觉反馈信息不一致，将不同时间延迟下的肌肉活动参数与无延迟条件进行对比，以量化视觉-体觉感知冲突对精确抓握多肌肉间协调性的影响。
[0059]
本实施例引入三个不同水平的视觉时间延迟，即分别为无时间延迟(即mr场景中观察到的事件与实际发生的事件同步)、视觉观察到的事件相对于实际发生的事件延迟100ms、200ms。
[0060]
图3为受试者观察到的混合现实界面，其中，测试平台桌13是现实场景在混合现实场景中的映射，虚拟圆台15为抓握活动提供目标高度的参考，虚拟圆台15的表面据测试平台桌13的垂直高度为15cm。
[0061]
在如图4所示的测试流程中，首先将抓握装置8放在离测试平台桌13边缘30cm处，并为受试者佩戴混合现实头盔10，且在手部及前臂肌肉相应位置处设置肌电传感装置9，抓握装置8与受试者右肩膀对齐，在正式测试之前，每个受试者都要进行一次练习，以熟悉mr环境和测试过程。
[0062]
测试的具体执行过程为：受试者做好准备，将右臂放在桌子上，听到第一声指令“停止休息”，在研究人员的帮助下，将五个手指放在抓握装置8的五个突起处；听到第二声指令“准备”，所有的手指短暂地离开抓握装置8；听到第三声提示音“开始”，五指重新接触抓握装置8，将抓握装置8抬升到mr场景中虚拟圆台15的高度，保持稳定30s，直到听到第四声提示音“结束”，将抓握装置8放回测试平台桌13；整个过程重复9次，每个时间延迟水平进行3次重复测试。在这项任务中，受试者被要求尽量将抓握装置8垂直提升到与视野中的平台相同的高度，并在保持阶段尽可能保持稳定。
[0063]
在测试过程中，通过肌电传感装置获取抓握过程中的多通道肌电信号，将肌电传感装置的采样率设置为2000hz，获取的多通道肌电信号定义为：{xm(t)}，m＝1,...m，m＝7，m为通道数；
[0064]
对于任一具有k个采样点的肌电时间序列，将其表示为：
[0065]
xm(tk)，k＝1,...k (1)
[0066]
本实施例基于多层复杂网络分析多肌肉间的相位耦合关系，将每个肌电通道映射为一层复杂网络，为避免映射过程中丢失有用的肌电信息，该方法保留了肌电信号的所有采样点，每个肌电采样点为一个肌电时间序列所构成的一层复杂网络的一个节点。由此，多通道肌电信号构成的多层复杂网络表示为：
[0067]
{gm}，m＝1,...m (2)
[0068]gm
＝(km,em) (3)
[0069]
其中，gm表示具有k个节点和e个边的一层复杂网络，其节点km和边em分别表示为：
[0070]km
＝{kk}，k＝1,2,...k (4)
[0071]em
＝ek，k＝1,2,...k (5)
[0072]
为了确定节点之间的边，考虑所有节点之间彼此的有向连接，即如果有k个节点，则每个节点都与除本身之外的其他k-1个节点相连接。例如，一个具有10个节点的时间序列
x1(tk)，k＝1，2,...10，其复杂网络表示为g1＝(10,45)。
[0073]
为了得到更可靠稳健的信息，本实施例通过下式计算每条边的权重系数：
[0074][0075]
其中，ki,kj是复杂网络的任意两个节点，ti,tj是两节点所对应的时刻点，w
ij
是ki,kj两节点之间的边的权重系数，此算法中仅考虑该权重系数的绝对值。
[0076]
在每层复杂网络中加入每条边的权重系数后，每个肌电通道映射为一层新型加权复杂网络，以此得到多层加权复杂网络，同时又由于同步采集的多通道肌电信号的每个采样点在不同层间存在跨多层网络的自然对应关系，所以最终得到多层新型加权复杂网络(multiplex new weighted complex network,mnwcn)；
[0077]
如图5所示为一个具有m＝2层，k＝4个节点的多层新型加权复杂网络，两个具有4个节点的多通道肌电信号时间序列x1(tk),x2(tk),k＝1,2,3,4，形成具有两层复杂网络的网络结构{g1,g2}。
[0078]
为了以较小的信息损失为代价，保留复杂网络的大部分信息，本实施例对每层新型加权复杂网络提取平均加权度(average weighted degree,awd)特征，以表征每个节点的所有边的平均权重：
[0079][0080][0081]
其中，b(i)是节点i的邻域，w
ij
是节点i和j之间边的权值，wdi是连接到节点i的所有边的总权重，awdi是连接到节点i的所有边的平均权重。
[0082]
在每层网络中，由每层网络所有节点的平均加权度特征的排列构成平均加权度序列，对于不同的两层网络的平均加权度序列{awdm}和{awdn}，采用锁相值(phase locking value，plv)来表示两者间的相位同步关系：
[0083][0084][0085]
其中，是度序列{awdm}和{awdn}的相位差，和是度序列{awdm}和{awdn}的相位；当plv
mn
为0时，两个度序列没有相位同步；当plv
mn
为1时，有稳定的相位差，即相位同步。
[0086]
对于m通道的肌电信号时间序列，最终会得到一个由锁相值构成的m*m的邻接矩阵p：
[0087]
p＝(plv
mn
)
m*m
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0088]
元素值plv
mn
，m∈[1,m],n∈[1,m]，代表相应两层网络间平均加权度序列间的锁相值；p为对称矩阵，即plv
mn
＝plv
nm
，m≠n,m∈[1,m],n∈[1,m]。
[0089]
在本实施例中，提取用于评估肌间协调性的网络结构指标，包括聚类系数(clustering coefficient,cc)和特征路径长度(characteristic path length,cpl)，以
分别度量肌肉网络对信息的分离和整合能力；
[0090]
其中，聚类系数为：
[0091][0092]
其中，m是mnwcn网络的层数，cc
p
是第p层网络的聚类系数，k
p
是第p层网络的度；
[0093][0094]
其中，plv
pq
，plv
rp
，plv
rq
是矩阵plv中(p,q)，(r,p)，(r,q)相对应位置的元素。
[0095]
特征路径长度为：
[0096][0097]
其中，l
p
是第p层网络的平均特征路径长度，定义为：
[0098][0099]
其中，l
pq
是第p层和第q层网络的最短路径长度。
[0100]
通过分析cc和cpl的变化，反映肌肉网络间信息的交互能力，从而对精确抓握过程中的肌间协调性进行精准定量评估。
[0101]
在更多实施例中，还提供一种上述基于混合现实的精确抓握肌间协调性测试评估系统的评估方法，具体包括：
[0102]
获取抓握过程中的真实抓握信息和抓握过程中的多通道肌电信号；
[0103]
根据真实抓握信息进行真实场景的三维重建后反馈至混合现实设备上，以此构建虚拟场景，并在虚拟场景中引入时间延迟，以实现不同时间延迟下的肌间协调性评估；
[0104]
所述肌间协调性评估的过程包括：根据多通道肌电信号构建以肌电采样点为节点，以节点间的有向连接为边的多层新型加权复杂网络，根据多层新型加权复杂网络中任意两层网络的相位同步关系提取用于评估肌间协调性的网络结构指标。
[0105]
可以理解的，如果有发明简单修改抓握装置的几何构造，应当视为同一发明。如果有发明将混合现实中提供目标高度的小圆台替换为其他物体，应当视为同一发明。如果有发明设置其他类型的传感器获得肌电信号，或将相同类型的肌电传感装置用于测量不同肌肉的表面肌电信号，应视为同一发明。
[0106]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。