一种基于视觉感知的面部神经麻痹患者康复检测系统的制作方法

1.本发明涉及机器视觉技术领域，具体涉及一种基于视觉感知的面部神经麻痹患者康复检测系统。


背景技术：

2.面部神经麻痹疾病是以面部表情肌群运动功能障碍为主要特征的一种疾病，它是一种常见病、多发病，不受年龄限制，症状表现为口眼歪斜等，严重的患者往往连最基本的抬眉、闭眼、鼓嘴等动作都无法完成。
3.对于出现嘴部神经麻痹的患者，其症状表现为嘴巴歪斜、嘴角偏移、嘴部的肌肉运动能力不强，例如患者在说话时嘴巴上只有部分肌肉能够灵活运动。
4.面部神经麻痹疾病患者不仅需要配合药物治疗，还需要长期做康复训练才能有效的治愈疾病，例如多做一些咧嘴、微笑等动作进行康复训练，但是患者不能定量的指导自己的康复情况，现有技术中通过机器视觉分析面部图像中一些部位的位移情况来反映康复程度，没有考虑嘴巴相关肌肉的代谢程度，无法全面的检测患者的康复程度。


技术实现要素：

5.为了解决上述技术问题，本发明的目的在于提供一种基于视觉感知的面部神经麻痹患者康复检测系统，所采用的技术方案具体如下：
6.本发明提出了一种基于视觉感知的面部神经麻痹患者康复检测系统，所述系统包括：
7.三维信息采集模块，用于获得患者面部运动过程中的面部图像；根据所述面部图像获得人脸三维信息；
8.嘴巴倾斜程度获取模块，用于通过所述人脸三维信息获得嘴巴倾斜程度；
9.嘴巴运动能力获取模块，用于通过运动过程中的所述人脸三维信息的网格点坐标变化获得嘴巴运动信息集合；根据所述嘴巴运动信息集合获得嘴巴运动能力；
10.嘴巴代谢严重程度获取模块，用于获得患者面部的热成像图像；分割所述热成像图像，获得嘴巴热量图；将所述嘴巴热量图和所述人脸三维信息分别旋转至水平并融合，获得嘴巴三维热量图；根据所述嘴巴三维热量图获得多组嘴巴对称网格点；获得每个所述嘴巴对称网格点之间的像素值差异；通过所述嘴巴热量图每列像素的均值构建热量列表数据；根据所述热量列表数据和所述像素值差异获得代谢严重程度；
11.康复状态特征获取模块，用于以所述热成像图像中患者的面部两侧热量差异作为第一热量差异；以患者面部运动前后所述第一热量差异的差值作为第二热量差异；通过所述第二热量差异和所述嘴巴运动信息集合获得康复状态特征；
12.康复程度获取模块，用于通过所述嘴巴倾斜程度、所述嘴巴运动能力、所述代谢严重程度和所述康复状态特征获得康复程度。
13.进一步地，所述嘴巴倾斜程度获取模块包括：
14.对所述人脸三维信息中嘴巴网格点进行主成分分析，获得多个第一主成分方向；以所述嘴巴网格点在所有所述第一主成分方向上投影方差最大的所述第一主成分方向作为最优第一主成分方向；
15.对所述人脸三维信息中人脸中心线网格点进行主成分分析，获得多个第二主成分方向；以所述中心线网格点在所有所述第二主成分方向上投影方差最大的所述第二主成分方向作为最优第二主成分方向；
16.以所述最优第一主成分方向与所述最优第二主成分方向的夹角表示所述嘴巴倾斜程度。
17.进一步地，所述嘴巴运动能力获取模块还包括嘴巴运动信息获取模块；
18.所述嘴巴运动信息获取模块，用于以时序上所述人脸三维信息中嘴巴网格点到参考网格点的距离的差异作为运动变化量；将所述运动变化量的集合降维，获得所述嘴巴运动信息集合。
19.进一步地，所述嘴巴运动信息获取模块还包括信息降维模块；
20.所述信息降维模块，用于利用主成分分析降维方法，将所述运动变化量的集合降维至一维。
21.进一步地，所述嘴巴运动能力获取模块包括：
22.根据所述嘴巴运动信息集合的最大值和最小值获得嘴巴运动幅度指标；
23.根据所述嘴巴运动信息集合中大于均值的元素数目和小于均值的元素数目获得嘴巴运动部位数量指标；
24.通过所述嘴巴运动幅度指标和所述嘴巴运动部位数量指标获得所述嘴巴运动能力。
25.进一步地，所述嘴巴运动能力获取模块通过嘴巴运动能力公式获得所述嘴巴运动能力；所述嘴巴运动能力公式包括：
26.l＝x
max
exp(x
min
‑
x
max
)*n
max
exp(n
min
‑
n
max
)
27.其中，l为所述嘴巴运动能力，x
max
为所述嘴巴运动信息集合的最大值，x
min
为所述嘴巴运动信息集合的最小值，n
max
为所述嘴巴运动信息集合中大于均值的元素数目，n
min
为所述嘴巴运动信息集合中小于均值的元素数目，exp()为指数函数。
28.进一步地，所述嘴巴代谢严重程度获取模块通过嘴巴代谢严重程度公式获得；所述嘴巴代谢严重程度公式包括：
[0029][0030]
其中，p为所述嘴巴代谢严重程度，var为所述热量列表数据的方差，g所述热量列表数据的均值，d为所述像素值差异，e
p
()为指数函数。
[0031]
进一步地，所述康复状态特征获取模块还包括细节康复状态特征获取模块；
[0032]
所述细节康复状态获取模块，用于获取所述嘴巴运动信息中对应的嘴巴网格点在多帧所述嘴巴三维热量图中的热量变化；根据所述嘴巴运动信息、所述热量变化和所述康复状态特征获取细节康复状态特征。
[0033]
进一步地，所述细节康复状态特征获取模块通过细节康复状态特征公式获得所述细节康复状态特征；所述细节康复状态特征公式包括：
[0034][0035]
其中，h为所述细节康复状态特征，n为所述嘴巴运动信息数量，h为所述康复状态特征，f
i
为第i个所述细节康复状态特征，δg
i
为第i个所述细节康复状态特征对应的所述热量变化，exp()为指数函数。
[0036]
进一步地，所述康复程度获取模块通过康复程度公式获得所述康复程度；所述康复程度公式为：
[0037][0038]
其中，r所述康复程度，p为所述嘴巴代谢严重程度，h为所述康复状态特征，sinθ为所述嘴巴倾斜程度，l为所述嘴巴运动能力，a为偏移系数。
[0039]
本发明具有如下有益效果：
[0040]
1.本发明实施例中，通过考虑嘴巴倾斜程度、嘴巴运动能力。代谢严重程度和康复状态特征全面的分析了患者的康复程度，包含了患者嘴巴的全部特征，使得康复程度科学准确，便于患者康复训练。
[0041]
2.本发明实施例中，通过热成像图像分析嘴巴肌肉运动后的热量信息，通过热量信息评估嘴巴的代谢严重程度，更完整的分析了患者的康复状态。
附图说明
[0042]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0043]
图1为本发明一个实施例所提供的一种基于视觉感知的面部神经麻痹患者康复检测系统框图。
具体实施方式
[0044]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉感知的面部神经麻痹患者康复检测系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0045]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0046]
下面结合附图具体的说明本发明所提供的一种基于视觉感知的面部神经麻痹患者康复检测系统的具体方案。
[0047]
请参阅图1，其示出了本发明一个实施例提供的一种基于视觉感知的面部神经麻痹患者康复检测系统框图，该系统包括：三维信息采集模块101、嘴巴倾斜程度获取模块102、嘴巴运动能力获取模块103、嘴巴代谢严重程度获取模块104、康复状态特征获取模块
105和康复程度获取模块106。
[0048]
三维信息采集模块101用于获得患者面部运动过程中的面部图像。根据面部图像获得人脸三维信息。人脸三维信息中包含多类的网格点，可以表示面部不同部位的信息特征，因此将面部图像通过三维重建获得人脸三维信息。在本发明实施例中，使用二维辅助自监督学习法(2dasl)进行三维重建。在其他实施例中，还可以采用prnet、vrnet等方法进行三维重建。
[0049]
嘴巴倾斜程度获取模块102，用于通过人脸三维信息获得嘴巴倾斜程度。人脸三维模型中嘴巴网格点可以表现嘴巴的多种信息特征，因此可以根据嘴巴网格点的信息获得嘴巴倾斜程度，使得患者在做出一些表情或者患者面部变形程度大时也能准确衡量嘴巴歪斜程度。嘴巴倾斜程度获取模块102具体包括：
[0050]
1)对人脸三维信息中嘴巴网格点进行主成分分析，获得多个第一主成分方向。以嘴巴网格点在所有第一主成分方向上投影方差最大的第一主成分方向作为最优第一主成分方向。在本发明实施例中，主成分方向为三维坐标系下的三个方向。
[0051]
2)对人脸三维信息中人脸中心线网格点进行主成分分析，获得多个第二主成分方向。人脸中心线为人脸眉心到鼻尖连线的直线。以中心线网格点在所有第二主成分方向上投影方差最大的第二主成分方向作为最优第二主成分方向。
[0052]
3)以最优第一主成分方向与最优第二主成分方向的夹角表示所述嘴巴倾斜程度。在本发明实施例中，利用该夹角的正弦值表示嘴巴倾斜程度。
[0053]
嘴巴运动能力获取模块103，用于通过运动过程中的人脸三维信息的网格点坐标变化获得嘴巴运动信息集合。根据嘴巴运动信息集合获得嘴巴运动能力。让患者面部做一些动作，如说话等，通过时序上的人脸三维信息可获得患者在该动作过程中的嘴巴运动信息集合。
[0054]
优选的，嘴巴运动能力获取模块103还包括嘴巴运动信息获取模块。嘴巴运动信息获取模块用于以时序上人脸三维信息中嘴巴网格点到参考网格点的距离的差异作为运动变化量。将运动变化量的集合降维，获得嘴巴运动信息集合。
[0055]
具体的，对于任意一个嘴巴网格点与参考网格点在i帧和第i
‑
1帧中嘴巴网格点的运动变化量的获取公式表示为：
[0056]
δp＝(p
i
‑
p
i
)
‑
(p
i
‑1‑
p
i
‑1)
[0057]
其中，δp为嘴巴运动信息，p
i
为第i帧人脸三维信息中的嘴巴网格点，p
i
为第i帧人脸三维信息中的参考网格点。p
i
‑1为第i
‑
1帧人脸三维信息中的嘴巴网格点，p
i
‑1为第i
‑
1帧人脸三维信息中的参考网格点。
[0058]
嘴巴运动信息集合中的元素表示对应嘴巴网格点的运动信息。当患者嘴巴某部分运动灵活时，该部分对应的嘴巴运动信息大；当患者嘴巴某部分运动迟钝或者是不运动时，该部分对应的嘴巴运动信息小。
[0059]
在本发明实施例中，以眉心网格点作为参考网格点。
[0060]
需要说明的是，降维后的运动变化量集合中包含多个嘴巴网格点在运动过程时间段内对应的运动变化量序列。一个运动变化量序列为一个嘴巴网格点不同帧之间的运动变化量。将这些运动变化量序列中的元素的绝对值求均值获得该嘴巴网格点的运动信息，所有嘴巴网格点的运动信息作为嘴巴运动信息集合。嘴巴运动信息集合表示在一个时间段内
不同嘴巴网格点对应的位置变化情况的集合。
[0061]
因为患者在做出一些动作时，人脸也会发生位移运动，如小幅度的头部晃动等。通过眉心网格点的参照可以消除人脸的位移运动对嘴巴运动信息计算造成的误差。
[0062]
优选的，嘴巴运动信息获取模块还包括信息降维模块。信息降维模块用于利用主成分分析(pca)降维方法，将运动变化量的集合降维至一维。
[0063]
主成分分析降维方法具体为：获取运动变化量集合，将运动变化量集合中每个元素减去该运动变化量集合的均值进行中心化处理。在本发明实施例中，运动变化量集合中的元素为一个三维向量，将集合中所有三维向量的协方差构成一个协方差矩阵，获取协方差矩阵的三个特征值，获取最大特征值对应的特征向量，计算运动变化量集合中每个元素在该特征向量上的投影长度，投影长度为最终降维结果。
[0064]
嘴巴运动能力获取模块103具体包括：
[0065]
根据嘴巴运动信息集合中的最大值和最小值获得嘴巴运动幅度指标。根据嘴巴运动信息集合中大于均值的元素数目和小于均值的元素数目获得嘴巴运动部位数量指标。通过嘴巴运动幅度指标和嘴巴运动部位数量指标获得嘴巴运动能力。
[0066]
嘴巴运动幅度指标越大，说明嘴巴运动信息集合的最大值越大，同时最大值与最小值的差值越小，表示嘴巴的运动能力强。运动信息集合中大于均值的网格点表示肌肉运动能力强，小于均值的网格点表示肌肉运动能力弱，所以大于均值的元素数量越大，说明运动能力强的肌肉数量越多，小于均值的元素数量越少，说明运动能力弱的肌肉数量越少。同时运动幅度小的网格点和运动幅度大的网格点数目差别不大，说明嘴巴运动能力强的肌肉面积与运动能力弱的肌肉面积差异小，整体嘴巴运动能力强。
[0067]
嘴巴运动能力获取模块通过嘴巴运动能力公式获得嘴巴运动能力；嘴巴运动能力公式包括：
[0068]
l＝x
max
exp(x
min
‑
x
max
)*n
max
exp(n
min
‑
n
max
)
[0069]
其中，l为嘴巴运动能力，x
max
为嘴巴运动信息集合的最大值，x
min
为嘴巴运动信息集合的最小值，n
max
为嘴巴运动信息集合中大于均值的元素数目，n
min
为嘴巴运动信息集合中小于均值的元素数目，exp()为指数函数。
[0070]
嘴巴代谢严重程度获取模块104，用于获得患者面部的热成像图像。处理热成像图像，获得嘴巴热量图。将嘴巴热量图和人脸三维信息分别旋转至水平并融合，获得嘴巴三维热量图。嘴巴三维热量图中每个网格点的像素值大小代表了该网格点处的热量。对于正常人来说，嘴巴热量图的灰度值应沿嘴角到嘴巴中心的方向均匀分布，且在以竖直方向对称轴的嘴巴对称位置的灰度值差异较小。根据嘴巴三维热量图获得多组嘴巴对称网格点。获得每组嘴巴对称网格点之间的像素值差异。通过嘴巴热量图每列像素的均值构建热量列表数据。热量列表数据表示嘴巴热量信息沿嘴巴方向的分布信息。根据热量列表数据和像素值差异获得代谢严重程度。
[0071]
在本发明实施例中，通过deeplapv3语义分割网络将热成像图像中的嘴巴区域分割出来，并归一化处理获得嘴巴热量图。
[0072]
将嘴巴热量图和人脸三维信息分别旋转至水平的具体操作为：获得图像坐标系中嘴巴区域内所有像素点位置的两个第三主成分方向，以嘴巴像素点在所有第三主成分方向上投影方差最大的第三主成分方向作为最优第三主成分方向。根据最优第三主成分方向与
图像坐标系的x轴的夹角将嘴巴区域旋转至水平。
[0073]
在本发明实施例中，热量列表数据需要进行预处理操作。预处理操作包括：使用一维的滤波核对热量列表数据进行均值滤波，滤波核的宽度为7，步长为7。
[0074]
通过热成像图像中嘴巴肌肉的热量信息得到了代谢严重程度，代谢严重程度将嘴巴形态特征和嘴巴的热量分布特征相融合，表示了患者在静态时的嘴巴新陈代谢情况，代谢严重程度越大，表示患者嘴部不同位置代谢能力差别较大，康复的越差。
[0075]
具体地，嘴巴代谢严重程度获取模块104通过嘴巴代谢严重程度公式获得，嘴巴代谢严重程度公式为：
[0076][0077]
其中，p为嘴巴代谢严重程度，var为热量列表数据的方差，g热量列表数据的均值，d为像素值差异，exp()为指数函数。var和d描述了嘴巴上热度分布的不均匀性，var越大，g越小，d越大，说明嘴巴两侧代谢差异越明显，代谢严重程度越大。
[0078]
康复状态特征获取模块105用于以热成像图像中患者的面部两侧热量差异作为第一热量差异。以患者面部运动前后第一热量差异的差值作为第二热量差异。通过第二热量差异和嘴巴运动信息集合获得康复状态特征。康复状态特征为患者＝面部运动前后的热量变化特征，该特征描述了患者是否有康复的趋势。
[0079]
在本发明实施例中，通过语义分割网络分割出热成像图像中患者的左侧面部区域和右侧面部区域。其中，左侧面部区域以左面颊语义区域和左嘴角语义区域构成，右侧面部区域以右面颊语义区域和右嘴角语义区域构成。以左右两侧面部区域灰度值的均值的差异作为第一热量差异。
[0080]
当康复状态特征较小时，说明患者面部在运动后与运动前相比面部热量没有发生太大变化，即嘴部运动没有使面部肌肉代谢能力增强。当康复特征较大时，说明患者面部运动前左右面部的热量差异远大与运动后的左右面部差异，说明运动后左右面部代谢能力增强。
[0081]
优选的，康复状态特征获取模块105还包括细节康复状态特征获取模块。细节康复状态获取模块用于获取嘴巴运动信息中对应的嘴巴网格点在多帧嘴巴三维热量图中的热量变化。根据嘴巴运动信息、热量变化和所述康复状态特征获取细节康复状态特征。嘴巴运动信息越小，热量变化越大则所述细节康复状态特征越大。
[0082]
具体地，细节康复状态特征获取模块通过细节康复状态特征公式获得细节康复状态特征。细节康复状态特征公式包括：
[0083][0084]
其中，h为细节康复状态特征，n为嘴巴运动信息数量，h为康复状态特征，f
i
为第i个细节康复状态特征，δg
i
为第i个细节康复状态特征对应的热量变化，exp()为指数函数。
[0085]
细节康复状态特征关注了嘴巴运动幅度小的位置处的代谢能力变化。细节康复状态特征越大说明较小的嘴巴运动就能使面部有较强的代谢能力，即康复状态较大。
[0086]
康复状态程度获取模块106用于通过嘴巴倾斜程度、所述嘴巴运动能力、代谢严重程度和康复状态特征获得康复程度。
[0087]
具体地，康复程度获取模块106通过康复程度公式获得康复程度。康复程度公式为：
[0088][0089]
其中，r康复程度，p为嘴巴代谢严重程度，h为康复状态特征，sinθ为倾斜程度，l为嘴巴运动能力，a为偏移系数。康复程度公式关注了患者嘴巴静态和动态的特征，全面的分析了患者面部特征，获得患者的康复程度。在本发明实施例中，令其中，b设置为0.1。a表示了嘴巴运动产生的一种增益或相应，与患者的康复程度呈正相关。
[0090]
综上所述，本发明实施例通过患者运动过程中的人脸三维信息获得患者嘴巴倾斜程度和嘴巴运动能力。通过热成像图像结合人脸三维信息获得代谢严重程度和康复状态特征。根据嘴巴倾斜程度、嘴巴运动能力、代谢严重程度和康复状态特征全面的对患者面部运动过程中的运动变化和热量变化进行分析，获得康复程度。
[0091]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0092]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0093]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。