一种表情特征提取方法、装置及电子设备与流程

1.本发明涉及表情特征提取领域，特别是指一种表情特征提取方法、装置及电子设备。


背景技术：

2.人脸表情特征提取算法需要对人脸的器官特征、纹理区域和预定义的特征点进行定位和提取，人脸被检测定位后,根据人脸描绘方法不同采用不同的特征提取方法进行面部表情信息的提取，然后根据提取的表情信息进行表情分类。人脸特征提取是人脸表情识别中的核心步骤，是识别技术的关键，它决定着最终的识别结果，直接影响识别率的高低。现有的特征提取方法，例如：将图像的方向信息和第一第二大的强度信息结合起来进行编码来提高识别率。在现有技术中还没有利用gabor小波滤波器与扩展局部方向模式(extended local directional pattern，eldp)融合来提取人脸表情特征的方法。


技术实现要素：

3.本发明的目的是提供一种表情特征提取方法、装置及电子设备，能够实现gabor小波滤波器与eldp融合来提取人脸表情特征。
4.为达到上述目的，本发明的实施例提供一种表情特征提取方法，包括：
5.对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构(structure from motion，sfm)特征图；
6.利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征图的eldp特征，获得每个sfm特征图的eldp特征直方图；
7.级联所有eldp特征直方图，获得所述人脸表情图像的特征信息。
8.可选地，所述对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图，包括：
9.对人脸表情图像进行gabor滤波，获得x尺度y方向的gabor特征；
10.根据所述gabor特征确定gabor幅值特征；
11.对同一方向不同尺度的gabor幅值特征进行叠加，获得y个方向的gabor幅值域图谱，将所述gabor幅值域图谱确定为所述sfm特征图。
12.可选地，所述根据所述gabor特征确定gabor幅值特征，包括：
13.通过如下公式确定所述gabor幅值特征：
[0014][0015]
其中，z＝(x,y)为空间坐标位置，gmm
v,u
为v方向u尺度的gabor幅值特征，o
v,u
为v方向u尺度的gabor特征，o
v,u
由所述人脸表情图像与gabor滤波器的核函数进行卷积得到，re表示o
v,u
的实部，im表示o
v,u
的虚部。
[0016]
可选地，所述利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征
图的eldp特征，获得每个sfm特征图的eldp特征直方图，包括：
[0017]
将每个所述sfm特征图划分为不重叠的m
×
n个子区域；
[0018]
确定每个子区域的eldp编码；
[0019]
利用每个子区域的所述eldp编码，得到每个所述子区域的eldp与gabor小波融合的eldp特征直方图。
[0020]
可选地，所述确定每个子区域的eldp编码，包括：
[0021]
以所述子区域的第一像素点作为中心像素点，将所述中心像素点与其邻域8个方向的像素点构成一个3
×
3区域的正方形；
[0022]
根据kirsch算子的8方向掩模，计算3
×
3区域的正方形的边缘响应值的均值；
[0023]
根据所述均值，确定所述3
×
3区域内每个像素点的eldp编码；
[0024]
根据每个像素点的eldp编码，计算所述子区域的eldp编码。
[0025]
可选地，通过如下公式计算3
×
3区域的正方形的边缘响应值的均值：
[0026][0027]
其中，m为3
×
3区域的边缘响应值的均值，mi为所述8个方向的像素点中i方向像素点所在区域的边缘响应值，mc为所述中心像素点的灰度值。
[0028]
可选地，所述根据所述均值，确定所述3
×
3区域内每个像素点的eldp编码，包括：
[0029]
将3
×
3区域内的目标像素点的eldp编码设为1，其余位置的eldp编码设为0；其中，所述目标像素点为：边缘响应值的绝对值大于或者等于所述均值的区域对应的像素点。
[0030]
可选地，根据每个像素点的eldp编码，计算所述子区域的eldp编码，包括：
[0031]
通过如下公式分别计算每个所述子区域的eldp编码：
[0032][0033]
其中，bi(a)表示3
×
3区域内的像素点i的eldp编码，a为(m
i-m)或者(m
c-m)；m为3
×
3区域的边缘响应值的均值，mi为3
×
3区域中像素点i所在区域的边缘响应值，mc为所述中心像素点的灰度值；eldp为一个所述子区域的eldp编码。
[0034]
可选地，所述利用每个子区域的所述eldp编码，得到每个所述子区域的eldp与gabor小波融合的eldp特征直方图，包括：
[0035]
利用所述eldp编码对gabor幅值域图谱的不同方向和不同尺度进行纹理特征编码，记为ldpg编码：
[0036][0037]
其中，gmm为3
×
3区域的gabor幅值特征的均值，gmmi为3
×
3区域中像素点i对应的gabor幅值特征，gmmc为中心像素点对应的gabor幅值特征；ldpg为一个所述子区域的纹理特征编码；令(gmm
i-gmm)或者(gmm
c-gmm)为c，bi(c)表示3
×
3区域内的像素点i对应的纹理特征编码；
[0038]
利用所述ldpg编码，获得所述子区域的eldp与gabor小波融合的eldp特征直方图；
[0039][0040]
其中，k和l表示将子区域划分为k
×
l个区域块，h表示所述子区域的eldp与gabor小波融合的eldp特征直方图，ldpg(k，l)表示区域块(k，l)的ldpg编码，c表示eldp编码；a为ldpg(k，l)。
[0041]
可选地，所述级联所有eldp特征直方图，获得所述人脸表情图像的特征信息，包括：
[0042]
级联m
×
n个子区域的eldp特征直方图，获得所述人脸表情特征的特征信息。
[0043]
为达到上述目的，本发明的实施例提供一种表情特征提取装置，包括：
[0044]
滤波模块，用于对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图；
[0045]
特征提取模块，用于利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征图的eldp特征，获得每个sfm特征图的eldp特征直方图；
[0046]
第一获取模块，用于级联所有eldp特征直方图，获得所述人脸表情图像的特征信息。
[0047]
为达到上述目的，本发明的实施例提供一种电子设备，包括：收发器和处理器；
[0048]
所述处理器用于：对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图；
[0049]
利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征图的eldp特征，获得每个sfm特征图的eldp特征直方图；
[0050]
级联所有eldp特征直方图，获得所述人脸表情图像的特征信息。
[0051]
为达到上述目的，本发明的实施例提供一种电子设备，包括收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所程序或指令时实现如上所述的表情特征提取方法。
[0052]
为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的表情特征提取方法中的步骤。
[0053]
本发明的上述技术方案的有益效果如下：
[0054]
本发明的实施例，对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图，实现对人脸表情图像降维，能够减少eldp处理图像的数量，从而减少特征提取时间；通过eldp编码图得到基于eldp与gabor小波融合的eldp特征直方图，能够保持较好实时性，且能够提高识别率。
附图说明
[0055]
图1为本发明实施例的表情特征提取方法的流程示意图之一；
[0056]
图2为本发明实施例的gabor幅值特征叠加的过程示意图；
[0057]
图3a和图3b为eldp编码示意图；
[0058]
图4为本发明实施例的特征直方图的连接过程示意图；
[0059]
图5为本发明实施例的表情特征提取方法的流程示意图之二；
[0060]
图6为本发明实施例的表情特征提取装置的结构示意图；
[0061]
图7为本发明实施例的电子设备的示意图之一；
[0062]
图8为本发明实施例的电子设备的示意图之二。
具体实施方式
[0063]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
[0064]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
[0065]
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0066]
另外，本文中术语“系统”和“网络”在本文中常可互换使用。
[0067]
在本技术所提供的实施例中，应理解，“与a相应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其它信息确定b。
[0068]
如图1所示，本发明实施例的一种表情特征提取方法，包括：
[0069]
步骤101、对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图；
[0070]
步骤102、利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征图的eldp特征，获得每个sfm特征图的eldp特征直方图；
[0071]
步骤103、级联所有eldp特征直方图，获得所述人脸表情图像的特征信息。
[0072]
该实施例中，所述人脸表情图像可以为ck 人脸表情数据库中的实验数据。y可以为8，即通过对人脸表情图像进行gabor滤波，可以获得八方向的sfm特征图。通过eldp编码分别提取八方向的sfm特征图的eldp特征，能够获得基于eldp与gabor小波融合的eldp特征直方图，级联获得的所有eldp特征直方图，能够得到基于ldp与gabor的融合特征。
[0073]
本发明的实施例，对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图，实现对人脸表情图像降维，能够减少eldp处理图像的数量，从而减少特征提取时间；通过eldp编码图得到基于eldp与gabor小波融合的eldp特征直方图，能够保持较好实时性，且能够提高识别率。
[0074]
具体地，所述步骤101可以包括：
[0075]
1)：对人脸表情图像进行gabor滤波，获得x尺度y方向的gabor特征；以x为5、y为8为例，即将人脸表情图像经过gabor滤波器得到5尺度8方向的gabor特征；
[0076]
2)：根据所述gabor特征确定gabor幅值特征；
[0077]
所述根据所述gabor特征确定gabor幅值特征，包括：
[0078]
通过如下公式确定所述gabor幅值特征：
[0079][0080]
其中，z＝(x,y)为空间坐标位置，gmm
v,u
为v方向u尺度的gabor幅值特征，o
v,u
为v方向u尺度的gabor特征，o
v,u
由所述人脸表情图像与gabor滤波器的核函数进行卷积得到，re表示o
v,u
的实部，im表示o
v,u
的虚部。
[0081]
3)：对同一方向不同尺度的gabor幅值特征进行叠加，获得y个方向的gabor幅值域图谱(gabor magnitude maps，gmms)，将所述gabor幅值域图谱确定为所述sfm特征图。
[0082]
具体地，求gabor特征的步骤为：利用人脸表情图像与gabor滤波器的核函数进行卷积运算，
[0083]
gabor小波滤波器的核函数为：
[0084][0085]
其中，z＝(x，y)表示空间坐标位置，表示波向量，kv＝k
max
/fv，分别定义了波向量的尺度和方向，k
max
为滤波器组的最大空间频率，f为频率域的采样步长，n为滤波器组总的方向数。σ表示高斯函数的标准差，决定了高斯包络的半径；v表示gabor滤波器的方向，u表示尺度。
[0086]
令i(z)表示人脸表情图像，则人脸表情图像的gabor特征为：
[0087]ov，u
(z)＝i(z)*g
v，u
(z)
[0088]ov，u
(z)为gabor特征，g
v，u
(z)为gabor小波滤波器的核函数，i(z)为人脸表情图像。
[0089]
由于g
v，u
(z)为复数，则卷积结果o
v，u
(z)也为复数。
[0090]
gabor幅值特征为：
[0091][0092]
以x为5、y为8为例，则得到5尺度8方向的gabor幅值特征，对得到的gabor幅值特征同一方向不同尺度的gabor特征进行叠加，将叠加后的八个方向的gabor特征图记为sfm特征图。5尺度8方向的gabor幅值特征叠加的过程如图2所示。
[0093]
具体地，所述步骤102可以包括：
[0094]
步骤a：将每个所述sfm特征图划分为不重叠的m
×
n个子区域；
[0095]
步骤b：确定每个子区域的eldp编码；
[0096]
具体地，所述确定每个子区域的eldp编码，可以包括：
[0097]
以所述子区域的第一像素点作为中心像素点，将所述中心像素点与其邻域8个方向的像素点构成一个3
×
3区域的正方形；根据kirsch算子的8方向掩模，计算3
×
3区域的正方形的边缘响应值的均值；根据所述均值，确定所述3
×
3区域内每个像素点的eldp编码；根据每个像素点的eldp编码，计算所述子区域的eldp编码。
[0098]
kirsch算子的8方向掩模集合例如：
[0099][0100]
其中m1、m3、m5、m7、m0、m2、m4、m6作为方向掩模，与8个相同方向的邻域像素值卷积计算边缘响应值，进一步地，计算包括中心像素点在内的3
×
3区域边缘响应值的均值，将其作为阈值。
[0101]
可以通过如下公式计算3
×
3区域的正方形的边缘响应值的均值：
[0102][0103]
其中，m为3
×
3区域的边缘响应值的均值，mi为所述8个方向的像素点中i方向像素点所在区域的边缘响应值，mc为所述中心像素点的灰度值。
[0104]
将所述边缘响应值的均值作为阈值，从而确定各个像素点的eldp编码，具体地，确定所述3
×
3区域内每个像素点的eldp编码，可以包括：将3
×
3区域内的目标像素点的eldp编码设为1，其余位置的eldp编码设为0；其中，所述目标像素点为：边缘响应值的绝对值大于或者等于所述均值的区域对应的像素点。
[0105]
以一个子区域为例，如图3a，m0～m7分别为该子区域的8个方向的像素点的边缘响应值，mc为中心像素点的灰度值；以bi表示各个像素点的eldp编码(为0或者1)，得到如图3b所示的各个像素点的eldp编码。
[0106]
进一步地，根据每个像素点的eldp编码，计算所述子区域的eldp编码，可以包括：
[0107]
通过如下公式分别计算每个所述子区域的eldp编码：
[0108][0109]
其中，bi(a)表示3
×
3区域内的像素点i的eldp编码，a为(m
i-m)或者(m
c-m)；m为3
×
3区域的边缘响应值的均值，mi为3
×
3区域中像素点i所在区域的边缘响应值，mc为所述中心像素点的灰度值；eldp为一个所述子区域的eldp编码。
[0110]
通过上述公式，根据图像在8个方向的响应符号直接进行二进制编码，构造图像局部描述子，即每个子区域的eldp编码。在上述eldp编码的公式中，(m
i-m)≥0时，bi(m
i-m)＝1；(m
i-m)＜0时，bi(m
i-m)＝0；m
c-m≥0时，bi(m
c-m)＝1；m
c-m＜0时，bi(m
c-m)＝0。
[0111]
在计算得到每个子区域的eldp编码后，获得eldp描述子——直方图h
eldp
：
[0112]
[0113]
其中，k和l表示将子区域划分为k
×
l个区域块，h
eldp
(c)表示eldp编码为c的eldp描述子——直方图；eldp(k，l)表示区域块(k，l)的eldp编码，a为eldp(k，l)。
[0114]
步骤c：利用每个子区域的所述eldp编码，得到每个所述子区域的eldp与gabor小波融合的eldp特征直方图。
[0115]
具体地，利用所述eldp编码对gabor幅值域图谱的不同方向和不同尺度进行纹理特征编码，记为ldpg编码：
[0116][0117]
其中，gmm为3
×
3区域的gabor幅值特征的均值，gmmi为3
×
3区域中像素点i对应的gabor幅值特征，gmmc为中心像素点对应的gabor幅值特征；ldpg为一个所述子区域的纹理特征编码；令(gmm
i-gmm)或者(gmm
c-gmm)为c，bi(c)表示3
×
3区域内的像素点i对应的纹理特征编码。
[0118]
利用所述ldpg编码，获得所述子区域的eldp与gabor小波融合的eldp特征直方图；
[0119][0120]
其中，k和l表示将子区域划分为k
×
l个区域块，h表示所述子区域的eldp与gabor小波融合的eldp特征直方图，ldpg(k，l)表示区域块(k，l)的ldpg编码，c表示eldp编码；a为ldpg(k，l)。k可以为7，l可以为6。
[0121]
该实施例中，若在整个人脸表情图像上计算融合特征会忽略很多重要信息，所以本发明实施例将人脸表情图像进行分块处理，例如划分为8
×
8个区域，每个区域分别统计其特征直方图，将每个区域的直方图序列连接起来用以描述人脸表情的整体信息。
[0122]
具体地，所述级联所有eldp特征直方图，获得所述人脸表情图像的特征信息，可以包括：级联m
×
n个子区域的eldp特征直方图，获得所述人脸表情特征的特征信息。
[0123]
如图4所示，在获得各个区域的eldp与gabor小波融合的eldp特征直方图后，将表情图像从左至右、从上至下的顺序连接各个方向各个子块的特征直方图，级联后的直方图作为人脸表情图像的表情特征，可以利用分类器进行表情识别，得到融合eldp与gabor小波的表情特征提取方法的识别率。
[0124]
以y为8为例，本发明的实施例首先经过gabor滤波器得到8方向的sfm特征图，再利用eldp算子提取以上8个sfm特征图的eldp特征，得到每个sfm特征图的eldp特征直方图，最后将特征直方图连接起来，得到基于eldp与gabor的融合特征，用于分类器进行表情分类识别。
[0125]
本发明实施例提出了一种改进的扩展局部方向模式(eldp),同时为了增强局部特征提高识别率，提出了融合eldp与gabor的特征提取方法。融合eldp与gabor小波的表情特征提取方法降低了特征维度，保持了较好实时性的同时提高了识别率。通过在ck 人脸表情数据库上进行实验，验证了该方法的有效性和优越性。
[0126]
下面通过具体实施例说明本发明的表情特征提取方法的实现过程以及效果。
[0127]
如图5所示，步骤501：输入人脸表情图像；
[0128]
步骤502：在gabor滤波器对图像进行处理时，为了减少gabor图像的数目，且保留原gabor图像多尺度多方向的局部细节信息。本技术通过gabor滤波器得到x尺度y方向(如5尺度8方向)的gabor特征后，对同一方向不同尺度的gabor特征进行叠加，将叠加后的八个方向的gabor特征图记为sfm特征图，如图2所示。
[0129]
步骤503：本技术提出了eldp，在计算得到8个方向的边缘响应值后，计算包括中心像素在内的3
×
3区域的均值，将其作为新的阈值m，并将大于等于该阈值m的|mi|对应位置设置为1，其余位置设置为0，得到eldp编码；其中，通过下式计算eldp编码：
[0130][0131]
步骤504：利用eldp编码对gmm不同方向与尺度进行文理特征编码，记为ldpg编码：
[0132][0133]
步骤505：利用ldpg编码，获得eldp与gabor小波融合的eldp特征直方图：
[0134][0135]
步骤506：级联所有区域的eldp特征直方图可以获得所述人脸表情图像的人脸表情特征。
[0136]
因此，本技术首先将人脸表情图像经过gabor滤波器得到sfm特征图，再利用eldp算子提取以上8个sfm特征图的eldp特征，得到每个sfm特征图的eldp特征直方图，最后将特征直方图连接起来，得到基于eldp与gabor的融合特征。
[0137]
本发明的实施例，利用gabor滤波器对图像进行降维，再通过gabor滤波器得到x尺度y方向的sfm特征图，能够减少eldp处理图像的数量，进一步减少特征提取时间；再通过eldp编码图得到图像的特征直方图。本技术可以通过实验证明该方法保持了较好实时性的同时提高了识别率。
[0138]
如图6所示，本发明实施例提供一种表情特征提取装置600，包括：
[0139]
滤波模块610，用于对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图；
[0140]
特征提取模块620，用于利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征图的eldp特征，获得每个sfm特征图的eldp特征直方图；
[0141]
第一获取模块630，用于级联所有eldp特征直方图，获得所述人脸表情图像的特征信息。
[0142]
可选地，所述滤波模块610包括：
[0143]
滤波单元，用于对人脸表情图像进行gabor滤波，获得x尺度y方向的gabor特征；
[0144]
第一确定单元，用于根据所述gabor特征确定gabor幅值特征；
[0145]
第一处理单元，用于对同一方向不同尺度的gabor幅值特征进行叠加，获得y个方向的gabor幅值域图谱，将所述gabor幅值域图谱确定为所述sfm特征图。
[0146]
可选地，所述第一确定单元具体用于：
[0147]
通过如下公式确定所述gabor幅值特征：
[0148][0149]
其中，z＝(x，y)为空间坐标位置，gmm
v，u
为v方向u尺度的gabor幅值特征，o
v，u
为v方向u尺度的gabor特征，o
v，u
由所述人脸表情图像与gabor滤波器的核函数进行卷积得到，re表示o
v，u
的实部，im表示o
v，u
的虚部。
[0150]
可选地，所述特征提取模块620包括：
[0151]
第二处理单元，用于将每个所述sfm特征图划分为不重叠的m
×
n个子区域：
[0152]
第二确定单元，用于确定每个子区域的eldp编码；
[0153]
第三处理单元，用于利用每个子区域的所述eldp编码，得到每个所述子区域的eldp与gabor小波融合的eldp特征直方图。
[0154]
可选地，所述第二确定单元包括：
[0155]
处理子单元，用于以所述子区域的第一像素点作为中心像素点，将所述中心像素点与其邻域8个方向的像素点构成一个3
×
3区域的正方形；
[0156]
第一计算子单元，用于根据kirsch算子的8方向掩模，计算3
×
3区域的正方形的边缘响应值的均值；
[0157]
确定子单元，用于根据所述均值，确定所述3
×
3区域内每个像素点的eldp编码；
[0158]
第二计算子单元，用于根据每个像素点的eldp编码，计算所述子区域的eldp编码。
[0159]
可选地，通过如下公式计算3
×
3区域的正方形的边缘响应值的均值：
[0160][0161]
其中，m为3
×
3区域的边缘响应值的均值，mi为所述8个方向的像素点中i方向像素点所在区域的边缘响应值，mc为所述中心像素点的灰度值。
[0162]
可选地，所述确定子单元具体用于：将3
×
3区域内的目标像素点的eldp编码设为1，其余位置的eldp编码设为0；其中，所述目标像素点为：边缘响应值的绝对值大于或者等于所述均值的区域对应的像素点。
[0163]
可选地，所述第二计算子单元具体用于：
[0164]
通过如下公式分别计算每个所述子区域的eldp编码：
[0165][0166]
其中，bi(a)表示3
×
3区域内的像素点i的eldp编码，a为(m
i-m)或者(m
c-m)；m为3
×
3区域的边缘响应值的均值，mi为3
×
3区域中像素点i所在区域的边缘响应值，mc为所述中心像素点的灰度值；eldp为一个所述子区域的eldp编码。
[0167]
可选地，所述第三处理单元包括：
[0168]
第一处理子单元，用于利用所述eldp编码对gabor幅值域图谱的不同方向和不同尺度进行纹理特征编码，记为ldpg编码：
[0169][0170]
其中，gmm为3
×
3区域的gabor幅值特征的均值，gmmi为3
×
3区域中像素点i对应的gabor幅值特征，gmmc为中心像素点对应的gabor幅值特征；ldpg为一个所述子区域的纹理特征编码；令(gmm
i-gmm)或者(gmm
c-gmm)为c，bi(c)表示3
×
3区域内的像素点i对应的纹理特征编码；
[0171]
第二处理子单元，用于利用所述ldpg编码，获得所述子区域的eldp与gabor小波融合的eldp特征直方图：
[0172][0173]
其中，k和l表示将子区域划分为k
×
l个区域块，h表示所述子区域的eldp与gabor小波融合的eldp特征直方图，ldpg(k，l)表示区域块(k，l)的ldpg编码，c表示eldp编码；a为ldpg(k，l)。
[0174]
可选地，所述第一获取模块630具体用于：级联m
×
n个子区域的eldp特征直方图，获得所述人脸表情特征的特征信息。
[0175]
本发明的实施例，对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图，实现对人脸表情图像降维，能够减少eldp处理图像的数量，从而减少特征提取时间；通过eldp编码图得到基于eldp与gabor小波融合的eldp特征直方图，能够保持较好实时性，且能够提高识别率。
[0176]
在此需要说明的是，本发明实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
[0177]
如图7所示，本发明实施例的一种电子设备700，包括处理器710和收发器720，其中，
[0178]
所述处理器用于：对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图；
[0179]
利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征图的eldp特征，获得每个sfm特征图的eldp特征直方图；
[0180]
级联所有eldp特征直方图，获得所述人脸表情图像的特征信息。
[0181]
可选地，所述处理器对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图时，具体用于：
[0182]
对人脸表情图像进行gabor滤波，获得x尺度y方向的gabor特征；
[0183]
根据所述gabor特征确定gabor幅值特征；
[0184]
对同一方向不同尺度的gabor幅值特征进行叠加，获得y个方向的gabor幅值域图谱，将所述gabor幅值域图谱确定为所述sfm特征图。
[0185]
可选地，所述处理器通过如下公式确定所述gabor幅值特征：
[0186][0187]
其中，z＝(x，y)为空间坐标位置，gmm
v，u
为v方向u尺度的gabor幅值特征，o
v，u
为v方向u尺度的gabor特征，o
v，u
由所述人脸表情图像与gabor滤波器的核函数进行卷积得到，re表示o
v，u
的实部，im表示o
v，u
的虚部。
[0188]
可选地，所述处理器利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征图的eldp特征，获得每个sfm特征图的eldp特征直方图时，具体用于：
[0189]
将每个所述sfm特征图划分为不重叠的m
×
n个子区域；
[0190]
确定每个子区域的eldp编码；
[0191]
利用每个子区域的所述eldp编码，得到每个所述子区域的eldp与gabor小波融合的eldp特征直方图。
[0192]
可选地，所述处理器确定每个子区域的eldp编码时，具体用于：
[0193]
以所述子区域的第一像素点作为中心像素点，将所述中心像素点与其邻域8个方向的像素点构成一个3
×
3区域的正方形；
[0194]
根据kirsch算子的8方向掩模，计算3
×
3区域的正方形的边缘响应值的均值；
[0195]
根据所述均值，确定所述3
×
3区域内每个像素点的eldp编码；
[0196]
根据每个像素点的eldp编码，计算所述子区域的eldp编码。
[0197]
可选地，所述处理器通过如下公式计算3
×
3区域的正方形的边缘响应值的均值：
[0198][0199]
其中，m为3
×
3区域的边缘响应值的均值，mi为所述8个方向的像素点中i方向像素点所在区域的边缘响应值，mc为所述中心像素点的灰度值。
[0200]
可选地，所述处理器根据所述均值，确定所述3
×
3区域内每个像素点的eldp编码时，具体用于：
[0201]
将3
×
3区域内的目标像素点的eldp编码设为1，其余位置的eldp编码设为0；其中，所述目标像素点为：边缘响应值的绝对值大于或者等于所述均值的区域对应的像素点。
[0202]
可选地，所述处理器通过如下公式分别计算每个所述子区域的eldp编码：
[0203][0204]
其中，bi(a)表示3
×
3区域内的像素点i的eldp编码，a为(m
i-m)或者(m
c-m)；m为3
×
3区域的边缘响应值的均值，mi为3
×
3区域中像素点i所在区域的边缘响应值，mc为所述中心像素点的灰度值；eldp为一个所述子区域的eldp编码。
[0205]
可选地，所述处理器利用每个子区域的所述eldp编码，得到每个所述子区域的eldp与gabor小波融合的eldp特征直方图时，具体用于：
[0206]
利用所述eldp编码对gabor幅值域图谱的不同方向和不同尺度进行纹理特征编码，记为ldpg编码：
[0207][0208]
其中，gmm为3
×
3区域的gabor幅值特征的均值，gmmi为3
×
3区域中像素点i对应的gabor幅值特征，gmmc为中心像素点对应的gabor幅值特征；ldpg为一个所述子区域的纹理特征编码；令(gmm
i-gmm)或者(gmm
c-gmm)为c，bi(c)表示3
×
3区域内的像素点i对应的纹理特征编码；
[0209]
利用所述ldpg编码，获得所述子区域的eldp与gabor小波融合的eldp特征直方图：
[0210][0211]
其中，k和l表示将子区域划分为k
×
l个区域块，h表示所述子区域的eldp与gabor小波融合的eldp特征直方图，ldpg(k，l)表示区域块(k，l)的ldpg编码，c表示eldp编码；a为ldpg(k，l)。
[0212]
可选地，所述处理器级联所有eldp特征直方图，获得所述人脸表情图像的特征信息时，具体用于：
[0213]
级联m
×
n个子区域的eldp特征直方图，获得所述人脸表情特征的特征信息。
[0214]
本发明的实施例，对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图，实现对人脸表情图像降维，能够减少eldp处理图像的数量，从而减少特征提取时间；通过eldp编码图得到基于eldp与gabor小波融合的eldp特征直方图，能够保持较好实时性，且能够提高识别率。
[0215]
在此需要说明的是，本发明实施例提供的上述电子设备，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
[0216]
本发明另一实施例的电子设备，如图8所示，包括收发器810、处理器800、存储器820及存储在所述存储器820上并可在所述处理器800上运行的程序或指令；所述处理器800执行所述程序或指令时实现上述表情特征提取方法。
[0217]
所述收发器810，用于在处理器800的控制下接收和发送数据。
[0218]
其中，在图8中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器800代表的一个或多个处理器和存储器820代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器810可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器800负责管理总线架构和通常的处理，存储器820可以存储处理器800在执行操作时所使用的数据。
[0219]
本发明实施例的一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的表情特征提取方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0220]
其中，所述处理器为上述实施例中所述的处理器。所述可读存储介质，包括计算机
可读存储介质，如计算机只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0221]
进一步需要说明的是，此说明书中所描述的电子设备包括但不限于智能手机、平板电脑等，且所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。
[0222]
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
[0223]
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
[0224]
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(vlsi)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
[0225]
上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。
[0226]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。