一种表情特征提取方法、装置及电子设备与流程

技术特征：
1.一种表情特征提取方法，其特征在于，包括：对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图；利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征图的eldp特征，获得每个sfm特征图的eldp特征直方图；级联所有eldp特征直方图，获得所述人脸表情图像的特征信息。2.根据权利要求1所述的方法，其特征在于，所述对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图，包括：对人脸表情图像进行gabor滤波，获得x尺度y方向的gabor特征；根据所述gabor特征确定gabor幅值特征；对同一方向不同尺度的gabor幅值特征进行叠加，获得y个方向的gabor幅值域图谱，将所述gabor幅值域图谱确定为所述sfm特征图。3.根据权利要求2所述的方法，其特征在于，所述根据所述gabor特征确定gabor幅值特征，包括：通过如下公式确定所述gabor幅值特征：其中，z＝(x,y)为空间坐标位置，gmm
v,u
为v方向u尺度的gabor幅值特征，o
v,u
为v方向u尺度的gabor特征，o
v,u
由所述人脸表情图像与gabor滤波器的核函数进行卷积得到，re表示o
v,u
的实部，im表示o
v,u
的虚部。4.根据权利要求1所述的方法，其特征在于，所述利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征图的eldp特征，获得每个sfm特征图的eldp特征直方图，包括：将每个所述sfm特征图划分为不重叠的m
×
n个子区域；确定每个子区域的eldp编码；利用每个子区域的所述eldp编码，得到每个所述子区域的eldp与gabor小波融合的eldp特征直方图。5.根据权利要求4所述的方法，其特征在于，所述确定每个子区域的eldp编码，包括：以所述子区域的第一像素点作为中心像素点，将所述中心像素点与其邻域8个方向的像素点构成一个3
×
3区域的正方形；根据kirsch算子的8方向掩模，计算3
×
3区域的正方形的边缘响应值的均值；根据所述均值，确定所述3
×
3区域内每个像素点的eldp编码；根据每个像素点的eldp编码，计算所述子区域的eldp编码。6.根据权利要求5所述的方法，其特征在于，通过如下公式计算3
×
3区域的正方形的边缘响应值的均值：其中，m为3
×
3区域的边缘响应值的均值，m
i
为所述8个方向的像素点中i方向像素点所在区域的边缘响应值，m
c
为所述中心像素点的灰度值。
7.根据权利要求5所述的方法，其特征在于，所述根据所述均值，确定所述3
×
3区域内每个像素点的eldp编码，包括：将3
×
3区域内的目标像素点的eldp编码设为1，其余位置的eldp编码设为0；其中，所述目标像素点为：边缘响应值的绝对值大于或者等于所述均值的区域对应的像素点。8.根据权利要求5所述的方法，其特征在于，根据每个像素点的eldp编码，计算所述子区域的eldp编码，包括：通过如下公式分别计算每个所述子区域的eldp编码：其中，b
i
(a)表示3
×
3区域内的像素点i的eldp编码，a为(m
i-m)或者(m
c-m)；m为3
×
3区域的边缘响应值的均值，m
i
为3
×
3区域中像素点i所在区域的边缘响应值，m
c
为所述中心像素点的灰度值；eldp为一个所述子区域的eldp编码。9.根据权利要求8所述的方法，其特征在于，所述利用每个子区域的所述eldp编码，得到每个所述子区域的eldp与gabor小波融合的eldp特征直方图，包括：利用所述eldp编码对gabor幅值域图谱的不同方向和不同尺度进行纹理特征编码，记为ldpg编码：其中，gmm为3
×
3区域的gabor幅值特征的均值，gmm
i
为3
×
3区域中像素点i对应的gabor幅值特征，gmm
c
为中心像素点对应的gabor幅值特征；ldpg为一个所述子区域的纹理特征编码；令(gmm
i-gmm)或者(gmm
c-gmm)为c，b
i
(c)表示3
×
3区域内的像素点i对应的纹理特征编码；利用所述ldpg编码，获得所述子区域的eldp与gabor小波融合的eldp特征直方图：其中，k和l表示将子区域划分为k
×
l个区域块，h表示所述子区域的eldp与gabor小波融合的eldp特征直方图，ldpg(k，l)表示区域块(k，l)的ldpg编码，c表示eldp编码；a为ldpg(k，l)。10.根据权利要求4所述的方法，其特征在于，所述级联所有eldp特征直方图，获得所述人脸表情图像的特征信息，包括：级联m
×
n个子区域的eldp特征直方图，获得所述人脸表情特征的特征信息。11.一种表情特征提取装置，其特征在于，包括：滤波模块，用于对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图；特征提取模块，用于利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征图的eldp特征，获得每个sfm特征图的eldp特征直方图；
第一获取模块，用于级联所有eldp特征直方图，获得所述人脸表情图像的特征信息。12.一种电子设备，其特征在于，包括：收发器和处理器；所述处理器用于：对人脸表情图像进行gabor滤波，获得y个方向的运动恢复结构sfm特征图；利用扩展局部方向模式eldp编码分别提取每个方向的所述sfm特征图的eldp特征，获得每个sfm特征图的eldp特征直方图；级联所有eldp特征直方图，获得所述人脸表情图像的特征信息。13.一种电子设备，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求1-10任一项所述的表情特征提取方法。14.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1-10任一项所述的表情特征提取方法中的步骤。

技术总结
本发明提供一种表情特征提取方法、装置及电子设备，该方法包括：对人脸表情图像进行Gabor滤波，获得Y个方向的运动恢复结构SFM特征图；利用扩展局部方向模式eLDP编码分别提取每个方向的所述SFM特征图的eLDP特征，获得每个SFM特征图的eLDP特征直方图；级联所有eLDP特征直方图，获得所述人脸表情图像的特征信息。本发明的实施例，对人脸表情图像进行Gabor滤波，获得Y个方向的运动恢复结构SFM特征图，实现对人脸表情图像降维，能够减少eLDP处理图像的数量，从而减少特征提取时间；通过eLDP编码图得到基于eLDP与Gabor小波融合的eLDP特征直方图，能够保持较好实时性，且能够提高识别率。率。率。


技术研发人员：余朝靖 刘利军 上官斌 邹宇
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2021.06.17
技术公布日：2022/12/19