一种唇动识别的方法、装置、电子设备和存储介质与流程

1.本技术涉及唇动识别技术领域，特别是涉及一种唇动识别的方法、装置、电子设备和存储介质。


背景技术：

2.目前唇动识别基于二维的唇形图像信息，首先从连续的视频流中获取人脸位置和唇形位置区域，将唇形信息送入唇动识别模型中，识别出对应的嘴部状态(开口/闭口)，以判断用户是否在说话。摄像头录入过程对人的姿态以及方向存在较大限制。在目前的唇动识别系统中，获得的嘴唇视觉特征信息都是正向的，这就意味着你与它交互时，需要保持正对着设备。限制了用户和产品的使用场景，二维唇动图像序列损失一部分唇动信息，影响唇动识别的性能。


技术实现要素：

3.基于上述问题，本技术提供一种唇动识别的方法、装置、电子设备和存储介质。
4.第一方面，本技术实施例提供一种唇动识别的方法，包括：
5.获取二维人脸图像以及预先训练的3d人脸关键点生成模型；
6.根据预先训练的3d人脸关键点生成模型确定3d唇部关键点；
7.根据3d唇部关键点和所述二维人脸图像确定唇部区域的二维图像；
8.根据预先训练的3d人脸关键点生成模型估计出3d人脸关键点，根据3d人脸关键点估计人脸姿态参数；
9.以唇部区域的二维图像、3d唇部关键点以及人脸姿态参数作为输入构建对抗生成网络，目标函数为生成图像的编码特征损失最小化得到唇动识别模型；
10.将二维人脸图像输入到唇动识别模型中得到唇动信息。
11.进一步地，上述一种唇动识别的方法中，根据预先训练的3d人脸关键点生成模型确定3d唇部关键点，包括：
12.根据预先训练的3d人脸关键点生成模型估计出3d人脸关键点；
13.通过3d人脸关键点获取3d唇部关键点。
14.进一步地，上述一种唇动识别的方法中，根据3d唇部关键点和二维人脸图像确定唇部区域的二维图像，包括：
15.基于3d唇部关键点获取二维人脸图像的唇部图像区域，
16.并在唇部图像区域向外扩充得到唇部区域的二维图像；
17.在唇部图像区域向外扩充包括：采用鼻尖关键点作为扩充的上界，脸部轮廓的关键点作为扩充的下界。
18.进一步地，上述一种唇动识别的方法中，根据预先训练的3d人脸关键点生成模型估计出3d人脸关键点，根据3d人脸关键点估计人脸姿态参数，包括：
19.获取标准3d人脸模型的关键点；
20.计算3d人脸关键点和标准3d人脸模型的关键点的旋转变换矩阵；
21.求解旋转变换矩阵估计人脸姿态参数。
22.进一步地，上述一种唇动识别的方法中，生成图像的编码特征损失最小化，包括：
23.生成图像的人脸姿态参数和目标人脸姿态参数之间的距离损失最小；生成图像和目标输出图像之间的差异最小；生成图像的3d人脸关键点和目标人脸关键点的距离最小。
24.进一步地，上述一种唇动识别的方法中，以唇部区域的二维图像、3d唇部关键点以及人脸姿态参数作为输入构建对抗生成网络，构建对抗生成网络之前包括：
25.确定唇部区域的二维图像的编码特征；
26.计算3d唇部关键点的光流参数。
27.进一步地，上述一种唇动识别的方法，包括：
28.以唇部区域的二维图像的编码特征、光流参数以及人脸姿态参数作为输入构建对抗生成网络。
29.第二方面，本技术实施例还提供一种唇动识别的装置，包括：
30.获取模块：用于获取二维人脸图像以及预先训练的3d人脸关键点生成模型；
31.第一确定模块：用于根据预先训练的3d人脸关键点生成模型确定3d唇部关键点；
32.第二确定模块：用于根据3d唇部关键点和所述二维人脸图像确定唇部区域的二维图像；
33.估计模块：用于根据预先训练的3d人脸关键点生成模型估计出3d人脸关键点，根据3d人脸关键点估计人脸姿态参数；
34.构建模块：用于以唇部区域的二维图像、3d唇部关键点以及人脸姿态参数作为输入构建对抗生成网络，目标函数为生成图像的编码特征损失最小化得到唇动识别模型；
35.输入模块：用于将二维人脸图像输入到唇动识别模型中得到唇动信息。
36.第三方面，本技术实施例还提供一种电子设备，其特征在于，包括：处理器和存储器；
37.所述处理器通过调用所述存储器存储的程序或指令，用于执行上述一种唇动识别的方法。
38.第四方面，本技术实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机上述一种唇动识别的方法。
39.本技术实施例的优点在于：本技术涉及一种唇动识别的方法、装置、电子设备和存储介质，该方法包括：获取二维人脸图像以及预先训练的3d人脸关键点生成模型；根据预先训练的3d人脸关键点生成模型确定3d唇部关键点；根据3d唇部关键点和二维人脸图像确定唇部区域的二维图像；根据预先训练的3d人脸关键点生成模型估计出3d人脸关键点，根据3d人脸关键点估计人脸姿态参数；以唇部区域的二维图像、3d唇部关键点以及人脸姿态参数作为输入构建对抗生成网络，目标函数为生成图像的编码特征损失最小化得到唇动识别模型；将二维人脸图像输入到唇动识别模型中得到唇动信息。本技术通过二维人脸获得三维唇动信息的方案，解决了用户在使用过程中的姿态和人脸方向限制问题，提供了一种对用户更加友好的交互体验；通过用户二维唇形估计出三维唇动信息，相比原有二维唇形的唇动识别系统，进一步提升了唇动识别的准确性，相比于利用3d摄像设备的唇动系统，降低了对图像采集硬件设备的要求。
附图说明
40.为了更清楚地说明本技术实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本技术实施例提供的一种唇动识别的方法示意图一；
42.图2为本技术实施例提供的一种唇动识别的方法示意图二；
43.图3为本技术实施例提供的一种唇动识别的装置示意图；
44.图4是本技术实施例提供的一种电子设备的示意性框图。
具体实施方式
45.为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本技术的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵时做类似改进，因此本技术不受下面公开的具体实施的限制。
46.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
47.图1为本技术实施例提供的一种唇动识别的方法示意图一。
48.第一方面，本技术实施例提供一种唇动识别的方法，结合图1，包括s101至s106六个步骤：
49.s101：获取二维人脸图像以及预先训练的3d人脸关键点生成模型。
50.具体的，本技术实施例中，获取二维人脸图像可以通过交互设备摄像头的视频流获取图像帧序列，执行人脸检测模块，获取人脸位置区域图像，从而获取二维人脸图像，获取的预先训练的3d人脸关键点生成模型是根据现有的人脸数据，标注出人脸关键点，训练得到的3d人脸关键点生成模型。
51.s102：根据预先训练的3d人脸关键点生成模型确定3d唇部关键点。
52.具体的，本技术实施例中，可以通过预先训练的3d人脸关键点生成模型确定3d唇部关键点。
53.s103：根据3d唇部关键点和二维人脸图像确定唇部区域的二维图像。
54.具体的，本技术实施例中，根据3d唇部关键点和二维人脸图像确定唇部区域的二维图像。
55.s104：根据预先训练的3d人脸关键点生成模型估计出3d人脸关键点，根据3d人脸关键点估计人脸姿态参数。
56.具体的，本技术实施例中，根据3d人脸关键点估计人脸姿态参数的步骤下文将做详细介绍。
57.s105：以唇部区域的二维图像、3d唇部关键点以及人脸姿态参数作为输入构建对抗生成网络，目标函数为生成图像的编码特征损失最小化得到唇动识别模型。
58.具体的，本技术实施例中，分别将唇部区域的二维图像、3d唇部关键点和人脸姿态参数作为输入构建对抗生成网络，以加快对抗生成网络的收敛，目标函数为生成图像的编码特征损失最小化得到的对抗生成网络的精度高。
59.s106：将二维人脸图像输入到唇动识别模型中得到唇动信息。
60.具体的，本技术实施例中，通过二维人脸图像可以直接获得三维唇动信息，解决了用户在使用过程中的姿态和人脸方向限制问题，提供了一种对用户更加友好的交互体验，通过用户二维唇形估计出三维唇动信息，相比原有二维唇形的唇动识别系统，进一步提升了唇动识别的准确性，相比于利用3d摄像设备的唇动系统，降低了对图像采集硬件设备的要求。
61.进一步地，上述一种唇动识别的方法中，根据预先训练的3d人脸关键点生成模型确定3d唇部关键点，包括：
62.根据预先训练的3d人脸关键点生成模型估计出3d人脸关键点，通过3d人脸关键点获取3d唇部关键点。
63.具体的，本技术实施例中，根据预先训练的3d人脸关键点生成模型确定3d唇部关键点首先是通过预先训练的3d人脸关键点生成模型估计出3d人脸关键点，然后通过3d人脸关键点获取3d唇部关键点。
64.进一步地，上述一种唇动识别的方法中，根据3d唇部关键点和二维人脸图像确定唇部区域的二维图像，包括：
65.基于3d唇部关键点获取二维人脸图像的唇部图像区域，并在唇部图像区域向外扩充得到唇部区域的二维图像；
66.在唇部图像区域向外扩充包括：采用鼻尖关键点作为扩充的上界，脸部轮廓的关键点作为扩充的下界。
67.具体的，本技术实施例中，通过3d人脸关键点获取3d唇部关键点，基于3d唇部关键点以及二维人脸图像获取二维人脸上的唇部区域，并对唇部区域向外扩充，采用鼻尖关键点作为扩充的上界，利用脸部轮廓的关键点作为外扩的下界。
68.图2为本技术实施例提供的一种唇动识别的方法示意图二。
69.进一步地，上述一种唇动识别的方法中，根据预先训练的3d人脸关键点生成模型估计出3d人脸关键点，根据3d人脸关键点估计人脸姿态参数，包括s201至s203三个步骤：
70.s201：获取标准3d人脸模型的关键点；
71.s202：计算3d人脸关键点和标准3d人脸模型的关键点的旋转变换矩阵；
72.s203：旋转变换矩阵估计人脸姿态参数。
73.具体的，本技术实施例中，假设标准3d人脸关键点序列为a＝[a_1,a_2,a_3,
…
,a_n]，n为标注人脸关键点数目，3d人脸关键点序列为b＝[b_1,b_2,b_3,
…
,b_n]，n为当前人脸关键点数目，令旋转变换矩阵r＝[r_x,r_y,r_z]；则计算3d人脸关键点和标准3d人脸模型的关键点的旋转变换矩阵的计算关系为b＝a*r，由于3d人脸关键点数大于人脸姿态参数，通过关键点计算人脸姿态参数转化为求解超定方程组，计算得到r中的人脸姿态参数。
[0074]
进一步地，上述一种唇动识别的方法中，生成图像的编码特征损失最小化，包括：
[0075]
生成图像的人脸姿态参数和目标人脸姿态参数之间的距离损失最小；生成图像和目标输出图像之间的差异最小；生成图像的3d人脸关键点和目标人脸关键点的距离最小。
[0076]
具体的，本技术实施例中，定义损失函数包括以下三部分生成图像的编码特征损失最小化：
[0077]
loss_1:计算生成图像output_generator_1和目标输出图像output_groundtruth之间的差异最小；loss_2:计算预测出的3d人脸关键点和ground_truth 3d人脸关键点的距离最小；loss_3:计算预测出的人脸姿态参数和ground_truth的人脸姿态参数之间的距离损失最小。
[0078]
进一步地，上述一种唇动识别的方法中，以唇部区域的二维图像、3d唇部关键点以及人脸姿态参数作为输入构建对抗生成网络。构建对抗生成网络之前包括：
[0079]
确定唇部区域的二维图像的编码特征；
[0080]
计算3d唇部关键点的光流参数。
[0081]
进一步地，上述一种唇动识别的方法，包括：
[0082]
以唇部区域的二维图像的编码特征、光流参数以及人脸姿态参数作为输入构建对抗生成网络。
[0083]
具体的，本技术实施例中，对抗生成网络的输入为原始二维的唇部区域图像input_1,3d唇部关键点input_2,人脸姿态参数input_3,其中，input_1经过神经网络编码器之后，编码特征为encode_input_1,input_2基于帧间变换，计算光流参数flow_input_2,将上述特征encode_input_1，flow_input_2和input_3作为输入构建对抗生成网络。
[0084]
图3为本技术实施例提供的一种唇动识别的装置示意图。
[0085]
第二方面，本技术实施例还提供一种唇动识别的装置，结合图3，包括：
[0086]
获取模块301：用于获取二维人脸图像以及预先训练的3d人脸关键点生成模型。
[0087]
具体的，本技术实施例中，获取模块301获取二维人脸图像可以通过交互设备摄像头的视频流获取图像帧序列，执行人脸检测模块，获取人脸位置区域图像，从而获取二维人脸图像，获取模块301获取的预先训练的3d人脸关键点生成模型是根据现有的人脸数据，标注出人脸关键点，训练得到的3d人脸关键点生成模型。
[0088]
第一确定模块302：用于根据预先训练的3d人脸关键点生成模型确定3d唇部关键点。
[0089]
具体的，本技术实施例中，第一确定模块302可以通过预先训练的3d人脸关键点生成模型确定3d唇部关键点。
[0090]
第二确定模块303：用于根据3d唇部关键点和所述二维人脸图像确定唇部区域的二维图像。
[0091]
具体的，本技术实施例中，第二确定模块303根据3d唇部关键点和二维人脸图像确定唇部区域的二维图像。
[0092]
估计模块304：用于根据预先训练的3d人脸关键点生成模型估计出3d人脸关键点，根据3d人脸关键点估计人脸姿态参数。
[0093]
具体的，本技术实施例中，估计模块304根据3d人脸关键点估计人脸姿态参数的步骤上文已做详细介绍。
[0094]
构建模块305：用于以唇部区域的二维图像、3d唇部关键点以及人脸姿态参数作为输入构建对抗生成网络，目标函数为生成图像的编码特征损失最小化得到唇动识别模型。
[0095]
具体的，本技术实施例中，构建模块305分别将唇部区域的二维图像、3d唇部关键
点和人脸姿态参数作为输入构建对抗生成网络，以加快对抗生成网络的收敛，目标函数为生成图像的编码特征损失最小化得到的对抗生成网络的精度高。
[0096]
输入模块306：用于将二维人脸图像输入到唇动识别模型中得到唇动信息。
[0097]
具体的，本技术实施例中，输入模块306通过将二维人脸图像输入到唇动识别模型可以直接获得三维唇动信息，解决了用户在使用过程中的姿态和人脸方向限制问题，提供了一种对用户更加友好的交互体验，通过用户二维唇形估计出三维唇动信息，相比原有二维唇形的唇动识别系统，进一步提升了唇动识别的准确性，相比于利用3d摄像设备的唇动系统，降低了对图像采集硬件设备的要求。
[0098]
第三方面，本技术实施例还提供一种电子设备，其特征在于，包括：处理器和存储器；
[0099]
所述处理器通过调用所述存储器存储的程序或指令，用于执行上述一种唇动识别的方法。
[0100]
第四方面，本技术实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机上述一种唇动识别的方法。
[0101]
图4是本公开实施例提供的一种电子设备的示意性框图。
[0102]
如图4所示，电子设备包括：至少一个处理器401、至少一个存储器402和至少一个通信接口403。电子设备中的各个组件通过总线系统404耦合在一起。通信接口403，用于与外部设备之间的信息传输。可理解，总线系统404用于实现这些组件之间的连接通信。总线系统404除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图4中将各种总线都标为总线系统404。
[0103]
可以理解，本实施例中的存储器402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
[0104]
在一些实施方式中，存储器402存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
[0105]
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(media player)、浏览器(browser)等，用于实现各种应用业务。实现本技术实施例提供的一种唇动识别的方法中任一方法的程序可以包含在应用程序中。
[0106]
在本技术实施例中，处理器401通过调用存储器402存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器401用于执行本技术实施例提供的一种唇动识别的方法各实施例的步骤。
[0107]
获取二维人脸图像以及预先训练的3d人脸关键点生成模型；
[0108]
根据预先训练的3d人脸关键点生成模型确定3d唇部关键点；
[0109]
根据3d唇部关键点和所述二维人脸图像确定唇部区域的二维图像；
[0110]
根据预先训练的3d人脸关键点生成模型估计出3d人脸关键点，根据3d人脸关键点估计人脸姿态参数；
[0111]
以唇部区域的二维图像、3d唇部关键点以及人脸姿态参数作为输入构建对抗生成网络，目标函数为生成图像的编码特征损失最小化得到唇动识别模型；
[0112]
将二维人脸图像输入到唇动识别模型中得到唇动信息。
[0113]
本技术实施例提供的一种唇动识别的方法中任一方法可以应用于处理器401中，或者由处理器401实现。处理器401可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0114]
本技术实施例提供的一种唇动识别的方法中任一方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成一种唇动识别的方法的步骤。
[0115]
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。
[0116]
本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0117]
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。