一种基于Dlib和OpenGL的视频人脸表情生成方法与流程

一种基于dlib和opengl的视频人脸表情生成方法
技术领域
1.本发明涉及人脸替换领域，尤其是涉及一种基于dlib和opengl的视频人脸表情生成方法。


背景技术：

2.随着近年来深度学习技术的突破性迚展，人脸合成技术也经历着飞速的发展，在隐私保护、影视动画、娱乐商用等各个领域得到了广泛的应用。
3.目前，图像人脸合成任务的主要难点：
4.现有技术制作的细节丰富的高分辨率人脸图像已经具有比较理想的视觉效果。各类新颖的应用逐渐开始走迚人们的日常生活，但有些应用不仅对交换人脸的真实度与分辨率有要求，还要求交换人脸视频中的动作连贯平滑，或者对角度、动作以及环境光照变化具有高鲁棒性。虽然研究人员已经探索了各类方法来交换人脸视频，但这些方法大多基于图形学技术，需要大量的人工干预以及计算资源，而且过度依赖专业特效人员的预处理与后处理，导致人力成本巨大，价栺高昂。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种实时性好、无延迟且可以替换成任意玩具的3d模型替换人脸的基于dlib和opengl的视频人脸表情生成方法。
6.本发明的目的可以通过以下技术方案来实现：
7.根据本发明的第一方面，提供了一种基于dlib和opengl的视频人脸表情生成方法，该方法包括以下步骤：
8.步骤s1、使用dlib检测出人脸关键点；
9.步骤s2、基于opencv的solvepnp从点对应中获取头部姿态估计，并采用 opengl对头部姿态估计进行渲染；
10.步骤s3、基于人脸关键点，使用blender建立3d人脸模型；
11.步骤s4、动态修改3d人脸模型，对齐图片和3d人脸模型中的人脸。
12.优选地，所述步骤s1包括以下子步骤：
13.步骤s11、计算已知图片中所有人脸对应的特征向量；
14.步骤s12、计算要识别的未知图片中所有人脸对应的特征向量；
15.步骤s13、计算人脸之间的欧式距离；
16.步骤s14、如果两张人脸之间的欧式距离小于设定的阈值，则认为是同一个人，否则认为不是同一个人。
17.优选地，所述人脸关键点数量为68。
18.优选地，所述步骤s2中基于opencv的solvepnp从点对应中获取头部姿态估计，包括以下子步骤：
19.步骤s21、基于对应关系，获取左眼、右眼、左耳、右耳、左嘴、右嘴和鼻子的2d位置；
20.步骤s22、基于头部的3d模型，使用meshlab的“获取信息”选择器获得相同特征的3d点；
21.步骤s23、利用2d-3d对应关系，采用solvepnp获得3d对象的6dof头部姿态。
22.优选地，所述步骤s3具体为：
23.根据连线人脸关键点得到一个低面数的人脸模型，使用blender建立3d人脸模型basemodel。
24.优选地，所述basemodel的格式为obj。
25.优选地，所述步骤s4具体为：
26.动态修改basemodel；找到相关点与人脸关键点的对应关系，通过替换对应行的数据动态修改模型，实现图片和3d模型的人脸对齐。
27.优选地，所述相关点为basemodel中，以“v”开头的行对应地模型顶点，以“vt”开头的行对应的模型的贴图坐标点。
28.根据本发明的第二方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现任一项所述的方法。
29.根据本发明的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现任一项所述的方法。
30.与现有技术相比，本发明具有以下优点：
31.1)本发明基于dlib和opengl生成的实时视频人脸3d模型动画表情，通过 opengl引擎作用，视频实时性较好、无延迟，且可以替换成任意玩具的3d模型替换人脸。
32.2)本发明的方法无需过多人工干预，且节约了计算资源。
附图说明
33.图1为本发明的方法流程图；
34.图2为使用dlib检测出人脸的68个关键点示意图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
36.实施例
37.如图1所示，本实施例提供了一种基于dlib和opengl的视频人脸表情生成方法，该方法包括以下步骤：
38.步骤s1、如图2所示，使用dlib检测出68个人脸关键点，具体过程为包括：
39.步骤s11、计算已知图片中所有人脸对应的特征向量；
40.1)采用人脸关键点(face landmark)实现人脸对齐(face landmark)，具体做法是：
41.利用最小二乘法求解当前人脸图像的关键点与预定义的统计得到的标准人脸关
键点之间的空间变换矩阵(一般是相似变换矩阵)，再在人脸图像上进行该空间变换矩阵对应的变换；其中，人脸对齐后的图像为标准尺寸，而且减小了人脸姿态、尺度和偏移(相似变换矩阵中包含了旋转、尺度和平移参数)对人脸识别的影响；
42.2)将对齐后的人脸图像送入学习网络，得到图片中所有人脸对应的特征向量；
43.人脸特征向量：在深度学习中，分类层前面一层(将人脸识别当成分类任务) 或最后一层(将人脸识别当成度量学习任务)的特征映射(feature map)，其维度由网络结构决定；
44.步骤s12、计算要识别的未知图片中所有人脸对应的特征向量；
45.步骤s13、计算人脸之间的欧式距离；
46.步骤s14、如果两张人脸之间的欧式距离小于设定的阈值，则认为是同一个人，否则认为不是同一个人。
47.步骤s2、基于opencv的solvepnp从点对应中获取头部的6dof姿势，具体过程为：
48.步骤s21、基于对应关系，获取左眼、右眼、左耳、右耳、左嘴、右嘴和鼻子的2d位置；
49.步骤s22、基于头部的3d模型，使用meshlab的“获取信息”选择器获得相同特征的3d点；
50.步骤s23、利用2d-3d对应关系，采用solvepnp获得3d对象的6dof姿势；
51.步骤s3、基于人脸关键点，使用blender建立3d人脸模型，具体为：
52.根据连线人脸关键点得到一个低面数的人脸模型，使用blender建立3d人脸模型basemodel，文件格式为obj。
53.步骤s4、动态修改3d人脸模型，实现图片和3d模型的人脸对齐；具体为；
54.动态修改basemode；找到相关点与人脸关键点的对应关系，通过替换对应行的数据动态修改模型，实现图片和3d模型的人脸对齐。
55.相关点为basemodel中，以“v”开头的行对应地模型顶点，以“vt”开头的行对应的模型的贴图坐标点.
56.本发明电子设备包括中央处理单元(cpu)，其可以根据存储在只读存储器 (rom)中的计算机程序指令或者从存储单元加载到随机访问存储器(ram)中的计算机程序指令，来执行各种适当的动作和处理。在ram中，还可以存储设备操作所需的各种程序和数据。cpu、rom以及ram通过总线彼此相连。输入/输出(i/o) 接口也连接至总线。
57.设备中的多个部件连接至i/o接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
58.处理单元执行上文所描述的各个方法和处理，例如方法s1～s4。例如，在一些实施例中，方法s1～s4可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由rom和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到ram并由 cpu执行时，可以执行上文描述的方法s1～s4的一个或多个步骤。备选地，在其他实施例中，cpu可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法s1～s4。
59.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例
如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列 (fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。
60.用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
61.在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
62.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。