基于视频的人脸表情采集装置及三维人脸重建系统的制作方法

1.本公开涉及图像采集和处理，具体而言，涉及基于视频的人脸表情采集装置及三维人脸重建系统。


背景技术：

2.电影/电视、游戏、广告新媒体等产业都需要使用大量逼真的三维数据实现的虚拟人类。一种创建方式是使用多台高分辨率照相机(photography camera)阵列对真人进行同一时刻多角度照片拍摄，再基于这些照片通过算法生成被扫描人的三维数据。这种方式无法实现对人脸表情的动画信息的采集。而表情是人类传递情感的主要媒介，细节的运动节奏与幅度都参与情感传递，所以人脸表情动画对虚拟人类的逼真度有直接影响。为了实现更逼真的虚拟人类，后续需要花费很多时间来进行手动建模和动画处理。因此，现有的创建三维数据虚拟人类的过程是高度手动的，费时且昂贵。
3.再者，为了创建人类的皮肤，影视和游戏行业通常采用基于物理的渲染(physically based rendering，pbr)，这种渲染需要一张只有漫反射光照信息的被扫描人的皮肤图片。一般来说，多台高分辨率照相机阵列扫描只是通过闪光灯和补光对被扫描人进行拍照，这种照片包含了光照信息，后续需要手动处理才能得到没有光照信息的皮肤图片。同时由于需要引入手动处理过程，所以无法达到比较准确的建模效果。
4.因此，需要一种装置，其可以基于视频采集人脸表情，获得更细节的皮肤和表情信息，由此更逼真和准确地实现虚拟人脸的重建。


技术实现要素：

5.为了解决上述技术问题中的至少之一，根据本公开的一方面，提供了一种基于视频的人脸表情采集装置，其包括安装支架，其以360度环绕搭建，其内部空间至少容纳一个人；多个led灯组，其安装在安装支架的内侧面，并且环绕内部空间分布，所述多个led灯组加装偏光片；摄像机阵列，其安装在支架上并且包括能够拍摄到人脸正面的至少两台摄像机，其中所述摄像机阵列中的每台摄像机加装偏光片，并且与所述多个led灯组的偏光片垂直；以及定位装置，其上具有图案并且能够佩戴在被拍摄的人的头部。
6.根据本公开的实施例的基于视频的人脸表情采集装置，可选地，所述安装支架包括多个纵向和横向支架，相邻的纵向支架由横向支架连接，所述多个led灯组安装在横向支架的内侧，所述摄像机阵列安装在纵向支架的内侧。
7.根据本公开的实施例的基于视频的人脸表情采集装置，可选地，所述安装支架搭建为多边形或者圆形截面的柱体。
8.根据本公开的实施例的基于视频的人脸表情采集装置，可选地，还包括同步控制器，其向所述摄像机阵列中的每台摄像机发送同步拍摄的信号
9.根据本公开的实施例的基于视频的人脸表情采集装置，可选地，所述摄像机阵列包括48台摄像机，并且超过一半的摄像机分布于被拍摄的人脸正面朝向的180度的范围内。
10.根据本公开的实施例的基于视频的人脸表情采集装置，可选地，所述摄像机阵列中的摄像机的帧速率不低于30帧每秒。
11.根据本公开的实施例的基于视频的人脸表情采集装置，可选地，还包括位于支架的底部且对被拍摄的人脸照明的多个led灯组，其加装偏光片。
12.根据本公开的实施例的基于视频的人脸表情采集装置，可选地，所述定位装置包括三个定位图案，其设置在所述定位装置的不同位置。
13.根据本公开的实施例的基于视频的人脸表情采集装置，可选地，所述定位装置为刚性。
14.根据本公开的实施例的基于视频的人脸表情采集装置，可选地，进一步包括头部固定器，其位于人脸表情采集装置的内部空间，来固定被拍摄的人的头部。
15.根据本公开的另一方面，还提供了一种三维人脸重建系统，其包括如前所述的基于视频的人脸表情采集装置，该三维人脸重建系统还包括接收摄像机阵列拍摄的视频的帧数据的计算机，该计算机向所述同步控制器发送固定频率的信号。
16.本公开的实施例所提供的基于视频的人脸表情采集装置，通过采用加装偏光片的摄像机和led灯组，过滤掉非漫反射光，使得最终拍摄的帧信息中不包含光照信息，由此可以免去大量手动建模的工作，并且无需手动绘制即可输出基于物理渲染(pbr)的皮肤贴图图片。同步控制器可以同步摄像机拍摄的每一帧，便于后续的三维人脸重建。另外，头部的定位装置为生成的多帧三维数据提供对齐的依据，方便图像识别算法的定位。
17.利用本公开的实施例的三维人脸重建系统，从帧信息提取到生成虚拟人脸的过程高度自动化，可以生成逼真的三维人脸表情动画和皮肤贴图，解决了传统方式中需要大量手动处理生成虚拟人类表情动画的问题。
18.实施本公开的任一装置并不一定需要同时达到以上所述的所有优点。本公开的其它特征和优点将在随后的说明书实施例中阐述，并且，部分地从说明书实施例中变得显而易见，或者通过实施本公开而了解。本公开实施例的目的和优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
19.为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简要地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
20.图1是根据本公开一个实施例的包括基于视频的人脸表情采集装置的三维人脸重建系统的结构示意图；和
21.图2是根据本公开一个实施例的基于视频的人脸表情采集装置的结构示意图。
具体实施方式
22.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
23.除非另作定义，此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不必然表示数量限制。“包括”或者“包含”等类似的词语意指出现该词前面的元件或物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
24.图1示出了根据本公开一个实施例的包括基于视频的人脸表情采集装置的三维人脸重建系统的结构示意图。为了显示内部结构，基于视频的人脸表情采集装置只显示出一部分。图2示出了根据本公开一个实施例的基于视频的人脸表情采集装置的结构示意图。该三维人脸重建系统包括基于视频的人脸表情采集装置10和计算机20。基于视频的人脸表情采集装置10包括摄像机阵列110，led灯组120，定位装置140，同步控制器150和支架160，其还可以包括led灯组130和头部固定器170。
25.基于视频的人脸表情采集装置10主要通过支架160来支撑。支架160形成围绕内部空间360度环绕的结构。支架160可以包括多个横向和纵向支架，它们可以根据需要采用可拆装的模块化构件。例如，支架可以使用能够互相插接的模块来搭建，便于运输和组装。支架160搭建的高度要高于其内部被拍摄对象。支架160可以是如图1所示的竖直的结构，例如横截面为大致圆形或者多边形的柱体，也可以构造成弧形的结构。此外，还可以在被拍摄对象上方加装支架。
26.摄相机阵列110固定到支架上，例如可以固定到纵向支架的内侧。安装摄像机的支架配件可以设置为角度可调，使得可以根据被拍摄对象的位置调节摄像机的角度。摄像机阵列110至少包括两台位于人脸正面的摄像机，并且阵列中的每台摄像机安装有偏光片。摄像机阵列中的摄像机可以采用帧速率不低于每秒30帧的小型摄像机，以捕捉细微的面部表情。此外，摄像机可以进一步具备全局快门和高分辨率，以保证拍摄过程中不出现由于被扫描对象的表情运动速度过快所导致的图片模糊问题，同时保证每帧重建的三维数据精度。摄相机阵列至少分布于人脸正面朝向的180度范围内，并且摄像机分布可以不是均匀的，例如可以在正对人脸的部分设置更多台摄像机。在人脸背面的180度范围内也可以设置摄像机，从更多角度采集人脸信息。如图2所示的实施例中围绕被扫描对象在360度的范围设置了48台摄像机，布置在人脸正面的摄像机比其他位置的更多一些。摄像机的数量可以根据三维重建精度来调整，但不能少于2台。
27.本实施例的摄像机采集的是视频的帧信息，为每帧信息生成一个三维数据，这样可以完整获得表情的节奏与过程信息动画数据，解决传统方法中三维数据人脸表情动画手动制作导致的低效和效果差的问题。
28.led灯组也固定到支架160上，例如可以布置在横向支架的内侧。led灯组可以围绕内部空间一圈。如图2所示，led灯组在人脸的高度上方、下方和与人脸高度相同的高度上均有分布。虽然图中用阴影显示了led灯组，但是这只是示意led灯组的位置，并不表示led灯组一定布满整个横向支架。led灯组的布局不限于附图所示的方式，只要能够实现对人脸进
行均匀照明即可。led灯组的数量可根据拍摄需要来调整。
29.led灯组中的每个灯安装有偏光片，并且其偏光片垂直于摄像机镜头的偏光片，由此摄像机拍摄的每一帧照片都可以过滤掉漫反射以外的光照信息，使得最终拍摄照片只有漫反射光。这样原始采集的照片不包含光照信息，可以直接输出pbr皮肤图片，解决了手动制作皮肤图片而导致的低效和效果差的问题。
30.除了安装在支架160的内侧的灯组120之外，人脸表情采集装置还可以进一步包括灯组130，其放置在被拍摄对象正面180度以内的范围内，位于支架160下方的地面上，斜向上朝向被拍摄对象照明。
31.定位装置140包括定位图案142，其可以佩戴在被拍摄对象的头部，位于所有摄像机的拍摄视野之内。为了保持定位装置140的定位图案相对于人脸稳定，定位装置140可以为刚性的。定位图案142可以如图所示位于定位装置上的不同位置，也可以是一个整体的图案。图1所示的实施例中定位装置140中的图案位于三个不同的位置，如头顶和左右两边，且三个图案相同。这种设置更有助于算法对人脸表情进行跟踪。定位装置为生成的多帧三维数据提供对齐的依据，避免了在每帧重建得到的三维数据中出现的不对齐的情况。
32.同步控制器150与所有摄像机连接，控制摄像机同步拍摄每一帧。同步控制器150可以将每秒固定频率的脉冲变为驱动摄像机拍摄每一帧的触发信号。由此，摄像机拍摄的每一帧的表情的照片信息都是同步的，便于三维建模。
33.头部固定器170可以固定地设置在被拍摄对象的座位上，也可以设置在其他固定位置。头部固定器170可以通过设计为与头部近似的弧度来固定被拍摄对象的头部，避免在拍摄过程中头部的大幅位移。
34.人脸表情采集装置基于视频获得人脸表情信息，完整记录了表情动画的帧数据，避免了手动处理的过程。摄像机镜头和补光led灯组加装互相垂直的偏光片，实现了对非漫反射光的过滤。所获得的帧信息不包括光照信息，可以直接输出pbr皮肤贴图，而无需手动处理。基于视频的人脸表情采集装置10的各部分还可以做成模块化的部件，方便拆装和搭建。
35.三维人脸重建系统中的计算机20接收每台摄像机拍摄的数据，将数据存储为每帧一张的图片文件。在整个拍摄过程结束后，计算机20的预设程序将每一帧的图片文件重建为一个三维数据模型，并且将这些模型的拓扑结构对齐，由此产生对应的虚拟人脸表情动画数据。由于本公开实施例的上述设置，生成虚拟人脸表情动画数据的过程可自动建模，而无需人工干预。计算机20还可以向同步控制器150发送控制信号，例如脉冲信号。同步控制器150再将每秒固定帧频率的脉冲变成驱动摄像机拍摄每一帧的触发信号。由于具有上述人脸表情采集装置，三维人脸重建系统能够高效逼真地创建三维数据组成的虚拟人物的脸部模型、贴图和表情动画。
36.以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。