可捕捉人脸表情的AR设备的制作方法

可捕捉人脸表情的ar设备
技术领域
1.本公开涉及图像采集和处理，具体而言，涉及可捕捉人脸表情的ar设备。


背景技术：

2.目前ar行业没有成熟的面部捕捉系统，无法对人脸进行准确的面部追踪。这使得ar设备在进行社交和表情交互游戏时，虚拟人的脸部表情僵化，实际体验不理想。表情是人类传递情感的主要媒介，表情的细微变化都会都参与情感传递，因此获得和追踪脸部的细节运动的节奏与幅度，对ar中的虚拟人的操控逼真度有直接影响。
3.现有的ar设备在游戏中存在脸部表情不够逼真、不流畅等问题。因此，需要一种ar设备，其可以实现面部捕捉的功能，通过识别面部肌肉动作，来捕捉例如微笑、皱眉、咬嘴唇等人类面部表情。


技术实现要素：

4.为了解决上述技术问题中的至少之一，根据本公开的实施例的一方面，提供了一种可捕捉人脸表情的ar设备，其包括ar眼镜主体，其上设置有主控板和电源；与ar眼镜主体可拆卸地连接的第一配件，其位于ar眼镜主体的上部并且其上设置有至少2台摄像机，该至少2台摄像机的镜头朝向佩戴ar设备的人的眼部周围；与ar眼镜主体可拆卸地连接的第二配件，其延伸到ar眼镜主体的下部并且其上设置有至少2台摄像机，该至少2台摄像机的镜头朝向佩戴ar设备的人的嘴部周围。
5.根据本公开的实施例的可捕捉人脸表情的ar设备，可选地，第一和第二配件上分别设置有led补光灯组。
6.根据本公开的实施例的可捕捉人脸表情的ar设备，可选地，第一配件和第二配件上设置的摄像机包括微型红外摄像机，所述led补光灯组包括微型红外led灯。
7.根据本公开的实施例的可捕捉人脸表情的ar设备，可选地，所述ar眼镜主体的主控板与所述第一配件和所述第二配件上的每台摄像机通过有线或者无线方式连接，所述主控板向每台摄像机发送同步拍摄的驱动信号，并且从每台摄像机接收拍摄的数据。
8.根据本公开的实施例的可捕捉人脸表情的ar设备，可选地，所述第一配件和所述第二配件中的任何一个或两个通过以下方式中的至少任一种连接到ar眼镜主体：卡扣连接、夹片连接、磁吸连接和螺纹连接。
9.根据本公开的实施例的可捕捉人脸表情的ar设备，可选地，所述第一配件连接在所述ar眼镜主体的上边沿，并且长度与所述ar眼镜主体的镜框长度基本相同，所述第二配件的一端连接在所述ar眼镜的镜框或一侧镜腿上，另一端向下延伸到基本面对佩戴所述ar设备的人的嘴部。
10.根据本公开的实施例的可捕捉人脸表情的ar设备，可选地，所述第一配件上设置有至少4台摄像机，并且每台摄像机的帧速率不低于30帧每秒。
11.根据本公开的实施例的可捕捉人脸表情的ar设备，可选地，所述第一配件上沿着
ar眼镜主体的上边沿方向均匀分布6台摄像机，所述第二配件上靠近嘴部的一端均匀分布4台摄像机。
12.根据本公开的实施例的可捕捉人脸表情的ar设备，可选地，所述第一配件和所述第二配件与所述ar眼镜主体的连接处设置有电源接口和信号接口。
13.本公开的实施例所提供的可捕捉人脸表情的ar设备，通过特定的连接结构，可以在ar眼镜主体上安装捕捉人脸表情的配件，从而实现对人脸表情的追踪，增强了ar的操控体验。此外，ar眼镜上的配件也可以拆下，从而作为常规的ar眼镜使用。
14.本公开的实施例可以采用多个高性能微型红外摄像机，并搭配有微型红外led补光灯组，由此不受光线影响，体积小重量轻，并能够实现更精准的表情追踪。
15.实施本公开的任一装置并不一定需要同时达到以上所述的所有优点。本公开的其它特征和优点将在随后的说明书实施例中阐述，并且，部分地从说明书实施例中变得显而易见，或者通过实施本公开而了解。本公开实施例的目的和优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
16.为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简要地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
17.图1是根据本公开一个实施例的可捕捉人脸表情的ar设备的示意图；
18.图2是从另一个角度显示的图1所示的ar设备的示意图；
19.图3是根据本公开一个实施例的可捕捉人脸表情的ar设备的人脸表情捕捉配件的安装过程示意图。
具体实施方式
20.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
21.除非另作定义，此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开的说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不必然表示数量限制。“包括”或者“包含”等类似的词语意指出现该词前面的元件或物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
22.图1是根据本公开一个实施例的可捕捉人脸表情的ar设备的示意图，图2是从另一个角度显示的图1所示的ar设备的示意图。该ar设备包括ar眼镜主体10，第一配件20和第二
配件30。ar眼镜主体10上包括主控板40和电源50，它们可以设置在镜腿部分。主控板40可以包括诸如蓝牙、wifi或者其他无线传输模块中的一种或者多种。
23.第一配件20可以包括第一摄像机阵列22，其包括至少2台面对佩戴者的眼部周围的摄像机。第一配件还可以包括用于对被扫描对象进行补光的第一led灯组24。第一led灯组24中的led灯可以设置在每台摄像机的附近(如每台摄像机两边各设置一个led灯)。第一配件20位于ar眼镜主体的上部，其可拆卸地连接到ar眼镜主体。第一配件20与ar眼镜主体之间的连接方式包括但不限于卡扣连接、夹片连接、磁吸连接和螺纹连接，可以采用其中一种或多种方式连接。当连接到ar眼镜主体时，第一配件20的位置是稳定的，此时第一配件20上的摄像机面对佩戴者的眼部周围。更具体地，如图所示，第一配件20可以连接在所述ar眼镜主体的上边沿，并且长度与所述ar眼镜主体的镜框长度基本相同。除了上述连接方式之外，两者之间还可以具有信号传输接口、电源接口等等。
24.第二配件30包括第二摄像机阵列32，其包括至少2台摄像机。第二配件还可以包括用于对被扫描对象进行补光的第二led灯组34。第二led灯组34中的led灯可以设置在每台摄像机的附近。第二配件30位于ar眼镜主体10的下部，其可拆卸地连接到ar眼镜主体10，或者与第一配件20一体连接。第二配件20与ar眼镜主体之间的连接方式包括但不限于卡扣连接、夹片连接、磁吸连接和螺纹连接，可以采用一种或者多种方式连接。如图所示，第二配件20的一端可以稳定地固定到ar眼镜主体的一侧镜腿上，设置有第二摄相机阵列32和第二led灯组34的另一端向下延伸至佩戴者的嘴部附近。除了上述连接方式之外，两者之间还可以具有信号传输接口、电源接口等等。
25.第一摄像机阵列22和第二摄像机阵列32可以包括微型红外摄像机，或者全部采用微型红外摄像机。第一led灯组24和第二led灯组34相应地包括微型红外led灯，或者全部采用微型红外led灯。这样可以构建一个不受环境光影响，在黑暗环境下仍能够快速捕捉人脸表情的设备。此外，使用红外led灯组进行补光不会晃眼，不影响佩戴者的日常行动。同时，由于使用微型设备，不会明显增加ar眼镜的体积和重量，增强了佩戴者的使用体验。
26.第一摄像机阵列22和第二摄像机阵列32各自包括至少两台摄像机。它们对人脸同时进行拍摄。为了确保同步拍摄的精度，主控板40可以将每秒固定帧频率的脉冲转换为驱动摄像机拍摄每一帧的触发信号，通过有线或者无线方式发送到各个摄像机，实现同步触发每一帧的拍摄。
27.为了获得更好的精度，第一摄像机阵列包括至少4台微型红外摄像机。优选地，第一摄像机阵列22包括均匀分布的6台微型红外摄像机，第二摄像机阵列32包括均匀分布的4台微型红外摄像机。此外，第一和第二摄像机阵列优选地采用高性能的微型红外摄像机，例如帧速率不低于30帧每秒的摄像机。
28.第一和第二摄像机阵列可以将拍摄的人脸表情信息传输到主控板。主控板经过算法计算将拍摄的二维表情信息转换成对应的三维虚拟人脸表情，从而将佩戴者表情映射到ar场景中的虚拟人的表情上。
29.此外，为了保持摄像机拍摄时的稳定，第一配件和第二配件可以采用刚性材料构成。
30.图3示出了可捕捉人脸表情的ar设备的人脸表情捕捉配件的安装之前和之后的状态示意图。第一配件和第二配件通过特定连接方式(如上文所述的连接方式)连接到ar眼镜
主体。当不需要捕捉人脸表情时，取下配件，ar眼镜可以实现常规功能。第一和第二配件体积小且重量轻，不影响佩戴体验。
31.本公开的上述实施例的设备可以实现ar眼镜的人脸表情捕捉，使得虚拟形象能够更加逼真地追踪佩戴者的人脸表情。捕捉表情的配件是可拆卸的，作为ar眼镜的独立部件，使得ar眼镜在使用中更加灵活。通过采用微型红外摄像机和红外led灯组，该设备可以适配各种环境，即便在黑暗环境中也可以准确捕捉人脸表情。此外，通过使用至少两台摄像机分别捕捉眼部和嘴部周围的数据，能够实现对表情的准确捕捉。
32.以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。