人脸图像眼部整形方法、装置、电子设备及存储介质与流程

人脸图像眼部整形方法、装置、电子设备及存储介质
1.本技术要求于2020年12月03日提交中国专利局、申请号为202011401724.9、发明名称为“人脸图像眼部整形方法、装置、电子设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及图像处理技术领域，具体涉及一种人脸图像眼部整形方法人脸图像眼部整形方法、装置、电子设备及存储介质。


背景技术：

3.随着技术的发展，网络直播、拍照、拍视频等已经成为人们所熟悉的娱乐方式。人脸图像整形是拍照、拍视频或者修图软件中的常用功能。拍照或拍视频的应用程序也越来越多地使用整形功能。对眼部进行放大整形是最常用的整形方式之一，现有技术中对眼部进行放大整形的技术方案一般采用逐像素的变化，计算量巨大且容易像素变化瑕疵，导致眼部放大整形效果不自然、轮廓不够平滑。


技术实现要素：

4.本技术的目的是提供一种人脸图像眼部整形方法人脸图像眼部整形方法、装置、电子设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
5.根据本技术实施例的一个方面，提供一种人脸图像眼部整形方法，包括：
6.确定实时人脸图像中的眼部区域关键点；
7.根据所述眼部区域关键点计算眼部的尺寸；
8.根据所述眼部的尺寸以及所述眼部区域关键点，通过移动所述眼部区域关键点对眼部进行缩放。
9.进一步地，所述确定实时人脸图像中的眼部区域关键点，包括：确定实时人脸图像中眼部的外轮廓关键点和瞳孔中心关键点。
10.进一步地，所述根据所述眼部区域关键点计算眼部的尺寸，包括：
11.将所述实时人脸图像划分为若干网格；
12.根据所述眼部区域关键点，确定所述实时人脸图像中眼部区域占有的网格作为眼部网格；
13.根据所述眼部区域关键点以及所述眼部网格，计算眼部的尺寸。
14.进一步地，所述根据所述眼部区域关键点，确定所述实时人脸图像中眼部区域占有的网格作为眼部网格，包括：根据所述眼部区域关键点确定眼部区域，确定所述眼部区域中每一像素所位于的网格作为眼部网格。
15.进一步地，所述根据眼部的尺寸以及所述眼部区域关键点，通过移动所述眼部区
域关键点对眼部进行缩放，包括：
16.根据所述眼部的尺寸，确定各眼部网格与对应瞳孔中心关键点连线方向上的移动距离，所述对应瞳孔中心关键点为当前处理的眼部网络所处眼部上的瞳孔中心关键点；
17.根据所述移动距离，沿着远离对应瞳孔中心关键点的方向移动所述各眼部网格；
18.根据移动后得到的眼部网格对图像进行渲染，得到眼部整形后的图像。
19.进一步地，所述根据移动后得到的眼部网格，对图像进行渲染，包括：
20.对由移动后得到的眼部网格组成的眼部区域进行渲染，得到眼部整形后的图像。
21.进一步地，所述根据所述眼部的尺寸，确定各眼部网格与对应瞳孔中心关键点连线方向上的移动距离，包括：
22.计算所述各眼部网格与所述对应瞳孔中心关键点之间的原始距离；
23.根据所述眼部的尺寸确定放大权重；
24.根据所述放大权重和所述原始距离，计算出所述各眼部网格与所述对应瞳孔中心关键点连线方向上的移动距离。
25.进一步地，所述根据所述眼部的尺寸确定放大权重，包括：
26.根据所述眼部的尺寸确定所述眼部的类型；
27.获取与所述眼部的类型对应的放大权重。
28.进一步地，所述根据所述眼部的尺寸确定放大权重，包括：
29.接收用户设置的自定义的放大权重。
30.进一步地，所述计算所述各眼部网格与所述对应瞳孔中心关键点之间的原始距离，包括：
31.在所述实时人脸图像上建立坐标系；
32.确定所述各眼部网格的顶点的坐标以及所述对应瞳孔中心关键点的坐标；
33.根据所述各眼部网格的顶点的坐标以及所述对应瞳孔中心关键点的坐标，计算出所述各眼部网格与所述对应瞳孔中心关键点之间的原始距离。
34.进一步地，所述实时人脸图像中的眼部包括左眼部和右眼部；所述根据所述放大权重和所述原始距离计算出所述各眼部网格与所述对应瞳孔中心关键点连线方向上的移动距离，包括：
35.基于左眼部上的瞳孔中心关键点和右眼部上的瞳孔中心关键点确定最大移动距离；
36.根据所述放大权重、所述原始距离以及所述最大移动距离，计算出所述各眼部网格与所述对应瞳孔中心关键点连线方向上的移动距离。
37.根据本技术实施例的另一个方面，提供一种人脸图像眼部整形装置，包括：
38.确定模块，用于确定实时人脸图像中的眼部区域关键点；
39.计算模块，用于根据所述眼部区域关键点计算眼部的尺寸；
40.缩放模块，用于根据所述眼部的尺寸以及所述眼部区域关键点，通过移动所述眼部区域关键点对眼部进行缩放。
41.根据本技术实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述的人脸图像眼部整形方法。
42.根据本技术实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的人脸图像眼部整形方法。
43.本技术实施例的其中一个方面提供的技术方案可以包括以下有益效果：
44.本技术实施例提供的人脸图像眼部整形方法，通过在人脸图像中确定出眼部区域关键点，并根据眼部区域关键点计算得到眼部尺寸，进而根据眼部尺寸和眼部区域关键点，通过只移动眼部区域关键点实现眼部的整形，而无需对眼部进行逐像素的变化实现整形，因此本技术方案的计算量小，图像处理速度大大提高，并且本技术是根据计算得到的眼部尺寸和眼部区域关键点进行眼部关键点的移动，使得眼部的各部分等比例缩放，因此眼部整形效果自然，轮廓平滑，克服了现有技术中存在的计算量巨大且容易像素变化瑕疵，导致眼部放大整形效果不自然、轮廓不够平滑的技术缺陷。
45.本技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
46.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1示出了本技术的一个实施例的人脸图像眼部整形方法流程图；
48.图2示出了实时人脸图像上的关键点的示意图；
49.图3示出了图1所示实施例中的步骤s2的流程图；
50.图4示出了图1所示实施例中步骤s3的流程图；
51.图5示出了图4中步骤s31的流程图；
52.图6示出了图5中步骤s311的流程图；
53.图7示出了实时人脸图像上的坐标系与网格的示意图；
54.图8示出了沿着远离对应瞳孔中心关键点的方向移动各眼部网格的示意图；
55.图9示出了本技术另一实施例的人脸图像眼部整形装置的结构框图；
56.图10示出了本技术另一实施例的电子设备的结构框图。
具体实施方式
57.为了使本技术的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本技术做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
58.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的
意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
59.随着智能手机以及互联网技术的发展，手机拍照、拍视频、网络直播等娱乐方式在当代越发受到年轻人的欢迎。利用智能手机拍照、拍视频以及网络直播的过程中，人脸整形成为一种标配功能操作。人脸整形也称为人脸美颜，指的是通过算法对视频或画面中人脸的五官例如眼部等进行修整的操作。现有技术中对人脸眼部进行整形的技术效果有待提高，存在整形效果不自然，眼部轮廓整形不平滑等缺陷。此处的眼部区域包括眼睛以及环绕在眼睛周围的部分眼睑区域，环绕在眼睛周围的部分眼睑区域的尺寸可以根据实际需要进行设定，眼睛包括眼白、虹膜和睫毛。
60.如图1所示，本技术的一个实施例提供了一种人脸图像眼部整形方法，包括以下步骤：
61.s1、确定实时人脸图像中的眼部区域关键点。
62.在某些实施方式中，步骤s1包括：
63.确定实时人脸图像中眼部的外轮廓关键点和瞳孔中心关键点。
64.实时人脸图像即通过具有拍摄功能的设备(例如手机、摄像机、数码相机等)实时拍摄得到的包含人脸的图像，也可以是预先拍摄完成后实时上传的包含人脸的图像。
65.如图2所示，在获取实时人脸图像中的眼部区域关键点时，可以同时获取多个人脸关键点，人脸关键点可以是人脸上一些表征能力强的关键点，例如可以包括人脸外轮廓、眉毛外轮廓、眼部外轮廓、虹膜外轮廓、鼻子外轮廓、瞳孔中心关键点、人脸中线、嘴唇外轮廓上的一系列关键点等。通常，人脸图像中的关键点集合可以包括106、103或117个关键点。
66.本实施例是通过移动所述眼部区域关键点对眼部进行缩放，因此在获取实时人脸图像时获取眼部的关键点即可，例如可以包括眉毛外轮廓、眼部外轮廓、虹膜外轮廓、瞳孔中心关键点等等，具体根据实际需要进行设定。瞳孔中心关键点位于虹膜外轮廓内，根据虹膜外轮廓上的关键点可以确定瞳孔中心关键点，可以为瞳孔中心关键点标记编号。例如，可以把左瞳孔中心关键点标注为104号，可以把右瞳孔中心关键点标注为105号。
67.s2、根据眼部区域关键点计算眼部的尺寸。
68.如图3所示，在某些实施方式中，步骤s2包括：
69.s20、将所述实时人脸图像划分为若干网格。
70.具体地，可以利用互相垂直的若干直线交叉构成方形网格。方形网格的边长可以根据实际需要进行设定。
71.例如，手机或摄像机等拍摄设备所拍摄的实时人脸图像的整体形状一般为矩形，则可以在实时人脸图像上设定互相垂直的多条直线，这些直线分别平行于图像的互相垂直的两条边，这样就在实时人脸图像上构成了多个方形网格。
72.s21、根据眼部区域关键点，确定所述实时人脸图像中眼部区域占有的网格作为眼部网格。
73.在某些实施方式中，步骤s21，具体包括：根据所述眼部区域关键点确定眼部区域，进而确定所述眼部区域的每一像素所位于的网格作为眼部网格。其中，眼部网格能够完全覆盖实时人脸图像中的眼部区域。
74.由此可见，除了将位于眼部区域的外轮廓之内的网格作为眼部网格之外，由于眼
部的外轮廓是曲线的，具有一定的弧度，还会将外轮廓上的像素点所在的网格也确定为眼部网格。
75.s22、根据所述眼部区域关键点以及所述眼部网格，计算眼部的尺寸。
76.具体地，可以在坐标系中根据每个眼部网格的顶点坐标以及眼部区域关键点的坐标，计算出眼部区域的尺寸。
77.其中，计算出的眼部区域的尺寸可以包括眼部区域的横向最大尺寸和纵向最大尺寸。
78.s3、根据眼部的尺寸以及眼部区域关键点，通过移动所述眼部区域关键点对眼部进行缩放。
79.如图4所示，在某些实施方式中，步骤s3包括：
80.s31、根据所述眼部的尺寸确定各眼部网格与对应瞳孔中心关键点连线方向上的移动距离。
81.其中，如果当前处理的眼部网格属于左眼部，那么对应瞳孔中心关键点为左眼部上的瞳孔中心关键点，如果当前处理的眼部网格属于右眼部，那么对应瞳孔中心关键点为右眼部上的瞳孔中心关键点。
82.如图5所示，在某些实施方式中，步骤s31包括：
83.s311、计算所述各眼部网格与所述对应瞳孔中心关键点之间的原始距离。
84.如图6和图7所示，在某些实施方式中，步骤s311包括：
85.s3111、在所述实时人脸图像上建立坐标系。
86.具体地，在人脸图像上确定坐标原点、横坐标轴和纵坐标轴，从而建立坐标系。
87.例如，实时人脸图像通常为矩形，因此可以将坐标原点设定在整个实时人脸图像的左下角顶点处，以整个实时人脸图像的横向边为横坐标轴，以整个实时人脸图像的纵向边为纵坐标轴，建立坐标系。
88.s3112、确定所述各眼部网格的顶点的坐标以及所述对应瞳孔中心关键点的坐标。
89.其中，覆盖左眼部的眼部网格与左眼部的瞳孔中心关键点相对应，覆盖右眼部的眼部网格与右眼部的瞳孔中心关键点相对应。
90.人脸图像上建立坐标系之后，可以确定人脸图像上的每个点的坐标。例如可以以像素为单位来确定每个点的坐标。
91.s3113、根据所述各眼部网格的顶点的坐标以及所述对应瞳孔中心关键点的坐标，计算出所述各眼部网格与所述对应瞳孔中心关键点之间的原始距离。
92.可选的，眼部网格与其所对应瞳孔中心关键点之间的原始距离的计算公式如下：
93.l＝[(x-x0)2 (y-y0)2]
0.5
[0094]
其中，(x,y)为眼部网格的顶点的坐标，(x0,y0)为对应瞳孔中心关键点的坐标。值得注意的是，眼部网格的顶点的坐标可以是网格的四个角上的任一顶点的坐标，也可以是网格的四个角上四个顶点的坐标的加权坐标，本技术对眼部网格的顶点的坐标不进行具体限定。
[0095]
s312、根据眼部的尺寸确定放大权重。
[0096]
根据眼部的尺寸确定放大权重的方式，可以为：根据眼部的尺寸确定眼部的类型；获取与所述眼部的类型对应的放大权重。
[0097]
其中，眼部的类型可以包括细长型、近圆形、三角形等等，每一类型可以对应一个眼部尺寸比例区间，即如果眼部尺寸中眼部横向尺寸与纵向尺寸之间的比例位于某一比例区间，那么该比例区间对应的眼部类型即为当前处理眼部的类型。不同的眼部类型对应设置一个放大权重，例如可以为细长型设定0.8的放大权重，近圆形设定为0.6的放大权重，三角形设定为0.7的放大权重。
[0098]
根据眼部的尺寸确定放大权重的方式，也可以为：接收用户设置的自定义的放大权重。例如，设定一进度条，进度条上的刻度对应不同的放大权重，用户利用鼠标拖动进度条从而选择不同的放大权重。
[0099]
需要说明的是，该放大权重的数值越大，表示最终获得的眼部开度越大。
[0100]
s313、根据所述放大权重和所述原始距离计算出所述各眼部网格与所述对应瞳孔中心关键点连线方向上的移动距离。
[0101]
在本实施例中，移动距离的确定可以根据放大权重、原始距离以及最大移动距离确定。其中，该最大移动距离可以基于左眼部上的瞳孔中心关键点和右眼部上的瞳孔中心关键点决定。
[0102]
具体地，移动距离的计算公式如下所示：
[0103]
d＝r*a(r/r
max-1)2[0104]
其中，r
max
为眼部网格的最大移动距离，例如r
max
可以设定为左眼部的瞳孔中心关键点与右眼部的瞳孔中心关键点之间距离的一半；r为眼部网格与对应瞳孔中心关键点的原始距离，0＜r≤r
max
；a为放大权重，a》0。
[0105]
s32、根据所述移动距离，沿着远离对应瞳孔中心关键点的方向移动所述各眼部网格。
[0106]
在本实施例中，覆盖整个眼部区域的眼部网格沿着远离对应瞳孔中心关键点的方向移动之后，眼部网格的位置发生变化，从而达到放大眼部的目的，而且由于眼部的各部分为等比例放大，放大后的眼部不会变形。
[0107]
如图8所示，点73’所在的眼部网格为点73所在的眼部网络移动位置之后得到的，点73所在的位置为原始网格所在的位置，点73’所在的位置为原始网格整体移动之后得到的位置，箭头所示为移动方向，点73、点73’和左眼部的瞳孔中心关键点点104均在该箭头所在直线上。点73所在的眼部网格到点73’所在的眼部网格的距离即为移动距离。
[0108]
s33、根据移动后得到的眼部网格对图像进行渲染，得到眼部整形后的图像。
[0109]
在某些实施方式中，步骤s33包括：对由移动后得到的眼部网格组成的眼部区域进行渲染，得到眼部整形后的图像。
[0110]
具体地，可以利用顶点着色器对由移动后得到的眼部网格组成的眼部区域进行渲染，得到眼部整形后的图像。
[0111]
通过本实施例的方法，能够对人脸图像眼部进行放大调整，而且调整后的眼部边缘平滑、自然。
[0112]
本技术实施例提供的人脸图像眼部整形方法，通过在人脸图像中确定出眼部区域关键点，并根据眼部区域关键点计算得到眼部尺寸，进而根据眼部尺寸和眼部区域关键点，通过只移动眼部区域关键点实现眼部的整形，而无需对眼部进行逐像素的变化实现整形，因此本技术方案的计算量小，图像处理速度大大提高，并且本技术是根据计算得到的眼部
尺寸和眼部区域关键点进行眼部关键点的移动，使得眼部的各部分等比例缩放，因此眼部整形效果自然，轮廓平滑，克服了现有技术中存在的计算量巨大且容易像素变化瑕疵，导致眼部放大整形效果不自然、轮廓不够平滑的技术缺陷。
[0113]
如图9所示，本技术另一实施例提供了一种人脸图像眼部整形装置，包括：
[0114]
确定模块100，用于确定实时人脸图像中的眼部区域关键点；
[0115]
计算模块200，用于根据所述眼部区域关键点计算眼部的尺寸；
[0116]
缩放模块300，用于根据所述眼部的尺寸以及所述眼部区域关键点，通过移动所述眼部区域关键点对眼部进行缩放。
[0117]
本技术另一实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述任一实施方式的人脸图像眼部整形方法。如图10所示，所述电子设备20可以包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本技术前述任一实施方式所提供的人脸图像眼部整形方法。
[0118]
其中，存储器201可能包含高速随机存取存储器(ram：random access memory)，也可能还可以包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。总线202可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本技术实施例任一实施方式揭示的所述人脸图像眼部整形方法可以应用于处理器200中，或者由处理器200实现。处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，可以包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
[0119]
本技术另一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述任一实施方式的人脸图像眼部整形方法。
[0120]
需要说明的是：
[0121]
术语“模块”并非意图受限于特定物理形式。取决于具体应用，模块可以实现为硬件、固件、软件和/或其组合。此外，不同的模块可以共享公共组件或甚至由相同组件实现。不同模块之间可以存在或不存在清楚的界限。
[0122]
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。
各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。
[0123]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
[0124]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0125]
以上所述实施例仅表达了本技术的实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。