一种去遮挡物的方法及装置与流程

1.本技术涉及人脸识别技术领域，特别的，尤其涉及一种去遮挡物的方法及装置。


背景技术：

2.受疫情影响，用户在景区游玩、车厢中，必须佩戴口罩。而在这些应用场景下，需要进行人脸识别，在此过程中，摄像头在拍摄人像照片时，需要用户摘掉口罩，从而实现人脸识别。
3.然而，此过程可能存在病毒传播风险，为此，如何去除人像照片中的遮挡物，已成为本领域技术人员重要的研究方向。


技术实现要素：

4.鉴于现有技术人脸识别问题中，本技术提供了一种去遮挡物的方法及装置，用以实现去除人像照片中的遮挡物的目的。
5.为了实现上述目的，本技术提供了以下技术方案：
6.一种去遮挡物的方法，包括：
7.获取待处理人脸图像以及所述待处理人脸图像的关键点坐标，所述待处理人脸图像包括有遮挡物的人脸图像和无遮挡人脸图像；
8.将所述待处理人脸图像以及所述待处理人脸图像的关键点坐标作为输入，输入至预设gan模型中进行去遮挡物处理，得到去除遮挡物的人脸图像；
9.将所述去除遮挡物的人脸图像依据所述待处理人脸图像的关键点坐标生成对应的去遮挡物的图像。
10.进一步的，所述获取待处理人脸图像以及所述待处理人脸图像的关键点坐标，包括：
11.获取待处理图片，并对所述待处理图片进行人脸检测，得到待处理人脸图片，所述待处理图片包括：有遮挡物的人脸图片和无遮挡人脸图片；
12.对所述待处理人脸图片进行关键点检测，确定所述待处理人脸图片中的人脸关键点位置。
13.进一步的，对所述待处理图片进行人脸检测，包括：
14.将所述待处理图片输入至人脸检测模型中，确定所述待处理图片中的两个顶点的坐标，生成检测框；
15.根据预设参数对所述检测框进行边框扩展，当检测到多个人脸区域时，则确定所述检测框面积最大的检测框为所述待处理图片的人脸区域，并记录所述检测框裁剪的人脸顶点在原始图片中的坐标。
16.进一步的，所述对所述待处理人脸图片进行关键点检测，确定所述待处理人脸图片中的人脸关键点位置，包括：
17.对所述待处理人脸图片进行关键点检测，并记录预设数量的关键点坐标；
18.依据预设数量的所述关键点坐标根据几何学计算人脸的倾斜角度，所述人脸的倾斜角度包括俯仰角、偏航角和滚动角；
19.当所述人脸的倾斜角度大于阈值时，则确定所述待处理人脸图片不满足去遮挡物条件，反馈无法去遮挡的说明；
20.当所述人脸的倾斜角度小于阈值时，则确定所述待处理人脸图片满足去遮挡物条件，根据预设数量的所述关键点坐标确定所述待处理人脸图片中的人脸关键点位置。
21.一种去遮挡物的装置，包括：
22.第一处理单元，用于获取待处理人脸图像以及所述待处理人脸图像的关键点坐标，所述待处理人脸图像包括有遮挡物的人脸图像和无遮挡人脸图像；
23.第二处理单元，用于将所述待处理人脸图像以及所述待处理人脸图像的关键点坐标作为输入，输入至预设gan模型中进行去遮挡物处理，得到去除遮挡物的人脸图像；
24.第三处理单元，用于将所述去除遮挡物的人脸图像依据所述待处理人脸图像的关键点坐标生成对应的去遮挡物的图像。
25.进一步的，所述第一处理单元具体用于：
26.获取待处理图片，并对所述待处理图片进行人脸检测，得到待处理人脸图片，所述待处理图片包括：有遮挡物的人脸图片和无遮挡人脸图片；
27.对所述待处理人脸图片进行关键点检测，确定所述待处理人脸图片中的人脸关键点位置。
28.进一步的，对所述待处理图片进行人脸检测，包括：
29.将所述待处理图片输入至人脸检测模型中，确定所述待处理图片中的两个顶点的坐标，生成检测框；
30.根据预设参数对所述检测框进行边框扩展，当检测到多个人脸区域时，则确定所述检测框面积最大的检测框为所述待处理图片的人脸区域，并记录所述检测框裁剪的人脸顶点在原始图片中的坐标。
31.进一步的，所述第一处理单元具体用于：
32.对所述待处理人脸图片进行关键点检测，并记录预设数量的关键点坐标；
33.依据预设数量的所述关键点坐标根据几何学计算人脸的倾斜角度，所述人脸的倾斜角度包括俯仰角、偏航角和滚动角；
34.当所述人脸的倾斜角度大于阈值时，则确定所述待处理人脸图片不满足去遮挡物条件，反馈无法去遮挡的说明；
35.当所述人脸的倾斜角度小于阈值时，则确定所述待处理人脸图片满足去遮挡物条件，根据预设数量的所述关键点坐标确定所述待处理人脸图片中的人脸关键点位置。
36.一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行如上述所述的去遮挡物的方法。
37.一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上述所述的去遮挡物的方法。
38.本技术所述的去遮挡物的方法及装置，通过获取待处理人脸图像以及所述待处理人脸图像的关键点坐标，所述待处理人脸图像包括有遮挡物的人脸图像和无遮挡人脸图
像；将所述待处理人脸图像以及所述待处理人脸图像的关键点坐标作为输入，输入至预设gan模型中进行去遮挡物处理，得到去除遮挡物的人脸图像；将所述去除遮挡物的人脸图像依据所述待处理人脸图像的关键点坐标生成对应的去遮挡物的图像。本技术通过依次采用人脸检测、人脸关键点检测、人脸质量评估、人脸gan算法等，通过预先拍摄无口罩的人脸，之后能够将带口罩的人像照片计算还原为无口罩人脸，以实现去除人像照片中的遮挡物的目的。
附图说明
39.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为本技术实施例公开的一种去遮挡物的方法流程示意图；
41.图2为本技术实施例公开的人脸裁剪示意图；
42.图3为本技术实施例公开的一种去遮挡物的装置结构示意图；
43.图4为本技术实施例公开的一种电子设备的结构示意图。
具体实施方式
44.申请人在研究中发现，现有的技术中的带有遮挡物的人脸识别主要采用人脸伪造技术，比如人脸造假、换脸等技术，这些技术一般应用于进行人脸替换，使用目的不同，且在这些技术中，没有考虑人脸占图片的比例，一般不会使用相同的人进行人脸替换。
45.为此，本技术提供一种去遮挡物的方法及装置，其目的在于：如何实现去除人像照片中的遮挡物的目的。
46.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
47.请参见附图1，为本技术实施例提供的一种去遮挡物的方法流程示意图。如图1所示，本技术实施例提供了一种去遮挡物的方法，该方法包括如下步骤：
48.s101：获取待处理人脸图像以及所述待处理人脸图像的关键点坐标，所述待处理人脸图像包括有遮挡物的人脸图像和无遮挡人脸图像。
49.本步骤中，所述待处理人脸图像为经过人脸检测、人脸关键点检测以及人脸质量评估后的人脸图像，包括有遮挡物的人脸图像和无遮挡的人脸图像。
50.对于无遮挡影像的采集主要是通过预先存储的，预先用户使用程序采集无遮挡的人脸，一般为序列影像，需要注意的是，对于采集一段无遮挡人脸视频，本技术实施例中的算法将视频拆分为帧，并对人脸进行关键点检测，计算获得小于偏移角度阈值的人脸，结合人脸质量评估模型，获取无遮挡人脸(一张至多张)。
51.对于有遮挡人脸采集是在系统使用过程中，用户完成有遮挡人像拍摄，然后通过多种方式上传到本技术实施例的应用系统中。
52.需要说明的是，人脸检测是从一张人像影像中获得人脸位置，但是由于一张图片中可能存在多张人脸，因此，在本技术实施例中，仅对最大人脸的位置，即获得最核心的人脸。
53.进一步的，需要说明的是，人脸关键点检测是从人脸检测裁剪出来的人脸图片进行关键点检测，本技术实施例中使用98点关键点检测模型进行计算，获得各个关键点位置。其中，关键点位置由两个作用：首先，关键点可以根据几何学计算出人脸的倾斜角度，包括俯仰角、偏航角、滚动角三个参数，根据这三个参数分析人脸能否进行遮挡去除，当偏转的范围大于阈值时，将不会进行遮挡去除步骤。其次，关键点的位置作为结构化数据，输入人脸遮挡模型进行辅助运算。
54.进一步的，需要说明的是，人脸质量评估是通过神经网络分类模型，评估人脸的清晰度、亮度等，并将结果量化为0～1之间的分数，越高越好。
55.更进一步的，上述获取待处理人脸图像以及所述待处理人脸图像的关键点坐标，包括：
56.获取待处理图片，并对所述待处理图片进行人脸检测，得到待处理人脸图片，所述待处理图片包括：有遮挡物的人脸图片和无遮挡人脸图片；
57.对所述待处理人脸图片进行关键点检测，确定所述待处理人脸图片中的人脸关键点位置。
58.需要说明的是，上述所述对所述待处理图片进行人脸检测，包括：
59.将所述待处理图片输入至人脸检测模型中，确定所述待处理图片中的两个顶点的坐标，生成检测框；
60.根据预设参数对所述检测框进行边框扩展，当检测到多个人脸区域时，则确定所述检测框面积最大的检测框为所述待处理图片的人脸区域，并记录所述检测框裁剪的人脸顶点在原始图片中的坐标。
61.本技术实施例中，人脸检测过程如图2所示，此处使用人脸检测模型，获得的是两个顶点的坐标，之后对检测框进行小范围的边框扩展，以增大人脸区域。当检测到多张人脸时，默认选择检测框面积最大的人脸，并对用户做出提示，提示用户选择具体哪张人脸。最后，记录裁剪的人脸顶点在原始图片中的坐标。
62.进一步的，上述所述对所述待处理人脸图片进行关键点检测，确定所述待处理人脸图片中的人脸关键点位置，包括：
63.对所述待处理人脸图片进行关键点检测，并记录预设数量的关键点坐标；
64.依据预设数量的所述关键点坐标根据几何学计算人脸的倾斜角度，所述人脸的倾斜角度包括俯仰角、偏航角和滚动角；
65.当所述人脸的倾斜角度大于阈值时，则确定所述待处理人脸图片不满足去遮挡物条件，反馈无法去遮挡的说明；
66.当所述人脸的倾斜角度小于阈值时，则确定所述待处理人脸图片满足去遮挡物条件，根据预设数量的所述关键点坐标确定所述待处理人脸图片中的人脸关键点位置。
67.s102：将所述待处理人脸图像以及所述待处理人脸图像的关键点坐标作为输入，输入至预设gan模型中进行去遮挡物处理，得到去除遮挡物的人脸图像。
68.本步骤中，使用gan网络来实现人脸遮挡去除，具体的，其基础网络结构为：网络的
输入层包含了两张人脸，一张为有遮挡的人脸，一张为预先拍摄好的无遮挡人脸；在网络的隐藏层中部将输入人脸关键点，辅助进行人脸生成；网络的输出层将输出一张与输入有遮挡人脸相同大小的人脸，该输出与遮挡人脸不同之处在于人脸上没有口罩遮挡。
69.s103：将所述去除遮挡物的人脸图像依据所述待处理人脸图像的关键点坐标生成对应的去遮挡物的图像。
70.本步骤中，在得到去除遮挡物的人脸图像后，需要使用所述检测框裁剪的人脸顶点在原始图片中的坐标，将无遮挡人脸映射回原始人像图片中，得到对应的去遮挡物的图像，最后将去遮挡物的图像反馈给用户。
71.需要说明的是，本技术实施例通过引入人脸检测、人脸关键点、人脸生成等网络与算法，对有遮挡的人像图片进行裁剪、提取及遮挡物去除。以上过程均可以在gpu服务器实现，用户仅需上传有遮挡的人像图片及无遮挡的人脸图片(如无口罩的自拍，视频等)，能够有效解决在人群密集场景下用户拍照不方便摘掉口罩的问题。除此之外，本技术实施例的方案也可以在简单调整训练数据后，根据用户需求调整为去除人脸的眼镜、首饰等遮挡物。
72.本技术实施例提供的一种去遮挡物的方法，通过获取待处理人脸图像以及所述待处理人脸图像的关键点坐标，所述待处理人脸图像包括有遮挡物的人脸图像和无遮挡人脸图像；将所述待处理人脸图像以及所述待处理人脸图像的关键点坐标作为输入，输入至预设gan模型中进行去遮挡物处理，得到去除遮挡物的人脸图像；将所述去除遮挡物的人脸图像依据所述待处理人脸图像的关键点坐标生成对应的去遮挡物的图像。本技术通过依次采用人脸检测、人脸关键点检测、人脸质量评估、人脸gan算法等，通过预先拍摄无口罩的人脸，之后能够将带口罩的人像照片计算还原为无口罩人脸，以实现去除人像照片中的遮挡物的目的。
73.请参阅图3，基于上述实施例公开的一种去遮挡物的方法，本实施例对应公开了一种去遮挡物的装置，该装置包括：
74.第一处理单元31，用于获取待处理人脸图像以及所述待处理人脸图像的关键点坐标，所述待处理人脸图像包括有遮挡物的人脸图像和无遮挡人脸图像；
75.第二处理单元32，用于将所述待处理人脸图像以及所述待处理人脸图像的关键点坐标作为输入，输入至预设gan模型中进行去遮挡物处理，得到去除遮挡物的人脸图像；
76.第三处理单元33，用于将所述去除遮挡物的人脸图像依据所述待处理人脸图像的关键点坐标生成对应的去遮挡物的图像。
77.进一步的，所述第一处理单元31具体用于：
78.获取待处理图片，并对所述待处理图片进行人脸检测，得到待处理人脸图片，所述待处理图片包括：有遮挡物的人脸图片和无遮挡人脸图片；
79.对所述待处理人脸图片进行关键点检测，确定所述待处理人脸图片中的人脸关键点位置。
80.进一步的，所述第一处理单元31具体用于：
81.将所述待处理图片输入至人脸检测模型中，确定所述待处理图片中的两个顶点的坐标，生成检测框；
82.根据预设参数对所述检测框进行边框扩展，当检测到多个人脸区域时，则确定所述检测框面积最大的检测框为所述待处理图片的人脸区域，并记录所述检测框裁剪的人脸
顶点在原始图片中的坐标。
83.更进一步的，所述第一处理单元31具体用于：
84.对所述待处理人脸图片进行关键点检测，并记录预设数量的关键点坐标；
85.依据预设数量的所述关键点坐标根据几何学计算人脸的倾斜角度，所述人脸的倾斜角度包括俯仰角、偏航角和滚动角；
86.当所述人脸的倾斜角度大于阈值时，则确定所述待处理人脸图片不满足去遮挡物条件，反馈无法去遮挡的说明；
87.当所述人脸的倾斜角度小于阈值时，则确定所述待处理人脸图片满足去遮挡物条件，根据预设数量的所述关键点坐标确定所述待处理人脸图片中的人脸关键点位置。
88.所述去遮挡物的装置包括处理器和存储器，上述第一处理单元、第二处理单元和第三处理单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
89.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来达到去除人像照片中的遮挡物的目的。
90.本技术实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述去遮挡物的方法。
91.本技术实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述去遮挡物的方法。
92.本技术实施例提供了一种电子设备，如图4所示，该电子设备40包括至少一个处理器401、以及与所述处理器连接的至少一个存储器402、总线403；其中，所述处理器401、所述存储器402通过所述总线403完成相互间的通信；处理器401用于调用所述存储器402中的程序指令，以执行上述的所述去遮挡物的方法。
93.本文中的电子设备可以是服务器、pc、pad、手机等。
94.本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
95.获取待处理人脸图像以及所述待处理人脸图像的关键点坐标，所述待处理人脸图像包括有遮挡物的人脸图像和无遮挡人脸图像；
96.将所述待处理人脸图像以及所述待处理人脸图像的关键点坐标作为输入，输入至预设gan模型中进行去遮挡物处理，得到去除遮挡物的人脸图像；
97.将所述去除遮挡物的人脸图像依据所述待处理人脸图像的关键点坐标生成对应的去遮挡物的图像。
98.进一步的，所述获取待处理人脸图像以及所述待处理人脸图像的关键点坐标，包括：
99.获取待处理图片，并对所述待处理图片进行人脸检测，得到待处理人脸图片，所述待处理图片包括：有遮挡物的人脸图片和无遮挡人脸图片；
100.对所述待处理人脸图片进行关键点检测，确定所述待处理人脸图片中的人脸关键点位置。
101.进一步的，对所述待处理图片进行人脸检测，包括：
102.将所述待处理图片输入至人脸检测模型中，确定所述待处理图片中的两个顶点的
坐标，生成检测框；
103.根据预设参数对所述检测框进行边框扩展，当检测到多个人脸区域时，则确定所述检测框面积最大的检测框为所述待处理图片的人脸区域，并记录所述检测框裁剪的人脸顶点在原始图片中的坐标。
104.进一步的，所述对所述待处理人脸图片进行关键点检测，确定所述待处理人脸图片中的人脸关键点位置，包括：
105.对所述待处理人脸图片进行关键点检测，并记录预设数量的关键点坐标；
106.依据预设数量的所述关键点坐标根据几何学计算人脸的倾斜角度，所述人脸的倾斜角度包括俯仰角、偏航角和滚动角；
107.当所述人脸的倾斜角度大于阈值时，则确定所述待处理人脸图片不满足去遮挡物条件，反馈无法去遮挡的说明；
108.当所述人脸的倾斜角度小于阈值时，则确定所述待处理人脸图片满足去遮挡物条件，根据预设数量的所述关键点坐标确定所述待处理人脸图片中的人脸关键点位置。
109.本技术是根据本技术实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
110.在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
111.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
112.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
113.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
114.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的
形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
115.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。