数据处理方法及装置与流程

1.本技术涉及人脸识别技术领域，具体而言，涉及一种数据处理方法及装置。


背景技术：

2.人脸识别终端设备越来越多的出现在实际生活中，比如人脸考勤、人员管理等。根据人脸识别设备的使用情况，可以将其分为配合式设备和非配合式设备，一般情况下配合式设备采集的人脸图像的质量较好，而非配合式设备采集到的人脸图像则多种多样，甚至存在不同程度的遮挡，并且人脸识别系统识别遮挡后的人脸图像的准确度降低，给人脸识别系统带来干扰。在遮挡情况下对人脸识别系统中各个模块的算法精度均产生影响，由于人脸识别系统中各个模块的优化均需要依赖大量的数据进行，并且标注成本比较高且时间长，此外获取遮挡样本的成本较高。
3.因此，现有技术中采用数据增强方法，生成在人脸遮挡情况下的人脸检测、关键点定位及人脸识别模型训练相应的增强样本。数据增强方法一般包括：随机剪裁，长宽比变化缩放，色彩空间变换，区域随机擦除等方法，但是，随机剪裁、长宽比变化缩放及色彩空间缩放等数据增强方法不能产生人脸遮挡情况下的人脸检测、关键点定位及人脸识别模型训练相应的增强样本；区域随机擦除的数据增强方法是在整个图像上随机将一定面积和位置的像素值置零，人为使训练样本丢失该区域的信息，该方法虽然可以对遮挡人脸情况下人脸各任务的训练带来一定的帮助，但是存在以下缺点：1、置零区域的位置和面积随机选择，不能针对真实场景中经常出现的人脸遮挡情况如戴口罩或戴帽子、眼镜遮挡的情况，缺乏针对性。2、随机选择区域像素值并直接置零的方式比较简单，无法模拟实际人脸识别场景中复杂的人脸遮挡情况。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种数据处理方法及装置，以至少解决现有技术中在生成人脸遮挡增强样本时，无法针对性模拟实际人脸识别场景中复杂的人脸遮挡情况的技术问题。
6.根据本技术实施例的一个方面，提供了一种数据处理方法，包括：接收输入数据，其中，上述输入数据包括第一图像信息；对上述第一图像信息进行第一变换处理，得到第二图像信息；在上述第二图像信息中添加遮挡信息，得到第三图像信息。
7.根据本技术实施例的另一方面，还提供了一种数据处理装置，包括：接收模块，用于接收输入数据，其中，上述输入数据包括第一图像信息；变换模块，用于对上述第一图像信息进行第一变换处理，得到第二图像信息；添加模块，用于在上述第二图像信息中添加遮挡信息，得到第三图像信息。
8.根据本技术实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备
执行任意一项上述的数据处理方法。
9.根据本技术实施例的另一方面，还提供了一种数据处理设备，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：接收输入数据，其中，上述输入数据包括第一图像信息；对上述第一图像信息进行第一变换处理，得到第二图像信息；在上述第二图像信息中添加遮挡信息，得到第三图像信息。
10.在本技术实施例中，通过接收输入数据，其中，上述输入数据包括第一图像信息；对上述第一图像信息进行第一变换处理，得到第二图像信息；在上述第二图像信息中添加遮挡信息，得到第三图像信息。
11.容易注意到的是，本技术实施例利用人脸识别系统中的对齐处理过程，对第一图像信息进行第一变换处理，得到人脸对齐图像，进而在人脸对齐图像增加遮挡信息，使得生成的人脸遮挡图像更加接近真实的人脸识别场景。
12.由此，本技术实施例达到了基于实际人脸识别场景中复杂的人脸遮挡情况，针对生成人脸遮挡增强样本的目的，从而实现了提高人脸识别系统识别处于遮挡情况下的人脸图像的准确性的技术效果，进而解决了现有技术中在生成人脸遮挡增强样本时，无法针对性模拟实际人脸识别场景中复杂的人脸遮挡情况的技术问题。
附图说明
13.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
14.图1是根据本技术实施例的一种用于实现数据处理方法的计算设备(或移动设备)的硬件结构框图；
15.图2是根据本技术实施例的一种数据处理方法的流程图；
16.图3a是根据本技术实施例的一种可选的数据处理方法的场景示意图；
17.图3b是根据本技术实施例的一种可选的数据处理方法的应用场景示意图；
18.图4是根据本技术实施例的一种可选的数据处理方法的流程图；
19.图5是根据本发明实施例的一种数据处理装置的结构示意图；
20.图6是根据本发明实施例的一种数据处理设备的结构示意图；
21.图7是根据本技术实施例的另一种计算机终端的结构框图。
具体实施方式
22.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
23.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆
盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
24.首先，在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
25.人脸检测：是指从一张图片中将人脸图像的位置信息自动标记出来的操作。
26.人脸关键点定位：是指在检测出的人脸框中自动标记人脸关键点信息，例如，眼睛，眉毛，鼻子，嘴巴等位置的操作。
27.人脸对齐：是指根据关键点信息将人脸图像对齐至人脸对齐模板上指定位置的操作。
28.实施例1
29.根据本技术实施例，还提供了一种数据处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
30.本技术实施例所提供的方法实施例可以在移动终端、计算设备或者类似的运算装置中执行。图1示出了一种用于实现数据处理方法的计算设备(或移动设备)的硬件结构框图。如图1所示，计算设备10(或移动设备10)可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
31.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
32.存储器104可用于存储应用软件的软件程序以及模块，如本技术实施例中的数据处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
33.传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备10的通信供应商提供的无线网络。在一个实例中，传输模块106包括一个网络适配器(network interface control ler，nic)，其可通过基站与其他网络设备相连从而可与
互联网进行通讯。在一个实例中，传输模块106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
34.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算设备10(或移动设备)的用户界面进行交互。
35.在上述运行环境下，本技术提供了如图2所示的一种数据处理方法的实施例，图2是根据本技术实施例的一种数据处理方法的流程图，如图2所示，该方法包括如下方法步骤：
36.步骤s202，接收输入数据，其中，上述输入数据包括第一图像信息；
37.步骤s204，对上述第一图像信息进行第一变换处理，得到第二图像信息；
38.步骤s206，在上述第二图像信息中添加遮挡信息，得到第三图像信息。
39.在本技术实施例中，通过接收输入数据，其中，上述输入数据包括第一图像信息；对上述第一图像信息进行第一变换处理，得到第二图像信息；在上述第二图像信息中添加遮挡信息，得到第三图像信息。
40.容易注意到的是，本技术实施例利用人脸识别系统中的对齐处理过程，对第一图像信息进行第一变换处理，得到人脸对齐图像，进而在人脸对齐图像增加遮挡信息，使得生成的人脸遮挡图像更加接近真实的人脸识别场景。
41.由此，本技术实施例达到了基于实际人脸识别场景中复杂的人脸遮挡情况，针对生成人脸遮挡增强样本的目的，从而实现了提高人脸识别系统在识别处于遮挡情况下的人脸图像的准确性的技术效果，进而解决了现有技术中在生成人脸遮挡增强样本时，无法针对性模拟实际人脸识别场景中复杂的人脸遮挡情况的技术问题。
42.可选的，上述数据处理方法可以应用于智能前台打卡机、上下班打卡机中，以协助实现人脸考勤、人员管理等；还可以应用于安防或预防犯罪等领域，通过生成更加接近真实的人脸识别场景的人脸遮挡增强样本，以提高面部识别准确率。
43.作为一种可选的实施例，本技术实施例所提供的数据处理方法，可以但不限于应用于人脸识别系统中，基于计算机的人脸识别技术已经成为一种成熟且可靠的机制，实际上已被应用于许多的访问控制场景，不过目前面部识别或认证主要是使用用户的全正脸面部图像执行。但实际上，在许多情况下例如闭路电视摄像机往往只能拍到一侧面部，或者被拍摄的用户戴帽子、戴口罩等遮挡物，则无法获得完整的正脸面部图像。
44.可选的，上述第一图像信息为第一人脸图像，即原始人脸图像；上述第二图像信息为第二人脸图像，即人脸对齐图像；上述第三图像信息为在人脸对齐图像中添加遮挡信息得到的遮挡人脸图像。
45.以上述第一图像信息为原始人脸图像，上述第二图像信息为人脸对齐图像为例，作为一种可选的实施例，摄像装置拍摄得到原始人脸图像，将该原始人脸图像输入人脸识别系统中，人脸识别系统对该原始人脸图像进行第一变换处理，得到预设人脸模板上的人脸对齐图像。可选的，上述第一变换处理即为通过相似变换矩阵执行的相似变换处理，上述预设人脸模板可以为对齐人脸模板。
46.作为另一种可选的实施例，通过对接收到的原始人脸图像进行第一变换处理，得到第一三维人脸模型图像，该第一三维人脸模型图像即基于上述原始人脸图像进行数据估计得到的人脸三维图像信息。
47.在另外一种可选的实施例中，上述数据处理方法还可以但不限于应用在其他样本较少的识别场景中，例如，应用于交通领域中车辆由于发生碰撞导致产生遮挡的交通事故场景，在该交通事故场景中，若发生两车碰撞事故，则可能会由于一个车辆挤压另一个车辆，导致被挤压车辆变形，无法识别该被挤压车辆的真实信息，通过本技术提供的数据处理方法，生成更加接近真实的识别场景的大量被挤压车辆的图像训练样本，进而在实际场景应用中可以有效确定与该被挤压车辆的真实信息，有利于确定对应的定损赔偿金额，提高识别交通事故中被挤压车辆信息的准确率。
48.此外，上述数据处理方法还可以但不限于应用于交通领域中识别遮挡车牌的车辆的识别场景中；通过本技术提供的数据处理方法，生成更加接近真实的识别场景的大量遮挡车牌的图像训练样本，提高识别遮挡车牌的真实车牌的准确率。
49.在一种可选的实施例中，本技术实施例可以但不限于采用贴图方式生成上述遮挡信息，使得该遮挡信息包含有更复杂的色彩信息和纹理信息。其中，上述遮挡信息包括：自定义遮挡发生的位置信息，自定义遮挡发生的面积信息和自定义遮挡发生的样式信息。
50.在一种可选的实施例中，为了增强与用户的数据交互，本技术实施例中的数据处理设备在基于该数据处理方法得到第二图像信息和第三图像信息之后，均可以在渲染的图形用户界面中，向用户展示上述第二图像信息和第三图像信息，以便于用户实时掌握得到的图像信息，该用户对得到第二图像信息和第三图像信息进行确认和修改，增强生成图像训练样本的准确性。
51.在一种可选的实施例中，上述方法还包括：对上述第三图像信息进行第二变换处理，得到第四图像信息。
52.其中，上述第二变换处理为上述第一变换处理的逆变换。
53.作为一种可选的实施例，在对第二图像信息中添加遮挡信息，得到第三图像信息之后，还可以对上述第三图像信息进行第二变换处理，即通过对该第三图像信息进行第一变换处理的逆变换得到第四图像信息，进而最终得到在上述原始人脸图像中添加上述遮挡信息后得到的人脸图像。
54.在本技术实施例中，由于人脸对齐模板(即预设人脸模板)上人脸的相应位置是固定的，因此，可以在人脸对齐模板的相应位置处添加模拟的颜色和纹理模拟口罩等遮挡信息，之后再通过对添加遮挡信息的第三图像信息，进行相似变换处理的逆变换处理，得到在上述第一图像信息中添加遮挡信息后得到的第四图像信息，进而在人脸对齐模板的相应位置上添加遮挡信息，则可以转换回第一图像信息中的对应位置，生成人脸遮挡图像(即人脸遮挡增强样本)。
55.基于实际人脸识别场景中复杂的人脸遮挡情况，作为一种可选的实施例，图3a是根据本技术实施例的一种可选的数据处理方法的场景示意图，如图3a所示，上述第一图像信息为摄像装置采集到的未遮挡的原始人脸图像，例如，摄像装置拍摄得到的未遮挡的人脸图像；摄像装置在拍摄得到上述第一图像信息之后，将该第一图像信息发送至人脸识别系统，人脸识别系统器通过对该第一图像信息进行第一变换处理，得到第二图像信息，具体的，上述第二图像信息为处理器对原始人脸图像进行第一变换处理，得到的人脸对齐图像；上述第三图像信息为处理器通过在上述第二图像信息，即人脸对齐图像中添加遮挡信息得到的遮挡人脸图像，具体的，上述遮挡信息即通过对上述第二图像信息中的局部人脸部位
进行遮挡后产生的信息。
56.需要说明的是，除图3a中示意的佩戴口罩的遮挡情况之外，本技术实施例中的人脸遮挡情况还可以包括但不限于，通过戴帽子、戴眼镜等任意一种或多种方式，对局部人脸部位进行遮挡。
57.通过本技术上述实施例，人脸识别系统基于原始人脸图像生成添加遮挡信息后的第四图像信息，即得到人脸遮挡增强样本，图3b是根据本技术实施例的一种可选的数据处理方法的应用场景示意图，如图3b所示，在人脸识别系统的后续识别流程中，即使拍摄装置拍摄得到第四图像信息或与第四图像信息相似的遮挡人脸图像之后，人脸识别系统中的人脸检测模型对该第四图像信息进行人脸检测，仍可以得到与检测未遮挡人脸图像相同或近似准确的人脸检测结果，可以有效提高人脸识别系统检测处于遮挡情况下的人脸图像的准确性，用户无需摘掉帽子、口罩、眼镜等遮挡物即可达到识别用户身份的目的。
58.在一种可选的实施例中，对上述第一图像信息进行上述第一变换处理，得到上述第二图像信息包括：
59.步骤s302，对第一人脸图像进行上述第一变换处理，得到第二人脸图像，其中，上述第一人脸图像为原始人脸图像，上述第二人脸图像为预设人脸模板上的人脸对齐图像。
60.本技术实施例中，通过相似变换矩阵对原始人脸图像进行相似变换处理，得到对齐人脸模板上的人脸对齐图像，其中，相似变换处理即可以将原始人脸图像中相应的局部人脸部位(例如，眼睛，鼻子，两个嘴角等)对应到对齐人脸模板的相应位置上，使得不同的原始人脸图像经过对齐之后，五官分布在一致的位置上。
61.在一种可选的实施例中，对上述第一人脸图像进行上述第一变换处理，得到上述第二人脸图像包括：
62.步骤s402，获取上述第一人脸图像上的第一人脸关键点信息；
63.步骤s404，获取上述预设人脸模板上与上述第一人脸关键点信息对应的第二人脸关键点信息；
64.步骤s406，基于上述第一人脸关键点信息和上述第二人脸关键点信息确定相似变换关系；
65.步骤s408，基于上述相似变换关系对上述第一人脸图像进行相似变换处理，得到上述第二人脸图像。
66.可选的，上述第一人脸关键点信息和第二人脸关键点信息均包括但不限于为：眼睛，眉毛，鼻子，嘴巴等关键点信息。
67.本技术实施例中，可以通过人脸检测和人脸关键点定位的方式，获取原始人脸图像上的第一人脸关键点信息，以及预设人脸模板上的第二关键点信息，进而可以根据第一人脸关键点信息和第二人脸关键点信息确定相似变换关系，并基于该相似变换关系将第一人脸图像对齐至人脸对齐模板上，得到第二人脸图像。
68.本技术实施例中，在数据处理生成过程中，通过人脸对齐的方式，使用人脸对齐模板进行人脸对齐处理，可以自定义遮挡信息的位置，大小以及样式，并通过人脸关键点信息进行相似变换处理，将人脸对齐模板上的遮挡信息映射回原始人脸图像，更适用于生成人脸遮挡情况下的人脸图像，更加接近实际人脸识别场景中的人脸遮挡情况。
69.在一种可选的实施例中，上述第三图像信息为第三人脸图像，上述第四图像信息
为第四人脸图像，对上述第三图像信息进行上述第二变换处理，得到上述第四图像信息包括：
70.步骤s502，对第三人脸图像进行上述第二变换处理，得到第四人脸图像，其中，上述第四人脸图像是在上述原始人脸图像中添加上述遮挡信息后得到的图像。
71.可选的，上述第三图像信息为第三人脸图像，通过对上述第三人脸图像进行第二变换处理，即对该第三人脸图像进行第一变换处理的逆变换得到第四人脸图像，进而最终得到在上述原始人脸图像中添加上述遮挡信息后得到的人脸图像。
72.在一种可选的实施例中，对上述第三人脸图像进行上述第二变换处理，得到上述第四人脸图像包括：
73.步骤s602，基于上述相似变换关系对应的逆变换关系，将上述第三人脸图像转换为上述第四人脸图像。
74.在本技术实施例中，可以基于相似变换矩阵得到的相似变换关系，对第一人脸图像进行相似变换处理，得到第二人脸图像；以及与相似变换关系对应的逆变换关系，对第三人脸图像进行逆变换处理，得到第四人脸图像。
75.在一种可选的实施例中，获取上述第一人脸图像上的上述第一人脸关键点信息包括：
76.步骤s702，对上述第一人脸图像进行人脸检测处理，从上述第一人脸图像中标记出第一人脸轮廓信息；
77.步骤s704，对上述第一人脸轮廓信息进行人脸关键点定位处理，得到上述第一人脸关键点信息。
78.在上述可选的实施例中，图4是根据本技术实施例的一种可选的数据处理方法的流程图，如图4所示，通过人脸检测的方式，即对第一人脸图像进行人脸检测处理，从上述第一人脸图像中标记出第一人脸轮廓信息，并通过对上述第一人脸轮廓信息进行人脸关键点定位处理，得到上述第一人脸关键点信息。
79.作为一种可选的实施例，上述可选的数据处理方法，还包括如下方法步骤：
80.步骤s802，基于上述第一人脸轮廓信息和上述第四人脸图像，确定第一训练数据，其中，上述第一训练数据用于训练人脸检测模型，上述人脸检测模型用于对遮挡局部人脸部位后的人脸图像进行人脸检测。
81.在上述可选的实施例中，由于第四人脸图像和第一人脸图像相比较，除了该第四人脸如下添加了遮挡信息之外其他都是一样的，因此可以采用未添加遮挡信息的第一人脸图像的第一人脸轮廓信息，作为添加遮挡信息的第四人脸图像的近似人脸轮廓信息，从而可以节省采用人工标注第四人脸图像的人脸轮廓信息的过程，有助于人脸识别系统准确高效检测处于遮挡情况下的人脸图像。
82.在上述可选的实施例中，由于确定上述第一训练数据时，并不会对第四人脸图像再进行检测处理，而是直接将第一人脸轮廓信息和第四人脸图像(如图4所示的第四图像信息)作为第一训练数据来训练人脸检测模型，并采用训练好的人脸检测模型对遮挡局部人脸部位后的人脸图像进行人脸检测。
83.在一种可选的实施例中，上述可选的数据处理方法，还包括如下方法步骤：
84.步骤s902，基于上述第一人脸关键点信息和上述第四人脸图像，确定第二训练数
据，其中，上述第二训练数据用于训练关键点定位模型，上述关键点定位模型用于对遮挡局部人脸部位后的人脸关键点进行定位。
85.在上述可选的实施例中，可以将第一人脸图像的第一人脸关键点信息和第四人脸图像(如图4所示的第四图像信息)作为第二训练数据，采用该第二训练数据训练得到关键点定位模型，进而可以采用训练好的关键点定位模型对遮挡局部人脸部位后的人脸关键点进行定位。
86.由于第四人脸图像和第一人脸图像相比较，除了该第四人脸如下添加了遮挡信息之外其他都是一样的，因此可以采用未添加遮挡信息的第一人脸图像的第一关键点信息，作为添加遮挡信息的第四人脸图像的近似人脸关键点信息，从而可以节省采用人工标注第四人脸图像的人脸关键点信息的过程，有助于人脸识别系统准确高效定位遮挡人脸图像的关键点信息。
87.在一种可选的实施例中，上述第一图像信息为第一人脸图像，上述第二图像信息为第一三维人脸模型图像，对上述第一图像信息进行上述第一变换处理，得到上述第二图像信息包括：
88.步骤s1002，对第一人脸图像进行上述第一变换处理，得到第一三维人脸模型图像，其中，上述第一人脸图像为原始人脸图像，上述第一三维人脸模型图像是基于上述原始人脸图像进行数据估计得到的人脸三维图像信息。
89.可选的，上述第一变换处理为映射变换处理；作为另一种可选的实施例，通过对人脸识别系统的摄像装置拍摄得到的原始人脸图像进行映射变换处理，得到基于上述原始人脸图像进行数据估计得到的人脸三维图像信息。
90.本技术实施例通过从人脸二维信息估计得到人脸三维图像信息，根据三维人脸关键点坐标和三维遮挡信息，在三维立体空间上添加眼镜、口罩等遮挡信息，再映射回二维图像空间，可以生成更多接近真实场景的人脸遮挡图像，而不是随机生成大量真实场景中不存在的人脸遮挡图像。
91.在一种可选的实施例中，对第一人脸图像进行上述第一变换处理，得到上述第一三维人脸模型图像包括：
92.步骤s1102，获取上述第一人脸图像上的第一人脸关键点信息；
93.步骤s1104，获取上述人脸三维图像信息中与上述第一人脸关键点信息对应的第三人脸关键点信息；
94.步骤s1106，基于上述第一人脸关键点信息和上述第三人脸关键点信息确定映射变换关系；
95.步骤s1108，基于上述映射变换关系对上述第一人脸图像进行映射变换处理，得到上述第一三维人脸模型图像。
96.可选的，上述第一人脸关键点信息和第三人脸关键点信息，均包括但不限于为：眼睛，眉毛，鼻子，嘴巴等关键点信息。
97.本技术实施例中，可以通过人脸检测和人脸关键点定位的方式，获取原始人脸图像上的第一人脸关键点信息，可以根据第一人脸关键点信息和第三人脸关键点信息确定映射变换关系，并基于该映射变换关系对上述第一人脸图像进行映射变换处理，得到上述第一三维人脸模型图像。
98.需要说明的是，上述二维对齐模板或三维对齐模板中的人脸关键点信息均是预先确定的，即本技术实施例中的第二人脸关键点信息和第三人脸关键点信息均为预先确定。
99.本技术实施例中，在数据处理生成过程中，根据人脸关键点信息进行映射变换处理，得到上述第一三维人脸模型图像，从人脸二维信息估计得到人脸三维图像信息，更适用于生成人脸遮挡情况下的人脸图像，更加接近实际人脸识别场景中的人脸遮挡情况。
100.在一种可选的实施例中，上述第三图像信息为第二三维人脸模型图像，在上述第二图像信息中添加上述遮挡信息，得到上述第三图像信息包括：
101.步骤s1202，获取上述遮挡信息的三维空间信息；
102.步骤s1204，采用上述第三人脸关键点信息和上述遮挡信息的三维空间信息得到第二三维人脸模型图像。
103.在本技术实施例中，在对第一图像信息进行第一变换处理，得到第二图像信息之后，还可以获取遮挡信息的三维空间信息，并采用该三维空间信息和从人脸三维图像信息中与上述第一人脸关键点信息对应的第三人脸关键点信息，得到第二三维人脸模型图像；即根据三维人脸关键点坐标和三维遮挡信息，在三维立体空间上添加眼镜、口罩等遮挡信息，再映射回二维图像空间，可以生成更多接近真实场景的人脸遮挡图像，而不是随机生成大量真实场景中不存在的人脸遮挡图像。
104.在一种可选的实施例中，对上述第三图像信息进行上述第二变换处理，得到上述第四图像信息包括：
105.步骤s1302，对上述第二三维人脸模型图像进行上述第二变换处理，得到第五人脸图像，其中，上述第五人脸图像是在上述原始人脸图像中添加上述遮挡信息后得到的图像。
106.可选的，上述第二变换处理为与映射变换处理对应的逆变换处理；在上述可选的实施例中，通过对上述第二三维人脸模型图像进行与映射变换处理对应的逆变换处理，得到在原始人脸图像中添加遮挡信息后得到的图像。
107.在一种可选的实施例中，上述第四图像信息为第五人脸图像，对上述第二三维人脸模型图像进行上述第二变换处理，得到上述第五人脸图像包括：
108.步骤s1402，基于上述映射变换关系对应的逆变换关系，将上述第二三维人脸模型图像转换为上述第五人脸图像。
109.在上述可选的实施例中，基于上述映射变换关系对应的逆变换关系，通过对上述第二三维人脸模型图像进行与映射变换处理对应的逆变换处理，将上述第二三维人脸模型图像转换为上述第五人脸图像，即得到在原始人脸图像中添加遮挡信息后得到的图像。
110.本技术所提供的上述可选实施例，通过根据三维人脸关键点坐标和三维遮挡信息，在三维立体空间上添加眼镜、口罩等遮挡信息，再映射回二维图像空间，可以生成更多接近真实场景的人脸遮挡图像，而不是随机生成大量真实场景中不存在的人脸遮挡图像。
111.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
112.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施
例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例上述的方法。
113.实施例2
114.根据本技术实施例，还提供了一种用于实施上述数据处理方法的装置实施例，图5是根据本发明实施例的一种数据处理装置的结构示意图，如图5所示，该装置包括：接收模块40、变换模块42、添加模块44，包括：
115.接收模块40，用于接收输入数据，其中，上述输入数据包括第一图像信息；变换模块42，用于对上述第一图像信息进行第一变换处理，得到第二图像信息；添加模块44，用于在上述第二图像信息中添加遮挡信息，得到第三图像信息。
116.在本技术实施例中，通过接收输入数据，其中，上述输入数据包括第一图像信息；对上述第一图像信息进行第一变换处理，得到第二图像信息；在上述第二图像信息中添加遮挡信息，得到第三图像信息。
117.由此，本技术实施例达到了基于实际人脸识别场景中复杂的人脸遮挡情况，针对生成人脸遮挡增强样本的目的，从而实现了提高人脸识别系统识别处于遮挡情况下的人脸图像的准确性的技术效果，进而解决了现有技术中在生成人脸遮挡增强样本时，无法针对性模拟实际人脸识别场景中复杂的人脸遮挡情况的技术问题。
118.此处需要说明的是，上述接收模块40、变换模块42、添加模块44对应于实施例1中的步骤s202至步骤s206，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
119.需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
120.实施例3
121.根据本技术实施例，还提供一种数据处理设备的实施例，该数据处理设备可以是计算设备群中的任意一个计算设备。图6是根据本发明实施例的一种数据处理设备的结构示意图，如图6所示，该数据处理设备包括：处理器500和存储器502，其中，
122.存储器502，与上述处理器500连接，用于为上述处理器提供处理以下处理步骤的指令：接收输入数据，其中，上述输入数据包括第一图像信息；对上述第一图像信息进行第一变换处理，得到第二图像信息；在上述第二图像信息中添加遮挡信息，得到第三图像信息。
123.在本技术实施例中，通过接收输入数据，其中，上述输入数据包括第一图像信息；对上述第一图像信息进行第一变换处理，得到第二图像信息；在上述第二图像信息中添加遮挡信息，得到第三图像信息。
124.容易注意到的是，本技术实施例利用人脸识别系统中的对齐处理过程，对第一图像信息进行第一变换处理，得到人脸对齐图像，进而在人脸对齐图像增加遮挡信息，使得生成的人脸遮挡图像更加接近真实的人脸识别场景。
125.由此，本技术实施例达到了基于实际人脸识别场景中复杂的人脸遮挡情况，针对生成人脸遮挡增强样本的目的，从而实现了提高人脸识别系统识别处于遮挡情况下的人脸图像的准确性的技术效果，进而解决了现有技术中在生成人脸遮挡增强样本时，无法针对性模拟实际人脸识别场景中复杂的人脸遮挡情况的技术问题。
126.需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
127.实施例4
128.根据本技术的实施例，还提供了一种计算机终端的实施例，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
129.可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
130.在本实施例中，上述计算机终端可以执行数据处理方法中以下步骤的程序代码：接收输入数据，其中，上述输入数据包括第一图像信息；对上述第一图像信息进行第一变换处理，得到第二图像信息；在上述第二图像信息中添加遮挡信息，得到第三图像信息。
131.可选地，图7是根据本技术实施例的另一种计算机终端的结构框图，如图7所示，该计算机终端可以包括：一个或多个(图中仅示出一个)处理器602、存储器604、以及外设接口606。
132.其中，存储器可用于存储软件程序以及模块，如本技术实施例中的数据处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
133.在本实施例中，上述计算机终端可以执行应用程序的数据处理方法中以下步骤的程序代码：接收输入数据，其中，上述输入数据包括第一图像信息；对上述第一图像信息进行第一变换处理，得到第二图像信息；在上述第二图像信息中添加遮挡信息，得到第三图像信息。
134.可选的，上述处理器还可以执行如下步骤的程序代码：对上述第三图像信息进行第二变换处理，得到第四图像信息，其中，上述第二变换处理为上述第一变换处理的逆变换。
135.可选的，上述处理器还可以执行如下步骤的程序代码：对第一人脸图像进行上述第一变换处理，得到第二人脸图像，其中，上述第一人脸图像为原始人脸图像，上述第二人脸图像为预设人脸模板上的人脸对齐图像。
136.可选的，上述处理器还可以执行如下步骤的程序代码：获取上述第一人脸图像上的第一人脸关键点信息；获取上述预设人脸模板上与上述第一人脸关键点信息对应的第二人脸关键点信息；基于上述第一人脸关键点信息和上述第二人脸关键点信息确定相似变换关系；基于上述相似变换关系对上述第一人脸图像进行相似变换处理，得到上述第二人脸
图像。
137.可选的，上述处理器还可以执行如下步骤的程序代码：对第三人脸图像进行上述第二变换处理，得到第四人脸图像，其中，上述第四人脸图像是在原始人脸图像中添加上述遮挡信息后得到的图像。
138.可选的，上述处理器还可以执行如下步骤的程序代码：基于上述相似变换关系对应的逆变换关系，将上述第三人脸图像转换为上述第四人脸图像。
139.可选的，上述处理器还可以执行如下步骤的程序代码：对上述第一人脸图像进行人脸检测处理，从上述第一人脸图像中标记出第一人脸轮廓信息；对上述第一人脸轮廓信息进行人脸关键点定位处理，得到上述第一人脸关键点信息。
140.可选的，上述处理器还可以执行如下步骤的程序代码：基于上述第一人脸轮廓信息和上述第四人脸图像，确定第一训练数据，其中，上述第一训练数据用于训练人脸检测模型，上述人脸检测模型用于对遮挡局部人脸部位后的人脸图像进行人脸检测。
141.可选的，上述处理器还可以执行如下步骤的程序代码：基于上述第一人脸关键点信息和上述第四人脸图像，确定第二训练数据，其中，上述第二训练数据用于训练关键点定位模型，上述关键点定位模型用于对遮挡局部人脸部位后的人脸关键点进行定位。
142.可选的，上述处理器还可以执行如下步骤的程序代码：对第一人脸图像进行上述第一变换处理，得到第一三维人脸模型图像，其中，上述第一人脸图像为原始人脸图像，上述第一三维人脸模型图像是基于上述原始人脸图像进行数据估计得到的人脸三维图像信息。
143.可选的，上述处理器还可以执行如下步骤的程序代码：获取上述第一人脸图像上的第一人脸关键点信息；获取上述人脸三维图像信息中与上述第一人脸关键点信息对应的第三人脸关键点信息；基于上述第一人脸关键点信息和上述第三人脸关键点信息确定映射变换关系；基于上述映射变换关系对上述第一人脸图像进行映射变换处理，得到上述第一三维人脸模型图像。
144.可选的，上述处理器还可以执行如下步骤的程序代码：获取上述遮挡信息的三维空间信息；采用上述第三人脸关键点信息和上述遮挡信息的三维空间信息得到第二三维人脸模型图像。
145.可选的，上述处理器还可以执行如下步骤的程序代码：对上述第二三维人脸模型图像进行上述第二变换处理，得到第五人脸图像，其中，上述第五人脸图像是在上述原始人脸图像中添加上述遮挡信息后得到的图像。
146.可选的，上述处理器还可以执行如下步骤的程序代码：基于上述映射变换关系对应的逆变换关系，将上述第二三维人脸模型图像转换为上述第五人脸图像。
147.可选的，上述处理器还可以执行如下步骤的程序代码：采用贴图方式生成上述遮挡信息。
148.采用本技术实施例，提供了一种数据处理生成方案，通过接收输入数据，其中，上述输入数据包括第一图像信息；对上述第一图像信息进行第一变换处理，得到第二图像信息；在上述第二图像信息中添加遮挡信息，得到第三图像信息。
149.容易注意到的是，本技术实施例利用人脸识别系统中的对齐处理过程，对第一图像信息进行第一变换处理，得到人脸对齐图像，进而在人脸对齐图像增加遮挡信息，使得生
成的人脸遮挡图像更加接近真实的人脸识别场景。
150.由此，本技术实施例达到了基于实际人脸识别场景中复杂的人脸遮挡情况，针对生成人脸遮挡增强样本的目的，从而实现了提高人脸识别系统识别处于遮挡情况下的人脸图像的准确性的技术效果，进而解决了现有技术中在生成人脸遮挡增强样本时，无法针对性模拟实际人脸识别场景中复杂的人脸遮挡情况的技术问题。
151.本领域普通技术人员可以理解，图7所示的结构仅为示意，计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌声电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图7其并不对上述电子装置的结构造成限定。例如，计算机终端还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图7所示不同的配置。
152.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
153.实施例5
154.根据本技术的实施例，还提供了一种存储介质的实施例。可选地，在本实施例中，上述存储介质可以用于保存上述实施例1所提供的数据处理方法所执行的程序代码。
155.可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
156.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收输入数据，其中，上述输入数据包括第一图像信息；对上述第一图像信息进行第一变换处理，得到第二图像信息；在上述第二图像信息中添加遮挡信息，得到第三图像信息。
157.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对上述第三图像信息进行第二变换处理，得到第四图像信息，其中，上述第二变换处理为上述第一变换处理的逆变换。
158.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对第一人脸图像进行上述第一变换处理，得到第二人脸图像，其中，上述第一人脸图像为原始人脸图像，上述第二人脸图像为预设人脸模板上的人脸对齐图像。
159.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取上述第一人脸图像上的第一人脸关键点信息；获取上述预设人脸模板上与上述第一人脸关键点信息对应的第二人脸关键点信息；基于上述第一人脸关键点信息和上述第二人脸关键点信息确定相似变换关系；基于上述相似变换关系对上述第一人脸图像进行相似变换处理，得到上述第二人脸图像。
160.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对第三人脸图像进行上述第二变换处理，得到第四人脸图像，其中，上述第四人脸图像是在上述原始人脸图像中添加上述遮挡信息后得到的图像。
161.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：基于上述相似变换关系对应的逆变换关系，将上述第三人脸图像转换为上述第四人脸图像。
162.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对
上述第一人脸图像进行人脸检测处理，从上述第一人脸图像中标记出第一人脸轮廓信息；对上述第一人脸轮廓信息进行人脸关键点定位处理，得到上述第一人脸关键点信息。
163.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：基于上述第一人脸轮廓信息和上述第四人脸图像，确定第一训练数据，其中，上述第一训练数据用于训练人脸检测模型，上述人脸检测模型用于对遮挡局部人脸部位后的人脸图像进行人脸检测。
164.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：基于上述第一人脸关键点信息和上述第四人脸图像，确定第二训练数据，其中，上述第二训练数据用于训练关键点定位模型，上述关键点定位模型用于对遮挡局部人脸部位后的人脸关键点进行定位。
165.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对第一人脸图像进行上述第一变换处理，得到第一三维人脸模型图像，其中，上述第一人脸图像为原始人脸图像，上述第一三维人脸模型图像是基于上述原始人脸图像进行数据估计得到的人脸三维图像信息。
166.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取上述第一人脸图像上的第一人脸关键点信息；获取上述人脸三维图像信息中与上述第一人脸关键点信息对应的第三人脸关键点信息；基于上述第一人脸关键点信息和上述第三人脸关键点信息确定映射变换关系；基于上述映射变换关系对上述第一人脸图像进行映射变换处理，得到上述第一三维人脸模型图像。
167.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取上述遮挡信息的三维空间信息；采用上述第三人脸关键点信息和上述遮挡信息的三维空间信息得到第二三维人脸模型图像。
168.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对上述第二三维人脸模型图像进行上述第二变换处理，得到第五人脸图像，其中，上述第五人脸图像是在上述原始人脸图像中添加上述遮挡信息后得到的图像。
169.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：基于上述映射变换关系对应的逆变换关系，将上述第二三维人脸模型图像转换为上述第五人脸图像。
170.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：采用贴图方式生成上述遮挡信息。
171.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
172.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
173.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
174.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
175.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
176.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
177.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。