一种图像合成方法、终端及存储介质与流程

1.本发明涉及终端显示技术领域，尤其涉及一种图像合成方法、终端及存储介质。


背景技术：

2.证件照为各种证件上用来证明身份的照片，常见的有身份证、护照、驾照、准考证等上的照片，证件照对照片的背景颜色有着严格的限制，如要求证件照的背景为白色、蓝色或红色；而且证件照对所拍人像的尺寸规格也有各种要求，如人像中头部所占比例，头部在画面中的位置等。因此，为了能够拍摄符合证件照要求的照片，往往需要到正规的摄像馆进行拍摄。
3.随着终端的发展，终端的摄像技术越来越完善，用户越来越多的使用终端拍摄照片，因此，如何使用终端拍摄证件照成为亟待解决的问题。


技术实现要素：

4.本发明示例性的实施方式中提供一种图像合成方法、终端及存储介质，用于实现通过终端合成证件照。
5.根据示例性的实施方式中的第一方面，提供一种终端，包括显示屏、处理器和摄像头和接收单元；
6.所述接收单元，被配置为接收用户触发的启动相机应用的启动指令，接收用户在所述相机应用中选择证件照拍摄模式的模式切换指令，以及接收用户触发的拍照指令；
7.所述摄像头，被配置为采集图像；
8.所述处理器，被配置为在证件照拍摄模式下，获取所述摄像头采集的包含人物区域的预览图像，若根据所述预览图像中所述人物区域的人脸特征信息确定人脸位置不满足预设条件，则提示用户对姿态进行调整；在确定预览图像中人脸位置满足所述预设条件后，响应用户触发的拍照指令，通过所述摄像头采集包含人物区域的待处理图像；根据所述待处理图像的图像特征，从所述待处理图像中提取所述人物区域，并将所述人物区域与预设的背景图像合成证件照图像；
9.所述显示屏，被配置为显示通过所述摄像头采集的所述预览图像，显示用于提示用户对姿态进行调整的提示信息，显示通过所述摄像头采集的所述待处理图像，以及显示合成后的所述证件照图像。
10.上述实施例中，用户启动相机应用后，选择证件照拍摄模式，终端获取摄像头采集的包含人物区域的预览图像，并根据预览图像中人物区域的人脸特征信息判断人脸位置是否满足预设条件，通过判断预览图像中人脸位置是否满足预设条件，能够确定以当前用户的姿态拍照得到的图像中的人脸是否满足证件照的要求，在确定人脸位置不满足预设条件时，提示用户对姿态进行调整，直到确定预览图像中人脸位置满足预设条件后提示用户进行拍照，响应用户触发的拍照指令，获取摄像头采集的待处理图像，并根据待处理图像的图像特征提取人物区域，将人物区域与预设的背景图像合成证件照图像。由于本发明实施例
能够在确定预览图像中的人脸位置不满足预设条件时，提醒用户调整姿态，从而能够辅助用户拍摄人脸位置满足证件照要求的待处理图像，使得从待处理图像中提取的人物区域与预设的背景区域合成的证件照符合证件照要求，提高生成的证件照的准确性，为用户提供一种操作简便的证件照合成方式，提升终端相机应用的实用性。
11.在一些示例性的实施方式中，所述处理器具体被配置为：
12.基于人脸检测多任务卷积神经网络模型，检测所述预览图像的人物区域的人脸特征信息。
13.上述实施例中，能够通过人脸检测多任务卷积神经网络模型获取预览图像中任务区域的人脸特征信息，从而能够确定人脸中各关键点的位置，便于检测人脸位置是否符合预设条件。
14.在一些示例性的实施方式中，所述处理器具体被配置为：
15.根据所述待处理图像的图像特征，生成所述待处理图像对应的包括人物区域、背景区域以及未知区域的三态图；其中，所述未知区域包括所述人物区域的边缘和所述背景区域的边缘；
16.根据所述待处理图像以及所述三态图，基于抠图卷积神经网络模型，确定所述待处理图像对应的用于表示所述未知区域中像素点是否属于人物区域的前景系数图；
17.根据所述前景系数图从所述待处理图像中提取人物区域。
18.上述实施例中，终端通过抠图卷积神经网络模型确定前景系数图，从而确定出属于人物区域的像素点，能够将人物区域从待处理图像中准确划分出来，从待处理图像中提取人物区域，进而合成证件照。
19.在一些示例性的实施方式中，所述处理器具体被配置为：
20.基于人像语义分割卷积神经网络模型，对所述待处理图像进行人像语义分割，获取所述待处理图像对应的包括人物区域与背景区域的掩模图像；
21.根据所述掩模图像与所述待处理图像的图像特征，确定对所述掩模图像进行形态学操作使用的卷积核以及所述卷积核的锚点位置；
22.根据确定出的所述卷积核以及所述卷积核的锚点位置，对所述掩模图像进行形态学操作，生成所述三态图。
23.上述实施例中，终端通过获取到的掩模图像以及待处理图像生成三态图，从而将待处理图像分割为人物、背景以及未知区域，便于后续确定人物与背景的边界，从而提取出人物区域用于合成证件照。
24.在一些示例性的实施方式中，所述处理器具体被配置为：
25.根据所述待处理图像的图像特征，确定所述掩模图像的人物区域中的头部区域和人脸区域；
26.根据所述头部区域中除所述人脸区域以外的边缘区域的大小，确定所述卷积核的大小以及所述卷积核的锚点位置。
27.上述实施例中，通过待处理图像特征以及掩模图像确定卷积核，由于该卷积核是根据当前待处理图像的头部区域中除人脸区域以外的边缘区域的大小确定的，在使用该卷积核对掩模图像进行形态学操作后，确定出的人物区域更贴近实际人物区域，减少了人物发型的影响，使得提取出的人物区域更加准确。
28.根据示例性的实施方式中的第二方面，提供一种终端，包括显示屏、处理器和摄像头和接收单元；
29.所述接收单元，被配置为接收用户触发的启动相机应用的启动指令，接收用户在所述相机应用中选择证件照拍摄模式的模式切换指令，以及接收用户触发的拍照指令；
30.所述摄像头，被配置为采集图像；
31.所述处理器，被配置为在证件照拍摄模式下，响应用户触发的拍照指令，获取所述摄像头采集的包含人物区域的待处理图像；若根据所述待处理图像中所述人物区域的人脸特征信息确定人脸位置不满足预设条件，则根据所述待处理图像中所述人脸位置与标准人脸位置之间的偏差值，对所述待处理图像进行校正；在确定所述待处理图像中人脸位置满足预设条件后，根据所述待处理图像的图像特征，从所述待处理图像中提取所述人物区域，并将所述人物区域与预设的背景图像合成证件照图像；
32.所述显示屏，被配置为显示通过所述摄像头采集的所述待处理图像以及显示合成后的所述证件照图像。
33.上述实施例中，终端能够根据待处理图像中人物区域的人脸特征信息判断人脸位置是否满足预设条件，对人脸位置不满足预设条件的待处理图像，能够确定待处理图像中的人脸位置与标准人脸位置之间的偏差值，从而对待处理图像进行校正，得到满足预设条件的图像并根据该图像合成证件照，而不需用户重新进行拍摄，为用户提供便于操作的证件照合成方式，提升用户体验。
34.在一些示例性的实施方式中，所述处理器具体被配置为：
35.基于人脸检测多任务卷积神经网络模型，检测所述待处理图像的人物区域的人脸特征信息。
36.在一些示例性的实施方式中，所述处理器具体被配置为：
37.根据所述待处理图像的图像特征，生成所述待处理图像对应的包括人物区域、背景区域以及未知区域的三态图；其中，所述未知区域包括所述人物区域的边缘和所述背景区域的边缘；
38.根据所述待处理图像以及所述三态图，基于抠图卷积神经网络模型，确定所述待处理图像对应的用于表示所述未知区域中像素点是否属于人物区域的前景系数图；
39.根据所述前景系数图从所述待处理图像中提取人物区域。
40.在一些示例性的实施方式中，所述处理器具体被配置为：
41.基于人像语义分割卷积神经网络模型，对所述待处理图像进行人像语义分割，获取所述待处理图像对应的包括人物区域与背景区域的掩模图像；
42.根据所述掩模图像与所述待处理图像的图像特征，确定对所述掩模图像进行形态学操作使用的卷积核以及所述卷积核的锚点位置；
43.根据确定出的所述卷积核以及所述卷积核的锚点位置，对所述掩模图像进行形态学操作，生成所述三态图。
44.在一些示例性的实施方式中，所述处理器具体被配置为：
45.根据所述待处理图像的图像特征，确定所述掩模图像的人物区域中的头部区域和人脸区域；
46.根据所述头部区域中除所述人脸区域以外的边缘区域的大小，确定所述卷积核的
大小以及所述卷积核的锚点位置。
47.根据示例性的实施方式中的第三方面，提供一种图像合成方法，包括：
48.响应用户启动相机应用的操作，在证件照拍摄模式下，获取摄像头采集的包含人物区域的预览图像，若根据所述预览图像中所述人物区域的人脸特征信息确定人脸位置不满足预设条件，则提示用户对姿态进行调整；
49.在确定预览图像中人脸位置满足所述预设条件后，响应用户触发的拍照指令，获取所述摄像头采集的包含人物区域的待处理图像；
50.根据所述待处理图像的图像特征，从所述待处理图像中提取所述人物区域，并将所述人物区域与预设的背景图像合成证件照图像。
51.在一些示例性的实施方式中，根据下列方式确定所述预览图像中所述人物区域的人脸特征信息：
52.基于人脸检测多任务卷积神经网络模型，检测所述预览图像的人物区域的人脸特征信息。
53.在一些示例性的实施方式中，所述根据所述待处理图像的图像特征，从所述待处理图像中提取所述人物区域，包括：
54.根据所述待处理图像的图像特征，生成所述待处理图像对应的包括人物区域、背景区域以及未知区域的三态图；其中，所述未知区域包括所述人物区域的边缘区域和所述背景区域的边缘区域；
55.根据所述待处理图像以及所述三态图，基于抠图卷积神经网络模型，确定所述待处理图像对应的用于表示所述未知区域中像素点是否属于人物区域的前景系数图；
56.根据所述前景系数图从所述待处理图像中提取人物区域。
57.在一些示例性的实施方式中，所述根据待处理图像的图像特征，生成所述待处理图像对应的包括人物区域、背景区域以及未知区域的三态图，包括：
58.基于人像语义分割卷积神经网络模型，对所述待处理图像进行人像语义分割，获取所述待处理图像对应的包括人物区域与背景区域的掩模图像；
59.根据所述掩模图像与所述待处理图像的图像特征，确定对所述掩模图像进行形态学操作使用的卷积核以及所述卷积核的锚点位置；
60.根据确定出的所述卷积核以及所述卷积核的锚点位置，对所述掩模图像进行形态学操作，生成所述三态图。
61.在一些示例性的实施方式中，所述根据所述掩模图像与所述待处理图像的图像特征，确定对所述掩模图像进行形态学操作使用的卷积核以及所述卷积核的锚点位置，包括：
62.根据所述待处理图像的图像特征，确定所述掩模图像的人物区域中的头部区域和人脸区域；
63.根据所述头部区域中除所述人脸区域以外的边缘区域的大小，确定所述卷积核的大小以及所述卷积核的锚点位置。
64.根据示例性的实施方式中的第四方面，提供一种图像合成方法，包括：
65.在证件照拍摄模式下，响应用户触发的拍照指令，获取摄像头采集的包含人物区域的待处理图像；
66.若根据所述待处理图像中所述人物区域的人脸特征信息确定人脸位置不满足预
设条件，则根据所述待处理图像中所述人脸位置与标准人脸位置之间的偏差值，对所述待处理图像进行校正；
67.在确定所述待处理图像中人脸位置满足预设条件后，根据所述待处理图像的图像特征，从所述待处理图像中提取所述人物区域，并将所述人物区域与预设的背景图像合成证件照图像。
68.在一些示例性的实施方式中，根据下列方式确定所述待处理图像中所述人物区域的人脸特征信息：
69.基于人脸检测多任务卷积神经网络模型，检测所述待处理图像的人物区域的人脸特征信息。
70.在一些示例性的实施方式中，所述根据所述待处理图像的图像特征，从所述待处理图像中提取所述人物区域，包括：
71.根据所述待处理图像的图像特征，生成所述待处理图像对应的包括人物区域、背景区域以及未知区域的三态图；其中，所述未知区域包括所述人物区域的边缘区域和所述背景区域的边缘区域；
72.根据所述待处理图像以及所述三态图，基于抠图卷积神经网络模型，确定所述待处理图像对应的用于表示所述未知区域中像素点是否属于人物区域的前景系数图；
73.根据所述前景系数图从所述待处理图像中提取人物区域。
74.在一些示例性的实施方式中，所述根据待处理图像的图像特征，生成所述待处理图像对应的包括人物区域、背景区域以及未知区域的三态图，包括：
75.基于人像语义分割卷积神经网络模型，对所述待处理图像进行人像语义分割，获取所述待处理图像对应的包括人物区域与背景区域的掩模图像；
76.根据所述掩模图像与所述待处理图像的图像特征，确定对所述掩模图像进行形态学操作使用的卷积核以及所述卷积核的锚点位置；
77.根据确定出的所述卷积核以及所述卷积核的锚点位置，对所述掩模图像进行形态学操作，生成所述三态图。
78.在一些示例性的实施方式中，所述根据所述掩模图像与所述待处理图像的图像特征，确定对所述掩模图像进行形态学操作使用的卷积核以及所述卷积核的锚点位置，包括：
79.根据所述待处理图像的图像特征，确定所述掩模图像的人物区域中的头部区域和人脸区域；
80.根据所述头部区域中除所述人脸区域以外的边缘区域的大小，确定所述卷积核的大小以及所述卷积核的锚点位置。
81.根据示例性的实施方式中的第五方面，提供一种图像合成装置，所述图像合成装置被配置为执行如上述第三方面或第四方面所述的图像合成方法。
82.根据示例性的实施方式中的第六方面，提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行如上述第三方面或第四方面所述的图像合成方法。
83.在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本技术各较佳实施例。
附图说明
84.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
85.图1为本发明实施例提供的一种终端的结构示意图；
86.图2示例性示出了本发明实施例提供的一种终端的软件架构示意图；
87.图3示例性示出了本发明实施例提供的终端的用户界面示意图；
88.图4示例性示出了本发明实施例提供的一种图像合成系统示意图；
89.图5示例性示出了本发明实施例提供的一种图像合成方法流程图；
90.图6示例性示出了本发明实施例提供的一种触发相机切换至证件照拍摄模式的示意图；
91.图7示例性示出了本发明实施例提供的一种预览图像示意图；
92.图8示例性示出了本发明实施例提供的一种人脸检测框以及人脸关键点的位置示意图；
93.图9示例性示出了本发明实施例提供的一种人脸特征信息示意图；
94.图10示例性示出了本发明实施例提供的一种提醒用户人脸太大的示意图；
95.图11示例性示出了本发明实施例提供的一种提醒用户人物倾斜的示意图；
96.图12示例性示出了本发明实施例提供的一种提醒用户人物偏低的示意图；
97.图13示例性示出了本发明实施例提供的一种提醒用户拍照的示意图；
98.图14示例性示出了本发明实施例提供的一种掩模图像的示意图；
99.图15示例性示出了本发明实施例提供的一种人脸区域和头部区域的示意图；
100.图16示例性示出了本发明实施例提供的一种卷积核的示意图；
101.图17示例性示出了本发明实施例提供的一种三态图的示意图；
102.图18示例性示出了本发明实施例提供的一种目标图像的示意图；
103.图19示例性示出了本发明实施例提供的第二种图像合成方法的流程图；
104.图20示例性示出了本发明实施例提供的一种倾斜的待处理图像的示意图；
105.图21示例性示出了本发明实施例提供的一种完整的图像合成方法流程图；
106.图22示例性示出了本发明实施例提供的第一种终端的结构示意图；
107.图23示例性示出了本发明实施例提供的第二种终端的结构示意图；
108.图24示例性示出了本发明实施例提供的第一种图像合成装置的结构示意图；
109.图25示例性示出了本发明实施例提供的第一种图像合成装置的结构示意图。
具体实施方式
110.下面将结合附图对本技术实施例中的技术方案进行清除、详尽地描述。其中，在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
111.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
112.下面对文中出现的一些术语进行解释：
113.1、本发明实施例中术语“图像语义分割(semantic segmentation)”，是图像处理和机器视觉技术中关于图像理解的重要组成部分，也是人工智能领域中一个重要的分支。语义分割即是对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、人或车等)，从而进行区域划分。
114.2、本发明实施例中术语“图像掩模”，是指用选定的图像、图形或物体，对待处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。用于覆盖的特定图像或物体称为掩模或模板。数字图像处理中，掩模为二维矩阵数组，有时也用多值图像。图像掩模主要用于：(1)提取感兴趣区，用预先制作的感兴趣区掩模与待处理图像相乘，得到感兴趣区图像，感兴趣区内图像值保持不变，而区外图像值都为0；(2)屏蔽作用：用掩模对图像上某些区域作屏蔽，使其不参加处理或不参加处理参数的计算，或仅对屏蔽区作处理或统计；(3)结构特征提取，用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征。
115.3、本发明实施例中术语“三态图(trimap)”，是根据静态图像抠图算法得到的图像，通过对给定图像的一种粗略划分，将给定图像划分为前景、背景和未知区域。
116.4、本发明实施例中术语“图像的膨胀和腐蚀”，是两种基本的形态学运算，主要用来寻找图像中的极大区域和极小区域。其中膨胀类似于“领域扩张”，将图像的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大；腐蚀类似“领域被蚕食”，将图像中的高亮区域或白色部分进行缩减细化，其运行结果图比原图的高亮区域更小。
117.5、本发明实施例中术语“卷积神经网络(convolutional neural networks，cnn)”，是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。
118.图1示出了终端100的结构示意图。
119.下面以终端100为例对实施例进行具体说明。应该理解的是，图1所示终端100仅是一个范例，并且终端100可以具有比图1中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
120.图1中示例性示出了根据示例性实施例中终端100的硬件配置框图。如图1所示，终端100包括：射频(radio frequency，rf)电路110、存储器120、显示单元130、摄像头140、传感器150、音频电路160、无线保真(wireless fidelity，wi-fi)模块170、处理器180、蓝牙模块181、以及电源190等部件。
121.rf电路110可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器180处理；可以将上行数据发送给基站。通常，rf电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。
122.存储器120可用于存储软件程序及数据。处理器180通过运行存储在存储器120的
软件程序或数据，从而执行终端100的各种功能以及数据处理。存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器120存储有使得终端100能运行的操作系统。本技术中存储器120可以存储操作系统及各种应用程序，还可以存储执行本技术实施例所述方法的代码。
123.显示单元130可用于接收输入的数字或字符信息，产生与终端100的用户设置以及功能控制有关的信号输入，具体地，显示单元130可以包括设置在终端100正面的触摸屏131，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。
124.显示单元130还可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单的图形用户界面(graphical user interface，gui)。具体地，显示单元130可以包括设置在终端100正面的显示屏132。其中，显示屏132可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本技术中所述的各种图形用户界面。
125.其中，触摸屏131可以覆盖在显示屏132之上，也可以将触摸屏131与显示屏132集成而实现终端100的输入和输出功能，集成后可以简称触摸显示屏。本技术中显示单元130可以显示应用程序以及对应的操作步骤。
126.摄像头140可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器180转换成数字图像信号。
127.终端100还可以包括至少一种传感器150，比如加速度传感器151、距离传感器152、指纹传感器153、温度传感器154。终端100还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
128.音频电路160、扬声器161、麦克风162可提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。终端100还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至rf电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。本技术中麦克风162可以获取用户的语音。
129.wi-fi属于短距离无线传输技术，终端100可以通过wi-fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。
130.处理器180是终端100的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的软件程序，以及调用存储在存储器120内的数据，执行终端100的各种功能和处理数据。在一些实施例中，处理器180可包括一个或多个处理单元；处理器180还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器180中。本技术中处理器180可以运行操作系统、应用程序、用户界面显示及触控响应，以及本技术实施例所述的处理方法。另外，处理器180与显示单元130耦接。
131.蓝牙模块181，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端100可以通过蓝牙模块181与同样具备蓝牙模块的可穿戴电子设备(例如智能
手表)建立蓝牙连接，从而进行数据交互。
132.终端100还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。终端100还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。
133.图2是本发明实施例的终端100的软件结构框图。
134.分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。
135.应用程序层可以包括一系列应用程序包。
136.如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
137.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。
138.如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
139.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
140.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
141.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
142.电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通，挂断等)。
143.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
144.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端振动，指示灯闪烁等。
145.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
146.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
147.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
148.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库
(media libraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
149.表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
150.媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:mpeg4，h.264，mp3，aac，amr，jpg，png等。
151.三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
152.2d图形引擎是2d绘图的绘图引擎。
153.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
154.下面结合捕获拍照场景，示例性说明终端100软件以及硬件的工作流程。
155.当触摸屏131接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头140捕获静态图像或视频。
156.本技术实施例中的终端100可以为手机、平板电脑、可穿戴设备、笔记本电脑以及电视等。
157.图3是用于示出终端(例如图1的终端100)上的用户界面的示意图。在一些具体实施中，用户通过触摸用户界面上的应用图标可以打开相应的应用程序，或者通过触摸用户界面上的文件夹图标可以打开相应的文件夹。
158.随着终端技术的发展，终端的摄像功能越来越完善，用户越来越多的使用终端拍摄照片，但对于有严格限制和规定的照片，如证件照，由于用户自己操作拍摄时较难满足证件照的要求，往往需要到正规的摄像馆进行拍摄。
159.基于上述问题，本发明实施例提供一种图像合成方法，用于实现通过终端合成证件照。
160.本发明实施例提供的图像合成方法，应用在终端的相机应用程序中，用户可以在相机应用程序中选择证件照拍摄模式，并选择证件照的类型，如身份证照片、护照照片等，用户使用相机应用程序拍摄照片后，终端对拍摄得到的照片进行处理，合成证件照。
161.如图4所示，本发明实施例提供一种图像合成系统，包括：人脸检测模块41、证件照合格性判断模块42、人像语义分割模块43、自适应三态图生成模块44、数字图像抠图模块45以及数字图像背景融合模块46。
162.用户启动相机应用，在证件照拍摄模式下，人脸检测模块41读取终端摄像头拍摄的预览图像，基于人脸检测多任务卷积神经网络模型，检测预览图像中人物区域的人脸特征信息；证件照合格性判断模块42根据人脸检测模块41检测得到的人脸特征信息判断人脸位置是否满足预设条件，在确定人脸位置不满足预设条件时，提示用户对姿态进行调整；在确定人脸位置满足预设条件时，提示用户进行拍照。
163.响应于用户触发的拍照指令，人像语义分割模块43基于人像语义分割卷积神经网络模型，对拍照得到的待处理图像进行人像语义分割，获得待处理图像对应的包括人物区
域与背景区域的掩模图像；自适应三态图生成模块44根据待处理图像的图像特征以及人像语义分割模块43确定出的掩模图像，生成待处理图像对应的包括人物区域、背景区域以及未知区域的三态图。
164.数字图像抠图模块45根据待处理图像以及三态图，基于抠图卷积神经网络模型，确定待处理图像对应的前景系数图；数字图像背景融合模块46根据所述前景系数图从待处理图像中提取人物区域，并将提取出的人物区域与预设的背景图像合成证件照图像。
165.下面结合附图对本发明实施例的图像合成流程进行详细介绍。
166.如图5所示，为本发明实施例一种图像合成方法，包括以下步骤：
167.步骤s501、响应用户启动相机应用的操作，在证件照拍摄模式下，获取摄像头采集的包含人物区域的预览图像，若根据预览图像中人物区域的人脸特征信息确定人脸位置不满足预设条件，则提示用户对姿态进行调整；
168.步骤s502、在确定预览图像中人脸位置满足预设条件后，响应用户触发的拍照指令，获取摄像头采集的包含人物区域的待处理图像；
169.步骤s503、根据待处理图像的图像特征，从待处理图像中提取人物区域，并将人物区域与预设的背景图像合成证件照图像。
170.本发明实施例提供的一种图像合成方法，用户启动相机应用后，选择证件照拍摄模式，终端获取摄像头采集的包含人物区域的预览图像，并根据预览图像中人物区域的人脸特征信息判断人脸位置是否满足预设条件，通过判断预览图像中人脸位置是否满足预设条件，能够确定以当前用户的姿态拍照得到的图像中的人脸是否满足证件照的要求，在确定人脸位置不满足预设条件时，提示用户对姿态进行调整，直到确定预览图像中人脸位置满足预设条件后提示用户进行拍照，响应用户触发的拍照指令，获取摄像头采集的待处理图像，并根据待处理图像的图像特征提取人物区域，将人物区域与预设的背景图像合成证件照图像。由于本发明实施例能够在确定预览图像中的人脸位置不满足预设条件时，提醒用户调整姿态，从而能够辅助用户拍摄人脸位置满足证件照要求的待处理图像，使得从待处理图像中提取的人物区域与预设的背景区域合成的证件照符合证件照要求，提高生成的证件照的准确性，为用户提供一种操作简便的证件照合成方式，提升终端相机应用的实用性。
171.本发明实施例，用户启动终端上的相机应用，选择相机应用中的“证件照”功能，则相机切换至证件照拍摄模式，例如，如图6所示，用户点击相机应用程序中“证件照”对应的图标，触发进入相机应用程序的证件照拍摄模式。
172.在进入相机应用的证件照拍摄模式之后，终端会通过摄像头采集包含人物区域的预览图像，并通过检测预览图像中人物区域的人脸特征信息，判断预览图像中人脸位置是否满足预设条件，并且在确定满足预设条件后提示用户拍摄照片获得待处理图像。
173.在证件照拍摄模式下，终端获取摄像头采集的包含人物区域的预览图像，基于人脸检测多任务卷积神经网络模型，检测预览图像的人物区域中的人脸特征信息。
174.其中，人脸特征信息包括：人脸检测框位置以及人脸关键点位置；
175.人脸检测框为包含人脸所有部位的检测框，人脸关键点为预先设定的关键点，如左眼、右眼、鼻子、左嘴角、右嘴角等。
176.在具体实施中，将预览图像输入到人脸检测多任务卷积神经网络模型中，获取人
脸检测多任务卷积神经网络模型输出的人脸特征信息。例如，将如图7所示的预览图像输入的人脸检测多任务卷积神经网络模型中，人脸检测多任务卷积神经网络模型输出的人脸特征信息包括：人脸检测框的位置坐标，如人脸检测框左上顶点和右下顶点的坐标，以及人脸关键点如左眼、右眼、鼻子、左嘴角、右嘴角的坐标，人脸检测框以及人脸关键点的位置可以如图8所示。
177.可选的，本发明实施例还提供一种人脸检测多任务卷积神经网络模型的训练方法：
178.使用预设的人像数据集对人脸检测多任务卷积神经网络模型进行训练，将人像数据集中的原图作为人脸检测多任务卷积神经网络模型的输入，将人像数据集中的原图中预先标注的人脸特征信息作为人脸检测多任务卷积神经网络模型的输出，对人脸检测多任务卷积神经网络模型进行训练，根据损失函数确定人脸检测多任务卷积神经网络模型输出的人脸特征信息与人像数据集中的实际的人脸特征信息的损失值，基于梯度下降法调整人脸检测多任务卷积神经网络模型的参数，直至损失值收敛到预设的收敛范围，确定人脸检测多任务卷积神经网络模型训练完成。
179.根据获取到的预览图像中人物区域的人脸特征信息，判断人物区域中人脸位置是否满足预设条件，在确定人脸位置满足预设条件时，提示用户进行拍照；否则，提示用户对姿态进行调整。
180.一种可选的实施方式为，以如图9所示的坐标系为例，假设人脸特征信息中人脸检测框的位置信息为(x1，y1)，(x2，y2)；左眼关键点p1(x
p1
，y
p1
)、右眼关键点p2(x
p2
，y
p2
)、鼻子关键点p3(x
p3
，y
p3
)、左嘴角关键点(x
p4
，y
p4
)、右嘴角关键点p5(x
p5
，y
p5
)，在判断人物区域中人脸位置是否满足预设条件时，分别对人物区域中人脸位置进行以下检测：
181.1、判断人物区域中人脸尺寸是否符合预设条件
182.根据预览图像的人脸特征信息中的人脸检测框信息，确定人脸的尺寸，例如，根据下列公式计算人脸的宽度与高度：
183.w＝x2-x1
184.h＝y2-y1
185.其中，w为人脸的宽度，h为人脸的高度，x1为人脸检测框左上顶点的x轴坐标，y1为人脸检测框左上顶点的y轴坐标，x2为人脸检测框右下顶点的x轴坐标，y2为人脸检测框右下顶点的y轴坐标。
186.确定出人脸的宽度与高度后，将人脸的宽度、高度分别与预设的标准人脸位置对应的人脸尺寸范围进行对比，在人脸宽度和高度均在预设的人脸尺寸范围中时，确定人脸尺寸符合预设条件；在人脸宽度或高度大于预设的人脸尺寸范围的上限阈值时，提示用户人脸太大，在人脸宽度或高度小于预设的人脸尺寸范围的下限阈值时，提示用户人脸太小。例如，如图10所示，在相机的显示界面中显示“人脸过大，请调整”的提示消息，同时显示根据预设条件确定出的构图提示线以帮助用户调整姿态。
187.2、判断人物区域中人脸角度是否符合预设条件
188.判断人脸角度是否符合预设条件时，分别根据下列方式判断人脸相对z轴的旋转角度，以及相对于y轴的旋转角度是否符合预设条件：
189.(1)判断人脸相对z轴的旋转角度是否符合预设条件
190.方式1、根据人脸中左眼关键点p1与右眼关键点p2的位置关系确定是否有相对z轴的旋转角度，根据下列公式确定人脸中左眼关键点p1与右眼关键点p2的高度差值：
191.δy
12
＝|y
p1-y
p2
|
192.其中，δy
12
为人脸中左眼关键点p1与右眼关键点p2的高度差值，y
p1
为左眼关键点p1的y轴坐标，y
p2
为右眼关键点p2的y轴坐标。
193.在确定δy
12
大于第一预设阈值时，确定人脸相对于z轴的旋转角度不符合预设条件。
194.方式2、根据人脸中左嘴角关键点p4与右嘴角关键点p5的位置关系确定是否有相对z轴的旋转角度，根据下列公式确定人脸中左嘴角关键点p4与右嘴角关键点p5的高度差值：
195.δy
45
＝|y
p4-y
p5
|
196.其中，δy
45
为人脸中左嘴角关键点p4与右嘴角关键点p5的高度差值，y
p4
为左嘴角关键点p4的y轴坐标，y
p5
为右嘴角关键点p5的y轴坐标。
197.在确定δy
45
大于第二预设阈值时，确定人脸相对于z轴的旋转角度不符合预设条件。
198.确定人脸相对于z的旋转角度不符合预设条件，则确定预览图像中人物身体倾斜或握持终端的手势倾斜，提示用户调整姿态。
199.(2)判断人脸相对y轴的旋转角度是否符合预设条件
200.方式1、根据人脸中左眼关键点p1、右眼关键点p2与鼻子关键点p3的位置关系确定是否有相对y轴的旋转角度，根据下列公式确定人脸中左眼关键点p1与鼻子关键点p3之间的水平距离和右眼关键点p2与鼻子关键点p3之间的水平距离的差值：
201.|δx
31-δx
32
|＝||x
p3-x
p1
|-|x
p3-x
p2
||
202.其中δx
31
为左眼关键点p1与鼻子关键点p3之间的水平距离，δx
32
右眼关键点p2与鼻子关键点p3之间的水平距离，x
p1
为左眼关键点p1的x轴坐标，x
p2
为右眼关键点p2的x轴坐标，x
p3
为鼻子关键点p3的x轴坐标。
203.在确定|δx
31-δx
32
|大于第三预设阈值时，确定人脸相对于y轴的旋转角度不符合预设条件；
204.方式2、根据人脸中左嘴角关键点p4、右嘴角关键点p5与鼻子关键点p3的位置关系确定是否有相对y轴的旋转角度，根据下列公式确定人脸中左嘴角关键点p4与鼻子关键点p3之间的水平距离和右嘴角关键点p5与鼻子关键点p3之间的水平距离的差值：
205.|δx
34-δx
35
|＝||x
p3-x
p4
|-|x
p3-x
p5
||
206.其中δx
34
为左嘴角关键点p4与鼻子关键点p3之间的水平距离，δx
35
右嘴角关键点p5与鼻子关键点p3之间的水平距离，x
p3
为鼻子关键点p3的x轴坐标，x
p4
为左嘴角关键点p4的x轴坐标，x
p5
为右嘴角关键点p5的x轴坐标。
207.在确定|δx
34-δx
35
|大于第四预设阈值时，确定人脸相对于y轴的旋转角度不符合预设条件。
208.确定人脸相对于y轴的旋转角度不符合预设条件，则确定预览图像中人物身体侧转，提示用户调整姿态。
209.确定人脸相对z轴的旋转角度不符合预设条件，或人脸相对于y轴的旋转角度不符
合预设条件，则确定人物区域中人脸角度不符合预设条件，提示用户调整姿态。例如，如图11所示，在相机的显示界面中显示“人脸倾斜，请调整”的提示消息，同时显示根据预设条件确定出的构图提示线以帮助用户调整姿态。
210.3、判断人物区域中人脸中心位置是否符合预设条件
211.方式1、根据人脸特征信息中的人脸检测框的位置确定人脸几何中心位置，将确定出的人脸几何中心位置与预设的标准人脸中心范围进行比较，确定人脸几何中心位置在预设的标准人脸中心范围中时，确定人物区域中人脸中心位置符合预设条件，否则，确定人物区域中人脸中心位置不符合预设条件。
212.方式2、根据人脸特征信息中的人脸关键点的位置确定人脸几何中心位置，将确定出的人脸几何中心位置与预设的标准人脸中心范围进行比较，确定人脸几何中心位置在预设的标准人脸中心范围中时，确定人物区域中人脸中心位置符合预设条件，否则，确定人物区域中人脸中心位置不符合预设条件。
213.在确定人物区域中人脸中心位置不符合预设条件时，若人脸几何中心位置在预设的标准人脸中心范围的右侧，则确定人脸中心位置偏右；若人脸几何中心位置在预设的标准人脸中心范围的左侧，则确定人脸中心位置偏左；若人脸几何中心位置在预设的标准人脸中心范围的上方，则确定人脸中心位置偏高；若人脸几何中心位置在预设的标准人脸中心范围的下方，则确定人脸中心位置偏低。
214.在确定人物区域中人脸中心位置不符合预设条件时，提示用户调整姿态，例如，如图12所示，在确定人物区域中人脸中心位置不符合预设条件时，在相机的显示界面中显示“人脸偏低，请调整”的提示消息，同时显示根据预设条件确定出的构图提示线以帮助用户调整姿态。
215.在确定人物区域中人脸尺寸、人脸角度以及人脸中心位置均符合预设条件时，确定人物区域中的人脸位置满足预设条件，则提示用户进行拍照；例如，如图13所示，在确定人物区域中人脸位置符合预设条件时，在相机的显示界面中显示“姿态合格，请拍照”的提示消息。
216.需要说明的是，在检测人物区域中人脸位置时使用的预设的标准人脸位置对应的人脸尺寸范围、第一预设阈值、第二预设阈值、第三预设阈值、第四预设阈值以及预设的标准人脸中心范围均可以根据证件照的要求进行设定。
217.在提醒用户拍照后，响应用户触发的拍照指令，通过摄像头采集包含人物区域的待处理图像，基于人像语义分割卷积神经网络模型，对待处理图像进行人像语义分割，获取待处理图像对应的包括人物区域与背景区域的掩模图像；
218.其中，人像语义分割卷积神经网络模型可以采用端到端的卷积神经网络，例如deeplab v3、unet、pspnet、segnet、bisegnet等神经网络模型。
219.具体实施中，将待处理图像输入到人像语义分割卷积神经网络模型，获取人像语义分割卷积神经网络模型输出的掩模图像；例如，当待处理图像为图7所示的图像时，将待处理图像输入到人像语义分割卷积神经网络模型，获取人像语义分割卷积神经网络模型输出的掩模图像如图14所示，其中，像素值为255的像素点构成的区域为人物区域，像素值为0的像素点构成的区域为背景区域。
220.可选的，本发明实施例还提供一种人像语义分割卷积神经网络模型的训练方法：
221.使用预设的人像数据集对人像语义分割卷积神经网络模型进行训练，将人像数据集中的原图作为人像语义分割卷积神经网络模型的输入，将人像数据集中的掩模图像作为人像语义分割卷积神经网络模型的输出，对人像语义分割卷积神经网络模型进行训练，根据损失函数确定人像语义分割卷积神经网络模型输出的预测掩模图像与人像数据集中的实际掩模图像的损失值，基于梯度下降法调整人像语义分割卷积神经网络模型的参数，直至损失值收敛到预设的收敛范围，确定人像语义分割卷积神经网络模型训练完成。
222.在获取到待处理图像对应的掩模图像后，根据掩模图像与待处理图像的图像特征，确定对掩模图像进行形态学操作使用的卷积核；使用确定出的卷积核对掩模图像进行形态学操作，生成三态图。
223.需要说明的是，三态图包括人物区域、背景区域和未知区域，其中未知区域包括人物区域的边缘和背景区域的边缘，未知区域是掩模图像中无法准确确定是否属于人物区域的区域。
224.一种可选的实施方式为，根据下列方式确定对掩模图像进行形态学操作使用的卷积核以及所述卷积核的锚点位置：
225.根据待处理图像的图像特征，确定掩模图像的人物区域中的头部区域和人脸区域；根据头部区域中除人脸区域以外的边缘区域的大小，确定卷积核的大小以及卷积核的锚点位置。
226.具体实施中，待处理图像的图像特征可以为人脸特征信息，根据人脸特征信息中的人脸检测框的位置确定掩模图像的人物区域中的人脸区域，并以人脸检测框的下边沿为界限截取掩模图像，获取头部掩模图像，在获取到的头部掩模图像上，对人脸区域进行连通域外接矩形运算，确定人物区域中的头部区域；例如，如图15所示，确定出的人脸区域为b1，头部区域为b2。
227.计算头部区域中除人脸区域以外的边缘区域的大小，例如，计算如图15中的h_diff、w_diff_l以及w_diff_r，计算公式如下：
228.h_diff＝b1.y1-b2.y2
229.w_diff_l＝b1.x1-b2.x1
230.w_diff_r＝b2.x2-b1.x1
231.其中，b1.x1为人脸检测框左上顶点的x轴坐标，b1.y1为人脸检测框左上顶点的y轴坐标；b2.x1为头部区域左上顶点的x轴坐标；b2.x2为头部区域右下顶点的x轴坐标，b2.y2为头部区域右下顶点的y轴坐标。
232.根据计算得到的h_diff、w_diff_l以及w_diff_r确定卷积核的大小以及卷积核的锚点位置如图16所示。
233.一种可选的实施方式为，使用确定出的卷积核对头部掩模图像进行形态学操作；
234.其中，本发明实施例的形态学操作包括但不限于膨胀操作和腐蚀操作。
235.具体的，使用确定出的卷积核对头部掩模图像进行膨胀操作得到膨胀头部掩模图像，以及使用确定出的卷积核对头部掩模图像进行腐蚀操作得到腐蚀头部掩模图像；
236.使用预设卷积核对除头部掩模图像以外的其余掩模图像进行形态学操作，具体的，使用预设卷积核对其余掩模图像进行膨胀操作得到膨胀其余掩模图像，以及使用确定出的卷积核对其余掩模图像进行腐蚀操作得到腐蚀其余掩模图像。
237.将膨胀头部掩模图像以及膨胀其余掩模图像合成膨胀掩模图像，将腐蚀头部掩模图像以及腐蚀其余掩模图像合成腐蚀掩模图像；根据膨胀掩模图像以及腐蚀掩模图像确定三态图，例如，确定出的三态图如图17所示。
238.一种可选的实施方式为，假设膨胀掩模图像为t1，腐蚀掩模图像为t2，对t1和t2进行如下运算：
[0239][0240]
其中，t3为三态图。
[0241]
需要说明的是，上述公式中t1、t2、t3的值为每个像素点的像素值。
[0242]
在获取到待处理图像对应的三态图后，根据待处理图像以及三态图，基于抠图卷积神经网络模型，确定待处理图像对应的用于表示未知区域中像素点是否属于人物区域的前景系数图。
[0243]
具体实施中，根据待处理图像对应的rgb三通道色彩值以及三态图对应的像素值，合成四通道张量，并将该四通道张量输入到抠图卷积神经网络模型中，获取抠图卷积神经网络模型输出的前景系数图。
[0244]
本发明实施例还提供一种抠图卷积神经网络模型的训练方法：
[0245]
使用预设的样本集对抠图卷积神经网络模型进行训练，根据预设的样本集中的原图以及原图对应的三态图合成四通道张量样本，并将合成得到的四通道张量样本作为抠图卷积神经网络模型的输入，将预设的样本集中的前景系数图作为抠图卷积神经网络模型的输出，对抠图卷积神经网络模型进行训练，根据损失函数确定抠图卷积神经网络模型输出的预测前景系数图与预设的样本集中的实际前景系数图的损失值，基于梯度下降法调整抠图卷积神经网络模型的参数，直至损失值收敛到预设的收敛范围，确定抠图卷积神经网络模型训练完成。
[0246]
根据获取到的前景系数图从待处理图像中提取人物区域，并将提取出的人物区域与预设的背景图像合成证件照图像。
[0247]
具体实施中，可根据下列公式合成证件照图像：
[0248]
p＝palpha*p0 (1-palpha)*pb
[0249]
其中，p为证件照图像，p0为待处理图像，palpha为前景系数图，pb为预设的或由用户选择的背景图像。
[0250]
例如，合成的目标图像如图18所示，其中，背景图像为纯色背景，可以为预设的如白色、蓝色、红色等背景颜色图或由用户根据需求选择的背景颜色图。
[0251]
本发明实施例还提供一种图像合成方法，在获取到待处理图像后，检测待处理图像是否符合预设条件，对于不符合预设条件的待处理图像，终端对该待处理图像进行校正处理后合成证件照图像。
[0252]
如图19所示，为本发明实施例第二种图像合成方法，包括以下步骤：
[0253]
步骤s1901、在证件照拍摄模式下，响应用户触发的拍照指令，获取摄像头采集的包含人物区域的待处理图像；
[0254]
步骤s1902、若根据待处理图像中人物区域的人脸特征信息确定人脸位置不满足
预设条件，则根据待处理图像中人脸位置与标准人脸位置之间的偏差值，对待处理图像进行校正；
[0255]
步骤s1903、在确定待处理图像中人脸位置满足预设条件后，根据待处理图像的图像特征，从待处理图像中提取人物区域，并将人物区域与预设的背景图像合成证件照图像。
[0256]
响应用户触发的拍照指令，通过摄像头采集包含人物区域的待处理图像；基于人脸检测多任务卷积神经网络模型，检测待处理图像的人脸特征信息。
[0257]
根据获取到的人脸特征信息，判断待处理图像的人物区域中人脸位置是否满足预设条件，具体检测方法与上文中判断人物区域中人脸位置是否满足预设条件的方法相似，在此不再赘述。
[0258]
若确定待处理图像的人物区域中人脸位置不满足预设条件，则终端确定待处理图像中人脸位置与标准人脸位置之间的偏差值，并对待处理图像进行校正处理。
[0259]
一种可选的实施方式为，对待处理图像进行校正处理包括以下内容：
[0260]
1、若检测到待处理图像中的人脸相对于z轴的旋转角度不符合预设条件，则对待处理图像进行旋转处理
[0261]
以如图20所示的待处理图像为例，根据待处理图像的人脸特征信息中左眼关键点p1以及右眼关键点p2，确定待处理图像相对于z轴的旋转角度，具体的，根据下列公式确定待处理图像的旋转角度：
[0262]
θ＝arctan(δy
12
/δx
12
)
[0263]
其中，θ为待处理图像的旋转角度，δy
12
为p1和p2的y轴坐标差值，δx
12
为p1和p2的x轴坐标差值。
[0264]
根据确定出的旋转角度，对待处理图像进行顺时针旋转。
[0265]
2、若检测到人物区域中人脸尺寸不符合预设条件，则对待处理图像进行缩放处理
[0266]
根据下列公式确定对待处理图像进行缩放处理的比例系数：
[0267]
k＝(fdth futh)/(2*w)
[0268]
或
[0269]
k＝(fdth futh)/(2*h)
[0270]
其中，fdth为预设的人脸尺寸范围的下限阈值，futh为预设的人脸尺寸范围的上限阈值，w为人脸检测框的宽度，h为人脸检测框的高度。
[0271]
3、若检测到人物区域中人脸中心位置不符合预设条件，则对待处理图像进行平移处理
[0272]
将预设的标准人脸中心位置坐标以及人脸中心位置坐标的x轴差值作为对待处理图像x轴方向进行平移的距离tx，将将预设的标准人脸中心位置坐标以及人脸中心位置坐标的y轴差值作为对待处理图像y轴方向进行平移的距离ty。
[0273]
一种可选的实施方式，上述校正处理可以统一通过仿射变换矩阵执行，根据上述校正处理确定仿射变换矩阵为：
[0274][0275]
其中，m为仿射变换矩阵，k为对待处理图像进行缩放处理的比例系数，θ为待处理图像的旋转角度，tx为对待处理图像进行x轴方向平移的距离，ty为对待处理图像进行y轴
方向平移的距离。
[0276]
则根据下列公式对待处理图像进行校正处理：
[0277]
q＝m*s
[0278]
其中，s＝(x，y，1)
t
为待处理图像中的像素的坐标，q＝(x’，y’)为对待处理图像进行校正处理后的像素的坐标，m为仿射变换矩阵。
[0279]
对待处理图像进行校正处理后，根据待处理图像的图像特征，生成待处理图像对应的包括人物区域、背景区域以及未知区域的三态图；根据待处理图像以及三态图，基于抠图卷积神经网络模型，确定待处理图像对应的前景系数图；其中，前景系数图用于表示待处理图像中各像素点是否为人物区域的像素点；根据前景系数图从待处理图像中提取人物区域，并将提取出的人物区域与预设的背景图像合成证件照图像。
[0280]
如图21所示，本发明实施例一种完整的图像合成方法，包括以下步骤：
[0281]
步骤s2101、获取摄像机采集的包含人物区域的预览图像，基于人脸检测多任务检测预览卷积神经网络模型，检测预览图像的人脸特征信息；
[0282]
步骤s2102、根据获取到的预览图像中人物区域的人脸特征信息，判断人物区域中人脸位置是否满足预设条件，若是，执行步骤s2103；否则，执行步骤s2104；
[0283]
步骤s2103、提示用户进行拍照；
[0284]
步骤s2104、提示用户对姿态进行调整，并返回步骤s2101；
[0285]
步骤s2105、响应用户触发的拍照指令，通过摄像头采集包含人物区域的待处理图像；
[0286]
步骤s2106、判断待处理图像的人物区域中人脸位置是否满足预设条件，若是，则执行步骤s2108；否则，执行步骤s2107；
[0287]
步骤s2107、确定待处理图像中人脸位置与标准人脸位置之间的偏差值，并对待处理图像进行校正处理；
[0288]
步骤s2108、基于人像语义分割卷积神经网络模型，对待处理图像进行人像语义分割，获取待处理图像对应的包括人物区域与背景区域的掩模图像；
[0289]
步骤s2109、根据掩模图像与待处理图像的图像特征，确定对掩模图像进行形态学操作使用的卷积核以及卷积核的锚点位置；
[0290]
步骤s2110、根据确定出的卷积核以及卷积核的锚点位置，对掩模图像进行形态学操作，生成三态图；
[0291]
步骤s2111、根据待处理图像以及三态图，基于抠图卷积神经网络模型，确定待处理图像对应的前景系数图；
[0292]
步骤s2112、根据获取到的前景系数图从待处理图像中提取人物区域，并将提取出的人物区域与预设的背景图像合成证件照图像。
[0293]
基于同一发明构思，本发明实施例中还提供了一种终端，由于该终端解决问题的原理与本发明实施例的图像合成方法相似，因此该终端的实施可以参见方法的实施，重复之处不再赘述。
[0294]
如图22所示，本发明实施例提供一种终端，包括显示屏2201、处理器2202、摄像头2203和接收单元2204；
[0295]
所述接收单元2204，被配置为接收用户触发的启动相机应用的启动指令，接收用
户在所述相机应用中选择证件照拍摄模式的模式切换指令，以及接收用户触发的拍照指令；
[0296]
所述摄像头2203，被配置为采集图像；
[0297]
所述处理器2202，被配置为在证件照拍摄模式下，获取所述摄像头采集的包含人物区域的预览图像，若根据所述预览图像中所述人物区域的人脸特征信息确定人脸位置不满足预设条件，则提示用户对姿态进行调整；在确定预览图像中人脸位置满足所述预设条件后，响应用户触发的拍照指令，通过所述摄像头采集包含人物区域的待处理图像；根据所述待处理图像的图像特征，从所述待处理图像中提取所述人物区域，并将所述人物区域与预设的背景图像合成证件照图像；
[0298]
所述显示屏2201，被配置为显示通过所述摄像头采集的所述预览图像，显示用于提示用户对姿态进行调整的提示信息，显示通过所述摄像头采集的所述待处理图像，以及显示合成后的所述证件照图像。
[0299]
在一些示例性的实施方式中，所述处理器2202具体被配置为：
[0300]
基于人脸检测多任务卷积神经网络模型，检测所述预览图像的人物区域的人脸特征信息。
[0301]
在一些示例性的实施方式中，所述处理器2202具体被配置为：
[0302]
根据所述待处理图像的图像特征，生成所述待处理图像对应的包括人物区域、背景区域以及未知区域的三态图；其中，所述未知区域包括所述人物区域的边缘和所述背景区域的边缘；
[0303]
根据所述待处理图像以及所述三态图，基于抠图卷积神经网络模型，确定所述待处理图像对应的用于表示所述未知区域中像素点是否属于人物区域的前景系数图；
[0304]
根据所述前景系数图从所述待处理图像中提取人物区域。
[0305]
在一些示例性的实施方式中，所述处理器2202具体被配置为：
[0306]
基于人像语义分割卷积神经网络模型，对所述待处理图像进行人像语义分割，获取所述待处理图像对应的包括人物区域与背景区域的掩模图像；
[0307]
根据所述掩模图像与所述待处理图像的图像特征，确定对所述掩模图像进行形态学操作使用的卷积核以及所述卷积核的锚点位置；
[0308]
根据确定出的所述卷积核以及所述卷积核的锚点位置，对所述掩模图像进行形态学操作，生成所述三态图。
[0309]
在一些示例性的实施方式中，所述处理器2202具体被配置为：
[0310]
根据所述待处理图像的图像特征，确定所述掩模图像的人物区域中的头部区域和人脸区域；
[0311]
根据所述头部区域中除所述人脸区域以外的边缘区域的大小，确定所述卷积核的大小以及所述卷积核的锚点位置。
[0312]
如图23所示，本发明实施例提供第二种终端，包括显示屏2301、处理器2302、摄像头2303和接收单元2304；
[0313]
所述接收单元2304，被配置为接收用户触发的启动相机应用的启动指令，接收用户在所述相机应用中选择证件照拍摄模式的模式切换指令，以及接收用户触发的拍照指令；
[0314]
所述摄像头2303，被配置为采集图像；
[0315]
所述处理器2302，被配置为在证件照拍摄模式下，响应用户触发的拍照指令，获取所述摄像头采集的包含人物区域的待处理图像；若根据所述待处理图像中所述人物区域的人脸特征信息确定人脸位置不满足预设条件，则根据所述待处理图像中所述人脸位置与标准人脸位置之间的偏差值，对所述待处理图像进行校正；在确定所述待处理图像中人脸位置满足预设条件后，根据所述待处理图像的图像特征，从所述待处理图像中提取所述人物区域，并将所述人物区域与预设的背景图像合成证件照图像；
[0316]
所述显示屏2301，被配置为显示通过所述摄像头采集的所述待处理图像以及显示合成后的所述证件照图像。
[0317]
在一些示例性的实施方式中，所述处理器2302具体被配置为：
[0318]
基于人脸检测多任务卷积神经网络模型，检测所述待处理图像的人物区域的人脸特征信息。
[0319]
在一些示例性的实施方式中，所述处理器2302具体被配置为：
[0320]
根据所述待处理图像的图像特征，生成所述待处理图像对应的包括人物区域、背景区域以及未知区域的三态图；其中，所述未知区域包括所述人物区域的边缘和所述背景区域的边缘；
[0321]
根据所述待处理图像以及所述三态图，基于抠图卷积神经网络模型，确定所述待处理图像对应的用于表示所述未知区域中像素点是否属于人物区域的前景系数图；
[0322]
根据所述前景系数图从所述待处理图像中提取人物区域。
[0323]
在一些示例性的实施方式中，所述处理器2302具体被配置为：
[0324]
基于人像语义分割卷积神经网络模型，对所述待处理图像进行人像语义分割，获取所述待处理图像对应的包括人物区域与背景区域的掩模图像；
[0325]
根据所述掩模图像与所述待处理图像的图像特征，确定对所述掩模图像进行形态学操作使用的卷积核以及所述卷积核的锚点位置；
[0326]
根据确定出的所述卷积核以及所述卷积核的锚点位置，对所述掩模图像进行形态学操作，生成所述三态图。
[0327]
在一些示例性的实施方式中，所述处理器2302具体被配置为：
[0328]
根据所述待处理图像的图像特征，确定所述掩模图像的人物区域中的头部区域和人脸区域；
[0329]
根据所述头部区域中除所述人脸区域以外的边缘区域的大小，确定所述卷积核的大小以及所述卷积核的锚点位置。
[0330]
如图24所示，本发明实施例提供一种图像合成装置，包括：
[0331]
提示模块2401，被配置为响应用户启动相机应用的操作，在证件照拍摄模式下，获取摄像头采集的包含人物区域的预览图像，若根据所述预览图像中所述人物区域的人脸特征信息确定人脸位置不满足预设条件，则提示用户对姿态进行调整；
[0332]
获取模块2402，被配置为在确定预览图像中人脸位置满足所述预设条件后，响应用户触发的拍照指令，获取所述摄像头采集的包含人物区域的待处理图像；
[0333]
第一合成模块2403，被配置为根据所述待处理图像的图像特征，从所述待处理图像中提取所述人物区域，并将所述人物区域与预设的背景图像合成证件照图像。
[0334]
在一些示例性的实施方式中，所述提示模块2401具体被配置为：
[0335]
基于人脸检测多任务卷积神经网络模型，检测所述预览图像的人物区域的人脸特征信息。
[0336]
在一些示例性的实施方式中，所述第一合成模块2403具体被配置为：
[0337]
根据所述待处理图像的图像特征，生成所述待处理图像对应的包括人物区域、背景区域以及未知区域的三态图；其中，所述未知区域包括所述人物区域的边缘和所述背景区域的边缘；
[0338]
根据所述待处理图像以及所述三态图，基于抠图卷积神经网络模型，确定所述待处理图像对应的用于表示所述未知区域中像素点是否属于人物区域的前景系数图；
[0339]
根据所述前景系数图从所述待处理图像中提取人物区域。
[0340]
在一些示例性的实施方式中，所述第一合成模块2403具体被配置为：
[0341]
基于人像语义分割卷积神经网络模型，对所述待处理图像进行人像语义分割，获取所述待处理图像对应的包括人物区域与背景区域的掩模图像；
[0342]
根据所述掩模图像与所述待处理图像的图像特征，确定对所述掩模图像进行形态学操作使用的卷积核以及所述卷积核的锚点位置；
[0343]
根据确定出的所述卷积核以及所述卷积核的锚点位置，对所述掩模图像进行形态学操作，生成所述三态图。
[0344]
在一些示例性的实施方式中，所述第一合成模块2403具体被配置为：
[0345]
根据所述待处理图像的图像特征，确定所述掩模图像的人物区域中的头部区域和人脸区域；根据所述头部区域中除所述人脸区域以外的边缘区域的大小，确定所述卷积核的大小以及所述卷积核的锚点位置。
[0346]
如图25所示，本发明实施例提供第二种图像合成装置，包括：
[0347]
采集模块2501，被配置在证件照拍摄模式下，响应用户触发的拍照指令，获取摄像头采集的包含人物区域的待处理图像；
[0348]
校正模块2502，被配置为若根据所述待处理图像中所述人物区域的人脸特征信息确定人脸位置不满足预设条件，则根据所述待处理图像中所述人脸位置与标准人脸位置之间的偏差值，对所述待处理图像进行校正；
[0349]
第二合成模块2503，被配置在确定所述待处理图像中人脸位置满足预设条件后，根据所述待处理图像的图像特征，从所述待处理图像中提取所述人物区域，并将所述人物区域与预设的背景图像合成证件照图像。
[0350]
在一些示例性的实施方式中，所述校正模块2502具体被配置为：
[0351]
基于人脸检测多任务卷积神经网络模型，检测所述待处理图像的人物区域的人脸特征信息。
[0352]
在一些示例性的实施方式中，所述第二合成模块2503具体被配置为：
[0353]
根据所述待处理图像的图像特征，生成所述待处理图像对应的包括人物区域、背景区域以及未知区域的三态图；其中，所述未知区域包括所述人物区域的边缘区域和所述背景区域的边缘区域；
[0354]
根据所述待处理图像以及所述三态图，基于抠图卷积神经网络模型，确定所述待处理图像对应的用于表示所述未知区域中像素点是否属于人物区域的前景系数图；
[0355]
根据所述前景系数图从所述待处理图像中提取人物区域。
[0356]
在一些示例性的实施方式中，所述第二合成模块2503具体被配置为：
[0357]
基于人像语义分割卷积神经网络模型，对所述待处理图像进行人像语义分割，获取所述待处理图像对应的包括人物区域与背景区域的掩模图像；
[0358]
根据所述掩模图像与所述待处理图像的图像特征，确定对所述掩模图像进行形态学操作使用的卷积核以及所述卷积核的锚点位置；
[0359]
根据确定出的所述卷积核以及所述卷积核的锚点位置，对所述掩模图像进行形态学操作，生成所述三态图。
[0360]
在一些示例性的实施方式中，所述第二合成模块2503具体被配置为：
[0361]
根据所述待处理图像的图像特征，确定所述掩模图像的人物区域中的头部区域和人脸区域；
[0362]
根据所述头部区域中除所述人脸区域以外的边缘区域的大小，确定所述卷积核的大小以及所述卷积核的锚点位置。
[0363]
由于本发明实施例中的终端和计算机存储介质可以应用于上述处理方法，因此，其所能获得的技术效果也可参考上述方法实施例，本发明的实施例在此不再赘述。
[0364]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0365]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。