图像处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机视觉技术领域，更具体地说，涉及一种图像处理方法、装置、电子设备及存储介质。


背景技术：

2.人脸风格化技术可实现将人脸头像转换为特定风格(例如，素描肖像风格、卡通形象风格、油画风格等)的人物头像，由于可在保留人脸内容的前提下实现风格化，因此人脸风格化技术得到了越来越广泛的应用。风格化人脸融合技术可实现将风格化生成的人脸与图像背景进行自然融合，可提高画面的整体和谐性，展现出更好的风格化效果。
3.目前的风格化处理技术通常针对人脸前景区域和背景区域分别进行处理，之后再通过融合算法进行整合，得到风格化处理后的图像。但在风格化处理后的图像中，人脸区域附近可能存在不和谐过渡，例如，头发、脖子、手部等区域的不自然衔接，降低了图像画面的和谐程度。另外，风格化生成的人脸和原图背景也可能存在不和谐的现象，例如，风格化生成的人脸的光照、色彩分布和原图背景可能存在较大的不一致性，导致产生虚假感以及突兀感。


技术实现要素：

4.本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决上述相关技术中的问题。
5.根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取与待处理图像中的人脸区域相对应的人脸区域图像和人脸风格化图像，所述人脸风格化图像是通过对所述人脸区域图像进行风格化处理而得到；根据所述人脸区域图像，对所述人脸风格化图像进行针对人脸区域的第一迁移处理，得到第一风格化图像，所述第一风格化图像的人脸区域颜色与所述人脸区域图像的人脸区域颜色相匹配；将所述第一风格化图像与所述待处理图像中除人脸区域之外的其他区域进行融合，得到目标风格化图像。
6.可选地，所述根据所述人脸区域图像，对所述人脸风格化图像进行针对人脸区域的第一迁移处理，得到第一风格化图像，包括：根据所述人脸区域图像，对所述人脸风格化图像进行针对头发区域的第二迁移处理，得到第二风格化图像，所述第二风格化图像的头发颜色与所述人脸区域图像的头发颜色相匹配；根据所述人脸区域图像，对所述第二风格化图像进行针对人脸区域的第一迁移处理，得到所述第一风格化图像。
7.可选地，所述根据所述人脸区域图像，对所述人脸风格化图像进行针对头发区域的第二迁移处理，得到第二风格化图像，包括：根据所述人脸风格化图像，对所述人脸区域图像进行针对头发区域的第三迁移处理，得到第三风格化图像，所述第三风格化图像的头发纹理与所述人脸风格化图像的头发纹理相匹配；根据所述人脸区域图像，对通过对所述第三风格化图像进行预设处理而得到的第四风格化图像进行针对头发区域的第四迁移处理，得到第五风格化图像，所述第五风格化图像的头发颜色与所述人脸区域图像的头发颜
色相匹配；通过所述人脸区域图像的人像掩膜对所述第五风格化图像进行截取，并将截取到的图像与所述人脸区域图像融合，得到所述第二风格化图像。
8.可选地，所述根据所述人脸风格化图像，对所述人脸区域图像进行针对头发区域的第三迁移处理，得到第三风格化图像，包括：对所述人脸区域图像和所述人脸风格化图像分别进行针对头发区域的分割处理，得到原图头发掩膜和风格化头发掩膜；根据所述原图头发掩膜与所述风格化头发掩膜的交集以及所述人脸风格化图像，对所述人脸区域图像进行针对头发区域的第三迁移处理，得到所述第三风格化图像。
9.可选地，所述根据所述人脸区域图像，对通过对所述第三风格化图像进行预设处理而得到的第四风格化图像进行针对头发区域的第四迁移处理，得到第五风格化图像，包括：利用所述风格化头发掩膜对所述第三风格化图像进行截取，并将截取到的图像与所述人脸风格化图像融合，得到所述第四风格化图像；根据所述原图头发掩膜和所述人脸区域图像，对所述第四风格化图像进行针对头发区域的第四迁移处理，得到所述第五风格化图像。
10.可选地，所述根据所述人脸区域图像，对所述第二风格化图像进行针对人脸区域的第一迁移处理，得到所述第一风格化图像，包括：根据所述人脸区域图像和所述人脸区域图像的人像掩膜对所述第二风格化图像执行颜色拟合，得到与所述人脸区域图像的人脸区域颜色相匹配的风格图像；将得到的与所述人脸区域图像的人脸区域颜色相匹配的风格图像作为所述第一风格化图像。
11.可选地，所述根据所述人脸区域图像，对所述第二风格化图像进行针对人脸区域的第一迁移处理，得到所述第一风格化图像，包括：根据所述人脸区域图像和所述人脸区域图像的人像掩膜对所述第二风格化图像执行颜色拟合，得到所述人脸区域图像与所述第二风格化图像之间的残差图；根据得到的残差图和所述第二风格化图像，得到所述第一风格化图像。
12.根据本公开实施例的第二方面，提供一种图像处理装置，包括：图像获取单元，被配置为：获取与待处理图像中的人脸区域相对应的人脸区域图像和人脸风格化图像，所述人脸风格化图像是通过对所述人脸区域图像进行风格化处理而得到；迁移处理单元，被配置为：根据所述人脸区域图像，对所述人脸风格化图像进行针对人脸区域的第一迁移处理，得到第一风格化图像，所述第一风格化图像的人脸区域颜色与所述人脸区域图像的人脸区域颜色相匹配；图像融合单元，被配置为：将所述第一风格化图像与所述待处理图像中除人脸区域之外的其他区域进行融合，得到目标风格化图像。
13.可选地，所述迁移处理单元可被配置为根据所述人脸区域图像，对所述人脸风格化图像进行针对头发区域的第二迁移处理，得到第二风格化图像，所述第二风格化图像的头发颜色与所述人脸区域图像的头发颜色相匹配；根据所述人脸区域图像，对所述第二风格化图像进行针对人脸区域的第一迁移处理，得到所述第一风格化图像。
14.可选地，所述迁移处理单元可被配置为根据所述人脸风格化图像，对所述人脸区域图像进行针对头发区域的第三迁移处理，得到第三风格化图像，所述第三风格化图像的头发纹理与所述人脸风格化图像的头发纹理相匹配；根据所述人脸区域图像，对通过对所述第三风格化图像进行预设处理而得到的第四风格化图像进行针对头发区域的第四迁移处理，得到第五风格化图像，所述第五风格化图像的头发颜色与所述人脸区域图像的头发
颜色相匹配；通过所述人脸区域图像的人像掩膜对所述第五风格化图像进行截取，并将截取到的图像与所述人脸区域图像融合，得到所述第二风格化图像。
15.可选地，所述迁移处理单元可被配置为对所述人脸区域图像和所述人脸风格化图像分别进行针对头发区域的分割处理，得到原图头发掩膜和风格化头发掩膜；根据所述原图头发掩膜与所述风格化头发掩膜的交集以及所述人脸风格化图像，对所述人脸区域图像进行针对头发区域的第三迁移处理，得到所述第三风格化图像。
16.可选地，所述迁移处理单元可被配置为利用所述风格化头发掩膜对所述第三风格化图像进行截取，并将截取到的图像与所述人脸风格化图像融合，得到所述第四风格化图像；根据所述原图头发掩膜和所述人脸区域图像，对所述第四风格化图像进行针对头发区域的第四迁移处理，得到所述第五风格化图像。
17.可选地，所述迁移处理单元可被配置为根据所述人脸区域图像和所述人脸区域图像的人像掩膜对所述第二风格化图像执行颜色拟合，得到与所述人脸区域图像的人脸区域颜色相匹配的风格图像；将得到的与所述人脸区域图像的人脸区域颜色相匹配的风格图像作为所述第一风格化图像。
18.可选地，所述迁移处理单元可被配置为根据所述人脸区域图像和所述人脸区域图像的人像掩膜对所述第二风格化图像执行颜色拟合，得到所述人脸区域图像与所述第二风格化图像之间的残差图；根据得到的残差图和所述第二风格化图像，得到所述第一风格化图像。
19.根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像处理方法。
20.根据本公开实施例的第四方面，提供一种存储指令的计算机可读存储介质，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像处理方法。
21.根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据本公开的图像处理方法。
22.本公开的实施例提供的技术方案至少带来以下有益效果：
23.根据本公开的图像处理方法、装置、电子设备及存储介质，根据原图像的人脸区域图像，对与其对应的风格化图像进行针对人脸区域的颜色迁移处理，可使处理后的风格化图像中人脸区域的颜色与人脸区域图像中的人脸区域颜色保持相对一致，从而降低前景人脸框与背景之间过渡的不自然程度，可提高风格化后图像的整体和谐性，并且，可在更大程度上保留人脸区域图像中的属性(例如，头发上的配饰等物件)，从而提升用户体验。
24.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
25.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
26.图1是示出根据本公开的示例性实施例的采用当前的人脸风格化技术得到的人脸
风格化图片。
27.图2是示出根据本公开的示例性实施例可以应用于其中的示例性终端200。
28.图3是示出根据本公开的示例性实施例的图像处理方法的流程图。
29.图4是示出根据本公开的示例性实施例的获取第一风格化图像的流程图。
30.图5是示出根据本公开的示例性实施例的采用本公开示出的图像处理方法得到的风格化图像的效果展示图。
31.图6是示出根据本公开的另一示例性实施例的采用本公开示出的图像处理方法得到的风格化图像的效果展示图。
32.图7示出根据本公开的示例性实施例的目标风格化图像的获取过程的整体示意图。
33.图8是示出根据本公开的示例性实施例的图像处理装置的框图。
34.图9是示出根据本公开的示例性实施例的电子设备900的框图。
具体实施方式
35.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
36.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
37.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
38.当前的人脸风格化技术通常将图片区分为前景和背景，并分别对前景和背景进行处理。具体来讲，前景是指从图片中以人脸关键点为锚点裁剪出的人脸框，背景指的是图片中除人脸框以外的区域。首先，针对人脸框内的人像区域进行前景模型推理，产生人脸框内的人脸风格化效果，然后，针对背景进行背景模型推理或对背景使用滤镜，产生背景对应的风格化效果，最后，通过融合算法将风格化后的前景和背景整合，得到风格化处理后的图片。
39.当前的人脸风格化技术存在如下缺点：其一，人脸框过渡区域存在比较明显的分界线，导致前景与背景衔接不自然，降低了风格化处理后的画面和谐程度，影响用户体验；其二，风格化处理后的前景画面和背景画面在色彩分布、光照等方面存在较大的不一致性，容易使人产生虚假感和突兀感。例如，图1是示出根据本公开的示例性实施例的采用当前的人脸风格化技术得到的人脸风格化图片。参照图1，在箭头指向的位置存在明显的人脸框边界，效果不够自然。
40.为了避免风格化处理后的图片中出现明显的分界线，同时保持风格化处理后图片画面的整体和谐性，本公开提出了一种图像处理方法、装置、电子设备及存储介质，具体地说，根据原图像的人脸区域图像，对与其对应的风格化图像进行针对人脸区域的颜色迁移处理，可使处理后的风格化图像中人脸区域的颜色与人脸区域图像中的人脸区域颜色保持相对一致，从而降低前景人脸框与背景之间过渡的不自然程度，可提高风格化后图像的整体和谐性，并且，可在更大程度上保留人脸区域图像中的属性(例如，头发上的配饰等物件)，从而改善了用户对图片风格化处理的使用体验。下面，将参照图2至图9具体描述根据本公开的示例性实施例的图像处理方法、装置、电子设备及存储介质。
41.图2是示出根据本公开的示例性实施例可以应用于其中的示例性终端200。
42.参照图2，终端200可根据本公开示出的图像处理方法对待处理的图像(通过拍摄得到的照片或者视频帧等)进行风格化处理，得到风格化效果更自然、整体(例如，色彩分布、光照等)一致性更高的风格化图像。在一些实施例中，终端200可以是计算机、笔记本电脑、智能手机、平板电脑、可穿戴设备、车载设备以及医疗设备等，在具体的实施过程中，终端200可实时拍摄或录制包含人像的照片或视频，并根据本公开示出的图像处理方法对实时拍摄或录制的照片和视频进行风格化处理，或者，终端200也可根据本公开示出的图像处理方法对用户输入的图片或视频进行风格化处理，对此不作限制。在另一些实施例中，终端200也可以是具备计算能力的芯片，该芯片可被集成于计算机、笔记本电脑、智能手机、平板电脑、可穿戴设备、车载设备以及医疗设备等设备中或独立执行根据本公开示出的图像处理方法。当然，本公开实施例中的终端200也可以是服务器、服务器集群、分布式分系统、云处理平台、包含区块链节点的服务器以及其组合的设备，并不限定于一定是实施于用户一侧的设备。
43.图3是示出根据本公开的示例性实施例的图像处理方法的流程图。
44.参照图3，在步骤301，可获取与待处理图像中的人脸区域相对应的人脸区域图像和人脸风格化图像，其中，人脸风格化图像是通过对人脸区域图像进行风格化处理而得到。这里，待处理图像可以是图片(例如，通过拍摄得到的照片等)或视频帧。
45.具体来讲，待处理图像中可能包括多个人脸区域，可首先从待处理图像中检测并提取与多个人脸区域一一对应的人脸区域图像。例如，可把待处理图像记为i
human
，通过人脸关键点检测技术(例如，通过人脸关键点检测网络net
detect_human_lmk
)检测待处理图像中每个人脸区域对应的关键点坐标(即，在待处理图像中的相对坐标)，这里，人脸关键点检测技术包括但不限于，可以是基于asm(active shape model)和基于aam(active appearance model)的传统算法、基于cpr(cascaded pose regression,级联姿势回归)的方法或基于深度学习的方法等，本公开对此不作限制。然后，可通过检测到的人脸关键点坐标中的左眼轮廓点集合、右眼轮廓点集合以及嘴唇轮廓点集合来计算得到i
human
中的每个人脸区域的左眼中心点p
left_eye_center
、右眼中心点p
right_eye_center
和嘴唇中心点p
mouth_center
，将这三个点作为标定点，对每个人脸区域按照一定的比例(例如，根据ffhq(flickr-faces-high-quality)数据集的裁剪标准或根据实际情况而设定的裁剪比例等)进行旋转、裁剪和填充，得到对齐后的人脸区域图像i
aligned_human_i
，其中，i表示i
human
中的第i个人脸区域。这里，可将每个i
aligned_human_i
在进行旋转、裁剪和填充时对应的参数记为params
aligned_human_i
。另外，为方便计算，可接着对人脸区域图像i
aligned_human_i
的人脸关键点坐标进行坐标系变换，将人脸关键
点坐标从原来以i
human
的左上角为原点，i
human
的高为x轴、宽为y轴的坐标系转换到以i
aligned_human_i
的左上角为原点，i
aligned_human_i
的高为x轴、宽为y轴的坐标系中。
46.在提取到人脸区域图像之后，可对其进行风格化处理，得到对应的人脸风格化图像。具体来讲，可通过将人脸区域图像输入预先训练好的风格化网络(例如，可记为net
stylization
)来得到对应的人脸风格化图像(例如，可记为i
aligned_stylization_i
)。这里，风格化网络可以是任意支持输入为真人域图片，输出是风格化结果的生成模型，例如stylegan_v2模型等，本公开对此不做限制。
47.在步骤302，可根据人脸区域图像，对人脸风格化图像进行针对人脸区域的第一迁移处理，得到第一风格化图像，其中，第一风格化图像的人脸区域颜色与人脸区域图像的人脸区域颜色相匹配，这里，人脸区域是指人脸区域图像中与人像相关的全部区域，包括头发、面部、颈部以及其他可能被纳入的人体区域，如肩部、手等，此处及下文中出现的“相匹配”是指“相近”，例如，此处是指第一风格化图像的人脸区域颜色与人脸区域图像的人脸区域颜色相近。
48.根据本公开的示例性实施例，可根据图4示出的流程得到第一风格化图像。
49.图4是示出根据本公开的示例性实施例的获取第一风格化图像的流程图。
50.参照图4，在步骤401，可根据人脸区域图像，对人脸风格化图像进行针对头发区域的第二迁移处理，得到第二风格化图像，这里，第二风格化图像的头发颜色与人脸区域图像的头发颜色相匹配。
51.根据本公开的示例性实施例，可首先根据人脸风格化图像，对人脸区域图像进行针对头发区域的第三迁移处理，得到第三风格化图像，这里，第三风格化图像的头发纹理与人脸风格化图像的头发纹理相匹配，具体来讲，可对人脸区域图像和人脸风格化图像分别进行针对头发区域的分割处理，得到原图头发掩膜和风格化头发掩膜，并根据原图头发掩膜与风格化头发掩膜的交集以及人脸风格化图像，对人脸区域图像进行针对头发区域的第三迁移处理，得到第三风格化图像。这里，针对头发区域的分割处理例如可通过头发分割网络实现，而头发分割网络为任意一种以得到准确的分割预测结果为准则的可实现头发分割的网络，例如u-net网络、refinenet网络等，对人脸区域图像进行的针对头发区域的第三迁移处理例如可通过任意一种支持掩膜引导的纹理迁移算法实现，包括但不限于，泊松融合、adain(adaptive instance normalization，标准化方法)等，本公开对此不作限制。在具体的实施过程中，例如，可将人脸区域图像对应的原图头发掩膜记为i
hairseg_human_i
，将人脸风格化图像对应的风格化头发掩膜记为i
hairseg_stylization_i
，将二者的交集记为i
hairseg_intersection_i
，采用泊松融合算法，以人脸风格化图像i
aligned_stylization_i
为前景，通过头发掩膜交集i
hairseg_intersection_i
对i
aligned_stylization_i
进行截取，并将截取到的风格化头发区域与背景人脸区域图像i
aligned_human_i
融合，得到第三风格化图像i
aligned_blending_i
，也就是说，第三风格化图像是一个头发区域为风格化效果，其余区域为人脸区域图像样式的图像。此时，第三风格化图像i
aligned_blending_i
的头发纹理和头发颜色与人脸风格化图像i
aligned_stylization_i
相接近，但若要提高最终的目标风格化图像的整体一致性，则需第三风格化图像i
aligned_blending_i
的头发颜色与人脸区域图像i
hairseg_human_i
相接近，因此，可针对i
aligned_blending_i
进行头发颜色的迁移，也就是说，可根据人脸区域图像，对通过对第三风格化图像进行预设处理而得到的第四风格化图像进行针对头发区域的第四迁移处理(即头发
颜色迁移处理)，得到第五风格化图像，这里，第五风格化图像的头发颜色与人脸区域图像的头发颜色相匹配。在一些实施例中，可利用风格化头发掩膜对第三风格化图像进行截取，并将截取到的图像与人脸风格化图像融合，得到第四风格化图像，并根据原图头发掩膜和人脸区域图像，对第四风格化图像进行针对头发区域的第四迁移处理，得到第五风格化图像。例如，可将第三风格化图像i
aligned_blending_i
作为前景，使用风格化头发掩膜i
hairseg_stylization_i
对l
aligned_blending_i
进行截取，并将截取到的图像与人脸风格化图像i
aligned_stylization_i
融合，得到融合图像i
aligned_paste_i
(即，第四风格化图像)，这里，融合过程，例如，但不限于，可由式(1)表示：
52.i
aligned_paste_i
＝i
hairseg_stylization_i
*i
aligned_blending_i
(1-i
hairseg_stylization_i
)*i
aligned_stylization_i
(1)
53.然后，可通过颜色迁移算法将人脸区域图像i
aligned_human_i
的发色迁移至融合图像i
aligned_paste_i
，获得头发颜色迁移后的结果i
aligned_hair_colortransfer_i
(即，第五风格化图像)。
54.根据本公开的示例性实施例，第五风格化图像中除人脸区域外还包含部分非人脸区域，为避免该部分非人脸区域在后续的前景与背景融合过程中可能产生的与待处理图像中背景之间的不协调性，因此，在得到第五风格化图像之后，可通过人脸区域图像的人像掩膜对第五风格化图像进行截取，并将截取到的图像与人脸区域图像融合，得到第二风格化图像，因此，第二风格化图像中仅人像掩膜所限定的区域为风格化的结果。这里，人像掩膜所限定的区域包括头发区域、面部区域和人脸区域图像中其他与人体相关的区域，例如颈部区域、肩部区域等。在一些实施例中，可通过将人脸区域图像i
aligned_human_i
输入人像分割网络(可记为net
humanseg
)而计算得到人像掩膜i
aligned_humanseg_i
，人像分割网络可采用任意一种以得到准确的分割预测结果为准则的可实现头发分割的模型，例如u-net网络、refinenet网络等，本公开对此不作限制。而将截取到的图像与人脸区域图像融合的过程，例如，但不限于，可由式(2)表示：
55.i
aligned_hair_blending_i
＝i
aligned_humanseg_i*ialigned_hair_colortransfer_i
(1-i
aligned_humanseg_i
)*i
aligned_human_i
(2)
56.其中，i
aligned_hair_blending_i
表示第二风格化图像；i
aligned_humanseg_i
表示人像掩膜；i
aligned_hair_colortransfer_i
表示第五风格图像。
57.通过上述步骤401示出的方法得到的第二风格化图像，其头发颜色可保持为与人脸区域图像的头发颜色相近，而其头发纹理可保持为与人脸风格化图像的头发纹理相近，因此在之后与待处理图像中的其他区域融合之后，能提高整体画面的和谐性，并且，其能在更大程度上保留人脸区域图像中的特征(例如，头发上的配饰等)，从而可改善用户体验。
58.返回参照图4，在步骤402，可根据人脸区域图像，对第二风格化图像进行针对人脸区域的第一迁移处理，得到第一风格化图像。
59.根据本公开的示例性实施例，可根据人脸区域图像和人脸区域图像的人像掩膜对第二风格化图像执行颜色拟合，得到与人脸区域图像的人脸区域颜色相匹配的风格图像，这里，人像掩膜可通过对人脸区域图像进行掩膜计算而得到(例如，通过前述的人像分割网络计算人像掩膜)，颜色拟合的执行例如可通过用lasso(theleastabsoluteshrinkageandselectionatoroperator)回归算法、ridge回归算法等实现，本公开对此不作限制。例如，在使用lasso回归算法执行颜色拟合的过程中，可将第二风格化图像作为lasso回归算
法的输入，将人脸区域图像的人像掩膜作为约束条件，以人脸区域图像为迭代优化目标，不断执行迭代优化，直到达到迭代结束条件(例如，达到预设的迭代次数或迭代损失小于设定的阈值等)，可得到与人脸区域图像的人脸区域颜色最匹配的风格图像，可将得到的与人脸区域图像的人脸区域颜色最匹配的风格图像作为第一风格化图像。
60.根据本公开的示例性实施例，也可根据人脸区域图像和人脸区域图像的人像掩膜对第二风格化图像执行颜色拟合，得到人脸区域图像与所述第二风格化图像之间的残差图，同理，人像掩膜可通过对人脸区域图像进行掩膜计算而得到(例如，通过前述的人像分割网络计算人像掩膜)，颜色拟合的执行例如可通过用lasso(the least absolute shrinkage and selectionator operator)回归算法、ridge回归算法等实现，本公开对此不作限制。例如，在使用lasso回归算法执行颜色拟合的过程中，可将第二风格化图像作为lasso回归算法的输入，将人脸区域图像的人像掩膜作为约束条件，以人脸区域图像与所述第二风格化图像之间的残差图为迭代优化目标而执行迭代优化，直到达到迭代结束条件(例如，达到预设的迭代次数或迭代损失小于设定的阈值等)，可得到能反映人脸区域图像与第二风格化图像之间的真实残差的残差图，可根据最终得到的残差图和第二风格化图像，得到第一风格化图像，例如，但不限于，可通过将最终得到的残差图与第二风格化图像相加来得到第一风格化图像。
61.通过上述步骤402示出的方法得到的第一风格化图像，由于通过颜色拟合预测第二风格化图像的人脸区域颜色迁移，可以使第一风格化图像的人脸区域颜色自适应地与人像区域图像的人脸区域颜色保持相对一致，因此在之后与待处理图像中的其他区域融合之后，可减轻前景与背景衔接的不自然程度，并且可降低前景画面和背景画面在色彩分布、光照等方面存在的不一致性，从而进一步提高整体画面的和谐性。并且，其能在更大程度上保留人脸区域图像中的特征(例如，头发上的配饰等)，从而可改善用户体验。
62.图5是示出根据本公开的示例性实施例的采用本公开示出的图像处理方法得到的风格化图像的效果展示图。
63.参照图5，其中，图5(a)为需要进行风格化处理的人像图片的眼部截取图，图5(b)为采用本公开示出的图像处理方法对图5(a)进行风格化处理而得到的风格化图片，图5(c)为采用当前的相关技术对图5(a)进行风格化处理而得到的风格化图片，其中，图5(b)和图5(c)为同一种目标风格，比较图5(b)和图5(c)，采用本公开示出的图像处理方法得到的风格化图片的眼部颜色更加自然生动，更接近期望的目标风格化效果。
64.图6是示出根据本公开的另一示例性实施例的采用本公开示出的图像处理方法得到的风格化图像的效果展示图。
65.参照图6，其中，图6(a)为需要进行风格化处理的人像图片，图6(b)为采用本公开示出的图像处理方法对图6(a)进行风格化处理而得到的风格化图片，图6(c)为采用当前的相关技术对图6(a)进行风格化处理而得到的风格化图片，其中，图6(b)、(c)的风格化样式分别为“水彩插画”和“韩漫”，另外，为避免泄露用户信息，对图6中的人脸区域做马赛克处理。图6(b)和图6(c)表明采用本公开示出的图像处理方法得到的风格化图片在人脸框的过渡区域与背景图衔接更自然，并且整体色彩分布与背景图的一致性更强。
66.根据本公开的示例性实施例，也可直接根据人脸区域图像和人脸风格化图像，进行针对人脸区域的第一迁移处理，得到第一风格化图像。具体来讲，可直接对人脸风格化图
像进行颜色拟合，在颜色拟合的执行过程中，将人脸区域图像对应的人像掩膜作为约束条件，并以人脸区域图像作为优化目标，执行迭代优化，在迭代优化结束时，即可得到与人脸区域图像中的人脸区域颜色相近的风格化图像(即，第一风格化图像)，或者，可将人脸区域图像与人脸风格化图像的残差图作为优化目标，执行迭代优化，并将迭代优化结束时得到的残差图与人脸风格化图像相加而得到第一风格化图像。同理，这里的颜色拟合过程包括但不限于可通过lasso(the least absolute shrinkage and selectionator operator)回归算法、ridge回归算法等实现，本公开对此不作限制。由于通过颜色拟合预测人脸风格化图像的人脸区域颜色迁移，可以使第一风格化图像的人脸区域颜色自适应地与人脸区域图像的人脸区域颜色保持相对一致，因此在之后与待处理图像中的其他区域融合之后，可减轻前景与背景衔接的不自然程度，提高整体画面的和谐性。
67.返回参照图3，在步骤303，可将第一风格化图像与待处理图像中除人脸区域之外的其他区域进行融合，得到目标风格化图像。
68.根据本公开的示例性实施例，待处理图像中的每个人脸区域图像都对应有一组缩放和旋转参数params
aligned_human_i
，对params
aligned_human_i
进行逆变换，可得到一组反向变换参数reverse_params
aligned_human_i
，对于每个人脸区域图像的第一风格化图像，利用对应的反向变换参数reverse_params
aligned_human_i
，可将每个第一风格化图像粘贴至待处理图像的中的对应位置(即，与待处理图像中除人脸区域之外的其他区域进行融合)，从而得到目标风格化图像。这里，在将第一风格化图像与待处理图像中除人脸区域之外的其他区域进行融合时，待处理图像中除人脸区域之外的其他区域可经过风格化处理(例如，通过风格化模型推理或者通过滤镜处理)，以得到整体一致性更好的目标风格化图像。
69.上述示出的图像处理方法中涉及的网络(例如，头发分割网络、人像分割网络等)可采用pytorch深度学习框架进行神经网络训练，并且整个图像处理方法可使用python语言进行集成，针对一张512x512分辨率的人像图片，本公开示出的图像处理方法可在配有nvidia gtx 2070显卡的服务器电脑上完成上述全部流程的计算，并输出画面一致性更好、前景与背景更加和谐自然的风格化人像图片。
70.基于前述一个或多个实施例的组合，图7示出根据本公开的示例性实施例的目标风格化图像的获取过程的整体示意图。
71.参照图7，首先对待处理图像进行人脸框提取，得到至少一个人脸区域图像，然后针对至少一个人脸区域图像中的每个人脸区域图像，首先进行风格化处理，得到对应的人脸风格化图像，再根据人脸区域图像和对应的人脸风格化图像进行针对头发区域的纹理和颜色迁移，之后对纹理和颜色迁移处理得到的图像进行人脸颜色迁移，得到人脸区域颜色与人脸区域图像相匹配的风格化图像，最后将该风格化图像与待处理图像中的背景融合，可得到目标风格化图像。由于针对头发区域进行了纹理和颜色迁移处理，因此能够在保持原始人脸区域图像发色的同时，保持人脸风格化图像的头发纹理，能使经过处理后得到的人脸风格化图像较自然和谐地与待处理图像中的背景保持一致，另外，由于对经过处理后得到的人脸风格化图像进行了人脸颜色迁移，因此最终得到的人脸风格化图像的人脸区域颜色能够自适应地与待处理图像保持相对一致，整体上保持了更好的和谐性。
72.图8是示出根据本公开的示例性实施例的图像处理装置的框图。
73.参照图8，根据本公开的示例性实施例的图像处理装置800可包括图像获取单元
801、迁移处理单元802和图像融合单元803。
74.图像获取单元801可获取与待处理图像中的人脸区域相对应的人脸区域图像和人脸风格化图像，其中，人脸风格化图像是通过对人脸区域图像进行风格化处理而得到。
75.迁移处理单元802可根据人脸区域图像，对人脸风格化图像进行针对人脸区域的第一迁移处理，得到第一风格化图像，其中，第一风格化图像的人脸区域颜色与人脸区域图像的人脸区域颜色相匹配。
76.根据本公开的示例性实施例，迁移处理单元802可根据人脸区域图像，对人脸风格化图像进行针对头发区域的第二迁移处理，得到第二风格化图像，并可根据人脸区域图像，对第二风格化图像进行针对人脸区域的第一迁移处理，得到第一风格化图像。这里，第二风格化图像的头发颜色与人脸区域图像的头发颜色相匹配。
77.根据本公开的示例性实施例，迁移处理单元802可首先根据人脸风格化图像，对人脸区域图像进行针对头发区域的第三迁移处理，得到第三风格化图像，这里，第三风格化图像的头发纹理与人脸风格化图像的头发纹理相匹配，具体来讲，迁移处理单元802可对人脸区域图像和人脸风格化图像分别进行针对头发区域的分割处理，得到原图头发掩膜和风格化头发掩膜，并根据原图头发掩膜与风格化头发掩膜的交集以及人脸风格化图像，对人脸区域图像进行针对头发区域的第三迁移处理，得到第三风格化图像。这里，针对头发区域的分割处理例如可通过头发分割网络实现，而头发分割网络为任意一种以得到准确的分割预测结果为准则的可实现头发分割的网络，例如u-net网络、refinenet网络等，针对头发区域的第三迁移处理例如可通过任意一种支持掩膜引导的纹理迁移算法，例如，泊松融合、adain(adaptive instance normalization，标准化方法)等，本公开对此不作限制。
78.根据本公开的示例性实施例，迁移处理单元802可根据人脸区域图像，对通过对第三风格化图像进行预设处理而得到的第四风格化图像进行针对头发区域的第四迁移处理，得到第五风格化图像，这里，第五风格化图像的头发颜色与人脸区域图像的头发颜色相匹配，在一些实施例中，迁移处理单元802可利用风格化头发掩膜对第三风格化图像进行截取，并将截取到的图像与人脸风格化图像融合，得到第四风格化图像，并根据原图头发掩膜和人脸区域图像，对第四风格化图像进行针对头发区域的第四迁移处理，得到第五风格化图像。
79.在得到第五风格化图像之后，迁移处理单元802可通过人脸区域图像的人像掩膜对第五风格化图像进行截取，并将截取到的图像与人脸区域图像融合，得到第二风格化图像，这里，人像掩膜所限定的区域包括头发区域、面部区域和人脸区域图像中其他与人体相关的区域，例如颈部区域、肩部区域等。在一些实施例中，可通过将人脸区域图像i
aligned_human_i
输入人像分割网络(可记为net
humanseg
)而计算得到人像掩膜i
aligned_humanseg_i
，人像分割网络可采用任意一种以得到准确的分割预测结果为准则的可实现头发分割的模型，例如u-net网络、refinenet网络等，本公开对此不作限制。
80.根据本公开的示例性实施例，迁移处理单元802可根据人脸区域图像和人脸区域图像的人像掩膜对第二风格化图像执行颜色拟合，得到与人脸区域图像的人脸区域颜色相匹配的风格图像，这里，人像掩膜可通过对人脸区域图像进行掩膜计算而得到(例如，通过前述的人像分割网络计算人像掩膜)，颜色拟合的执行例如可通过用lasso(the least absolute shrinkage and selectionator operator)回归算法、ridge回归算法等实现，本
公开对此不作限制。例如，在使用lasso回归算法执行颜色拟合的过程中，可将第二风格化图像作为lasso回归算法的输入，将人脸区域图像的人像掩膜作为约束条件，以人脸区域图像为迭代优化目标，不断执行迭代优化，直到达到迭代结束条件(例如，达到预设的迭代次数或迭代损失小于设定的阈值等)，可得到与人脸区域图像的人脸区域颜色最匹配的风格图像，可将得到的与人脸区域图像的人脸区域颜色最匹配的风格图像作为第一风格化图像。
81.根据本公开的示例性实施例，迁移处理单元802也可根据人脸区域图像和人脸区域图像的人像掩膜对第二风格化图像执行颜色拟合，得到人脸区域图像与所述第二风格化图像之间的残差图，同理，人像掩膜可通过对人脸区域图像进行掩膜计算而得到(例如，通过前述的人像分割网络计算人像掩膜)，颜色拟合的执行例如可通过用lasso(the least absolute shrinkage and selectionator operator)回归算法、ridge回归算法等实现，本公开对此不作限制。例如，在使用lasso回归算法执行颜色拟合的过程中，可将第二风格化图像作为lasso回归算法的输入，将人脸区域图像的人像掩膜作为约束条件，以人脸区域图像与所述第二风格化图像之间的残差图为迭代优化目标而执行迭代优化，直到达到迭代结束条件(例如，达到预设的迭代次数或迭代损失小于设定的阈值等)，可得到能反映所述人脸区域图像与所述第二风格化图像之间的真实残差的残差图，可根据最终得到的残差图和第二风格化图像，得到第一风格化图像，例如，但不限于，可通过将最终得到的残差图与第二风格化图像相加来得到第一风格化图像。
82.根据本公开的示例性实施例，迁移处理单元802也可直接根据人脸区域图像和人脸风格化图像，进行针对人脸区域的第一迁移处理，得到第一风格化图像。具体来讲，可直接对人脸风格化图像进行颜色拟合，在颜色拟合的执行过程中，将人脸区域图像对应的人像掩膜作为约束条件，并以人脸区域图像作为优化目标，执行迭代优化，在迭代优化结束时，即可得到与人脸区域图像中的人脸区域颜色相近的风格化图像(即，第一风格化图像)，或者，可将人脸区域图像与人脸风格化图像的残差图作为优化目标，执行迭代优化，并将迭代优化结束时得到的残差图与人脸风格化图像相加而得到第一风格化图像。同理，这里的颜色拟合过程包括但不限于可通过lasso(the least absolute shrinkage and selectionator operator)回归算法、ridge回归算法等实现，本公开对此不作限制。
83.图像融合单元803可将第一风格化图像与待处理图像中除人脸区域之外的其他区域进行融合，得到目标风格化图像。
84.根据本公开的示例性实施例，待处理图像中的每个人脸区域图像都对应有一组缩放和旋转参数params
aligned_human_i
，图像融合单元803可对params
aligned_human_i
进行逆变换，得到一组反向变换参数reverse_params
aligned_humax_i
，对于每个人脸区域图像的第一风格化图像，利用对应的反向变换参数reverse_params
aligned_human_i
，图像融合单元803可将每个第一风格化图像粘贴至待处理图像的中的对应位置(即，与待处理图像中除人脸区域之外的其他区域进行融合)，从而得到目标风格化图像。这里，在将第一风格化图像与待处理图像中除人脸区域之外的其他区域进行融合时，待处理图像中除人脸区域之外的其他区域可经过风格化处理(例如，通过风格化模型推理或者通过滤镜处理)，以得到整体一致性更好的目标风格化图像。
85.图9是根据本公开的示例性实施例的电子设备900的框图。
86.参照图9，电子设备900包括至少一个存储器901和至少一个处理器902，所述至少一个存储器901中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器902执行时，执行根据本公开的示例性实施例的图像处理方法。
87.作为示例，电子设备900可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备900并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备900还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
88.在电子设备900中，处理器902可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
89.处理器902可运行存储在存储器901中的指令或代码，其中，存储器901还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
90.存储器901可与处理器902集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器901可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器901和处理器902可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器902能够读取存储在存储器中的文件。
91.此外，电子设备900还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备900的所有组件可经由总线和/或网络而彼此连接。
92.根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的图像处理方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd r、cd-rw、cd rw、dvd-rom、dvd-r、dvd r、dvd-rw、dvd rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
93.根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据本公开的示例性实施例的图像处理方
法。
94.根据本公开的图像处理方法、装置、电子设备及存储介质，根据原图像的人脸区域图像，对与其对应的风格化图像进行针对人脸区域的颜色迁移处理，可使处理后的风格化图像中人脸区域的颜色与人脸区域图像中的人脸区域颜色保持相对一致，从而降低前景人脸框与背景之间过渡的不自然程度，可提高风格化后图像的整体和谐性，并且，可在更大程度上保留人脸区域图像中的属性(例如，头发上的配饰等物件)，从而提升用户体验。
95.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
96.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。