图像处理方法、装置及电子设备与流程

1.本公开涉及互联网技术领域，尤其涉及一种图像处理方法、装置及电子设备。


背景技术：

2.人物分割技术是一种特定类别的语义分割技术。在实现时，需要对图像中的每个像素点进行二分类，以确定每个像素点的属性类别，该属性类别一般包括人物属性和背景属性。进而基于属性类别，将属于人物属性的像素点提取出来构建出仅包含人物像素的图像。如此，实现从图像中分割出人物图像的目的。
3.在现有的是人物分割技术中，通常可以采用人物分割模块进行人物分割。然而，由于现有的人物分割模块的学习能力和样本标注精细度的限制，使用人物分割模块虽然可以获得人物图像，但是这样的人物图像中存在头发区域的边界不够清晰，发丝边缘不够锐利，有较强的羽化效果，无法分割出具有发丝级的精细头发效果的人物图像的问题。


技术实现要素：

4.本公开提供一种图像处理方法、装置及电子设备，以至少解决相关技术中无法从原始图像中分割出具有精细发丝效果的人物图像的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种图像处理方法，包括：
6.将待处理图像输入到人物分割模块中进行计算，得到所述人物分割模块输出的所述待处理图像中包含的人物图像；
7.将所述待处理图像输入到头发分割模块中进行计算，得到所述头发分割模块输出的所述待处理图像中包含的精细化效果的头发图像；
8.将所述人物图像与所述精细化效果的头发图像进行融合，得到包含精细头发效果的人物图像。
9.可选的，所述方法还包括：
10.执行以下步骤，对所述人物分割模块和所述头发分割模块进行多任务学习训练，直到所述多任务学习训练的损失函数的损失值达到最优，其中，用于训练的图像样本集中的样本图像被标注了人物所在区域和头发所在区域：
11.将所述图像样本集中的样本图像输入到所述人物分割模块，以所述样本图像中被标注的人物所在区域为监督信号，计算从所述样本图像中分割出人物图像时，所述人物分割模块的第一损失函数的第一损失值；
12.将所述人物分割模块输出的人物图像输入到所述头发分割模块，以所述样本图像中被标注的头发所在区域为监督信号，计算从所述人物图像中分割出的精细头发效果时，所述头发分割模块的第二损失函数的第二损失值；
13.将所述第一损失值和第二损失值进行加权计算，得到所述多任务学习训练的损失函数的损失值，并基于所述损失值分别调整所述人物分割模块和所述头发分割模块的模块参数。
14.可选的，所述计算从所述人物图像中分割出的精细头发效果时，所述头发分割模块的第二损失函数的第二损失值，包括：
15.将所述头发分割模块从所述人物分割模块输出的人物图像中分割出的精细头发效果，和与所述样本图像对应的人物边缘区域进行计算，得到所述样本图像的头发边缘区域；
16.将所述头发边缘区域和所述人物分割模块输出的人物图像进行计算，得到所述头发分割模块的第二损失函数的第二损失值。
17.可选的，所述将所述头发分割模块从所述人物分割模块输出的人物图像中分割出的精细头发效果，和与所述样本图像对应的人物边缘区域进行计算，得到所述样本图像的头发边缘区域，包括：
18.以所述精细头发效果和人物边缘区域的图像中心点为基准，计算所述精细头发效果和人物边缘区域的交集；
19.将所述交集的区域确定为所述样本图像的头发边缘区域。
20.可选的，所述人物边缘区域，通过以下方式计算得到：
21.对输入的样本图像分别进行膨胀和腐蚀处理，得到扩大的膨胀样本图像和缩小的腐蚀样本图像；
22.对所述膨胀样本图像或腐蚀样本图像的像素值求反值；
23.以所述膨胀样本图像和腐蚀样本图像的图像中心点为基准，计算所述膨胀样本图像和所述腐蚀样本图像的交集；
24.将所述交集的区域确定为人物边缘区域。
25.可选的,所述头发分割模块从所述人物分割模块输出的人物图像中分割出的精细头发效果，包括：
26.所述头发分割模块从所述人物分割模块输出的人物图像中分割出头发预测结果，并对所述头发预测结果进行引导滤波，得到精细头发效果。
27.可选的,通过如下公式，将所述第一损失值和第二损失值进行加权计算，得到所述多任务学习训练的损失函数的损失值：
28.loss＝loss_human (curr_epoch)/(total_epoch)*loss_hair_margin；
29.其中，所述loss为多任务学习训练的损失函数的损失值，所述loss_human为第一损失值，所述curr_epoch为当前迭代次数，所述total_epoch为预设的总迭代次数，所述loss_hair_margin为第二损失值。
30.根据本公开实施例的第二方面，提供一种图像处理装置，包括：
31.第一计算单元，被配置为将待处理图像输入到人物分割模块中进行计算，得到所述人物分割模块输出的所述待处理图像中包含的人物图像；
32.第二计算单元，被配置为将所述待处理图像输入到头发分割模块中进行计算，得到所述头发分割模块输出的所述待处理图像中包含的精细化效果的头发图像；
33.图像融合单元，被配置为将所述人物图像与所述精细化效果的头发图像进行融合，得到包含精细头发效果的人物图像。
34.可选的,所述装置还包括：
35.模块训练单元，被配置为执行以下第一训练单元、第二训练单元和第三训练单元，
对所述人物分割模块和所述头发分割模块进行多任务学习训练，直到所述多任务学习训练的损失函数的损失值达到最优，其中，用于训练的图像样本集中的样本图像被标注了人物所在区域和头发所在区域：
36.所述第一训练单元，被配置为将所述图像样本集中的样本图像输入到所述人物分割模块，以所述样本图像中被标注的人物所在区域为监督信号，计算从所述样本图像中分割出人物图像时，所述人物分割模块的第一损失函数的第一损失值；
37.所述第二训练单元，被配置为将所述人物分割模块输出的人物图像输入到所述头发分割模块，以所述样本图像中被标注的头发所在区域为监督信号，计算从所述人物图像中分割出的精细头发效果时，所述头发分割模块的第二损失函数的第二损失值；
38.所述第三训练单元，被配置为将所述第一损失值和第二损失值进行加权计算，得到所述多任务学习训练的损失函数的损失值，并基于所述损失值分别调整所述人物分割模块和所述头发分割模块的模块参数。
39.可选的,所述第二训练单元，还被配置为执行第一计算子单元和第二计算子单元；
40.所述第一计算子单元，被配置为将所述头发分割模块从所述人物分割模块输出的人物图像中分割出的精细头发效果，和与所述样本图像对应的人物边缘区域进行计算，得到所述样本图像的头发边缘区域；
41.所述第二计算子单元，被配置为将所述头发边缘区域和所述人物分割模块输出的人物图像进行计算，得到所述头发分割模块的第二损失函数的第二损失值。
42.可选的,所述第一计算子单元，还被配置为以所述精细头发效果和人物边缘区域的图像中心点为基准，计算所述精细头发效果和人物边缘区域的交集，并将所述交集的区域确定为所述样本图像的头发边缘区域。
43.可选的,所述第一计算子单元，还被配置为对输入的样本图像分别进行膨胀和腐蚀处理，得到扩大的膨胀样本图像和缩小的腐蚀样本图像；对所述膨胀样本图像或腐蚀样本图像的像素值求反值；以所述膨胀样本图像和腐蚀样本图像的图像中心点为基准，计算所述膨胀样本图像和所述腐蚀样本图像的交集，将所述交集的区域确定为人物边缘区域。
44.可选的,所述第二训练单元，还被配置为所述头发分割模块从所述人物分割模块输出的人物图像中分割出头发预测结果，并对所述头发预测结果进行引导滤波，得到精细头发效果。
45.可选的,通过如下公式，将所述第一损失值和第二损失值进行加权计算，得到所述多任务学习训练的损失函数的损失值：
46.loss＝loss_human (curr_epoch)/(total_epoch)*loss_hair_margin；
47.其中，所述loss为多任务学习训练的损失函数的损失值，所述loss_human为第一损失值，所述curr_epoch为当前迭代次数，所述total_epoch为预设的总迭代次数，所述loss_hair_margin为第二损失值。
48.根据本公开实施例的第三方面，一种图像处理电子设备，包括：
49.处理器；
50.用于存储所述处理器可执行指令的存储器；
51.其中，所述处理器被配置为执行所述指令，以实现前述任一项所述的图像处理方法。
52.根据本公开实施例的第六方面，一种计算机可读存储介质，当所述计算机可读存储介质中的指令由图像处理电子设备的处理器执行时，使得图像处理电子设备能够执行前述任一项所述的图像处理方法。
53.根据本公开实施例的第七方面，一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现前述任一项所述的图像处理方法。
54.本公开的实施例提供的技术方案至少带来以下有益效果：
55.在增加较少计算量的前提下，优化了人物分割时发丝分割效果。在人物分割模块的基础上，增加一个头发分割分支的头发分割模块。通过该头发分割模块从待处理图像中分割出包含精细头发效果的头发图像，进而将该包含精细头发效果的头发图像与原有的人物分割模块从待处理图像中分割出的人物图像进行融合，就可以得到包含精细头发效果的人物图像，从而实现了精细发丝分割的效果。
56.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
57.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
58.图1是根据一示例性实施例示出的一种图像处理方法的流程图。
59.图2是根据一示例性实施例示出的机器学习模块训练过程中各个中间图像的示意图。
60.图3是根据一示例性实施例示出的生成人物边缘区域的示意图。
61.图4是根据一示例性实施例示出的图像处理的效果示意图。
62.图5是根据一示例性实施例示出的一种图像处理装置的框图。
63.图6是根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
64.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
65.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
66.图1是根据一示例性实施例示出的一种图像处理方法的流程图，所述方法可以应用于客户端或服务端，包括以下步骤：
67.步骤110，将待处理图像输入到人物分割模块中进行计算，得到所述人物分割模块输出的所述待处理图像中包含的人物图像。
68.步骤120，将所述待处理图像输入到头发分割模块中进行计算，得到所述头发分割
模块输出的所述待处理图像中包含的精细化效果的头发图像。
69.步骤130，将所述人物图像与所述精细化效果的头发图像进行融合，得到包含精细头发效果的人物图像。
70.其中，所述客户端可以是指硬件上的客户端设备，例如台式计算机、膝上型计算机、平板计算机、智能手机、手持式计算机、个人数字助理(“pda”)，或者其它任何的有线或无线处理器驱动装置。
71.所述客户端可以是指软件上的应用客户端，例如图像处理类的app、内置有图像处理功能的第三方app。其中，所述图像处理类的app可以包括自拍类app、美图类app。
72.所述客户端可以是指软硬结合的客户端，例如安装了图像处理类app的智能手机等。
73.所述服务端可以是与客户端对应的服务器、服务器集群或由服务器集群构建的云平台。例如与图像处理类app对应的运营服务器。
74.当本说明书实施例应用于客户端时，意味着客户端本地就可以进行图像处理。当本说明书实施例应用于服务端时，可以认为是客户端将需要处理的图像发送至服务端后，由服务端进行图像处理，并将处理结果返回给所述客户端。
75.以下以客户端本地进行图像处理为例加以说明。
76.客户端首先需要确定包含有人物的待处理图像，所述待处理图像可以是用户通过摄像设备(如摄像头)拍摄的包含人物的图像，也可以是从相册或第三方应用中下载或接收的包含人物的图像。
77.所述客户端中设置有从待处理图像中分割出包含精细头发效果的人物图像的机器学习模块(在本说明书中，模块也可以称为模型)；其中，所述机器学习模块包括用于从所述待处理图像中分割出人物图像的人物分割模块，和用于从待处理图像中分割出精细头发效果的头发分割模块。
78.在机器学习技术中，想要让机器学习模块从待处理图像中准确地分割出包含精细头发效果的人物图像，首先需要对机器学习模块进行训练，通过不断地训练可以提高集群学习模块的准确性，从而满足业务实际的需求。
79.以下介绍所述机器学习模块的训练过程，也可以理解为所述人物分割模块和头发分割模块的训练过程。
80.执行以下步骤，对所述人物分割模块和所述头发分割模块进行多任务学习(multi-task-learning，mtl)训练，直到所述多任务学习训练的损失函数的损失值达到最优，其中，用于训练的图像样本集中的样本图像被标注了人物所在区域和头发所在区域，所述损失函数包括与所述人物所在区域对应的第一损失函数，和与所述头发所在区域对应的第二损失函数；
81.步骤a1：将所述图像样本集中的样本图像输入到所述人物分割模块，以所述样本图像中被标注的人物所在区域为监督信号，计算从所述样本图像中分割出人物图像时，所述人物分割模块的第一损失函数的第一损失值；
82.步骤a2：将所述人物分割模块输出的人物图像输入到所述头发分割模块，以所述样本图像中被标注的头发所在区域为监督信号，计算从所述人物图像中分割出的精细头发效果时，所述头发分割模块的第二损失函数的第二损失值；
83.步骤a3：将所述第一损失值和第二损失值进行加权计算，得到所述多任务学习训练的损失函数的损失值，并基于所述损失值分别调整所述人物分割模块和所述头发分割模块的模块参数。
84.其中，所述人物分割模块和头发分割模块可以采用现有的机器学习模型，例如深度卷积神经网络dcnn、循环神经网络rnn等。
85.一般的，在模块训练时，用于训练的图像样本集中的样本图像通常会被标注有人物所在区域和头发所在区域，所述标注有人物所在区域和头发所在区域可以称为样本标签。所述样本标签可以用于作为损失函数的监督信号，计算损失函数的损失值。例如，以样本图像中标注的人物所在区域作为第一损失函数的监督信号，计算从所述样本图像中分割出人物图像时，所述人物分割模块的第一损失函数的第一损失值；以样本图像中标注的头发所在区域作为第二损失函数的监督信号，计算从所述人物图像中分割出的精细头发效果时，所述头发分割模块的第二损失函数的第二损失值。
86.通过迭代执行步骤a1-a3，以不断调整模块的参数，直到模块分割出的人物图像和头发图像与样本图像中标注的区域的准确率达到业务要求，则结束模块训练，此时最后调整的参数结果中的损失值即为多任务学习训练的损失函数的最优的损失值。
87.应用上述实施例，在现有的人物分割模块基础上增加头发分割模块，并通过多任务学习训练，得到各模块中损失函数的最优的损失值；在达到最优的损失值时，就意味着人物分割模块和头发分割模块对待处理图像进行分割得到的人物图像和头发图像是最为准确的，也就可以提高最终融合得到的包含精细头发效果的人物图像的准确性。
88.在一实施例中，所述人物分割模块可以由编码器encode和解码器decoder组成。其中，编码器主要用于提取输入图像中图像特征(一般可以包括浅层表观特征和深层语义特征)；接着使用解码器中的深度卷积神经网络dcnn预测提取的图像特征预测所述输入图像中每个像素点的属性特征。由于进行人物分割的人物分割网络是业内常用的技术，因此该实施例中不对其进行详细的描述。
89.以下结合图2所示的机器学习模块训练过程中各个图像的示意图(已对图2中的人脸做脱敏处理)。
90.针对最左边输入的图像样本集中的样本图像，执行步骤a1，将该样本图像输入到人物分割模块，基于所述样本图像中被标注的人物所在区域，计算从所述样本图像中分割出的人物图像时，所述人物分割模块的第一损失函数的第一损失值。
91.其中，所述计算从所述样本图像中分割出的人物图像时，所述人物分割模块的第一损失函数的第一损失值，可以包括：
92.根据所述人物分割模块从所述样本图像中分割出的人物图像，以及标注了人物所在区域的样本图像(图2中所示的带标签的样本图像)，计算出所述人物分割模块的第一损失函数的第一损失值。
93.在介绍了人物分割模块后，进一步介绍用于进行头发分割的头发分割模块。顾名思义，头发分割的目的是指将人物的头发从人物上分割出来。所述头发分割模块可以与前述的人物分割模块采用相同的架构。
94.类似的，针对最左边输入的图像样本集中的样本图像，执行步骤a2，将所述人物分割模块输出的人物图像输入到所述头发分割模块，计算从所述人物图像中分割出的精细头
发效果时，所述头发分割模块的第二损失函数的第二损失值。
95.在一示例性的实施例中，所述步骤a2，进一步可以包括：
96.步骤a21，将所述头发分割模块从所述人物分割模块输出的人物图像中分割出的精细头发效果，和与所述样本图像对应的人物边缘区域进行计算，得到所述样本图像的头发边缘区域。
97.步骤a22，将所述头发边缘区域和所述人物分割模块输出的人物图像进行计算，得到所述头发分割模块的第二损失函数的第二损失值。
98.应用该示例，在多任务学习训练过程中，通过计算头发分割模块的第二损失函数的第二损失值，结合前述人物分割模块的第一损失函数的第一损失值，可以确定多任务学习的损失函数的损失值，从而给出调整头发分割模块和人物分割模块的模块参数的调整依据。通过不断地迭代训练最终可以调整出头发分割模块和人物分割模块最优的模块参数。
99.如图2所示，所述头发边缘区域可以是对精细头发效果和人物边缘区域进行计算得到的。
100.在一示例性的实施例中，所述头发分割模块从所述人物分割模块输出的人物图像中分割出的精细头发效果，包括：
101.所述头发分割模块从所述人物分割模块输出的人物图像中分割出头发预测结果，并对所述头发预测结果进行引导滤波，得到精细头发效果。
102.其中，上述引导滤波可以采用业内常用的滤波算法例如双边滤波算法、引导滤波算法等。
103.应用该示例，通过引导滤波对头发预测结果进行保边滤波处理，不仅能减少滤波区域，提高处理速度；而且还能降低人物中其他部位滤波引入的噪声，提高准确性。
104.在一示例性的实施例中，所述人物边缘区域，可以通过以下方式计算得到：
105.步骤b1，对输入的样本图像分别进行膨胀和腐蚀处理，得到扩大的膨胀样本图像和缩小的腐蚀样本图像；
106.对带标签的样本图像进行膨胀得到扩大的膨胀样本图像，对样本图像进行腐蚀得到缩小的腐蚀样本图像，其中膨胀和腐蚀的大小参数可以是一定范围内(如小于等于5)的随机值；该随机值在每次迭代训练时随机得到。
107.步骤b2，对所述膨胀样本图像或腐蚀样本图像的像素值求反值；
108.以下参考图3所示的示意图来进一步介绍边缘区域生成的原理。图3所示图像中的黑色区域的像素值为1，白色区域的像素值为0。其中，将腐蚀图像取反值后，其图像边缘为白色(图中以虚线标识了边界，该边界由于像素值为0实际不可见)。以膨胀图像和腐蚀图像的图像中心点为基准，将两个图像进行叠加，就得到了图3中的边缘区域。
109.步骤b3，以所述膨胀样本图像和腐蚀样本图像的图像中心点为基准，计算所述膨胀样本图像和所述腐蚀样本图像的交集。
110.步骤b4，将所述交集的区域确定为人物边缘区域。
111.与图3原理相同的，使用膨胀样本图像和腐蚀样本图像可以得到图2中所示的人物边缘区域。
112.应用上述示例，通过对输入的样本图像分别进行膨胀和腐蚀处理，可以快速确定与样本图像对应的人物边缘区域，进而用于计算头发分割模块的第二损失函数的第二损失
值。
113.在确定了人物边缘区域之后，可以将其与精细头发效果进一步计算，以得到所述样本图像的头发边缘区域。
114.在一示例性的实施例中，所述步骤a21，进一步可以包括：
115.以所述精细头发效果和人物边缘区域的图像中心点为基准，计算所述精细头发效果和人物边缘区域的交集；
116.将所述交集的区域确定为所述样本图像的头发边缘区域。
117.其中，如果人物边缘区域对应的像素值为1，则计算所述精细头发效果和人物边缘区域的交集的区域的像素值即为精细头发效果对应的像素值；如果人物边缘区域对应的像素值为0，则计算所述精细头发效果和人物边缘区域的交集的区域的像素值设为0。
118.应用上述示例，通过求解精细头发效果和人物边缘区域的交集，可以确定样本图像的头发边缘区域，进而用于计算头发分割模块的第二损失函数的第二损失值。
119.在一示例性的实施例中，针对所述步骤a3，可以通过如下公式，将所述第一损失值和第二损失值进行加权计算，得到所述多任务学习训练的损失函数的损失值：
120.loss＝loss_human (curr_epoch)/(total_epoch)*loss_hair_margin；
121.其中，所述loss为多任务学习训练的损失函数的损失值，所述loss_human为第一损失值，所述curr_epoch为当前迭代次数，所述total_epoch为预设的总迭代次数，所述loss_hair_margin为第二损失值。
122.需要说明的是，所述第一损失值和第二损失值的权重随迭代次数动态调整；其中，所述第二损失值的权重随迭代次数增加而增加，所述第一损失值的权重随迭代次数增加而减少。
123.应用上述示例，通过对第一损失值和第二损失值进行加权计算，可以得到多任务学习训练的损失函数的损失值，进而可以基于损失值分别调整人物分割模块和头发分割模块的模块参数；以使人物分割模块和头发分割模块更为完善、计算结果更为准确。
124.通过上述示例训练完成的人物分割模块和头发分割模块之后，就可以应用到实际业务中。
125.具体地，在确定了待处理图像后，可以将待处理图像分别输入到人物分割模块中，以及头发分割模块中进行计算，并得到所述人物分割模块输出的所述待处理图像中包含的人物图像，以及所述头发分割模块输出的所述待处理图像中包含的精细化效果的头发图像。最后将所述人物图像与所述精细化效果的头发图像进行融合，就可以得到包含精细头发效果的人物图像。
126.请参考图4所示的图像处理的效果示意图(已对图4中的人脸做脱敏处理)。从左到右的图像分别是待处理图像、现有仅通过人物分割模块从待处理图像中分割出的人物图像(即人物预测结果，存在头发区域的边界不够清晰，发丝边缘不够锐利，有较强的羽化效果，无法实现发丝级的精细抠像能力的问题)、应用本说明书实施例从待处理图像中分割出的人物图像(具有精细头发效果的人物图像)、精细头发效果、头发边缘区域。
127.通过比较可以明显发现，应用本说明书实施例得到的人物图像的头发区域的边界清晰，发丝边缘锐利，实现了发丝级别的精细抠像性能。
128.终上所述，应用本说明书的实施例，在增加较少计算量的前提下，优化了人物分割
时发丝分割效果。在人物分割模块的基础上，增加一个头发分割分支的头发分割模块。通过该头发分割模块从待处理图像中分割出包含精细头发效果的头发图像，进而将该包含精细头发效果的头发图像与原有的人物分割模块从待处理图像中分割出的人物图像进行融合，就可以得到包含精细头发效果的人物图像，从而实现了精细发丝分割的效果。
129.与前述图1所示图像处理方法实施例相对应，本说明书还提供了图5所示图像处理装置的实施例。所述装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。
130.图5是与前述图1对应的一种图像处理装置框图。参照图5，该装置包括第一计算单元310，第二计算单元320和图像融合单元330。
131.其中，第一计算单元310，被配置为将待处理图像输入到人物分割模块中进行计算，得到所述人物分割模块输出的所述待处理图像中包含的人物图像；
132.第二计算单元320，被配置为将所述待处理图像输入到头发分割模块中进行计算，得到所述头发分割模块输出的所述待处理图像中包含的精细化效果的头发图像；
133.图像融合单元330，被配置为将所述人物图像与所述精细化效果的头发图像进行融合，得到包含精细头发效果的人物图像。
134.在一示例性的实施例中，所述装置还包括：
135.模块训练单元，被配置为执行以下第一训练单元、第二训练单元和第三训练单元，对所述人物分割模块和所述头发分割模块进行多任务学习训练，直到所述多任务学习训练的损失函数的损失值达到最优，其中，用于训练的图像样本集中的样本图像被标注了人物所在区域和头发所在区域：
136.所述第一训练单元，被配置为将所述图像样本集中的样本图像输入到所述人物分割模块，以所述样本图像中被标注的人物所在区域为监督信号，计算从所述样本图像中分割出人物图像时，所述人物分割模块的第一损失函数的第一损失值；
137.所述第二训练单元，被配置为将所述人物分割模块输出的人物图像输入到所述头发分割模块，以所述样本图像中被标注的头发所在区域为监督信号，计算从所述人物图像中分割出的精细头发效果时，所述头发分割模块的第二损失函数的第二损失值；
138.所述第三训练单元，被配置为将所述第一损失值和第二损失值进行加权计算，得到所述多任务学习训练的损失函数的损失值，并基于所述损失值分别调整所述人物分割模块和所述头发分割模块的模块参数。
139.在一示例性的实施例中，所述第二训练单元，还被配置为执行第一计算子单元和第二计算子单元；
140.所述第一计算子单元，被配置为将所述头发分割模块从所述人物分割模块输出的人物图像中分割出的精细头发效果，和与所述样本图像对应的人物边缘区域进行计算，得到所述样本图像的头发边缘区域；
141.所述第二计算子单元，被配置为将所述头发边缘区域和所述人物分割模块输出的人物图像进行计算，得到所述头发分割模块的第二损失函数的第二损失值。
142.在一示例性的实施例中，所述第一计算子单元，还被配置为以所述精细头发效果和人物边缘区域的图像中心点为基准，计算所述精细头发效果和人物边缘区域的交集，并将所述交集的区域确定为所述样本图像的头发边缘区域。
143.在一示例性的实施例中，所述第一计算子单元，还被配置为对输入的样本图像分别进行膨胀和腐蚀处理，得到扩大的膨胀样本图像和缩小的腐蚀样本图像；对所述膨胀样本图像或腐蚀样本图像的像素值求反值；以所述膨胀样本图像和腐蚀样本图像的图像中心点为基准，计算所述膨胀样本图像和所述腐蚀样本图像的交集，将所述交集的区域确定为人物边缘区域。
144.在一示例性的实施例中，所述第二训练单元，还被配置为所述头发分割模块从所述人物分割模块输出的人物图像中分割出头发预测结果，并对所述头发预测结果进行引导滤波，得到精细头发效果。
145.在一示例性的实施例中，通过如下公式，将所述第一损失值和第二损失值进行加权计算，得到所述多任务学习训练的损失函数的损失值：
146.loss＝loss_human (curr_epoch)/(total_epoch)*loss_hair_margin；
147.其中，所述loss为多任务学习训练的损失函数的损失值，所述loss_human为第一损失值，所述curr_epoch为当前迭代次数，所述total_epoch为预设的总迭代次数，所述loss_hair_margin为第二损失值。
148.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
149.在示例性实施例中，还提供了一种图像处理电子设备，包括处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以完成上述任一实施例所述的图像处理方法。
150.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的图像处理方法。
151.在示例性实施例中，还提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序或指令被处理器执行时完成上述任一实施例所述的图像处理方法。
152.图6是根据本公开的实施例示出的一种电子设备的示意框图。图6中的电子设备400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(i/o)的接口412，传感器组件414，以及通信组件418。上述电子设备可以采用类似的硬件架构。
153.处理组件402通常控制电子设备400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述三维虚拟形象的生成方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
154.存储器404被配置为存储各种类型的数据以支持在电子设备400的操作。这些数据的示例包括用于在电子设备400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
155.电源组件406为电子设备400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为电子设备400生成、管理和分配电力相关联的组件。
156.多媒体组件408包括在电子设备400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当电子设备400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的或具有焦距和光学变焦能力的光学透镜系统。
157.音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(mic)，当电子设备400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件418发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
158.i/o接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，选项等。这些选项可包括但不限于：主页选项、音量选项、启动选项和锁定选项。
159.传感器组件414包括一个或多个传感器，用于为电子设备400提供各个方面的状态评估。例如，传感器组件414可以检测到电子设备400的打开/关闭状态，组件的相对定位，例如所述组件为电子设备400的显示器和小键盘，传感器组件414还可以检测电子设备400或电子设备400一个组件的位置改变，用户与电子设备400接触的存在或不存在，电子设备400方位或加速/减速和电子设备400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
160.通信组件418被配置为便于电子设备400和其他设备之间有线或无线方式的通信。电子设备400可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或4g)，或它们的组合。在一个示例性实施例中，通信组件418经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件418还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
161.在本公开一实施例中，电子设备400可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述任一实施例所述的图像处理方法。
162.在本公开一实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器404，上述指令可由电子设备400的处理器420执行以完成上述任一实施例所述的图像处理方法。例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
163.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
164.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。