图像处理方法、装置、电子设备和计算机可读存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.随着计算机技术的快速发展，图像处理相关技术也得到了较快发展。现在的电子设备中的相机类、美颜类或其他图像处理类应用程序中，均可以对图像进行一定程度的美颜处理，以对图像进行美化。例如，通过上述图像处理类应用程序对图像进行磨皮处理，能够在一定程度上去除人脸的皱纹及瑕疵，对图像进行美化。
3.采用上述应用程序对图像进行磨皮处理所生成的图像，虽然能够在一定程度上去除人脸的皱纹及瑕疵，但是，与经过人工修图所生成的图像相比，依然显得不真实、不能满足用户的美化需求。


技术实现要素：

4.本技术实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高对图像进行磨皮处理的效果。
5.一方面，提供了一种图像处理方法，包括：
6.获取待处理图像；
7.将所述待处理图像输入至预设图像处理网络中进行磨皮处理，生成磨皮结果图像；所述预设图像处理网络为基于训练集中各原始图像的瑕疵修复标注图像及标注中性灰图层，对初始图像处理网络进行训练所生成的网络。
8.另一方面，提供了一种图像处理网络的训练方法，包括：
9.获取训练集，所述训练集中包括原始图像、所述原始图像的瑕疵修复标注图像及所述原始图像的标注中性灰图层；
10.根据所述原始图像、所述原始图像的瑕疵修复标注图像及所述原始图像的标注中性灰图层，对初始图像处理网络中进行训练，生成预设图像处理网络。
11.另一方面，提供了一种图像处理装置，包括：
12.待处理图像获取模块，用于获取待处理图像；
13.磨皮处理模块，用于将所述待处理图像输入至预设图像处理网络中进行磨皮处理，生成磨皮结果图像；所述预设图像处理网络为基于训练集中各原始图像的瑕疵修复标注图像及标注中性灰图层，对初始图像处理网络进行训练所生成的网络。
14.另一方面，提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的方法的步骤。
15.另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
16.另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的方法的步骤。
17.上述图像处理方法和装置、电子设备、计算机可读存储介质，获取待处理图像，将待处理图像输入至预设图像处理网络中进行磨皮处理，生成磨皮结果图像。由于训练集中各原始图像的瑕疵修复标注图像及标注中性灰图层，均为采用人工方式对原始图像进行磨皮处理所采用的标注中性灰图层，或所生成的瑕疵修复标注图像，因此，标注中性灰图层及瑕疵修复标注图像的准确性较高。因此，基于该训练集对初始图像处理网络进行训练，就提高了所生成的预设图像处理网络的准确性。进而，将待处理图像输入至预设图像处理网络中进行磨皮处理，所生成的磨皮结果图像就能够接近或达到人工修图所生成的图像的磨皮效果。最终，提高了经过预设图像处理网络所生成的磨皮结果图像的真实性，满足了用户的美化需求。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为一个实施例中图像处理方法的应用环境图；
20.图2为一个实施例中图像处理方法的流程图；
21.图3为图2中将待处理图像输入至预设图像处理网络中进行磨皮处理，生成磨皮结果图像方法的流程图；
22.图4为图3中将待处理图像输入至瑕疵修复网络中进行瑕疵修复，生成瑕疵修复图像方法的流程图；
23.图5为一个实施例中对待处理图像进行磨皮处理的示意图；
24.图6为一个实施例中瑕疵修复网络的训练过程的流程图；
25.图7为一个实施例中中性灰图层预测网络的训练过程的流程图；
26.图8为一个实施例中图像处理网络的训练方法的流程图；
27.图9为一个具体的实施例中图像处理方法的流程图；
28.图10为一个具体的实施例中图像处理方法的示意图；
29.图11为一个实施例中图像处理装置的结构框图；
30.图12为图11中磨皮处理模块的结构框图；
31.图13为一个实施例中图像处理网络的训练装置的结构框图；
32.图14为一个实施例中电子设备的内部结构示意图。
具体实施方式
33.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
34.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，
但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本技术的范围的情况下，可以将第一图像处理结果称为第二图像处理结果，且类似地，可将第二图像处理结果称为第一图像处理结果。第一图像处理结果和第二图像处理结果两者都是图像处理结果，但其不是同一图像处理结果。
35.图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备120。其中，电子设备120可以获取待处理图像110；将待处理图像110输入至预设图像处理网络中进行磨皮处理，生成磨皮结果图像130；预设图像处理网络为基于训练集中各原始图像的瑕疵修复标注图像及标注中性灰图层，对初始图像处理网络进行训练所生成的网络。其中，电子设备120可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
36.图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的电子设备上为例进行描述。如图2所示，图像处理方法包括步骤220至步骤240，其中，
37.步骤220，获取待处理图像。
38.其中，待处理图像可以是指电子设备通过摄像头采集的图像。在其他情况下，待处理图像也可以是存储在电子设备本地的图像，还可以是电子设备从网络下载的图像等，本技术对此不做限定。
39.电子设备获取到了待处理图像之后，可以先对待处理图像进行预处理。具体的，可以基于双线性插值对图像进行缩放处理，例如，将待处理图像的分辨率从1241*376采样至1024*320，当然，本技术对此不做限定。还可以对待处理图像的图像参数进行调整，这里的图像参数包括但不限于亮度、对比度、饱和度、色调等。
40.对待处理图像进行预处理之后生成预处理后的图像，就可以对预处理后的图像进行磨皮处理。
41.步骤240，将待处理图像输入至预设图像处理网络中进行磨皮处理，生成磨皮结果图像；预设图像处理网络为基于训练集中各原始图像的瑕疵修复标注图像及标注中性灰图层，对初始图像处理网络进行训练所生成的网络。
42.其中，预设图像处理网络为预先通过训练集进行训练所得到的，用于对图像进行磨皮处理的网络。预设图像处理网络可以是基于神经网络训练得到的网络，本技术对此不做限定。其中，磨皮处理指的是从图像上去除人脸的皱纹及瑕疵的过程。
43.训练集中包括多个原始图像以及各原始图像的瑕疵修复标注图像及标注中性灰图层。针对各原始图像，预先可以通过人工标注的方式，获取原始图像的瑕疵修复标注图像、原始图像的标注中性灰图层。其中，原始图像的瑕疵修复标注图像指的是通过人工方式对原始图像进行瑕疵修复，所得到的图像。原始图像的标注中性灰图层，指的是通过人工方式对原始图像进行磨皮处理过程中所采用的中性灰图层。
44.其中，采用中性灰图层可以针对图像高光部分和暗部进行细化处理，使图像更有层次、更加立体。“中性灰”指的是在rgb色彩通道下r、g、b三个通道值均相等所呈现出来的颜色就是就是中性灰。且当r、g、b三个通道值都等于128(r、g、b三个通道值的取值为从0至255)时所呈现出来的中性灰，被称作“绝对中性灰”。“图层”就像是含有文字或图形等元素
的胶片，将一张张的胶片按顺序叠放在一起，组合起来就形成了图像的最终效果。“中性灰图层”就是由r、g、b三个通道值均相等的像素所构成的图层。这里的人工方式包括但不限于影楼中的专业修图人员。
45.具体的，训练得到预设图像处理网络的过程包括：获取训练集，训练集中包括原始图像、原始图像的瑕疵修复标注图像及原始图像的标注中性灰图层；根据原始图像、原始图像的瑕疵修复标注图像及原始图像的标注中性灰图层，对初始图像处理网络中进行训练，生成预设图像处理网络。
46.本技术实施例中，由于训练集中各原始图像的瑕疵修复标注图像及标注中性灰图层，均为采用人工方式对原始图像进行磨皮处理所采用的标注中性灰图层，或所生成的瑕疵修复标注图像，因此，标注中性灰图层及瑕疵修复标注图像的准确性较高。因此，基于该训练集对初始图像处理网络进行训练，就提高了所生成的预设图像处理网络的准确性。进而，将待处理图像输入至预设图像处理网络中进行磨皮处理，所生成的磨皮结果图像就能够接近或达到人工修图所生成的图像的磨皮效果。最终，提高了经过预设图像处理网络所生成的磨皮结果图像的真实性，满足了用户的美化需求。
47.接前一个实施例，进一步解释了预设图像处理网络包括瑕疵修复网络及中性灰图层预测网络。因此，本实施例中，如图3所示，详细说明步骤240，将待处理图像输入至预设图像处理网络中进行磨皮处理，生成磨皮结果图像的具体实现步骤，包括：
48.步骤242，将待处理图像输入至瑕疵修复网络中进行瑕疵修复，生成瑕疵修复图像；
49.具体的，预设图像处理网络包括瑕疵修复网络及中性灰图层预测网络。这里的瑕疵修复网络，为基于训练集中各原始图像、各原始图像的瑕疵修复标注图像进行训练所得到的。这里的中性灰图层预测网络，为基于训练集中各原始图像、各原始图像的标注中性灰图层进行训练所得到的。
50.其中，瑕疵修复网络用于对输入图像进行瑕疵修复，即主要用于去除输入图像上人脸的皱纹及瑕疵。这里，瑕疵修复网络可以是神经网络，当然，本技术对此不做限定。其中，中性灰图层预测网络用于预测在对输入图像进行磨皮处理过程中所采用的中性灰图层，即中性灰图层预测网络用于预测中性灰图层中各像素的r、g、b三个通道值。例如，预测出r、g、b三个通道值均为80，80，80，当然，这里只是示例，并不对r、g、b三个通道值做出具体限定。
51.然后，将待处理图像输入至瑕疵修复网络中进行瑕疵修复，去除输入图像上人脸的皱纹及瑕疵，生成瑕疵修复图像。
52.步骤244，将瑕疵修复图像输入至中性灰图层预测网络中进行中性灰图层预测，生成瑕疵修复图像的中性灰图层；
53.进而，将瑕疵修复图像输入至中性灰图层预测网络中进行中性灰图层预测。基于瑕疵修复图中与阴影相关的图像参数，采用中性灰图层预测网络对所输入的瑕疵修复图像确定中性灰图层的预测灰度值。在得到了预测灰度值之后，就可以基于预测灰度值生成中性灰图层。中性灰图层中各像素的r、g、b三个通道值均相等，且等于预测灰度值。
54.步骤246，将瑕疵修复图像及中性灰图层进行融合，生成磨皮结果图像。
55.经过上述步骤将待处理图像输入至瑕疵修复网络中进行瑕疵修复，生成瑕疵修复
图像，将瑕疵修复图像输入至中性灰图层预测网络中进行中性灰图层预测，生成瑕疵修复图像的中性灰图层。然后，就可以将瑕疵修复图像及中性灰图层进行融合，生成磨皮结果图像。这里可以通过将瑕疵修复图像及中性灰图层进行柔光混合，来实现融合生成磨皮结果图像。
56.在将瑕疵修复图像及中性灰图层进行融合时，首先，将瑕疵修复图像及中性灰图层的rgb值(0-255)均转换为0到1之间的数值。这里，0表示纯黑，0.5表示绝对中性灰，而1则表示纯白。然后，再对转换之后的瑕疵修复图像及中性灰图层的rgb值进行融合，生成磨皮结果图像。
57.本技术实施例中，由于这里的瑕疵修复网络，为基于训练集中各原始图像、各原始图像的瑕疵修复标注图像进行训练所得到的。这里的中性灰图层预测网络，为基于训练集中各原始图像、各原始图像的标注中性灰图层进行训练所得到的。将待处理图像输入至瑕疵修复网络中进行瑕疵修复，生成瑕疵修复图像。将瑕疵修复图像输入至中性灰图层预测网络中进行中性灰图层预测，生成瑕疵修复图像的中性灰图层。将瑕疵修复图像及中性灰图层进行融合，生成磨皮结果图像。由于瑕疵修复网络、中性灰图层预测网络均为基于训练集进行训练所生成的，因此，将待处理图像依次输入至瑕疵修复网络、中性灰图层预测网络中进行处理，最终所生成的磨皮结果图像，就能够接近或达到人工修图所生成的图像的磨皮效果。最终，提高了所生成的磨皮结果图像的真实性，满足了用户的美化需求。
58.接前一个实施例，瑕疵修复网络包括瑕疵检测网络。如图4所示，详细说明步骤242，将待处理图像输入至瑕疵修复网络中进行瑕疵修复，生成瑕疵修复图像的具体实现步骤，包括：
59.步骤242a，将待处理图像输入至瑕疵检测网络中进行瑕疵检测，生成瑕疵掩膜图；
60.具体的，预设图像处理网络包括瑕疵修复网络及中性灰图层预测网络，且瑕疵修复网络包括瑕疵检测网络。训练集中还包括各原始图像的瑕疵标注图，这里，瑕疵标注图指的是对原始图像上人脸的皱纹及瑕疵进行标注所生成的图像。其中，瑕疵包括但不限于痣、痘、痘印、斑、黑头等。瑕疵检测网络为基于训练集中各原始图像、各原始图像的瑕疵标注图对初始瑕疵检测网络进行训练所生成的。这里，初始瑕疵检测网络可以是神经网络，例如yolo(you only look once)神经网络，当然，本技术对此不做限定。yolo神经网络是一种可以实现一次性预测多个检测框(box)的位置和类别的卷积神经网络，主要用于实现端到端的目标检测和识别。初始瑕疵检测网络还可以是深度学习网络，例如ssd(single shot multibox detector)深度学习网络，ssd深度学习网络也是一种目标检测算法，当然，本技术对此不做限定。
61.在对待处理图像进行瑕疵修复时，首先，将待处理图像输入至瑕疵检测网络中进行瑕疵检测，生成瑕疵掩膜图。具体的，将待处理图像输入至瑕疵检测网络中进行瑕疵检测，生成待处理图像上瑕疵的检测框的位置信息及形状信息。假设这里的检测框均为矩形，则生成瑕疵的检测框的位置信息及形状信息，检测框的位置信息及形状信息具体体现为(xi,yi,wi,hi)。其中，xi表示检测框中心点的横坐标，yi表示检测框中心点的纵坐标，wi表示检测框的宽，hi表示检测框的高。基于检测框的位置信息及形状信息，就可以在待处理图像上准确地确定检测框的位置及形状。
62.在待处理图像上准确地确定检测框的位置及形状之后，就可以基于检测框的位置
及形状生成瑕疵掩膜图。具体的，首先建立一种与待处理图像大小相同的掩膜图像(mask)；然后，在掩膜图像中基于检测框的位置及形状，将检测框范围内的像素置为0，将除去检测框范围内的像素置为1，如此，就得到了瑕疵掩膜图。
63.步骤242b，基于瑕疵掩膜图及待处理图像，对待处理图像进行瑕疵修复，生成瑕疵修复图像。
64.然后，通过图像修补算法，基于瑕疵掩膜图对待处理图像进行瑕疵修复，生成瑕疵修复图像。这里的图像修补算法包括inpanting算法，inpanting算法主要由inpaint函数实现，可以用来从图像或视频中清除灰尘和划痕，或者从图像或视频中去除不需要的物体。
65.这里的图像修补算法还包括基于opencv的图像修补算法，例如，telea算法，即快速行进算法(fmm，fast marching method)。其中，fmm算法所基于的思想是，先处理待修复区域边缘上的像素点，然后层层向内推进，直到修复完所有的像素点。
66.本技术实施例中，将待处理图像输入至瑕疵检测网络中进行瑕疵检测，生成瑕疵掩膜图。基于瑕疵掩膜图及待处理图像，对待处理图像进行瑕疵修复，生成瑕疵修复图像。先基于瑕疵检测网络进行瑕疵检测，生成瑕疵掩膜图，在瑕疵掩膜图中准确地确定了瑕疵的范围。然后，就可以通过图像修补算法，基于瑕疵掩膜图对待处理图像进行瑕疵修复，生成瑕疵修复图像。如此，相当于还原了人工进行瑕疵修复的过程，因此，能够接近或达到人工瑕疵修复所生成的瑕疵修复图像的效果。
67.接前述实施例，详细说明步骤244，将瑕疵修复图像输入至中性灰图层预测网络中进行中性灰图层预测，生成瑕疵修复图像的中性灰图层的具体实现步骤，包括：
68.将瑕疵修复图像输入至中性灰图层预测网络中，确定瑕疵修复图像的中性灰图层的预测灰度值；
69.基于预测灰度值，生成瑕疵修复图像的中性灰图层。
70.结合图5所示，为一个实施例中对待处理图像进行磨皮处理的示意图。首先，将待处理图像s输入至瑕疵检测网络中进行瑕疵检测，生成瑕疵掩膜图(mask)；其次，基于瑕疵掩膜图及待处理图像，对待处理图像进行瑕疵修复，生成瑕疵修复图像i1；再次，将瑕疵修复图像输入至中性灰图层预测网络中进行中性灰图层预测，生成瑕疵修复图像的中性灰图层i2；最后，将瑕疵修复图像i1及中性灰图层i2进行融合，生成磨皮结果图像r。
71.其中，这里的中性灰图层预测网络为将训练集中各原始图像、各原始图像的标注中性灰图层输入至初始中性灰图层预测网络中进行训练所得到的。其中，初始中性灰图层预测网络包括图像翻译网络，图像翻译网络主要用于实现将图像转换为其他形式的图像。图像翻译网络包括pix2pix网络、pix2pixhd网络、vid2vid网络中的至少一种，当然，本技术对此不做限定。通过pix2pix网络、pix2pixhd网络、vid2vid网络中的至少一种，可以回归出原始图像的中性灰图层。
72.其中，将瑕疵修复图像输入至中性灰图层预测网络中进行中性灰图层预测，生成瑕疵修复图像的中性灰图层i2的具体实现过程包括：将瑕疵修复图像输入至中性灰图层预测网络中，确定瑕疵修复图像的中性灰图层的预测灰度值；基于预测灰度值，生成瑕疵修复图像的中性灰图层。
73.由于中性灰图层就是由r、g、b三个通道值均相等的像素所构成的图层，所以，在生成中性灰图层时，先确定中性灰图层的预测灰度值。然后，就可以基于预测灰度值生成中性
灰图层。
74.本技术实施例中，由于中性灰图层预测网络，为基于训练集中各原始图像、各原始图像的标注中性灰图层进行训练所得到的。且原始图像的标注中性灰图层，指的是通过人工方式对原始图像进行磨皮处理过程中所采用的中性灰图层。因此，将瑕疵修复图像输入至中性灰图层预测网络中，确定瑕疵修复图像的中性灰图层的预测灰度值。基于预测灰度值，生成瑕疵修复图像的中性灰图层。所生成的中性灰图层，就可以近乎接近或达到专业修图人员所采用的标注中性灰图层。从而，提高了后续基于该中性灰图层进行磨皮处理所生成的磨皮结果图像的真实性，满足了用户的美化需求。
75.在一个实施例中，将瑕疵修复图像及中性灰图层进行融合，生成磨皮结果图像，包括：
76.将瑕疵修复图像及中性灰图层在柔光混合模式下进行融合，生成磨皮结果图像。
77.结合图5所示，将瑕疵修复图像i1及中性灰图层i2在柔光混合模式下进行融合，生成磨皮结果图像r。其中，柔光混合模式指的是。将瑕疵修复图像及中性灰图层在柔光混合模式下进行融合，可以提高图像的亮度或降低图像的亮度，从而消除图像中的阴影。这里，若采用亮度较大的中性灰图层进行融合，则以提高图像的亮度；若采用亮度较小的中性灰图层进行融合，则以降低图像的亮度。
78.具体的，将瑕疵修复图像及中性灰图层在柔光混合模式下进行融合的公式如下所示：
[0079][0080]
其中，公式(1-1)中的a表示瑕疵修复图像i1中像素的rgb通道值，b表示中性灰图层i2中同一像素的rgb值。在将瑕疵修复图像及中性灰图层进行融合时，预先将瑕疵修复图像及中性灰图层的rgb值(0-255)均除以255后转换为0到1之间的数值。针对r通道，当中性灰图层i2中像素的转换后的r通道值小于0.5时，则采用2ab a2(1-2b)来计算磨皮结果图像中与该像素位置相同的新的像素的r通道值。此时，a表示瑕疵修复图像i1中像素的r通道值，b表示中性灰图层i2中该像素的r通道值。同理，针对g通道，当中性灰图层i2中像素的转换后的g通道值小于0.5时，则采用2ab a2(1-2b)来计算磨皮结果图像中与该像素位置相同的新的像素的g通道值。此时，a表示瑕疵修复图像i1中像素的g通道值，b表示中性灰图层i2中该像素的g通道值。同理，针对b通道，当中性灰图层i2中像素的转换后的b通道值小于0.5时，则采用2ab a2(1-2b)来计算磨皮结果图像中与该像素位置相同的新的像素的b通道值。此时，a表示瑕疵修复图像i1中像素的b通道值，b表示中性灰图层i2中该像素的b通道值。
[0081]
针对r通道，当中性灰图层i2中像素的转换后的r通道值大于或等于0.5时，则采用来计算磨皮结果图像中与该像素位置相同的新的像素的r通道值。此时，a表示瑕疵修复图像i1中像素的r通道值，b表示中性灰图层i2中该像素的r通道值。同理，针对g通道，当中性灰图层i2中像素的转换后的g通道值大于或等于0.5时，采用计算磨皮结果图像中与该像素位置相同的新的像素的g通道值。此时，a表示瑕疵修复图像i1中像素的g通道值，b表示中性灰图层i2中该像素的g通道值。针对b通
道，当中性灰图层i2中像素的转换后的b通道值大于或等于0.5时，采用计算磨皮结果图像中与该像素位置相同的新的像素的b通道值。此时，a表示瑕疵修复图像i1中像素的b通道值，b表示中性灰图层i2中该像素的b通道值。
[0082]
如此，基于新的像素的rgb通道值，生成磨皮结果图像。
[0083]
本技术实施例中，采用上述公式，将瑕疵修复图像及中性灰图层在柔光混合模式下进行融合，生成磨皮结果图像。可以提高图像的亮度或降低图像的亮度，从而消除图像中的阴影。最终，提高了所生成的磨皮结果图像的真实性，满足了用户的美化需求。
[0084]
在一个实施例中，如图6所示，还提供了瑕疵修复网络的训练过程，包括：
[0085]
步骤620，将训练集中的原始图像输入至初始瑕疵修复网络中，生成与原始图像对应的瑕疵修复预测图像；
[0086]
其中，训练集中包括多个原始图像及各原始图像的瑕疵修复标注图像。其中，原始图像的瑕疵修复标注图像指的是通过人工方式对原始图像进行瑕疵修复，所得到的图像。将训练集中的原始图像输入至初始瑕疵修复网络中进行瑕疵修复，生成与原始图像对应的瑕疵修复预测图像。其中，初始瑕疵修复网络包括yolo神经网络，且yolo神经网络包括yolo v3神经网络、yolo v4神经网络、yolo v5神经网络中的任意一种。
[0087]
其中，yolo神经网络是一种快速紧凑的开源对象检测模型。与其它网络相比，yolo神经网络在同等尺寸下性能更强，并且具有很不错的稳定性，是第一个可以预测对象的类别和边界框的端对端神经网络。且yolo v3的原始模型是基于darknet网络的模型。
[0088]
其中，yolo网络主要由三个主要组件组成：
[0089]
1)backbone：为可以在不同图像细粒度上聚合并形成图像特征的卷积神经网络。
[0090]
2)neck：为一系列混合和组合图像特征的网络层，并将图像特征传递到预测层。
[0091]
3)head：用于对图像特征进行预测，生成边界框和并预测类别。
[0092]
步骤640，根据原始图像的瑕疵修复标注图像及瑕疵修复预测图像，计算损失函数的值；
[0093]
针对各原始图像，从训练集中获取原始图像的瑕疵修复标注图像，并根据该原始图像的瑕疵修复标注图像及瑕疵修复预测图像，计算损失函数的值。这里的损失函数可以为交叉熵损失函数，当然，本技术对此不做限定。其中，交叉熵损失函数可以用于分类问题中，特别是在神经网络做分类问题时，可以使用交叉熵作为损失函数。此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。
[0094]
步骤660，根据损失函数的值调整初始瑕疵修复网络的参数，生成瑕疵修复网络。
[0095]
根据该原始图像的瑕疵修复标注图像及瑕疵修复预测图像，计算出损失函数的值之后，就可以根据损失函数的值调整初始瑕疵修复网络的初始参数，生成目标参数。基于目标参数就可以生成瑕疵修复网络。
[0096]
本技术实施例中，将训练集中的原始图像输入至初始瑕疵修复网络中，生成与原始图像对应的瑕疵修复预测图像。根据原始图像的瑕疵修复标注图像及瑕疵修复预测图像，计算损失函数的值。根据损失函数的值调整初始瑕疵修复网络的参数，生成瑕疵修复网络。由于原始图像的瑕疵修复标注图像为人工预先标注的，通过训练集中的原始图像、原始图像的瑕疵修复标注图像，对至初始瑕疵修复网络进行训练，生成最终的瑕疵修复网络。如此，再将待处理图像输入至瑕疵修复网络中进行瑕疵修复，所生成的瑕疵修复图像能够接
近或达到人工修图所生成的瑕疵修复图像的效果。最终，提高了经过预设图像处理网络所生成的磨皮结果图像的真实性，满足了用户的美化需求。
[0097]
在一个实施例中，如图7所示，还提供了中性灰图层预测网络的训练过程，包括：
[0098]
步骤720，将训练集中的原始图像输入至初始中性灰图层预测网络中，生成与原始图像对应的预测中性灰图层；
[0099]
训练集中包括多个原始图像及各原始图像对应的标注中性灰图层。将训练集中的原始图像输入至初始中性灰图层预测网络中进行预测，生成与原始图像对应的预测中性灰图层。其中，初始中性灰图层预测网络包括图像翻译网络，图像翻译网络主要用于实现将图像转换为其他形式的图像。图像翻译网络包括pix2pix网络、pix2pixhd网络、vid2vid网络中的至少一种，当然，本技术对此不做限定。pix2pixhd网络则在pix2pix网络的基础上，较好地解决了高分辨率图像转换(翻译)的问题，vid2vid网络则在pix2pixhd网络的基础上，较好的解决了高分辨率的视频转换问题。
[0100]
步骤740，根据原始图像的标注中性灰图层及预测中性灰图层，计算损失函数的值；
[0101]
步骤760，根据损失函数的值调整初始中性灰图层预测网络的参数，生成中性灰图层预测网络。
[0102]
针对各原始图像，从训练集中获取原始图像的标注中性灰图层，并根据该原始图像的标注中性灰图层及预测中性灰图层，计算损失函数的值。这里的损失函数可以为交叉熵损失函数，当然，本技术对此不做限定。
[0103]
根据该原始图像的标注中性灰图层及预测中性灰图层，计算出损失函数的值之后，就可以根据损失函数的值调整初始中性灰图层预测网络的初始参数，生成目标参数。基于目标参数就可以生成中性灰图层预测网络。
[0104]
本技术实施例中，由于标注中性灰图层为人工预先标注的，将训练集中的原始图像输入至初始中性灰图层预测网络中，生成与原始图像对应的预测中性灰图层。再根据原始图像的标注中性灰图层及预测中性灰图层，计算损失函数的值。最后，根据损失函数的值调整初始中性灰图层预测网络的参数，生成中性灰图层预测网络。如此，再将待处理图像输入至中性灰图层预测网络中进行预测，所生成的中性灰图层能够接近或达到人工修图所采用的中性灰图层的效果。最终，提高了经过预设图像处理网络所生成的磨皮结果图像的真实性，满足了用户的美化需求。
[0105]
在一个实施例中，如图8所示，提供了一种图像处理网络的训练方法，包括：
[0106]
步骤820，获取训练集，训练集中包括原始图像、原始图像的瑕疵修复标注图像及原始图像的标注中性灰图层；
[0107]
训练集中包括多个原始图像以及各原始图像的瑕疵修复标注图像及标注中性灰图层。原始图像可以是指电子设备通过摄像头采集的图像，在其他情况下，原始图像也可以是存储在电子设备本地的图像，还可以是电子设备从网络下载的图像等，本技术对此不做限定。针对各原始图像，预先可以通过人工标注的方式，获取原始图像的瑕疵修复标注图像、原始图像的标注中性灰图层。其中，原始图像的瑕疵修复标注图像指的是通过人工方式对原始图像进行瑕疵修复，所得到的图像。原始图像的标注中性灰图层，指的是通过人工方式对原始图像进行磨皮处理过程中所采用的中性灰图层。
[0108]
步骤840，根据原始图像、原始图像的瑕疵修复标注图像及原始图像的标注中性灰图层，对初始图像处理网络中进行训练，生成预设图像处理网络。
[0109]
其中，初始图像处理网络包括初始瑕疵修复网络及初始中性灰图层预测网络。且初始瑕疵修复网络包括yolo神经网络，且yolo神经网络包括yolo v3神经网络、yolo v4神经网络、yolo v5神经网络中的任意一种，当然，本技术对此不做限定。初始中性灰图层预测网络包括图像翻译网络，图像翻译网络主要用于实现将图像转换为其他形式的图像。图像翻译网络包括pix2pix网络、pix2pixhd网络、vid2vid网络中的至少一种，当然，本技术对此不做限定。
[0110]
将原始图像依次输入至初始瑕疵修复网络及初始中性灰图层预测网络中进行训练，生成瑕疵修复预测图像、预测中性灰图层。基于原始图像的瑕疵修复预测图像、瑕疵修复标注图像，计算损失函数的值；根据损失函数的值调整初始瑕疵修复网络的参数，生成瑕疵修复网络。根据原始图像的标注中性灰图层及预测中性灰图层，计算损失函数的值；根据损失函数的值调整初始中性灰图层预测网络的参数，生成中性灰图层预测网络。
[0111]
最终，基于训练出的瑕疵修复网络及中性灰图层预测网络，生成预设图像处理网络。
[0112]
本技术实施例中，提供了一种图像处理网络的训练方法，根据训练集中所包括的原始图像、原始图像的瑕疵修复标注图像及原始图像的标注中性灰图层，对初始图像处理网络中进行训练，生成预设图像处理网络。由于原始图像的瑕疵修复标注图像及原始图像的标注中性灰图层，均为预先通过人工标注的方式所获取的，因此，所训练出的预设图像处理网络就能够还原人工修图的过程，进而，提高了经过预设图像处理网络所生成的磨皮结果图像的真实性，满足了用户的美化需求。
[0113]
接前一个实施例，描述了一种图像处理网络的训练方法，本实施例中，详细说明步骤840，根据原始图像、原始图像的瑕疵修复标注图像及原始图像的标注中性灰图层，对初始图像处理网络中进行训练，生成预设图像处理网络的具体实现步骤，包括：
[0114]
根据训练集中的原始图像及原始图像的瑕疵修复标注图像对初始瑕疵修复网络进行训练，生成瑕疵修复网络；
[0115]
根据训练集中的原始图像及原始图像的中性灰图层，对初始中性灰图层预测网络进行训练，生成中性灰图层预测网络；
[0116]
基于瑕疵修复网络及中性灰图层预测网络，生成预设图像处理网络。
[0117]
具体的，首先，将原始图像输入至初始瑕疵修复网络进行训练，生成瑕疵修复预测图像。再基于原始图像的瑕疵修复预测图像、瑕疵修复标注图像，计算损失函数的值；根据损失函数的值调整初始瑕疵修复网络的参数，生成瑕疵修复网络。
[0118]
其次，将原始图像输入至初始中性灰图层预测网络进行训练，生成预测中性灰图层。再根据原始图像的标注中性灰图层及预测中性灰图层，计算损失函数的值；根据损失函数的值调整初始中性灰图层预测网络的参数，生成中性灰图层预测网络。
[0119]
最终，基于训练出的瑕疵修复网络及中性灰图层预测网络进行组合，并加入将瑕疵修复图像及中性灰图层在柔光混合模式下进行融合的步骤，生成预设图像处理网络。
[0120]
本技术实施例中，提供了一种图像处理网络的训练方法，根据训练集中的原始图像、原始图像的瑕疵修复标注图像及原始图像的标注中性灰图层，依次对初始瑕疵修复网
络、初始中性灰图层预测网络进行训练，生成瑕疵修复网络及中性灰图层预测网络。最终，基于训练出的瑕疵修复网络及中性灰图层预测网络进行组合，并加入将瑕疵修复图像及中性灰图层在柔光混合模式下进行融合的步骤，生成预设图像处理网络。按照人工修图的步骤依次训练出不同的网络，最终得到预设图像处理网络。因此，预设图像处理网络就能够还原人工修图的过程，进而，提高了经过预设图像处理网络所生成的磨皮结果图像的真实性，满足了用户的美化需求。
[0121]
在一个具体的实施例中，如图9所示，提供了一种图像处理方法，包括：图像处理网络的训练过程及图像处理过程；
[0122]
其中，图像处理网络的训练过程，包括：
[0123]
步骤902，获取训练集a，训练集a中包括原始图像、原始图像的瑕疵修复标注图像及原始图像的标注中性灰图层；
[0124]
步骤904，根据训练集中的原始图像及原始图像的瑕疵修复标注图像对初始瑕疵修复网络进行训练，生成瑕疵修复网络；
[0125]
步骤906，根据训练集中的原始图像及原始图像的中性灰图层，对初始中性灰图层预测网络进行训练，生成中性灰图层预测网络；
[0126]
步骤908，基于瑕疵修复网络及中性灰图层预测网络，生成预设图像处理网络。
[0127]
其中，结合图10所示，图像处理的过程，包括：
[0128]
步骤910，获取待处理图像s；
[0129]
步骤912，将待处理图像s输入至瑕疵检测网络中进行瑕疵检测，生成瑕疵掩膜图(mask)；
[0130]
步骤914，基于瑕疵掩膜图(mask)及待处理图像s，对待处理图像s进行瑕疵修复，生成瑕疵修复图像i1；
[0131]
步骤916，将瑕疵修复图像i1输入至中性灰图层预测网络中，确定瑕疵修复图像i1的中性灰图层的预测灰度值；
[0132]
步骤918，基于预测灰度值，生成瑕疵修复图像的中性灰图层i2；
[0133]
步骤920，将瑕疵修复图像i1及中性灰图层i2在柔光混合模式下进行融合，生成磨皮结果图像r。
[0134]
本技术实施例中，按照人工修图的步骤依次训练出不同的网络，最终得到预设图像处理网络。因此，预设图像处理网络就能够还原人工修图的过程。进而，将待处理图像输入至预设图像处理网络中进行磨皮处理，所生成的磨皮结果图像就能够接近或达到人工修图所生成的图像的磨皮效果。最终，提高了经过预设图像处理网络所生成的磨皮结果图像的真实性，满足了用户的美化需求。
[0135]
在一个实施例中，如图11所示，提供了一种图像处理装置1100，包括：
[0136]
待处理图像获取模块1120，用于获取待处理图像；
[0137]
磨皮处理模块1140，用于将待处理图像输入至预设图像处理网络中进行磨皮处理，生成磨皮结果图像；预设图像处理网络为基于训练集中各原始图像的瑕疵修复标注图像及标注中性灰图层，对初始图像处理网络进行训练所生成的网络。
[0138]
在一个实施例中，预设图像处理网络包括瑕疵修复网络及中性灰图层预测网络；如图12所示，磨皮处理模块1140，包括：
[0139]
瑕疵修复单元1142，用于将待处理图像输入至瑕疵修复网络中进行瑕疵修复，生成瑕疵修复图像；
[0140]
中性灰图层生成单元1144，用于将瑕疵修复图像输入至中性灰图层预测网络中进行中性灰图层预测，生成瑕疵修复图像的中性灰图层；
[0141]
融合单元1146，用于将瑕疵修复图像及中性灰图层进行融合，生成磨皮结果图像。
[0142]
在一个实施例中，瑕疵修复网络包括瑕疵检测网络；瑕疵修复单元1142，还用于将待处理图像输入至瑕疵检测网络中进行瑕疵检测，生成瑕疵掩膜图；基于瑕疵掩膜图及待处理图像，对待处理图像进行瑕疵修复，生成瑕疵修复图像。
[0143]
在一个实施例中，中性灰图层生成单元1144，还用于将瑕疵修复图像输入至中性灰图层预测网络中，确定瑕疵修复图像的中性灰图层的预测灰度值；基于预测灰度值，生成瑕疵修复图像的中性灰图层。
[0144]
在一个实施例中，融合单元1146，还用于将瑕疵修复图像及中性灰图层在柔光混合模式下进行融合，生成磨皮结果图像。
[0145]
在一个实施例中，提供了一种图像处理装置1100，还包括：瑕疵修复网络生成模块，用于将训练集中的原始图像输入至初始瑕疵修复网络中，生成与原始图像对应的瑕疵修复预测图像；根据原始图像的瑕疵修复标注图像及瑕疵修复预测图像，计算损失函数的值；根据损失函数的值调整初始瑕疵修复网络的参数，生成瑕疵修复网络。
[0146]
在一个实施例中，初始瑕疵修复网络包括yolo神经网络。
[0147]
在一个实施例中，yolo神经网络包括yolo v3神经网络、yolo v4神经网络、yolo v5神经网络中的任意一种。
[0148]
在一个实施例中，提供了一种图像处理装置1100，还包括：中性灰图层预测网络生成模块，用于将训练集中的原始图像输入至初始中性灰图层预测网络中，生成与原始图像对应的预测中性灰图层；根据原始图像的标注中性灰图层及预测中性灰图层，计算损失函数的值；根据损失函数的值调整初始中性灰图层预测网络的参数，生成中性灰图层预测网络。
[0149]
在一个实施例中，初始中性灰图层预测网络包括图像翻译网络。
[0150]
在一个实施例中，图像翻译网络包括pix2pix网络、pix2pixhd网络、vid2vid网络中的至少一种。
[0151]
在一个实施例中，如图13所示，提供了一种图像处理网络的训练装置1300，包括：
[0152]
训练集获取模块1320，用于获取训练集，训练集中包括原始图像、原始图像的瑕疵修复标注图像及原始图像的标注中性灰图层；
[0153]
网络训练模块1340，用于根据原始图像、原始图像的瑕疵修复标注图像及原始图像的标注中性灰图层，对初始图像处理网络中进行训练，生成预设图像处理网络。
[0154]
在一个实施例中，网络训练模块1340，还用于根据训练集中的原始图像及原始图像的瑕疵修复标注图像对初始瑕疵修复网络进行训练，生成瑕疵修复网络；根据训练集中的原始图像及原始图像的中性灰图层，对初始中性灰图层预测网络进行训练，生成中性灰图层预测网络；基于瑕疵修复网络及中性灰图层预测网络，生成预设图像处理网络。
[0155]
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的
执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0156]
上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
[0157]
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0158]
图14为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、pda(personal digital assistant，个人数字助理)、pos(point of sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为cpu(central processing unit,中央处理单元)或dsp(digital signal processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
[0159]
本技术实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本技术实施例中所描述方法的步骤。
[0160]
本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像处理方法的步骤。
[0161]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
[0162]
本技术所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括rom(read-only memory，只读存储器)、prom(programmable read-only memory，可编程只读存储器)、eprom(erasable programmable read-only memory，可擦除可编程只读存储器)、eeprom(electrically erasable programmable read-only memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括ram(random access memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如sram(static random access memory，静态随机存取存储器)、dram(dynamic random access memory，动态随机存取存储器)、sdram(synchronous dynamic random access memory，同步动态随机存取存储器)、双数据率ddr sdram(double data rate synchronous dynamic random access memory，双数据率同步动态随机存取存储器)、esdram(enhanced synchronous dynamic random access memory，
增强型同步动态随机存取存储器)、sldram(sync link dynamic random access memory，同步链路动态随机存取存储器)、rdram(rambus dynamic random access memory，总线式动态随机存储器)、drdram(direct rambus dynamic random access memory，接口动态随机存储器)。
[0163]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。