图像处理方法、装置、计算机设备、存储介质及程序产品与流程

1.本技术涉及计算机技术领域，尤其涉及一种图像处理方法、装置、计算机设备、存储介质及程序产品。


背景技术：

2.随着计算机技术的快速发展，抠图技术在图像处理、视频处理等任务中得到了广泛应用，为图像中的人像区域或一般物体区域更换背景、添加新颖素材效果等方面的需求与日俱增；抠图技术是指采用图像对应的掩膜图像从该图像中分离出感兴趣内容(例如可以是人物、车辆、花草树木等等)的技术。
3.抠图技术需要像图像分割一样要求对图像中的目标对象进行准确的分割，同时还要求对目标对象能够得到“发丝级”精细的、边缘融合度高的抠图结果。而且对任意对象的抠图所涉及的场景是比较复杂的，可以包含存在杂乱物体的室内场景，还可以包含具有不同光线明暗变化的室外场景，这要求抠图技术需要对不同对象能够进行语义的区分，还要求对不同光线不同场景变化具有鲁棒性，而且需要在局部精细区域能够准确区分对象和背景之间的界限。在实际的抠图场景中，上述精准抠图的需求依赖于准确的掩膜图像，也就是说，准确的掩膜图像有助于实现精准抠图。因此，如何准确地确定图像对应的掩膜图像成为研究热点。


技术实现要素：

4.本技术实施例提供了一种图像处理方法、装置、计算机设备、存储介质及程序产品，可以准确地确定图像对应的掩膜图像。
5.一方面，本技术实施例提供了一种图像处理方法，该图像处理方法包括
6.获取目标图像及目标图像对应的初始前景掩膜图像；目标图像中包含目标对象，初始前景掩膜图像是对目标图像中的目标对象进行分割处理得到的；对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像；对拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像；对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像；目标前景掩膜图像中包含目标对象对应的目标前景区域，目标前景区域用于指示目标图像中目标对象的所在区域。
7.相应地，本技术实施例提供了一种图像处理装置，该图像处理装置包括：
8.获取单元，用于获取目标图像及目标图像对应的初始前景掩膜图像；目标图像中包含目标对象，初始前景掩膜图像是对目标图像中的目标对象进行分割处理得到的；
9.处理单元，用于对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像；对拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像；对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像；目标前景掩膜图像中包含目标对象对应的目标前景区域，目标前景区域用于指示目标图像中目标对象的所在区域。
10.在一种实现方式中，用于进行优化处理的参考前景掩膜图像的数量为n个，优化处
理的次数为n-1次，n为大于1的整数；处理单元，用于对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像时，具体用于执行如下步骤：
11.对n个参考前景掩膜图像中的第一参考前景掩膜图像和第二参考前景掩膜图像进行第一次优化处理，得到第一个中间前景掩膜图像；对n个参考前景掩膜图像中的第三参考前景掩膜图像和第一个中间前景掩膜图像进行第二次优化处理，得到第二个中间前景掩膜图像；继续进行后续次的优化处理，直至进行第n-1次优化处理得到第n-1个中间前景掩膜图像为止；将第n-1个中间前景掩膜图像确定为目标图像对应的目标前景掩膜图像。
12.在一种实现方式中，处理单元，用于对n个参考前景掩膜图像中的第一参考前景掩膜图像和第二参考前景掩膜图像进行第一次优化处理，得到第一个中间前景掩膜图像时，具体用于执行如下步骤：
13.按照第二参考前景掩膜图像的图像尺寸，对第一参考前景掩膜图像进行上采样处理，得到上采样处理后的第一参考前景掩膜图像；对上采样处理后的第一参考前景掩膜图像进行图像变换处理，得到变换前景掩膜图像，变换前景掩膜图像中包括二义性区域；确定变换前景掩膜图像对应的变换背景掩膜图像；对上采样处理后的第一参考前景掩膜图像和变换背景掩膜图像进行图像融合处理，得到第一融合图像；对第二参考前景掩膜图像和变换前景掩膜图像进行图像融合处理，得到第二融合图像；对第一融合图像和第二融合图像进行图像叠加处理，得到第一个中间前景掩膜图像。
14.在一种实现方式中，参考前景掩膜图像和目标前景掩膜图像是通过前景掩膜优化网络得到的，n-1次优化处理中每次优化处理得到的中间前景掩膜图像均用于对前景掩膜优化网络进行训练；处理单元，用于基于n-1次优化处理中的第i次优化处理得到的第i个中间前景掩膜图像，对前景掩膜优化网络进行训练时，具体用于执行如下步骤：
15.获取第i个中间前景掩膜图像对应的标注前景掩膜图像和标注原始图像，i为小于或等于n-1的正整数；根据第i个中间前景掩膜图像、标注前景掩膜图像和标注原始图像，确定第i次优化处理的网络损失信息；按照减小网络损失信息的方向，优化前景掩膜优化网络的网络参数。
16.在一种实现方式中，处理单元，用于根据第i个中间前景掩膜图像、标注前景掩膜图像和标注原始图像，确定第i次优化处理的网络损失信息时，具体用于执行如下步骤：
17.基于第i个中间前景掩膜图像和标注前景掩膜图像之间的差异性，确定第一损失信息；对第i个中间前景掩膜图像和标注原始图像进行图像融合处理，得到第三融合图像，对标注前景掩膜图像和标注原始图像进行图像融合处理，得到第四融合图像，基于第三融合图像和第四融合图像之间的差异性，确定第二损失信息；对第i个中间前景掩膜图像进行梯度处理，对标注前景掩膜图像进行梯度处理，根据梯度处理后的第i个中间前景掩膜图像和梯度处理后的标注前景掩膜图像之间的差异性，确定第三损失信息；根据第一损失信息、第二损失信息和第三损失信息，确定第i次优化处理的网络损失信息。
18.在一种实现方式中，参考前景掩膜图像和目标前景掩膜图像是通过前景掩膜优化网络得到的；处理单元，还用于执行如下步骤：
19.获取前景掩膜优化网络的训练样本集，训练样本集中至少包括第一样本图像和第二样本图像，第一样本图像中包含第一对象，第二样本图像中包含第二对象；从第一样本图像中分离出包含第一对象的前景图像，将包含第一对象的前景图像与第二样本图像进行图
像叠加处理，得到第三样本图像；从第二样本图像中分离出包含第二对象的前景图像，将包含第二对象的前景图像与第一样本图像进行图像叠加处理，得到第四样本图像；根据第三样本图像和第四样本图像更新训练样本集，目标图像是更新后的训练样本集中的任一图像。
20.在一种实现方式中，用于进行优化处理的参考前景掩膜图像的数量为n个，n为大于1的整数；处理单元，用于对拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像时，具体用于执行如下步骤：
21.基于拼接图像进行m次卷积处理，得到m个卷积特征图；基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像；从m个参考前景掩膜图像中确定n个参考前景掩膜图像，n个参考前景掩膜图像中至少包括m个参考前景掩膜图像中图像尺寸最大的参考前景掩膜图像，m为大于或等于n的整数。
22.在一种实现方式中，处理单元，用于基于拼接图像进行m次卷积处理，得到m个卷积特征图时，具体用于执行如下步骤：
23.对拼接图像进行第一次卷积处理，得到第一次卷积处理的卷积特征图；对第一次卷积处理的卷积特征图进行第二次卷积处理，得到第二次卷积处理的卷积特征图；继续进行后续次的卷积处理，直至得到第m次卷积处理的卷积特征图为止。
24.在一种实现方式中，m次卷积处理包括第j次卷积处理，在进行第j次卷积处理之前，处理单元还用于执行如下步骤：对初始前景掩膜图像进行标准化处理，得到标准前景掩膜图像；
25.处理单元用于进行第j次卷积处理时，具体用于执行如下步骤：对标准前景掩膜图像和第j-1次卷积处理的卷积特征图进行图像叠加处理，得到标准卷积叠加图像；对标准卷积叠加图像进行卷积处理，得到第j次卷积处理的卷积特征图，j为大于1且小于或等于m的正整数。
26.在一种实现方式中，处理单元，用于对初始前景掩膜图像进行标准化处理，得到标准前景掩膜图像时，具体用于执行：
27.对初始前景掩膜图像进行归一化处理，得到归一化前景掩膜图像；对初始前景掩膜图像进行卷积处理，得到调整特征图；根据调整特征图对归一化前景掩膜图像进行调整，得到标准前景掩膜图像。
28.在一种实现方式中，调整特征图包括比例调整特征图和偏置调整特征图；处理单元，用于根据所述调整特征图对所述归一化前景掩膜图像进行调整，得到标准前景掩膜图像时，具体用于执行如下步骤：
29.对归一化前景掩膜图像和比例调整特征图进行图像融合处理，得到第一调整特征图；对第一调整特征图和偏置调整特征图进行图像叠加处理，得到所述标准前景掩膜图像。
30.在一种实现方式中，处理单元，用于基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像时，具体用于执行如下步骤：
31.对第m次卷积处理的卷积特征图进行第一次上采样处理，得到第一次上采样处理的参考前景掩膜图像；对第m-1次卷积处理的卷积特征图和第一次上采样处理的参考前景掩膜图像进行图像叠加处理，得到参考卷积叠加图像，对参考卷积叠加图像进行第二次上采样处理，得到第二次上采样处理的参考前景掩膜图像；继续进行后续次的上采样处理，直
至得到第m次上采样处理的参考前景掩膜图像为止。
32.在一种实现方式中，初始前景掩膜图像中包括目标对象对应的初始前景区域；处理单元，用于对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像时，具体用于执行如下步骤：
33.根据初始前景区域确定图像裁剪区域；根据图像裁剪区域对目标图像进行图像裁剪处理，得到裁剪后的目标图像；根据图像裁剪区域对初始前景掩膜图像进行图像裁剪处理，得到裁剪后的初始前景掩膜图像；对裁剪后的目标图像和裁剪后的初始前景掩膜图像进行图像拼接处理，得到拼接图像。
34.在一种实现方式中，处理单元，用于对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像之后，还用于执行如下步骤：
35.确定目标前景掩膜图像对应的目标背景掩膜图像；根据目标前景掩膜图像对目标图像进行图像分离处理，得到包含目标对象的前景图像；获取参考图像，并根据目标背景掩膜图像对参考图像进行图像分离处理，得到背景图像；对包含所述目标对象的前景图像和背景图像进行图像叠加处理，得到合成图像。
36.相应地，本技术实施例提供一种计算机设备，该计算机设备包括处理器和计算机可读存储介质；其中，处理器适于实现计算机程序，计算机可读存储介质存储有计算机程序，计算机程序适于由处理器加载并执行上述的图像处理方法。
37.相应地，本技术实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被计算机设备的处理器读取并执行时，使得计算机设备执行上述的图像处理方法。
38.相应地，本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的图像处理方法。
39.本技术实施例中，可以获取目标图像和目标图像对应的初始前景掩膜图像，初始前景掩膜图像是对目标图像中的目标对象进行分割处理得到的；其次可以对目标图像和初始前景掩膜图像进行拼接处理，并对拼接处理得到的拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像；然后可以对参考前景掩膜图像进行优化处理，优化处理得到的目标前景掩膜图像中的目标前景区域可以用于准确地指示目标图像中的目标对象的所在区域；也就是说，在对目标图像和初始前景掩膜图像拼接得到的拼接图像进行特征学习得到参考前景掩膜图像后，通过对参考前景掩膜图像进行优化处理，得到的目标前景掩膜区域的准确性相对于参考前景掩膜图像和初始前景掩膜区域均有所提升，从而本技术实施例可以准确地确定出目标图像对应的前景掩膜图像。
附图说明
40.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本技术实施例提供的一种掩膜图像的示意图；
42.图2a是本技术实施例提供的一种前景抠图的示意图；
43.图2b是本技术实施例提出的一种背景抠图的示意图；
44.图3是本技术实施例提供的一种图像处理方法的流程示意图；
45.图4a是本技术实施例提供的一种深度学习分割网络的结构示意图；
46.图4b是本技术实施例提供的一种图像后处理过程的示意图；
47.图5是本技术实施例提供的另一种图像处理方法的流程示意图；
48.图6a是本技术实施例提供的一种前景掩膜优化网络的结构示意图；
49.图6b是本技术实施例提供的一种标准化模块的结构示意图；
50.图6c是本技术实施例提供的一种优化处理过程的示意图；
51.图7是本技术实施例提供的另一种图像处理方法的流程示意图；
52.图8是本技术实施例提供的一种前景掩膜优化网络的训练过程示意图；
53.图9是本技术实施例提供的一种图像处理装置的结构示意图；
54.图10是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
55.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
56.为了更清楚地理解本技术实施例提供的技术方案，在此对本技术实施例涉及的关键术语进行介绍：
57.(1)本技术实施例涉及人工智能(artificial intelligence，ai)。人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
58.(2)本技术实施例涉及人工智能的计算机视觉技术(computer vision，cv)。计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr(optical character recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d(3-dimension)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的生物特征识别技术。
59.(3)本技术实施例涉及计算机视觉技术中的图像处理领域的抠图技术。抠图技术
是指采用图像对应的掩膜图像从该图像中分离出感兴趣内容(例如可以是人物、车辆、花草树木等等)的技术。一般来说，掩膜图像中可以包括感兴趣区域和非感兴趣区域，感兴趣区域又可以包括确定感兴趣区域和不确定感兴趣区域，掩膜图像中的感兴趣区域可以用于从图像中分离出感兴趣内容。掩膜图像中位于确定感兴趣区域内的像素点的像素值可以为1，位于非感兴趣区域内的像素点的像素值可以为0，位于不确定感兴趣区域内的像素点的像素值属于区间(0，1)，该不确定感兴趣区域可以理解为图像中人物发丝、衣服网纱等内容的所在区域。像素值为1的像素点在掩膜图像中可以呈现为白色，像素值为0的像素点在掩膜图像中可以呈现为黑色，像素值属于区间(0，1)的像素点在掩膜图像中可以呈现为灰色，并且属于区间(0，1)的不同像素值的像素点在掩膜图像中呈现的灰色不同，例如像素值为0.5的像素点在掩膜图像中呈现的灰色与像素值为0.2的像素点在掩膜图像中呈现的灰色不相同；以图1所示的掩膜图像为例，该掩膜图像中的感兴趣区域用于从图像中分离出人物，确定感兴趣区域在掩膜图像中呈现为白色，非感兴趣区域在掩膜图像中呈现为黑色，人物发丝所在的不确定感兴趣区域在掩膜图像中呈现为灰色。
60.本技术实施例中可以将掩膜图像分为两类，一类为前景掩膜图像，另一类为背景掩膜图像。对于任一张图像而言，该图像的前景掩膜图像与背景掩膜图像是相对存在的；前景掩膜图像是指感兴趣区域为前景区域的掩膜图像，前景区域可以指示该图像中目标对象(例如可以是人物、车辆、树木、花朵等任意对象)的所在区域，其可以用于从该图像中分离出包含目标对象的前景图像；背景掩膜图像是指感兴趣区域为背景区域的掩膜图像，背景区域可以指示该图像中除目标对象外的其他图像内容的所在区域，其可以用于从图像中分离出包含其他图像内容的背景图像。需要说明的是，背景掩膜图像可以是根据前景掩膜图像确定的，背景掩膜图像可以是采用与前景掩膜图像具有相同图像尺寸的模板图像减去前景掩膜图像后得到的图像，即背景掩膜图像中各点的像素值可以等于模板图像中对应像素点的像素值减去前景掩膜图像中对应像素点的像素值，模板图像中各点的像素值可以为目标像素值(例如可以是1)。如图2a所示，采用前景掩膜图像201可以从图像202中分理出包含目标对象203的前景图像204；如图2b所示，背景掩膜图像205是根据图2a所示的前景掩膜图像201确定的，采用背景掩膜图像205可以从图像202中分理出包含除目标对象203外的其他图像内容的背景图像206。
61.基于上述关键术语的相关描述，本技术实施例提供了一种图像处理方案，该图像处理方案对于任意给定的目标图像和对目标图像中的目标对象进行粗分分割得到的粗略前景掩膜图像，可以得到目标图像对应的精准前景掩膜图像，精准前景掩膜图像中的前景区域可以准确地指示目标图像中目标对象的所在位置，即采用精准前景掩膜图像可以精准地从目标图像中分离出目标对象。本技术实施例可以将语义分割和抠图效果进行解耦，语义可以理解为是图像中各个像素点的像素值所指示的对象类型，例如某个像素点的像素值指示的对象类型为天空，某个像素点的像素值指示的对象类型为草地，等等；语义分割和抠图效果解耦是指：本技术实施例不需要精细化的对象类别，能够实现对任意对象的适配，对目标图像给定粗分割导引后，便可以针对粗分割导引标定的目标对象得到精细化的前景掩膜图像，从而可以基于精细化的前景掩膜图像进行精准抠图。另外，本技术实施例提供的图像处理方案可以集成为即插即用的功能模块，该功能模块可以是具备图像处理能力的应用程序、软件、插件，本技术实施例对此不进行限定；当需要图像处理能力时，可以调用该功能
模块准确地确定图像对应的前景掩膜图像，从而实现精准抠图。
62.在具体实现中，本技术实施例提供的图像处理方案可以由一个计算机设备执行，该计算机设备可以是终端或服务器；本技术实施例提及的终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、智能语音交互设备、智能家电、车载终端、飞行器、头戴式设备等，但并不局限于此；本技术实施例提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统。
63.值得一提的是，当目标对象为人物时，本技术实施例的图像处理方案提供的精准前景掩膜图像可以对人物的发丝、衣服网纱等区域进行精准抠图，在合成新图像时使得新图像中的人像与背景的融合度更好，提升合成的新图像的真实感，这样在影集制作、影视处理、视频制作、短视频制作、特效贴图等场景中具有较大的落地价值。当目标对象为非人物的其他任意物体时，可以对图像或视频中感兴趣的前景进行抠图，对分离出的前景或背景区域添加特效素材，实现各种不同的玩法方案。特别地，该图像处理方案还可以应用于智慧交通、辅助驾驶等场景中，例如，车辆在运行过程中，可以对周围环境图像中的交通标识、交通信号灯、存在安全隐患的障碍物等进行精准抠图，在智慧交通、辅助驾驶等场景中起到提醒作用。
64.可以理解的是，在本技术的具体实施方式中，涉及到包含人物的图像等相关的数据，当本技术以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
65.下面结合附图对本技术实施例提供的图像处理方案进行更为详细地介绍。
66.本技术实施例提供一种图像处理方法，该图像处理方法可以由前述所提及的计算机设备执行。本技术实施例主要从网络应用角度对图像处理方法进行介绍，重点介绍了对目标图像中的目标对象的分割过程、图像拼接处理过程、以及基于优化处理得到的目标前景掩膜图像的图像后处理过程。如图3所示，该图像处理方法可以包括以下步骤s301至步骤s304：
67.s301，获取目标图像及目标图像对应的初始前景掩膜图像。
68.目标图像中可以包含目标对象，初始前景掩膜图像可以是对目标图像中的目标对象进行分割处理得到的，对目标图像中的目标对象进行分割处理可以是通过深度学习分割网络进行的。在此先结合图4a对深度学习分割网络的网络结构进行介绍：深度学习分割网络为一个采用深度可分离卷积结构设计的具有区分一般对象前景背景能力的语义分割模型，深度学习分割网络中可以包括编码器(encoder)和解码器(decoder)，深度学习分割网络中的编码器可以卷积(例如可以是深度可分离卷积)为基础结构的模块堆叠而成，深度学习分割网络中的解码器可以反卷积结构(例如可以是深度可分离反卷积)逐层对特征图进行上采样处理；深度学习分割网络的编码器和深度学习分割网络的解码器之间可以通过跳跃链接(skip connection)进行浅层特征和深层特征的特征传递，使得整体网络能够融合不同阶段的特征，通过浅层特征中的语义信息和深层特征中的结构信息指导深度学习分割网络输出目标图像对应的初始前景掩膜图像。
69.为了便于描述深度学习分割网络对目标图像中的目标对象进行分割处理的过程，在此可以将深度学习分割网络中的编码器包括的卷积结构表示为x层，可以将深度学习分割网络中的解码器包括的反卷积结构表示为x层，x为大于1的整数。深度学习分割网络对目
标图像中的目标对象进行分割处理的过程可以包括：调用x层卷积结构基于目标图像进行x次卷积处理，得到x层卷积结构的卷积特征图，然后可以调用x层反卷积结构基于x层卷积结构的卷积特征图进行x次上采样处理，得到目标图像对应的初始前景掩膜图像。
70.其中，调用x层卷积结构基于目标图像进行x次卷积处理，得到x层卷积结构的卷积特征图的过程可以包括：调用第一层卷积结构对目标图像进行第一次卷积处理，得到第一层卷积结构的卷积特征图；调用第二层卷积结构对第一层卷积结构的卷积特征图进行第二次卷积处理，得到第二层卷积结构的卷积特征图；继续进行后续次的卷积处理，直至得到第x层卷积结构的卷积特征图为止。
71.调用x层反卷积结构基于x层卷积结构的卷积特征图进行x次上采样处理，得到目标图像对应的初始前景掩膜图像的过程可以包括：调用第一层反卷积结构对第x层卷积结构的卷积特征图进行上采样处理，得到第一层反卷积结构的上采样特征图；对第一层反卷积结构的上采样特征图和第x-1层卷积结构的卷积特征图进行图像叠加处理，然后调用第二层反卷积结构对叠加处理得到的特征图进行上采样处理，得到第二层反卷积结构的上采样特征图；继续进行后续次的上采样处理，直至得到第x层反卷积结构的上采样特征图，第x层反卷积结构的上采样特征图即初始前景掩膜图像。需要说明的是，对第一层反卷积结构的上采样特征图和第x-1层卷积结构的卷积特征图进行图像叠加处理是指：将第一层反卷积结构的上采样特征图中各像素点的像素值与第x-1层卷积结构的卷积特征图中对应像素点的像素值相加，得到叠加处理得到的特征图中对应像素点的像素值。
72.图4a所示的深度学习分割网络是以深度可分离卷积为基础结构的“编码器-解码器”网络结构，可以使得采用深度学习分割网络对图像中的任意对象进行分割处理时极大地减少了深度学习分割网络的计算量(整体网络的计算量在1g flpos(floating point operations))和参数量，而同时又能够保证深度学习分割网络具备一定的分割效果。
73.s302，对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像。
74.在获取到目标图像和目标图像对应的初始前景掩膜图像之后，可以对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像。其中，图像拼接处理可以包括直接图像拼接处理或间接图像拼接处理，下面分别对这两种图像拼接处理方式进行介绍：
75.第一种，直接图像拼接处理。对目标图像和初始前景掩膜图像进行直接图像拼接处理是指：在对目标图像和初始前景掩膜图像进行图像拼接处理之前，不需要对目标图像和初始前景掩膜图像进行任何额外处理，直接将目标图像和初始前景掩膜图像进行图像拼接处理即可。具体来说，目标图像为多通道图像，即目标图像中可以包括多个通道的图像，初始前景掩膜图像为单通道图像，可以按照通道维度对目标图像中包含的多个通道的图像和初始前景掩膜图像进行通道拼接处理，得到拼接图像，拼接图像中的图像通道数可以等于目标图像中的图像通道数加1。
76.举例来说，当目标图像的色彩模式为rgb(red，green，blue)模式时，目标图像中包括3个通道的图像，分别是r通道的图像(即红色通道的图像)、g通道的图像(即绿色通道的图像)和b通道的图像(即蓝色通道的图像)；可以将目标图像中r通道的图像、g通道的图像、b通道的图像与初始前景掩膜图像进行通道凭借处理，得到拼接图像，拼接图像中包括4个通道的图像。
77.第二种，间接图像拼接处理。对目标图像和初始前景掩膜图像进行间接图像拼接
处理是指：在对目标图像和初始前景掩膜图像进行图像拼接处理之前，可以先对目标图像和初始前景掩膜图像进行图像裁剪处理，然后可以对裁剪后的目标图像和裁剪后的初始前景掩膜图像进行图像拼接处理。其中，对目标图像和初始前景掩膜图像进行图像裁剪处理的过程可以包括：初始掩膜图像中可以包括目标对象对应的初始前景区域，可以根据初始前景区域确定图像裁剪区域，然后可以根据图像裁剪区域对目标图像和初始前景掩膜图像进行图像裁剪处理。根据初始前景区域确定图像裁剪区域的过程可以包括：可以确定初始前景区域的最小外接矩形，然后可以对最小外接矩形进行外扩处理，得到图像裁剪区域，例如将最小外接矩形的长和宽均扩大1厘米，或者将最小外接矩形的长扩大1厘米，宽扩大0.5厘米；最小外接矩形是指以二维坐标表示的初始前景区域的最小包围矩形，可以根据初始前景区域的各个像素点中的最大横坐标、最大纵坐标，最小横坐标、最小纵坐标确定初始前景区域的最小外接矩形。
78.类似地，裁剪后的目标图像为多通道图像，即裁剪后的目标图像中可以包括多个通道的图像，裁剪后的初始前景掩膜图像为单通道图像，可以按照通道维度对裁剪后的目标图像中包含的多个通道的图像和裁剪后的初始前景掩膜图像进行通道拼接处理，得到拼接图像，拼接图像中的图像通道数可以等于裁剪后的目标图像中的图像通道数加1。
79.s303，对拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像。
80.s304，对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像。
81.步骤s303-步骤s304中，在对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像之后，可以对拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像；然后可以对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像；目标前景掩膜图像中可以包含目标对象对应的目标前景区域，目标前景区域用于指示目标图像中目标对象的所在区域。
82.其中，对拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像的过程可以包括：可以基于拼接图像进行m次卷积处理，得到m个卷积特征图，基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像；然后可以从m个参考前景掩膜图像中确定n个参考前景掩膜图像，n个参考前景掩膜图像可以用于进行优化处理，n个参考前景掩膜图像中至少可以包括m个参考前景掩膜图像中图像尺寸最大的参考前景掩膜图像，这样可以保证优化处理得到的目标前景掩膜图像的图像尺寸与拼接图像中的目标图像的图像尺寸相同，n为大于1的整数，m为大于或等于n的整数。在确定用于进行优化处理的n个参考前景掩膜图像后，可以对n个参考前景掩膜图像进行n-1次优化处理，得到目标图像对应的目标前景掩膜图像。
83.在对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像之后，还可以基于目标前景掩膜图像对目标图像进行图像后处理；图像后处理是指采用目标前景掩膜图像分离出目标图像中的目标对象，然后将目标对象与新背景结合生成新图像的过程。基于目标前景掩膜图像对目标图像进行图像后处理的过程可以包括：
84.(1)可以确定目标前景掩膜图像对应的目标背景掩膜图像；确定目标背景掩膜图像的过程可以理解为是：采用与目标前景掩膜图像具有相同图像尺寸的模板图像减去目标前景掩膜图像后得到的图像，模板图像中各个像素点的像素值均为目标像素值(例如可以
是1)，也就是说，目标背景掩膜图像中各像素点的像素值等于模板图像中对应像素点的像素值减去目标前景掩膜图像中对应像素点的像素值。(2)可以根据目标前景掩膜图像对目标图像进行图像分离处理，得到包含目标对象的前景图像；根据目标前景掩膜图像对目标图像进行图像分离处理是指：采用目标前景掩膜图像中各像素点的像素值与目标图像中对应像素点的像素值相乘，得到前景图像中对应像素点的像素值；采用目标前景掩膜图像与目标图像相乘后，可以保留目标图像中目标对象的像素值。(3)可以获取参考图像，并可以根据目标背景掩膜图像对参考图像进行图像分离处理，得到背景图像，参考图像是指为目标对象提供新背景的图像；类似地，根据目标背景掩膜图像对参考图像进行图像分离处理是指：采用目标背景掩膜图像中各像素点的像素值与参考图像中对应像素点的像素值相乘，得到背景图像中对应像素点的像素值；采用目标背景掩膜图像与参考图像相乘后，可以保留为目标对象提供的新背景。(4)可以对包含目标对象的前景图像和背景图像进行图像叠加处理，得到合成图像；对前景图像和背景图像进行图像叠加处理是指：将前景图像中各像素点的像素值与背景图像中对应像素点的像素值相加，得到合成图像中对应像素点的像素值。上述图像后处理的过程可表示为下述公式1：
85.pred
final
＝pred*raw (1-pred)*back
ꢀꢀꢀꢀ
公式1；
86.下面对上述公式1中的参数进行解释：pred
final
可以表示合成图像，pred可以表示目标前景掩膜图像，raw可以表示目标图像，(1-pred)可以表示目标背景掩膜图像，back可以表示参考图像。需要说明的是，本技术实施例中可以直接采用目标前景掩膜图像进行新图像的合成，即上述(1)-(4)所描述的内容；本技术实施例中还可以对目标前景掩膜图像进行图像激活处理(例如可以是采用sigmoid函数进行图像激活处理)，采用图像激活处理后的目标前景掩膜图像进行新图像的合成，即可以确定图像激活处理后的目标前景掩膜图像对应的目标背景掩膜图像，并根据图像激活处理后的目标前景掩膜图像对目标图像进行图像分离处理，得到包含目标对象的前景图像，然后可以获取参考图像，并根据目标背景掩膜图像对参考图像进行图像分离处理，得到背景图像，最后可以对包含目标对象的前景图像和背景图像进行图像叠加处理，得到合成图像。通过对目标前景掩膜图像进行图像激活处理，可以进一步提升目标前景掩膜图像的准确性。上述图像后处理过程可参见图4b所示的示例，图4b以目标图像中的目标对象是人物为例进行示意，通过图4b不难看出，通过本技术实施例中的优化处理得到的目标前景掩膜图像可以对人物的发丝、衣服边缘等精细区域实现精准抠图，并且分离出的目标对象与新背景可以高度融合，有效提升了抠图效果和新图像合成效果。
87.本技术实施例中，通过对目标图像和初始前景掩膜图像进行拼接后得到的拼接图像进行特征学习，可以在特征学习过程中将目标图像中目标对象的边缘细节特征融合至初始前景掩膜图像的初始前景区域中，可以在特征学习过程中不断提升初始前景掩膜图像中的初始前景区域的准确性；并且在间接图像拼接处理的方式中，采用图像裁剪区域对初始前景掩膜图像和目标图像进行图像裁剪处理，可以消除初始前景掩膜图像中可能存在的大面积背景误分割，这样有利于在特征学习过程中集中学习前景区域的相关特征。
88.本技术实施例提供一种图像处理方法，该图像处理方法可以由前述所提及的计算机设备执行，本技术实施例主要从网络应用角度对图像处理方法进行介绍，重点介绍了对拼接图像的特征学习(即前述提及的m次卷积处理和m次上采样处理)过程、以及对初始前景
掩膜图像的优化处理(即前述提及的n-1次优化处理)过程。如图5所示，该图像处理方法可以包括以下步骤s501至步骤s506：
89.s501，获取目标图像及目标图像对应的初始前景掩膜图像。
90.本技术实施例中步骤s501的执行过程与上述图3所示实施例中步骤s301的执行过程相同，具体可参见上述图3所示实施例中步骤s301的描述，在此不再赘述。
91.s502，对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像。
92.本技术实施例中步骤s502的执行过程与上述图3所示实施例中步骤s302的执行过程相同，具体可参见上述图3所示实施例中步骤s302的描述，在此不再赘述。
93.对本技术实施例中的步骤s503-步骤s506进行介绍之前需要说明的是，本技术实施例中的特征学习过程和优化处理过程均是调用前景掩膜优化网络执行的，也就是说，本技术实施例中步骤s503-步骤s506是调用前景掩膜优化网络执行的。为了更清楚地理解本技术实施例中的特征学习过程和优化处理过程，在此先结合图6a对前景掩膜优化网络：前景掩膜优化网络中可以包括编码器(en coder)、解码器(decoder)、标准化模块(spade模块)和优化模块(prm模块)。其中：
①
前景掩膜优化网络中的编码器可以卷积为基础结构的模块堆叠而成，拼接图像可以输入前景掩膜优化网络的编码器中进行卷积处理；为了便于描述基于前景掩膜优化网络的特征学习过程，可以将前景掩膜优化网络中的编码器包括的卷积结构表示为m层，图6a以前景掩膜优化网络中的编码器包括4层卷积结构进行示例。
②
前景掩膜优化网络中的解码器可以反卷积结构逐层对特征图进行上采样处理，为了便于描述基于前景掩膜优化网络的特征学习过程，可以将前景掩膜优化网络中的解码器包括的反卷积结构表示为m层，图6a以前景掩膜优化网络中的解码器包括4层反卷积结构进行示例。并且，前景掩膜优化网络的编码器和前景掩膜优化网络的解码器之间可以通过跳跃链接(skip conn ection)进行浅层特征和深层特征的特征传递，使得前景掩膜优化网络的解码器能够融合不同阶段的特征，通过浅层特征中的语义信息和深层特征中的结构信息指导前景掩膜优化网络的解码器输出目标图像对应的参考前景掩膜图像。
③
spade模块可以用于对初始前景掩膜图像进行标准化处理，得到标准前景掩膜图像，标准前景掩膜图像可以与前景掩膜优化网络中的编码器中的某一层或多层卷积结构输出的特征图相加，相加得到的特征图可以作为后续网络的输入；图6a以spade模块标准化处理得到的标准化前景掩膜图像与前景掩膜优化网络中的编码器中的第二层卷积网络结构输出的特征图相加进行示例。
④
前景掩膜优化网络中可以包括一个或多个prm模块，当前景掩膜优化网络中包括多个prm模块时，多个prm模块之间可以对前景掩膜优化网络的解码器输出的参考前景掩膜图像进行逐层优化，并将最后一个prm模块输出的前景掩膜图像确定为目标图像对应的目标前景掩膜图像。
94.s503，基于拼接图像进行m次卷积处理，得到m个卷积特征图。
95.在对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像之后，可以基于拼接图像进行m次卷积处理，得到m个卷积特征图。由前述内容可知，m次卷积处理是调用前景掩膜优化网络中的编码器中的m层卷积结构执行的，调用m层卷积结构基于拼接图像进行m次卷积处理，得到m个卷积特征图的过程可以包括：调用第一层卷积结构对拼接图像进行第一次卷积处理，得到第一次卷积处理的卷积特征图；调用第二层卷积结构对第一次卷积处理的卷积特征图进行第二次卷积处理，得到第二次卷积处理的卷积特征图；继续进
行后续次的卷积处理，直至得到第m次卷积处理的卷积特征图为止。
96.由前述内容可知，spade模块可以用于对初始前景掩膜图像进行标准化处理，得到标准前景掩膜图像，标准前景掩膜图像可以与前景掩膜优化网络中的编码器中的某一层或多层卷积结构输出的特征图相加，相加得到的特征图可以作为后续网络的输入。在此以标准前景掩膜图像与前景掩膜优化网络中的编码器中的某一层卷积结构(可以表示为第j-1层卷积结构)输出的特征图相加，然后将相加得到的特征图输入第j层卷积结构的第j次卷积处理过程为例进行介绍：可以调用spade模块对初始前景掩膜图像进行标准化处理，得到标准前景掩膜图像；可以对标准前景掩膜图像和第j-1次卷积处理的卷积特征图进行图像叠加处理，得到标准卷积叠加图像，对标准前景掩膜图像和第j-1次卷积处理的卷积特征图进行图像叠加处理是指：将标准前景掩膜图像中各像素点的像素值与第j-1次卷积处理的卷积特征图中对应像素点的像素值相加，得到标准卷积叠加图像中对应像素点的像素值；然后，可以对标准卷积叠加图像进行卷积处理，得到第j次卷积处理的卷积特征图，j为大于1且小于或等于m的正整数。
97.在对spade模块的标准化处理过程进行介绍之前，在此先结合图6b对spade模块的结构进行介绍：spade(spatially-adaptive(de)normalization)模块作为一种条件标准化方法，spade模块中可以包括批标准化结构(batch normalization)和卷积结构；其中，批标准化结构可以在通道等级上对初始前景掩膜图像进行归一化处理，得到归一化前景掩膜图像；卷积结构可以用于从初始前景掩膜图像中学习调整特征图，调整特征图可以包括比例调整特征图(scale，在图6b中表示为γ)和偏置调整特征图(bias，在图6b中表示为β)，调整特征图可以用于对归一化前景掩膜图像进行调整，得到标准前景掩膜图像。
98.基于图6b所示的spade模块的结构，调用spade模块对所述初始前景掩膜图像进行标准化处理，得到标准前景掩膜图像的过程，可以包括：调用批规整结构对初始前景掩膜图像进行归一化处理，得到归一化前景掩膜图像；调用spade模块中的卷积结构对初始前景掩膜图像进行卷积处理，得到调整特征图；根据调整特征图对归一化前景掩膜图像进行调整，得到标准前景掩膜图像。
99.其中，调整特征图可以包括比例调整特征图和偏置调整特征图，根据调整特征图对归一化前景掩膜图像进行调整，得到标准前景掩膜图像的过程可以包括：对归一化前景掩膜图像和比例调整特征图进行图像融合处理，得到第一调整特征图，对归一化前景掩膜图像和比例调整特征图进行图像融合处理是指：将归一化前景掩膜图像中各像素点的像素值与比例调整特征图中各像素点的像素值相乘，得到第一调整特征图中对应像素点的像素值；比例调整特征图可以用于对归一化前景掩膜图像进行比例调整，比例调整是指根据比例调整特征图对归一化前景掩膜图像中的像素值进行缩放处理，也就是说，对归一化前景掩膜图像和比例调整特征图进行图像融合处理的是指是，根据比例调整特征图对归一化前景掩膜图像中的像素值进行缩放处理。然后，可以对第一调整特征图和偏置调整特征图进行图像叠加处理，得到标准前景掩膜图像，对第一调整特征图和偏置调整特征图进行图像叠加处理是指：将第一调整特征图中各像素点的像素值与偏置调整特征图中对应像素点的像素值相加，得到标准前景掩膜图像中对应像素点的像素值；偏移调整特征图可以用于对第一调整特征图进一步进行偏置调整，偏置调整是指根据偏置调整特征图对第一调整特征图中的像素值进行平移处理，也就是说，对第一调整特征图和偏置调整特征图进行图像叠
加处理的实质，是根据偏置调整特征图对第一调整特征图中的像素值进行平移处理。
100.本技术实施例中，初始前景掩膜图像可以反映目标图像中的语义信息(即目标图像中的哪些像素点的语义为前景，目标图像中的哪些像素点的语义为背景)，spade模块可以加强初始前景掩膜图像中语义信息的重要性，并将包含加强语义信息的标准前景掩膜图像引入前景掩膜优化网络的编码器中，结合卷积结构输出的卷积特征图进行特征学习，这样可以增强前景掩膜优化网络的整体网络结构获取目标图像的语义信息的能力。
101.s504，基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像。
102.在基于拼接图像进行m次卷积处理，得到m个卷积特征图之后，可以基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像。由前述内容可知，m次上采样处理是调用前景掩膜优化网络中的解码器中的m层反卷积结构执行的，调用m层反卷积结构基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像的过程可以包括：调用第一层反卷积结构对第m次卷积处理的卷积特征图进行第一次上采样处理，得到第一次上采样处理的参考前景掩膜图像；对第m-1次卷积处理的卷积特征图和第一次上采样处理的参考前景掩膜图像进行图像叠加处理，得到参考卷积叠加图像，调用第二层反卷积结构对参考卷积叠加图像进行第二次上采样处理，得到第二次上采样处理的参考前景掩膜图像；继续进行后续次的上采样处理，直至得到第m次上采样处理的参考前景掩膜图像为止。其中，对第m-1次卷积处理的卷积特征图和第一次上采样处理的参考前景掩膜图像进行图像叠加处理是指：对第m-1次卷积处理的卷积特征图中各像素点的像素值与第一次上采样处理的参考前景掩膜图像中对应像素点的像素值相加，得到参考卷积叠加图像中对应像素点的像素值。
103.s505，从m个参考前景掩膜图像中确定n个参考前景掩膜图像。
104.在基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像之后，可以从m个参考前景掩膜图像中确定用于进行优化处理的n个参考前景掩膜图像，n个参考前景掩膜图像是m个参考前景掩膜图像中的部分或全部参考前景掩膜图像。其中，n个参考前景掩膜图像中至少可以包括m个参考前景掩膜图像中图像尺寸最大的参考前景掩膜图像，即n个参考前景掩膜图像中至少包括第m次上采样处理的参考前景掩膜图像。
105.s506，对n个参考前景掩膜图像进行n-1次优化处理，得到目标图像对应的目标前景掩膜图像。
106.从m个参考前景掩膜图像中确定n个参考前景掩膜图像之后，可以对n个参考前景掩膜图像进行n-1次优化处理，得到目标图像对应的目标前景掩膜图像。由前述内容可知，前景掩膜优化网络中可以包括一个或多个prm模块，一次优化处理可以是调用一个prm模块执行的，也就是说，n-1次优化处理可以是调用n-1个prm模块执行的。调用n-1个prm模块对n个参考前景掩膜图像进行n-1次优化处理，得到目标图像对应的目标前景掩膜图像的过程，可以包括：可以调用第一个prm模块对n个参考前景掩膜图像中的第一参考前景掩膜图像和第二参考前景掩膜图像进行第一次优化处理，得到第一个中间前景掩膜图像，第一参考前景掩膜图像的图像尺寸小于第二参考前景掩膜图像的图像尺寸；然后，可以调用第二个prm模块对n个参考前景掩膜图像中的第三参考前景掩膜图像和第一个中间前景掩膜图像进行第二次优化处理，得到第二个中间前景掩膜图像，第三参考前景掩膜图像的图像尺寸大于第一个中间前景掩膜图像的图像尺寸；然后，可以继续进行后续次的优化处理，直至调用第
n-1个prm模块进行第n-1次优化处理得到第n-1个中间前景掩膜图像为止，并将第n-1个中间前景掩膜图像确定为目标图像对应的目标前景掩膜图像。可见，n-1个prm模块之间可以对参考前景掩膜图像进行逐层细化，每一次优化处理都可以在一定程度上对增加前景区域的边缘细节，随着优化次数的逐渐增加，前景区域的边缘细节逐渐丰富，前景区域越准确。
107.需要说明的是，n-1次优化处理中的每次优化处理的过程均是相同的，在此以第一次优化处理为例，对优化处理的过程进行介绍，n-1次优化处理中除第一次优化处理外的其他次优化处理的过程，可以参见第一次优化处理的过程。下面结合图6c，对第一次优化处理的过程进行介绍，调用第一个prm模块对n个参考前景掩膜图像中的第一参考前景掩膜图像和第二参考前景掩膜图像进行第一次优化处理，得到第一个中间前景掩膜图像的过程，可以包括：
108.(1)按照第二参考前景掩膜图像的图像尺寸，对第一参考前景掩膜图像进行上采样处理，得到上采样处理后的第一参考前景掩膜图像。上采样处理后的第一参考前景掩膜图像的图像尺寸与第二参考前景掩膜图像的图像尺寸相同。
109.(2)对上采样处理后的第一参考前景掩膜图像进行图像变换处理，得到变换前景掩膜图像，变换前景掩膜图像中包括二义性区域。图像变换处理可以理解为是一种像素值映射处理，即通过映射函数将上采样处理后的第一参考前景掩膜图像中各个像素点的像素值映射为变换前景掩膜图像中对应像素点的像素值，映射函数可参见下述公式2：
[0110][0111]
下面对上述公式2中的参数进行解释：可以表示变换前景掩膜图像中的目标像素点(x,y)的像素值，目标像素点可以是变换前景掩膜图像中的任一个像素点；α
k-1
(x,y)可以表示目标像素点(x,y)在上采样处理后的第一参考前景掩膜图像中的对应像素点的像素值。下面对上述公式2的含义(即图像变换处理的含义)进行说明：若上采样处理后的第一参考前景掩膜图像中某个像素点的像素值属于区间(0，1)，则可以将该像素点的像素值映射为1；若上采样处理后的第一参考前景掩膜图像中某个像素点的像素值不属于区间(0，1)，例如像素值为0或1，则可以将该像素点的像素值映射为0；对上采样处理后的第一参考前景掩膜图像中各个像素点均按照上述公式进行映射后，得到变换前景掩膜图像。需要说明的是，变换前景掩膜图像中包含的前景区域是置信度低的二义性区域(即前述所提及的不确定感兴趣区域)；所谓的二义性区域是指，属于该二义性区域内的像素点的像素值属于区间(0，1)，这些像素点的像素值对应的语义是不确定的，即不能确定属于二义性区域内的像素点的像素值表达的语义为前景或背景，并且二义性区域中往往包含有前景区域的边缘细节。
[0112]
(3)确定变换前景掩膜图像对应的变换背景掩膜图像。确定变换背景掩膜图像的过程可以理解为是：采用与变换前景掩膜图像具有相同图像尺寸的模板图像减去变换背景掩膜图像后得到的图像，模板图像中各个像素点的像素值均为目标像素值(例如可以是1)，也就是说，变换背景掩膜图像中各像素点的像素值等于模板图像中对应像素点的像素值减去变换前景掩膜图像中对应像素点的像素值。变换背景掩膜图像中可以包含置信度高的前景区域。
[0113]
(4)对上采样处理后的第一参考前景掩膜图像和变换背景掩膜图像进行图像融合处理，得到第一融合图像。对上采样处理后的第一参考前景掩膜图像和变换背景掩膜图像进行图像融合处理是指：采用上采样处理后的第一参考前景掩膜图像中各像素点的像素值与变换背景掩膜图像中对应像素点的像素值相乘，得到第一融合图像中对应像素点的像素值。
[0114]
(5)对第二参考前景掩膜图像和变换前景掩膜图像进行图像融合处理，得到第二融合图像。对第二参考前景掩膜图像和变换前景掩膜图像进行图像融合处理，得到第二融合图像是指：采用第二参考前景掩膜图像中各像素点的像素值与变换前景掩膜图像中对应像素点的像素值相乘，得到第二融合图像中对应像素点的像素值。
[0115]
(6)对第一融合图像和第二融合图像进行图像叠加处理，得到第一中间前景掩膜图像。对第一融合图像和第二融合图像进行图像叠加处理，得到第一中间前景掩膜图像是指：将第一融合图像中各像素点的像素值与第二融合图像中对应像素点的像素值相加，得到第一中间前景掩膜图像中对应像素点的像素值。
[0116]
上述(3)-(6)的过程可参见下述公式的描述：
[0117]
αk＝α
′
kgk
α
k-1
(1-gk)
ꢀꢀꢀꢀ
公式3；
[0118]
下面对上述公式3中的参数进行介绍：αk可以表示第一个中间前景掩膜图像；α
′k可以表示第二参考前景掩膜图像；gk可以表示变换前景掩膜图像；α
′
kgk
可以表示第一融合图像；α
k-1
可以表示上采样处理后的第一参考前景掩膜图像；(1-gk)可以表示变换背景掩膜图像；α
k-1
(1-gk)可以表示第二融合图像。
[0119]
由上述公式3以及上述(1)-(6)可以看出，优化处理的实质是将第一参考前景掩膜图像中置信度高的前景区域与第二参考前景掩膜图像中置信度低的二义性区域进行融合叠加，由于二义性区域中往往包含有前景区域的边缘细节，将置信度高的前景区域和置信度低的二义性区域进行融合处理，可以增加前景区域中的边缘细节，提升前景区域的准确性；并且经过多层级优化处理，可以不断丰富前景区域的边缘细节，使得最终优化处理可以得到准确的目标前景掩膜图像。
[0120]
本技术实施例中，可以在对拼接图像进行m次卷积处理、m次上采样处理的过程中，将目标图像中目标对象的边缘细节特征融合至初始前景掩膜图像的初始前景区域中，得到参考前景掩膜图像，相比于初始前景掩膜图像中的前景区域，参考前景掩膜图像中的前景区域可以更准确地指示目标图像中的目标对象的所在区域。通过逐层优化处理，可以不断地将置信度高的前景区域和置信度低但包含目标对象更多边缘细节的二义性区域进行融合处理，逐层提升前景掩膜图像的准确性。并且，本技术实施例中前景掩膜优化网络输出的目标前景掩膜图像对于人物一类的目标对象，可以在保证准确分离目标图像中的目标对象的同时，可以有效界定包含目标对象的边缘细节的二义性区域，这样在出现目标图像的背景与前景rgb颜色空间相近或出现极端光照情况下仍能保证清晰的边缘。本技术实施例中前景掩膜优化网络输出的目标前景掩膜图像对于非人物一类的目标对象，可以处理不同对象的不同特点，比如动物的毛发、建筑物的平滑边缘、布料的网纱等等呈现不同特点的对象，都能够自动的生成准确地抠图结果。
[0121]
本技术实施例提供一种图像处理方法，该图像处理方法可以由前述所提及的计算机设备执行，本技术实施例主要从网络训练角度对图像处理方法进行介绍，重点介绍了深
度学习分割网络和前景掩膜优化网络得训练过程、以及用于进行网络训练的训练样本集的训练样本扩充过程。如图7所示，该图像处理方法可以包括以下步骤s701-步骤s708：
[0122]
s701，获取目标图像及目标图像对应的初始前景掩膜图像。
[0123]
由前述内容可知，初始前景掩膜图像可以是对目标图像中的目标对象进行分割处理得到的，对目标图像中的目标对象进行分割处理可以是通过深度学习分割网络进行的。在此对深度学习分割网络的训练过程进行介绍：可以获取深度学习分割网络的训练样本集，训练样本集中可以包括多张训练图像；基于图4a所示的深度学习分割网络的网络结构，可以调用x层卷积结构基于训练图像进行x次卷积处理，得到x层卷积结构的卷积特征图，然后可以调用x层反卷积结构基于x层卷积结构的卷积特征图进行x次上采样处理，得到训练图像对应的训练前景掩膜图像；可以基于训练图像对应的训练前景掩膜图像与训练图像对应的标注前景掩膜图像之间的差异性确定深度学习分割网络的网络损失信息；然后，可以按照减小深度学习分割网络的网络损失信息的方向，优化深度学习分割网络的网络参数。
[0124]
其中，网络损失信息即损失值，本技术实施例所提及的“按照减小深度学习分割网络的网络损失信息”是指：以最小化网络损失信息(即网络损失信息小于或等于第一损失阈值)为目标的网络优化方向，也就是说，此处的方向是指将最小化网络损失信息作为减小深度学习分割网络的网络损失信息的目标；通过此方向优化深度学习分割网络的网络参数，即按照该方向调整深度学习分割网络的网络参数的大小，使得深度学习分割网络在每次优化后所再次产生的网络损失信息，需小于深度学习分割网络在优化前所产生的网络损失信息。例如，本次计算得到的深度学习分割网络的网络损失信息为0.85，那么通过按照减小网络损失信息的方向优化深度学习分割网络后，通过深度学习分割网络所产生的网络损失信息应小于0.85。另外，当整体网络需要确定包含目标类型对象(例如人物对象、鸟类对象或车辆对象等等)的图像对应的前景掩膜图像时，则训练样本集的训练图像中可以包含目标类型对象，这样有助于深度学习分割网络快速学习到从图像中分割目标类型对象的能力，加快深度学习分割网络的收敛速度。
[0125]
在对深度学习分割网络训练完成(即深度学习分割网络收敛)后，可以采用训练好的深度学习分割网络对目标图像中的目标对象进行分割处理，得到目标图像对应的初始前景掩膜图像。采用训练好的深度学习分割网络对目标图像中的目标对象进行分割处理的过程，与上述图3所示实施例中步骤s301的执行过程相同，具体可参见上述图3所示实施例中步骤s301的描述。
[0126]
由前述内容可知，初始前景掩膜图像的特征学习过程和优化过程可以是调用前景掩膜优化网络执行的，在此对前景掩膜优化网络的训练样本集的获取过程进行介绍，前景掩膜优化网络的训练样本集可以采用abmix的方式进行训练样本集扩充，具体参见如下描述：可以获取前景掩膜优化网络的训练样本集，训练样本集中至少包括第一样本图像和第二样本图像，第一样本图像中包含第一对象，第二样本图像中包含第二对象；可以从第一样本图像中分离出包含第一对象的前景图像，将包含第一对象的前景图像与第二样本图像进行图像叠加处理，得到第三样本图像；以及可以从第二样本图像中分离出包含第二对象的前景图像，将包含第二对象的前景图像与第一样本图像进行图像叠加处理，得到第四样本图像；然后可以根据第三样本图像和第四样本图像更新训练样本集，目标图像可以是用于对前景掩膜优化网络进行训练的更新后的训练样本集中的任一图像。通过上述abmix的方
式进行训练样本集扩充，不仅扩大了用于对前景掩膜优化网络进行训练的数据量，还可以使得模型更加依赖于前置的深度学习分割网络所给定的语义信息，实现语义信息与精准前景掩膜图像的解耦。
[0127]
s702，对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像。
[0128]
s703，基于拼接图像进行m次卷积处理，得到m个卷积特征图。
[0129]
s704，基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像。
[0130]
s705，从m个参考前景掩膜图像中确定n个参考前景掩膜图像。
[0131]
s706，对n个参考前景掩膜图像进行n-1次优化处理，得到目标图像对应的目标前景掩膜图像。
[0132]
需要说明的是，前景掩膜优化网络的训练过程中对目标图像、初始前景掩膜图像的处理流程，与前景掩膜优化网络的应用过程中对目标图像、初始前景掩膜图像的处理流程相同，具体参见上述图3和上述图5所示实施例中关于前景掩膜优化网络的应用过程中对目标图像、初始前景掩膜图像的处理流程的描述；也就是说，本技术实施例中步骤s702的执行过程可参见上述图3所示实施例步骤s302的描述，步骤s703的执行过程可参见上述图5所示实施例步骤s503的描述，步骤s704的执行过程可参见上述图5所示实施例步骤s504的描述，步骤s705的执行过程可参见上述图5所示实施例步骤s506的描述，步骤s706的执行过程可参见上述图5所示实施例步骤s506的描述。
[0133]
s707，获取n-1次优化处理的网络损失信息。
[0134]
s708，基于n-1次优化处理的网络损失信息进行网络训练。
[0135]
步骤s707-步骤s708中，初始前景掩膜图像的特征学习过程和优化过程可以是调用前景掩膜优化网络执行的，也就是说，参考前景掩膜图像和目标前景掩膜图像是通过前景掩膜优化网络得到的；结合图8可知，在基于n个参考前景掩膜图像对初始前景掩膜图像进行n-1次优化处理的过程中，n-1次优化处理中每次优化处理得到的中间前景掩膜图像均可以用于对前景掩膜优化网络进行训练，在此以n-1次优化处理中的第i次优化处理为例，对基于第i次优化处理得到的第i个中间前景掩膜图像的模型训练过程进行介绍。基于n-1次优化处理中的第i次优化处理得到的第i个中间前景掩膜图像，对前景掩膜优化网络进行训练的过程，可以包括：获取第i个中间前景掩膜图像对应的标注前景掩膜图像(ground truth1，可以表示为α
gt
)和标注原始图像(ground truth2，可以表示为i)，i为小于或等于n-1的正整数，标注原始图像可以是按照第i个中间前景掩膜图像的图像尺寸，对目标图像进行下采样或放缩处理(即放大或缩小的处理)得到的；根据第i个中间前景掩膜图像、标注前景掩膜图像和标注原始图像，确定第i次优化处理的网络损失信息；按照减小第i次优化处理的网络损失信息的方向，优化前景掩膜优化网络的网络参数。
[0136]
与上述深度学习分割网络类似，其中，网络损失信息即损失值，本技术实施例所提及的“按照减小第i次优化处理的网络损失信息的方向”是指：以最小化网络损失信息(即网络损失信息小于或等于第二损失阈值)为目标的网络优化方向，也就是说，此处的方向是指将最小化网络损失信息作为减小第i次优化处理的网络损失信息的目标；通过此方向优化前景掩膜优化网络的网络参数，即按照该方向调整前景掩膜优化网络的网络参数的大小，使得前景掩膜优化网络在每次优化后所再次产生的网络损失信息，需小于前景掩膜优化网络在优化前所产生的网络损失信息。例如，本次计算得到的前景掩膜优化网络的网络损失
信息为0.85，那么通过按照减小网络损失信息的方向优化前景掩膜优化网络后，通过前景掩膜优化网络所产生的网络损失信息应小于0.85。
[0137]
其中，根据第i个中间前景掩膜图像、标注前景掩膜图像和标注原始图像，确定第i次优化处理的网络损失信息可以包括：
[0138]
(1)基于第i个中间前景掩膜图像和标注前景掩膜图像之间的差异性，确定第一损失信息(alpha loss)，第一损失信息为l1 loss。具体来说，可以计算第i个中间前景掩膜图像中各像素点的像素值与标注前景掩膜图像中对应像素点的像素值之间的差值，然后可以根据各个像素点之间的差值计算第一损失信息。第一损失信息的计算过程可参见下述公式4：
[0139][0140]
下面对上述公式4中的参数进行解释：la可以表示第一损失信息(alpha loss)；h可以表示第i个中间前景掩膜图像和标注前景掩膜图像中包含的像素点的数量，h为大于1的整数；αh可以表示第i个中间前景掩膜图像中的第h个像素点的像素值，h为小于或等于h的正整数；α
gth
可以表示标注前景掩膜图像中的第h个像素点的像素值。
[0141]
(2)对第i个中间前景掩膜图像和标注原始图像进行图像融合处理，得到第三融合图像，对标注前景掩膜图像和标注原始图像进行图像融合处理，得到第四融合图像，基于第三融合图像和第四融合图像之间的差异性，确定第二损失信息(composition loss)，第二损失信息为增加标注原始图像约束下的l1 loss。
[0142]
具体来说，由前述内容可知，标注原始图像是根据目标图像进行下采样或放缩处理得到的，即标注原始图像中可以包括3个通道的图像，分别是r通道的图像、g通道的图像和b通道的图像，而第i个中间前景掩膜图像和标注前景掩膜均为单个通道的图像，为了能够在第i个中间前景掩膜图像和标注原始图像之前进行图像融合处理，以及能够在标注前景掩膜图像和标注原始图像之间进行图像融合处理，可以对第i个中间前景掩膜图像和标注前景掩膜图像进行通道扩充，将第i个中间前景掩膜图像扩充为3个通道的图像，将标注前景掩膜图像扩充为3个通道的图像；然后，可以在第i个中间前景掩膜图像和标注原始图像之间进行两两通道的图像融合处理，得到的第三融合图像中包含3个通道的图像，类似地可以在标注前景掩膜图像和标注原始图像之间进行两两通道的图像融合处理，得到的第四融合图像中包含3个通道的图像；然后，可以计算第三融合图像的第一通道图像和第四融合图像的第一通道图像之间的第一差异性，计算第三融合图像的第二通道图像和第四融合图像的第二通道图像之间的第二差异性，计算第三融合图像的第三通道图像和第四融合图像的第三通道图像之间的第三差异性，并根据第一差异性、第二差异性和第三差异性，计算第二损失信息。其中，以第一通道图像为例，计算第三融合图像的第一通道图像和第四融合图像的第一通道图像之间的第一差异性的过程可以包括：可以计算第三融合图像的第一通道图像中各像素点的像素值与第四融合图像的第一通道图像中对应像素点的像素值之间的差值，然后可以根据各个像素点之间的差值计算第一差异性。第二损失信息的计算公式可参见下述公式5：
[0143]
[0144]
下面对上述公式5中的参数进行解释：l
comp
可以表示第二损失信息(comp osition loss)；h可以表示第i个中间前景掩膜图像和标注前景掩膜图像中包含的像素点的数量，3表示3个通道，h为大于1的整数；α
hc
可以表示第i个中间前景掩膜图像的第c通道图像中的第h个像素点的像素值，h为小于或等于h的正整数，c为小于或等于3的正整数；i
hc
可以表示标注原始图像的第c通道图像中的第h个像素点的像素值；α
gthc
可以表示标注前景掩膜图像的第c通道图像中的第h个像素点的像素值。
[0145]
(3)对第i个中间前景掩膜图像进行梯度处理，对标注前景掩膜图像进行梯度处理，根据梯度处理后的第i个中间前景掩膜图像和梯度处理后的标注前景掩膜图像之间的差异性，确定第三损失信息(gradient loss)，第三损失信息为l2 loss。具体来说，可以计算梯度处理后的第i个中间前景掩膜图像中各像素点的像素值与梯度处理后的标注前景掩膜图像中对应像素点的像素值之间的差值，然后可以根据各个像素点之间的差值计算第三损失信息。第三损失信息的计算过程可参见下述公式6：
[0146][0147]
下面对上述公式6中的参数进行解释：l
grad
可以表示第三损失信息(gradient loss)；h可以表示第i个中间前景掩膜图像和标注前景掩膜图像中包含的像素点的数量，h为大于1的整数；g(α)h可以表示梯度处理后的第i个中间前景掩膜图像中的第h个像素点的像素值，h为小于或等于h的正整数；g(α
gt
)h可以表示梯度处理后的标注前景掩膜图像中的第h个像素点的像素值；s和s
t
分别为x和y方向的sobel算子(索贝尔算子)。其中，sobel算子是计算机视觉领域的一种重要处理方法，主要用于获得图像的一阶梯度，常见的应用和物理意义是边缘检测；gradient loss通过采用梯度算子对第i个中间前景掩膜图像和标注前景掩膜图像进行边缘特征提取，利用提取到的边缘特征进行l2 loss约束，使得预测到的第i个中间前景掩膜图像的前景区域边缘更加接近标注前景掩膜图像的前景区域边缘。
[0148]
(4)根据第一损失信息、第二损失信息和所述第三损失信息，确定第i次优化处理的网络损失信息。第i次优化处理的网络损失信息的计算过程可参见下述公式7：
[0149]
l＝la l
comp
l
grad
ꢀꢀꢀꢀ
公式7；
[0150]
下面对上述公式7中的参数进行解释，l可以表示第i次优化处理的网络损失信息；la可以表示第一损失信息(alpha loss)；l
comp
可以表示第二损失信息(composition loss)；l
grad
可以表示第三损失信息(gradient loss)。
[0151]
本技术实施例中，在对深度学习分割网络进行训练的过程中，可以根据训练目标(即确定包含目标类型对象的图像对应的前景掩膜图像)选取训练样本，有助于深度学习分割网络快速学习到从图像中分割目标类型对象的能力，加快深度学习分割网络的收敛速度。其次，采用abmix的方式进行训练样本集扩充，不仅扩大了用于对前景掩膜优化网络进行训练的数据量，还可以使得模型更加依赖于前置的深度学习分割网络所给定的语义信息，实现语义信息与精准前景掩膜图像的解耦。另外，在前景掩膜优化网络的网络损失信息的优化过程中引入梯度算子，梯度算子利用提取到的边缘特征进行l2 loss约束，使得预测到的前景区域边缘更加接近标注前景区域边缘。
[0152]
上述详细阐述了本技术实施例的方法，为了便于更好地实施本技术实施例的上述方案，相应地，下面提供了本技术实施例的装置。
[0153]
请参见图9，图9是本技术实施例提供的一种图像处理装置的结构示意图，该图像处理装置可以设置于本技术实施例提供的计算机设备中，该图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，该图像处理装置可以用于执行图3、图5或图7所示的方法实施例中的相应步骤。请参见图9，该图像处理装置可以包括如下单元：
[0154]
获取单元901，用于获取目标图像及目标图像对应的初始前景掩膜图像；目标图像中包含目标对象，初始前景掩膜图像是对目标图像中的目标对象进行分割处理得到的；
[0155]
处理单元902，用于对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像；对拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像；对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像；目标前景掩膜图像中包含目标对象对应的目标前景区域，目标前景区域用于指示目标图像中目标对象的所在区域。
[0156]
在一种实现方式中，用于进行优化处理的参考前景掩膜图像的数量为n个，优化处理的次数为n-1次，n为大于1的整数；处理单元902，用于对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像时，具体用于执行如下步骤：
[0157]
对n个参考前景掩膜图像中的第一参考前景掩膜图像和第二参考前景掩膜图像进行第一次优化处理，得到第一个中间前景掩膜图像；对n个参考前景掩膜图像中的第三参考前景掩膜图像和第一个中间前景掩膜图像进行第二次优化处理，得到第二个中间前景掩膜图像；继续进行后续次的优化处理，直至进行第n-1次优化处理得到第n-1个中间前景掩膜图像为止；将第n-1个中间前景掩膜图像确定为目标图像对应的目标前景掩膜图像。
[0158]
在一种实现方式中，处理单元902，用于对n个参考前景掩膜图像中的第一参考前景掩膜图像和第二参考前景掩膜图像进行第一次优化处理，得到第一个中间前景掩膜图像时，具体用于执行如下步骤：
[0159]
按照第二参考前景掩膜图像的图像尺寸，对第一参考前景掩膜图像进行上采样处理，得到上采样处理后的第一参考前景掩膜图像；对上采样处理后的第一参考前景掩膜图像进行图像变换处理，得到变换前景掩膜图像，变换前景掩膜图像中包括二义性区域；确定变换前景掩膜图像对应的变换背景掩膜图像；对上采样处理后的第一参考前景掩膜图像和变换背景掩膜图像进行图像融合处理，得到第一融合图像；对第二参考前景掩膜图像和变换前景掩膜图像进行图像融合处理，得到第二融合图像；对第一融合图像和第二融合图像进行图像叠加处理，得到第一个中间前景掩膜图像。
[0160]
在一种实现方式中，参考前景掩膜图像和目标前景掩膜图像是通过前景掩膜优化网络得到的，n-1次优化处理中每次优化处理得到的中间前景掩膜图像均用于对前景掩膜优化网络进行训练；处理单元902，用于基于n-1次优化处理中的第i次优化处理得到的第i个中间前景掩膜图像，对前景掩膜优化网络进行训练时，具体用于执行如下步骤：
[0161]
获取第i个中间前景掩膜图像对应的标注前景掩膜图像和标注原始图像，i为小于或等于n-1的正整数；根据第i个中间前景掩膜图像、标注前景掩膜图像和标注原始图像，确定第i次优化处理的网络损失信息；按照减小网络损失信息的方向，优化前景掩膜优化网络的网络参数。
[0162]
在一种实现方式中，处理单元902，用于根据第i个中间前景掩膜图像、标注前景掩膜图像和标注原始图像，确定第i次优化处理的网络损失信息时，具体用于执行如下步骤：
[0163]
基于第i个中间前景掩膜图像和标注前景掩膜图像之间的差异性，确定第一损失
信息；对第i个中间前景掩膜图像和标注原始图像进行图像融合处理，得到第三融合图像，对标注前景掩膜图像和标注原始图像进行图像融合处理，得到第四融合图像，基于第三融合图像和第四融合图像之间的差异性，确定第二损失信息；对第i个中间前景掩膜图像进行梯度处理，对标注前景掩膜图像进行梯度处理，根据梯度处理后的第i个中间前景掩膜图像和梯度处理后的标注前景掩膜图像之间的差异性，确定第三损失信息；根据第一损失信息、第二损失信息和第三损失信息，确定第i次优化处理的网络损失信息。
[0164]
在一种实现方式中，参考前景掩膜图像和目标前景掩膜图像是通过前景掩膜优化网络得到的；处理单元902，还用于执行如下步骤：
[0165]
获取前景掩膜优化网络的训练样本集，训练样本集中至少包括第一样本图像和第二样本图像，第一样本图像中包含第一对象，第二样本图像中包含第二对象；从第一样本图像中分离出包含第一对象的前景图像，将包含第一对象的前景图像与第二样本图像进行图像叠加处理，得到第三样本图像；从第二样本图像中分离出包含第二对象的前景图像，将包含第二对象的前景图像与第一样本图像进行图像叠加处理，得到第四样本图像；根据第三样本图像和第四样本图像更新训练样本集，目标图像是更新后的训练样本集中的任一图像。
[0166]
在一种实现方式中，用于进行优化处理的参考前景掩膜图像的数量为n个，n为大于1的整数；处理单元902，用于对拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像时，具体用于执行如下步骤：
[0167]
基于拼接图像进行m次卷积处理，得到m个卷积特征图；基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像；从m个参考前景掩膜图像中确定n个参考前景掩膜图像，n个参考前景掩膜图像中至少包括m个参考前景掩膜图像中图像尺寸最大的参考前景掩膜图像，m为大于或等于n的整数。
[0168]
在一种实现方式中，处理单元902，用于基于拼接图像进行m次卷积处理，得到m个卷积特征图时，具体用于执行如下步骤：
[0169]
对拼接图像进行第一次卷积处理，得到第一次卷积处理的卷积特征图；对第一次卷积处理的卷积特征图进行第二次卷积处理，得到第二次卷积处理的卷积特征图；继续进行后续次的卷积处理，直至得到第m次卷积处理的卷积特征图为止。
[0170]
在一种实现方式中，m次卷积处理包括第j次卷积处理，在进行第j次卷积处理之前，处理单元902还用于执行如下步骤：对初始前景掩膜图像进行标准化处理，得到标准前景掩膜图像；
[0171]
处理单元902用于进行第j次卷积处理时，具体用于执行如下步骤：对标准前景掩膜图像和第j-1次卷积处理的卷积特征图进行图像叠加处理，得到标准卷积叠加图像；对标准卷积叠加图像进行卷积处理，得到第j次卷积处理的卷积特征图，j为大于1且小于或等于m的正整数。
[0172]
在一种实现方式中，处理单元902，用于对初始前景掩膜图像进行标准化处理，得到标准前景掩膜图像时，具体用于执行：
[0173]
对初始前景掩膜图像进行归一化处理，得到归一化前景掩膜图像；对初始前景掩膜图像进行卷积处理，得到调整特征图；根据调整特征图对归一化前景掩膜图像进行调整，得到标准前景掩膜图像。
[0174]
在一种实现方式中，调整特征图包括比例调整特征图和偏置调整特征图；处理单元902，用于根据所述调整特征图对所述归一化前景掩膜图像进行调整，得到标准前景掩膜图像时，具体用于执行如下步骤：
[0175]
对归一化前景掩膜图像和比例调整特征图进行图像融合处理，得到第一调整特征图；对第一调整特征图和偏置调整特征图进行图像叠加处理，得到所述标准前景掩膜图像。
[0176]
在一种实现方式中，处理单元902，用于基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像时，具体用于执行如下步骤：
[0177]
对第m次卷积处理的卷积特征图进行第一次上采样处理，得到第一次上采样处理的参考前景掩膜图像；对第m-1次卷积处理的卷积特征图和第一次上采样处理的参考前景掩膜图像进行图像叠加处理，得到参考卷积叠加图像，对参考卷积叠加图像进行第二次上采样处理，得到第二次上采样处理的参考前景掩膜图像；继续进行后续次的上采样处理，直至得到第m次上采样处理的参考前景掩膜图像为止。
[0178]
在一种实现方式中，初始前景掩膜图像中包括目标对象对应的初始前景区域；处理单元902，用于对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像时，具体用于执行如下步骤：
[0179]
根据初始前景区域确定图像裁剪区域；根据图像裁剪区域对目标图像进行图像裁剪处理，得到裁剪后的目标图像；根据图像裁剪区域对初始前景掩膜图像进行图像裁剪处理，得到裁剪后的初始前景掩膜图像；对裁剪后的目标图像和裁剪后的初始前景掩膜图像进行图像拼接处理，得到拼接图像。
[0180]
在一种实现方式中，处理单元902，用于对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像之后，还用于执行如下步骤：
[0181]
确定目标前景掩膜图像对应的目标背景掩膜图像；根据目标前景掩膜图像对目标图像进行图像分离处理，得到包含目标对象的前景图像；获取参考图像，并根据目标背景掩膜图像对参考图像进行图像分离处理，得到背景图像；对包含所述目标对象的前景图像和背景图像进行图像叠加处理，得到合成图像。
[0182]
根据本技术的另一个实施例，图9所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本技术的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本技术的其它实施例中，图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0183]
根据本技术的另一个实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3、图5或图7所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)来构造如图9中所示的图像处理装置，以及来实现本技术实施例的图像处理方法。计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。
[0184]
本技术实施例中，可以获取目标图像和目标图像对应的初始前景掩膜图像，初始
前景掩膜图像是对目标图像中的目标对象进行分割处理得到的；其次可以对目标图像和初始前景掩膜图像进行拼接处理，并对拼接处理得到的拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像；然后可以对参考前景掩膜图像进行优化处理，优化处理得到的目标前景掩膜图像中的目标前景区域可以用于准确地指示目标图像中的目标对象的所在区域；也就是说，在对目标图像和初始前景掩膜图像拼接得到的拼接图像进行特征学习得到参考前景掩膜图像后，通过对参考前景掩膜图像进行优化处理，得到的目标前景掩膜区域的准确性相对于参考前景掩膜图像和初始前景掩膜区域均有所提升，从而本技术实施例可以准确地确定出目标图像对应的前景掩膜图像。
[0185]
基于上述方法以及装置实施例，本技术实施例提供了一种计算机设备，请参见图10，图10是本技术实施例提供的一种计算机设备的结构示意图。图10所示的计算机设备至少包括处理器1001、输入接口1002、输出接口1003以及计算机可读存储介质1004。其中，处理器1001、输入接口1002、输出接口1003以及计算机可读存储介质1004可通过总线或其他方式连接。
[0186]
输入接口1002可以用于获取目标图像和目标图像对应的初始前景掩膜图像、获取参考图像等等；输出接口1003可以用于输出目标前景掩膜图像、合成图像等等。
[0187]
计算机可读存储介质1004可以存储在计算机设备的存储器中，计算机可读存储介质1004用于存储计算机程序，计算机程序包括计算机指令，处理器1001用于执行计算机可读存储介质1004存储的程序指令。处理器1001(或称cpu(central processing unit，中央处理器))是计算机设备的计算核心以及控制核心，其适于实现一条或多条计算机指令，具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
[0188]
本技术实施例还提供了一种计算机可读存储介质(memory)，计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或多条的计算机指令，这些计算机指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机可读存储介质。
[0189]
在一个实施例中，可由处理器1001加载并执行计算机可读存储介质1004中存放的一条或多条计算机指令，以实现上述有关图3、图5或图7所示的图像处理方法的相应步骤。具体实现中，计算机可读存储介质1004中的计算机指令由处理器1001加载并执行如下步骤：
[0190]
获取目标图像及目标图像对应的初始前景掩膜图像；目标图像中包含目标对象，初始前景掩膜图像是对目标图像中的目标对象进行分割处理得到的；
[0191]
对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像；对拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像；对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像；目标前景掩膜图像中包含目标对象对应的目标前景区域，目标前景区域用于指示目标图像中目标对象的所在区域。
[0192]
在一种实现方式中，用于进行优化处理的参考前景掩膜图像的数量为n个，优化处理的次数为n-1次，n为大于1的整数；计算机可读存储介质1004中的计算机指令由处理器1001加载并执行对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像时，具体用于执行如下步骤：
[0193]
对n个参考前景掩膜图像中的第一参考前景掩膜图像和第二参考前景掩膜图像进行第一次优化处理，得到第一个中间前景掩膜图像；对n个参考前景掩膜图像中的第三参考前景掩膜图像和第一个中间前景掩膜图像进行第二次优化处理，得到第二个中间前景掩膜图像；继续进行后续次的优化处理，直至进行第n-1次优化处理得到第n-1个中间前景掩膜图像为止；将第n-1个中间前景掩膜图像确定为目标图像对应的目标前景掩膜图像。
[0194]
在一种实现方式中，计算机可读存储介质1004中的计算机指令由处理器1001加载并执行对n个参考前景掩膜图像中的第一参考前景掩膜图像和第二参考前景掩膜图像进行第一次优化处理，得到第一个中间前景掩膜图像时，具体用于执行如下步骤：
[0195]
按照第二参考前景掩膜图像的图像尺寸，对第一参考前景掩膜图像进行上采样处理，得到上采样处理后的第一参考前景掩膜图像；对上采样处理后的第一参考前景掩膜图像进行图像变换处理，得到变换前景掩膜图像，变换前景掩膜图像中包括二义性区域；确定变换前景掩膜图像对应的变换背景掩膜图像；对上采样处理后的第一参考前景掩膜图像和变换背景掩膜图像进行图像融合处理，得到第一融合图像；对第二参考前景掩膜图像和变换前景掩膜图像进行图像融合处理，得到第二融合图像；对第一融合图像和第二融合图像进行图像叠加处理，得到第一个中间前景掩膜图像。
[0196]
在一种实现方式中，参考前景掩膜图像和目标前景掩膜图像是通过前景掩膜优化网络得到的，n-1次优化处理中每次优化处理得到的中间前景掩膜图像均用于对前景掩膜优化网络进行训练；计算机可读存储介质1004中的计算机指令由处理器1001加载并执行基于n-1次优化处理中的第i次优化处理得到的第i个中间前景掩膜图像，对前景掩膜优化网络进行训练时，具体用于执行如下步骤：
[0197]
获取第i个中间前景掩膜图像对应的标注前景掩膜图像和标注原始图像，i为小于或等于n-1的正整数；根据第i个中间前景掩膜图像、标注前景掩膜图像和标注原始图像，确定第i次优化处理的网络损失信息；按照减小网络损失信息的方向，优化前景掩膜优化网络的网络参数。
[0198]
在一种实现方式中，计算机可读存储介质1004中的计算机指令由处理器1001加载并执行根据第i个中间前景掩膜图像、标注前景掩膜图像和标注原始图像，确定第i次优化处理的网络损失信息时，具体用于执行如下步骤：
[0199]
基于第i个中间前景掩膜图像和标注前景掩膜图像之间的差异性，确定第一损失信息；对第i个中间前景掩膜图像和标注原始图像进行图像融合处理，得到第三融合图像，对标注前景掩膜图像和标注原始图像进行图像融合处理，得到第四融合图像，基于第三融合图像和第四融合图像之间的差异性，确定第二损失信息；对第i个中间前景掩膜图像进行梯度处理，对标注前景掩膜图像进行梯度处理，根据梯度处理后的第i个中间前景掩膜图像和梯度处理后的标注前景掩膜图像之间的差异性，确定第三损失信息；根据第一损失信息、第二损失信息和第三损失信息，确定第i次优化处理的网络损失信息。
[0200]
在一种实现方式中，参考前景掩膜图像和目标前景掩膜图像是通过前景掩膜优化
网络得到的；计算机可读存储介质1004中的计算机指令由处理器1001加载并还用于执行如下步骤：
[0201]
获取前景掩膜优化网络的训练样本集，训练样本集中至少包括第一样本图像和第二样本图像，第一样本图像中包含第一对象，第二样本图像中包含第二对象；从第一样本图像中分离出包含第一对象的前景图像，将包含第一对象的前景图像与第二样本图像进行图像叠加处理，得到第三样本图像；从第二样本图像中分离出包含第二对象的前景图像，将包含第二对象的前景图像与第一样本图像进行图像叠加处理，得到第四样本图像；根据第三样本图像和第四样本图像更新训练样本集，目标图像是更新后的训练样本集中的任一图像。
[0202]
在一种实现方式中，用于进行优化处理的参考前景掩膜图像的数量为n个，n为大于1的整数；计算机可读存储介质1004中的计算机指令由处理器1001加载并执行对拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像时，具体用于执行如下步骤：
[0203]
基于拼接图像进行m次卷积处理，得到m个卷积特征图；基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像；从m个参考前景掩膜图像中确定n个参考前景掩膜图像，n个参考前景掩膜图像中至少包括m个参考前景掩膜图像中图像尺寸最大的参考前景掩膜图像，m为大于或等于n的整数。
[0204]
在一种实现方式中，计算机可读存储介质1004中的计算机指令由处理器1001加载并执行基于拼接图像进行m次卷积处理，得到m个卷积特征图时，具体用于执行如下步骤：
[0205]
对拼接图像进行第一次卷积处理，得到第一次卷积处理的卷积特征图；对第一次卷积处理的卷积特征图进行第二次卷积处理，得到第二次卷积处理的卷积特征图；继续进行后续次的卷积处理，直至得到第m次卷积处理的卷积特征图为止。
[0206]
在一种实现方式中，m次卷积处理包括第j次卷积处理，在进行第j次卷积处理之前，处理单元还用于执行如下步骤：对初始前景掩膜图像进行标准化处理，得到标准前景掩膜图像；
[0207]
计算机可读存储介质1004中的计算机指令由处理器1001加载并执行进行第j次卷积处理时，具体用于执行如下步骤：对标准前景掩膜图像和第j-1次卷积处理的卷积特征图进行图像叠加处理，得到标准卷积叠加图像；对标准卷积叠加图像进行卷积处理，得到第j次卷积处理的卷积特征图，j为大于1且小于或等于m的正整数。
[0208]
在一种实现方式中，计算机可读存储介质1004中的计算机指令由处理器1001加载并执行对初始前景掩膜图像进行标准化处理，得到标准前景掩膜图像时，具体用于执行如下步骤：
[0209]
对初始前景掩膜图像进行归一化处理，得到归一化前景掩膜图像；对初始前景掩膜图像进行卷积处理，得到调整特征图；根据调整特征图对归一化前景掩膜图像进行调整，得到标准前景掩膜图像。
[0210]
在一种实现方式中，调整特征图包括比例调整特征图和偏置调整特征图；计算机可读存储介质1004中的计算机指令由处理器1001加载并执行根据所述调整特征图对所述归一化前景掩膜图像进行调整，得到标准前景掩膜图像时，具体用于执行如下步骤：
[0211]
对归一化前景掩膜图像和比例调整特征图进行图像融合处理，得到第一调整特征图；对第一调整特征图和偏置调整特征图进行图像叠加处理，得到所述标准前景掩膜图像。
[0212]
在一种实现方式中，计算机可读存储介质1004中的计算机指令由处理器1001加载并执行基于m个卷积特征图进行m次上采样处理，得到m个参考前景掩膜图像时，具体用于执行如下步骤：
[0213]
对第m次卷积处理的卷积特征图进行第一次上采样处理，得到第一次上采样处理的参考前景掩膜图像；对第m-1次卷积处理的卷积特征图和第一次上采样处理的参考前景掩膜图像进行图像叠加处理，得到参考卷积叠加图像，对参考卷积叠加图像进行第二次上采样处理，得到第二次上采样处理的参考前景掩膜图像；继续进行后续次的上采样处理，直至得到第m次上采样处理的参考前景掩膜图像为止。
[0214]
在一种实现方式中，初始前景掩膜图像中包括目标对象对应的初始前景区域；计算机可读存储介质1004中的计算机指令由处理器1001加载并执行对目标图像和初始前景掩膜图像进行图像拼接处理，得到拼接图像时，具体用于执行如下步骤：
[0215]
根据初始前景区域确定图像裁剪区域；根据图像裁剪区域对目标图像进行图像裁剪处理，得到裁剪后的目标图像；根据图像裁剪区域对初始前景掩膜图像进行图像裁剪处理，得到裁剪后的初始前景掩膜图像；对裁剪后的目标图像和裁剪后的初始前景掩膜图像进行图像拼接处理，得到拼接图像。
[0216]
在一种实现方式中，计算机可读存储介质1004中的计算机指令由处理器1001加载并执行对参考前景掩膜图像进行优化处理，得到目标图像对应的目标前景掩膜图像之后，还用于执行如下步骤：
[0217]
确定目标前景掩膜图像对应的目标背景掩膜图像；根据目标前景掩膜图像对目标图像进行图像分离处理，得到包含目标对象的前景图像；获取参考图像，并根据目标背景掩膜图像对参考图像进行图像分离处理，得到背景图像；对包含所述目标对象的前景图像和背景图像进行图像叠加处理，得到合成图像。
[0218]
本技术实施例中，可以获取目标图像和目标图像对应的初始前景掩膜图像，初始前景掩膜图像是对目标图像中的目标对象进行分割处理得到的；其次可以对目标图像和初始前景掩膜图像进行拼接处理，并对拼接处理得到的拼接图像进行特征学习，得到目标图像对应的参考前景掩膜图像；然后可以对参考前景掩膜图像进行优化处理，优化处理得到的目标前景掩膜图像中的目标前景区域可以用于准确地指示目标图像中的目标对象的所在区域；也就是说，在对目标图像和初始前景掩膜图像拼接得到的拼接图像进行特征学习得到参考前景掩膜图像后，通过对参考前景掩膜图像进行优化处理，得到的目标前景掩膜区域的准确性相对于参考前景掩膜图像和初始前景掩膜区域均有所提升，从而本技术实施例可以准确地确定出目标图像对应的前景掩膜图像。
[0219]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选方式中提供的图像处理方法。
[0220]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。