合成图像处理方法、装置、电子设备和存储介质与流程

1.本技术涉及合成计算机技术领域，尤其涉及合成图像处理方法、装置、电子设备和存储介质。


背景技术：

2.图像和谐化算法的目的是对合成图像的植入前景部分进行颜色变换，使得整个合成图像在内容不变的情况下，看起来真实、和谐。在现有技术中，和谐化算法通常只对待处理合成图像的整个前景区域做相同的颜色变换处理，得到和谐化后的图像。但由于前景部分往往包含不同的颜色块，因此相同的颜色变换处理会出现部分颜色块和谐化效果不佳，导致颜色变换处理的准确性低的问题。


技术实现要素：

3.本技术提供了合成图像处理方法、装置、电子设备和存储介质，可以提高颜色变换处理的准确性。
4.一方面，本技术提供了一种合成图像处理方法，所述方法包括：
5.基于待处理合成图像的前景区域特征信息，对所述待处理合成图像进行颜色变换全局处理，得到初始合成图像，所述前景区域特征信息为对所述待处理合成图像的前景区域进行特征提取得到的；
6.对所述前景区域进行区域划分，得到多个子区域；
7.将所述初始合成图像和所述多个子区域各自对应的分块区域特征信息输入到所述分块前景处理模型中进行颜色变换处理，得到目标合成图像，所述目标合成图像中的每个子区域对应不同程度的颜色变换处理结果。
8.另一方面提供了一种合成图像处理装置，所述装置包括：
9.全局处理模块，用于基于待处理合成图像的前景区域特征信息，对所述待处理合成图像进行颜色变换全局处理，得到初始合成图像，所述前景区域特征信息为对所述待处理合成图像的前景区域进行特征提取得到的；
10.子区域划分模块，用于对所述前景区域进行区域划分，得到多个子区域；
11.分块处理模块，用于将所述初始合成图像和所述多个子区域各自对应的分块区域特征信息输入到所述分块前景处理模型中进行颜色变换处理，得到目标合成图像，所述目标合成图像中的每个子区域对应不同程度的颜色变换处理结果。
12.另一方面提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的一种合成图像处理方法。
13.另一方面提供了一种计算机可读存储介质，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的一种合成图像处理方法。
14.另一方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述所述的合成图像处理方法。
15.本技术提供的合成图像处理方法、装置、电子设备和存储介质，所述方法可以对待处理合成图像的前景区域进行颜色变换全局处理，得到初始合成图像，并对待处理合成图像的前景区域进行区域划分，得到多个子区域。将初始合成图像和多个子区域各自对应的分块区域特征信息输入到分块前景处理模型中，自适应地对多个子区域进行不同程度的颜色变换处理，得到目标合成图像。该方法可以对待处理合成图像的前景区域中不同的子区域进行不同程度的颜色变换处理，从而使得前景区域中的各个子区域都可以与背景区域协调一致，提高了颜色变换处理的准确性，并提高了目标合成图像的真实性。
附图说明
16.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本技术实施例提供的一种合成图像处理方法的应用场景示意图；
18.图2为本技术实施例提供的一种合成图像处理方法的流程图；
19.图3为本技术实施例提供的一种合成图像处理方法中通过全局前景处理模型得到初始合成图像的流程图；
20.图4为本技术实施例提供的一种合成图像处理方法中进行区域划分的流程图；
21.图5为本技术实施例提供的一种合成图像处理方法中待处理合成图像、前景区域特征信息和子区域对应的分块区域特征信息的示意图；
22.图6为本技术实施例提供的一种合成图像处理方法中在分块前景处理模型中增加全局特征处理结果的流程图；
23.图7为本技术实施例提供的一种合成图像处理方法中通过分块前景处理模型得到目标合成图像的流程图；
24.图8为本技术实施例提供的一种合成图像处理方法分块前景处理模型中特征融合层进行特征融合的示意图；
25.图9为本技术实施例提供的一种合成图像处理方法中模型训练的示意图；
26.图10为本技术实施例提供的一种合成图像处理方法对应的模型结构示意图；
27.图11为本技术实施例提供的一种合成图像处理方法的处理结果与真实图像、合成图像、基础算法对应的处理结果间的对比图；
28.图12为本技术实施例提供的一种合成图像处理装置的结构示意图；
29.图13为本技术实施例提供的一种用于实现本技术实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
30.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施
例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.在本技术的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。而且，术语“第一”、“第二”等适用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
32.可以理解的是，在本技术的具体实施方式中，涉及到用户信息等相关的数据，当本技术以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
33.请参见图1，其显示了本技术实施例提供的合成图像处理方法的应用场景示意图，所述应用场景包括客户端110和服务器120，服务器120接收客户端110发送的待处理合成图像，服务器120对待处理合成图像进行全局颜色变换处理，再对待处理合成图像的前景区域进行区域划分，将全局颜色变换处理结果和区域划分结果通过分块前景处理模型进行分块颜色变换处理，得到目标合成图像。服务器120将目标合成图像发送到客户端110进行展示。
34.在本技术实施例中，客户端110包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。
35.在本技术实施例中，服务器120可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器120可以包括有网络通信单元、处理器和存储器等等。
36.在本技术实施例中，服务器120可以通过机器学习算法对待处理合成图像进行颜色变换处理。机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
37.请参见图2，其显示了一种合成图像处理方法，可应用于服务器侧，方法包括：
38.s210.基于待处理合成图像的前景区域特征信息，对待处理合成图像进行颜色变换全局处理，得到初始合成图像，前景区域特征信息为对待处理合成图像的前景区域进行特征提取得到的；
39.在一些实施例中，对待处理合成图像的前景区域进行特征提取，可以得到前景区域特征信息，前景区域特征信息可以为前景区域的掩码特征信息，掩码特征信息可以包括二值图、灰度图等多种形式。前景区域特征信息用于区分待处理合成图像中的前景区域和背景区域。待处理合成图像为将前景区域和背景区域合成后，前景区域与背景区域不相匹配的图像。
40.在一些实施例中，基于待处理合成图像的前景区域特征信息，对待处理合成图像进行颜色变换全局处理，得到初始合成图像包括：
41.将待处理合成图像和前景区域特征信息输入到全局前景处理模型中进行颜色变换全局处理，得到初始合成图像。
42.在一些实施例中，颜色变换全局处理可以通过全局前景处理模型进行处理，全局前景处理模型可以包括残差网络(resnet)、vgg16、u型网络(unet)等模型。应用全局前景处理模型时，若需要将全局前景处理模型中的部分信息输入到分块前景处理模型中，则全局前景处理模型的网络结构需要与分块前景处理模型的网络结构一一对应。
43.在一些实施例中，全局前景处理模型的输入为待处理合成图像和前景区域特征信息，在全局前景处理模型中，基于待处理合成图像的前景区域特征信息，对待处理合成图像进行颜色变换全局处理，即对待处理合成图像中的前景区域和背景区域进行整体颜色变换处理，得到初始合成图像。初始合成图像为粗粒度的颜色变换处理结果。
44.也就是说，在全局前景处理模型中，对前景区域和背景区域在粗粒度上进行和谐化处理，使得前景区域对应的图像特征信息和背景区域对应的图像特征信息相匹配，从而得到初始合成图像，此处的相匹配指的是前景区域对应的图像特征信息和背景区域对应的图像特征信息在整体上属于同一环境。其中，图像特征信息可以为像素信息。
45.例如，背景区域对应的像素信息属于光照亮度高且颜色色调鲜明的环境，而前景区域对应的像素信息属于光照亮度低且颜色色调偏灰的环境，通过对前景区域对应的像素信息进行颜色变换处理后，使得前景区域对应的像素信息也属于光照亮度高且颜色色调鲜明的环境，此时，前景区域对应的图像特征信息和背景区域对应的图像特征信息相匹配。
46.通过全局前景处理模型进行颜色变换全局处理，可以提高全局处理的效率，并可以为后续步骤中的分块前景处理模型提供待处理合成图像的原始特征信息。
47.在一些实施例中，请参见图3，全局前景处理模型包括多个按序排列的全局编码层和每个全局编码层一一对应的全局解码层，将待处理合成图像和前景区域特征信息输入到全局前景处理模型中进行颜色变换全局处理，得到初始合成图像包括：
48.s310.将待处理合成图像和前景区域特征信息输入到多个按序排列的全局编码层中进行特征处理，得到每个全局编码层输出的初始全局特征信息；
49.s320.在当前全局解码层为第一个全局解码层时，将第三初始全局特征信息输入到第一个全局解码层中进行特征处理，得到第一个全局解码层输出的目标全局特征信息，第三初始全局特征信息为最后一个全局编码层输出的信息；
50.s330.在当前全局解码层为非第一个全局解码层时，获取当前全局解码层对应的上一目标全局特征信息；
51.s340.将上一目标全局特征信息和第四初始全局特征信息输入到当前全局解码层中进行特征处理，得到当前全局解码层输出的目标全局特征信息，第四初始全局特征信息为当前全局解码层对应的全局编码层输出的信息；
52.s350.基于最后一个全局解码层输出的目标全局特征信息，得到初始合成图像。
53.在一些实施例中，全局前景处理模型可以包括多个按序排列的全局编码层和每个全局编码层一一对应的全局解码层。
54.在当前进行特征处理的全局编码层为第一个全局编码层时，第一个全局编码层的输入信息为待处理合成图像和前景区域特征信息。可以在输入到第一个全局编码层之前，对待处理合成图像和前景区域特征信息进行拼接处理，得到第一拼接后特征信息，再将第
一拼接后特征信息输入到第一个全局编码层中进行特征处理，得到第一个全局编码层输出的初始全局特征信息。
55.在当前进行特征处理的全局编码层为非第一个全局编码层时，将每一个全局编码层输出的初始全局特征信息作为下一个全局编码层的输入信息，得到当前进行特征处理的全局编码层输出的初始全局特征信息。
56.在当前进行特征处理的当前全局解码层为第一个全局解码层时，将多个按序排列的全局编码层中的最后一个全局编码层输出的初始全局特征信息，也就是第三初始全局特征信息，作为第一个全局解码层的输入信息，输入到第一个全局解码层中进行特征处理，得到第一个全局解码层对应的目标全局特征信息。
57.在当前进行特征处理的当前全局解码层为非第一个全局解码层时，获取当前全局解码层对应的上一目标全局特征信息，上一目标全局特征信息即为当前全局解码层的上一全局解码层输出的目标全局特征信息。并获取当前全局解码层对应的全局编码层输出的初始全局特征信息，也就是第四初始全局特征信息。将上一目标全局特征信息和第四初始全局特征信息输入到当前全局解码层中进行特征处理，可以得到当前全局解码层输出的目标全局特征信息。
58.其中，全局解码层和全局编码层间的对应关系指示全局编码层与对应的全局编码层间具有相同维度，该维度可以为特征分辨率。例如，某一全局解码层输出为64x64的目标全局特征信息，则对应的全局编码层输出为64x64的初始全局特征信息。
59.在全局编码层中进行特征处理时，每个全局编码层对应的特征分辨率逐渐减小，通道数逐渐增多，可以通过卷积操作抽象出第一拼接后特征信息中的高层特征，得到每个全局编码层对应的初始全局特征信息。在全局解码器中进行特征处理时，每个全局解码层对应的特征分辨率逐渐增大，通道数逐渐减小，可以通过反卷积操作，得到目标特征分辨率的初始合成图像。
60.在通过解码层进行特征处理时，输入每个解码层的上一层输出信息和每个解码层对应的编码层的输出信息，可以减少输入的待处理合成图像以及前景区域特征信息中的信息损失，从而提高颜色变换全局处理的准确性。
61.s220.对前景区域进行区域划分，得到多个子区域；
62.在一些实施例中，对前景区域进行区域划分，可以得到多个子区域。子区域的数目可以为预设数量，该预设数量为多次实验后得到的结果。实际应用时，对子区域的数目也可以不做限制，例如可以通过随机的方式确定子区域。
63.在一些实施例中，请参见图4，对前景区域进行区域划分，得到多个子区域包括：
64.s410.基于前景区域对应的图像特征信息，确定多个初始分块中心信息；
65.s420.将多个初始分块中心信息作为当前分块中心信息；
66.s430.基于前景区域和当前分块中心信息，确定每个当前分块中心信息对应的当前分块区域；
67.s440.基于当前分块区域，对当前分块区域对应的当前分块中心信息进行更新；
68.s450.重复基于前景区域和当前分块中心信息，确定每个当前分块中心信息对应的当前分块区域到基于当前分块区域，对当前分块区域对应的当前分块中心信息进行更新的步骤，直到更新前后的当前分块中心信息匹配，将当前分块中心信息作为目标分块中心
信息；
69.s460.将目标分块中心信息对应的当前分块区域作为子区域。
70.在一些实施例中，可以基于预设的聚类算法对前景区域进行区域划分，得到多个子区域。聚类算法可以包括k均值聚类算法(k-means clustering algorithm，kmeans)、k均值聚类算法的改进算法(kmeans )、基于密度的聚类算法(density-based spatial clustering ofapplications with noise，dbscan)等。
71.在一些实施例中，基于前景区域对应的图像特征信息，可以随机确定多个初始分块中心信息。初始分块中心信息分布在前景区域中，在确定初始分块中心信息的过程中，可以从前景区域对应的图像特征信息中随机获取多个目标特征点信息，作为初始分块中心信息。
72.将多个初始分块中心信息作为当前分块中心信息。基于前景区域和当前分块中心信息，可以确定前景区域对应的图像特征信息中除当前分块中心信息外的其他特征点信息，确定每个其他特征点信息和当前分块中心信息间的距离。通过距离可以对每个其他特征点信息进行分类，将每个其他特征点信息与当前分块中心信息关联，在分类结束后，得到与当前分块中心信息关联的其他特征点信息所对应的区域，该区域即为每个当前分块中心信息对应的当前分块区域。
73.基于当前分块区域中的特征点信息，可以重新确定当前分块区域中的特征点信息的类中心信息，并基于该类中心信息，对当前分块区域对应的当前分块中心信息进行更新，得到分块中心更新信息。该类中心信息为当前分块区域中的特征点信息的质心。
74.将分块中心更新信息作为当前分块中心信息，重复上述确定当前分块中心信息对应的当前分块区域，并基于每个当前分块区域更新当前分块中心信息的步骤，直到更新前后的当前分块中心信息不发生变化，也就是更新前后的当前分块中心信息匹配时，将该当前分块中心信息确定为目标分块中心信息。目标分块中心信息对应的当前分块区域即为子区域。
75.在一些实施例中，待处理图像中的前景区域可以看作像素信息的集合，前景区域对应的图像特征信息、初始分块中心信息、以及前景区域中除初始分块中心信息外的其他特征点信息均可以为像素信息。
76.在对当前分块区域进行确定的过程中，与当前分块中心信息关联的其他特征点信息构成的集合即为像素信息集合，可以确定该像素信息集合在前景区域中对应的区域，从而得到当前分块区域。在对当前分块区域对应的当前分块中心信息进行更新时，即更新作为当前分块中心信息的像素信息。在得到目标分块中心信息对应的子区域时，每个子区域中像素信息对应的颜色均位于同一色值范围内，不同的子区域对应不同的颜色。
77.在一些实施例中，请参见图5，如图5所示为待处理合成图像、前景区域特征信息和子区域对应的分块区域特征信息的示意图。图5中第一排左起第一个为待处理合成图像，第二排左起第一个为前景区域特征信息，其余四个图像则为分块区域特征信息，分别在待处理合成图像中对应第一颜色的子区域、第二颜色的子区域、第三颜色的子区域，以及第四颜色的子区域。
78.通过预设的聚类算法，对前景区域进行区域划分，得到不同颜色分别对应的子区域，可以提高区域划分的合理性，并便于后续步骤中对各个子区域自适应的颜色变换处理。
79.s230.将初始合成图像和多个子区域各自对应的分块区域特征信息输入到分块前景处理模型中进行颜色变换处理，得到目标合成图像，目标合成图像中的每个子区域对应不同程度的颜色变换处理结果。
80.在一些实施例中，不同颜色的子区域需要的和谐化程度是不一样的，分块前景处理模型可以自适应地对每个子区域进行不同程度的颜色变换处理，使得目标合成图像中的每个子区域对应不同程度的颜色变换处理结果。
81.在一些实施例中，请参见图6，将初始合成图像和多个子区域各自对应的分块区域特征信息输入到分块前景处理模型中进行颜色变换处理，得到目标合成图像包括：
82.s610.获取全局前景处理模型中目标网络结构输出的全局特征处理结果，全局前景处理模型中的网络结构与分块前景处理模型中的网络结构对应；
83.s620.将初始合成图像、多个子区域各自对应的分块区域特征信息和全局特征处理结果输入到分块前景处理模型中进行颜色变换处理，得到目标合成图像。
84.在一些实施例中，分块前景处理模型可以包括残差网络(resnet)、vgg16、u型网络(unet)等模型。全局前景处理模型中的网络结构与分块前景处理模型中的网络结构对应，例如，在全局前景处理模型为unet模型时，分块前景处理模型也为unet模型，且两个unet模型中的网络层数相同。
85.获取全局前景处理模型中目标网络结构对应的全局特征处理结果，全局特征处理结果具有待处理合成图像中的原始特征信息，因此，将全局特征处理结果也输入到分块前景处理模型中，可以使得分块前景处理模型能够利用待处理合成图像中的原始特征信息。在一个具体的实施例中，该目标网络结构可以为编码层，全局特征处理结果即可以为编码层对应的输出结果。全局特征处理结果可以输入到分块前景处理模型中的解码层中，辅助解码层进行特征处理。
86.在全局前景处理模型和分块前景处理模型均包括多层网络结构的情况下，建立具有同一特征维度的全局前景处理模型的网络结构、以及分块前景处理模型的网络结构间的对应关系。全局前景处理模型中编码层对应分块前景处理模型中的编码层，全局前景处理模型中的解码层对应分块前景处理模型中的解码层，由于在分块前景处理模型中编码层和解码层也具有对应关系，因此全局前景处理模型中编码层输出的全局特征处理结果，可以输入到分块前景处理模型中对应的解码层中。
87.将全局处理阶段中目标网络结构输出的全局特征处理结果输入到分块前景处理模型中，使得分块前景处理模型可以充分利用待处理图像的原始特征信息，从而提高分块前景处理模型的准确性。
88.在一些实施例中，请参见图7，分块前景处理模型包括多个按序排列的分块编码层、每个分块编码层一一对应的分块解码层和特征融合层，将与每个分块编码层对应维度的全局前景处理模型中每个全局编码层输出的初始全局特征信息作为全局特征处理结果，将初始合成图像、多个子区域各自对应的分块区域特征信息和全局特征处理结果输入到分块前景处理模型中进行颜色变换处理，得到目标合成图像包括：
89.s710.将初始合成图像和分块区域特征信息输入到多个按序排列的分块编码层中进行特征处理，得到每个分块编码层输出的初始分块特征信息；
90.s720.在当前分块解码层为第一个分块解码层时，将第一个初始分块特征信息和
第一初始全局特征信息输入到第一个分块解码层中进行特征处理，得到第一个分块解码层输出的目标分块特征信息，第一个初始分块特征信息为最后一个分块编码层输出的信息，第一初始全局特征信息为与最后一个分块编码层同一维度的全局编码层输出的信息；
91.s730.在当前分块解码层为非第一个分块解码层时，获取当前分块解码层对应的上一目标分块特征信息；
92.s740.将上一目标分块特征信息、当前初始分块特征信息和第二初始全局特征信息输入到当前分块解码层中进行特征处理，得到当前分块解码层输出的目标分块特征信息，当前初始分块特征信息为当前分块解码层对应的当前分块编码层输出的信息，第二初始全局特征信息为与当前分块编码层同一维度的全局编码层输出的信息；
93.s750.将每个分块解码层输出的目标分块特征信息输入到特征融合层中进行特征融合，得到目标合成图像。
94.在一些实施例中，在将初始合成图像和多个子区域各自对应的分块区域特征信息输入到第一个分块编码层之前，可以拼接初始合成图像和多个子区域各自对应的分块区域特征信息，得到第二拼接后特征信息。在当前进行特征处理的分块编码层为第一个分块编码层时，将第二拼接后特征信息输入到第一个分块编码层中进行特征处理。
95.在当前进行特征处理的分块编码层为非第一个分块编码层时，将每一个分块编码层输出的初始全局特征信息作为下一个分块编码层的输入信息，得到当前进行特征处理的分块编码层输出的初始分块特征信息。
96.在当前分块解码层为第一个分块解码层时，将与最后一个分块编码层同一维度的全局编码层输出的初始全局特征信息作为第一初始全局特征信息，将最后一个分块编码层输出的初始分块特征信息和第一初始全局特征信息输入到第一个分块解码层中进行特征处理，可以得到第一个分块解码层输出的目标分块特征信息，最后一个分块编码层输出的初始分块特征信息即为第一个初始分块特征信息。同一维度可以指具有相同的特征分辨率。
97.在当前分块解码层为非第一个分块解码层时，获取当前分块解码层对应的上一目标分块特征信息，并获取当前分块解码层对应的当前分块编码层输出的当前初始分块特征信息，以及与当前分块编码层同一维度的全局编码层输出的初始全局特征信息作为第二初始全局特征信息。将上一目标分块特征信息、当前初始分块特征信息和第二初始全局特征信息输入到当前分块解码层中进行特征处理，可以得到当前分块解码层输出的目标分块特征信息。同一维度可以指具有相同的特征分辨率。
98.将每个分块解码层输出的目标分块特征信息输入到特征融合层中进行特征融合，可以得到目标合成图像。请参见图8，如图8所示为分块前景处理模型中特征融合层进行特征融合的示意图。特征融合可以通过concat函数将每个分块解码层输出的目标分块特征信息融合为一个目标特征信息，再对该目标特征信息进行特征处理，得到目标合成图像。
99.在分块编码层中进行特征处理时，每个分块编码层对应的特征分辨率逐渐减小，通道数逐渐增多，可以通过卷积操作抽象出第二拼接后特征信息中的高层特征，得到每个分块编码层对应的初始分块特征信息。在分块解码器中进行特征处理时，每个分块解码层对应的特征分辨率逐渐增大，通道数逐渐减小，可以通过反卷积操作，得到目标特征分辨率的目标合成图像。
100.通过分块前景处理模型对初始合成图像和多个子区域各自对应的分块区域特征信息进行特征处理，并融合每个分块解码层输出的目标分块特征信息，使得分块前景处理模型可以对不同颜色对应的子区域自适应地进行不同程度的颜色变换处理，从而提高目标合成图像的真实性。
101.在一些实施例中，请参见图9，该方法还包括：
102.s910.确定与样本图像对应的前景差异图像，前景差异图像的前景训练特征信息与样本图像对应的前景区域特征信息间存在差异，前景训练特征信息为对前景差异图像的前景区域进行特征提取得到的；
103.s920.基于前景训练特征信息，对前景差异图像进行颜色变换全局处理，得到初始训练合成图像；
104.s930.基于前景训练特征信息，对前景差异图像的前景区域进行区域划分，得到多个训练子区域；
105.s940.将初始训练合成图像和多个训练子区域各自对应的分块区域特征信息输入到待训练模型中进行颜色变换处理，得到目标训练合成图像；
106.s950.基于目标训练合成图像和样本图像，对待训练模型进行训练，得到分块前景处理模型。
107.在一些实施例中，对样本图像中的前景区域进行随机颜色变换处理，得到前景差异图像，随机颜色变换处理可以为随机进行亮度、饱和度、对比度、色调、色温等的简易颜色变换。样本图像中的前景区域与背景区域相匹配，经过随机颜色变换后得到的前景差异图像中的前景区域与背景区域不相匹配，因此，前景差异图像的前景训练特征信息与样本图像对应的前景区域特征信息间存在差异。每个样本图像可以对应至少一个前景差异图像。
108.对前景差异图像进行特征提取，可以得到前景训练特征信息，前景训练特征信息可以为二值图形式的前景掩码特征信息。基于前景训练特征信息，对前景差异图像进行颜色变换全局处理，可以得到初始训练合成图像。在通过模型处理的情况下，将前景训练特征信息和前景差异图像输入到第一待训练模型中进行颜色变换全局处理，可以得到初始训练合成图像。
109.通过预设的聚类算法，基于前景训练特征信息，对前景差异图像的前景区域进行区域划分，可以得到多个训练子区域。将初始训练合成图像和多个训练子区域各自对应的分块区域特征信息输入到第二待训练模型中进行颜色变换处理，可以得到目标训练合成图像。
110.基于初始训练合成图像与样本图像间的图像差异信息，确定第一损失数据，该第一损失数据可以为均方差损失数据。基于目标训练合成图像与样本图像间的图像差异信息，确定第二损失数据，该第二损失数据可以为均方差损失数据。组合第一损失数据和第二损失数据，可以得到目标损失数据。基于目标损失数据，对第一待训练模型和第二待训练模型进行训练，可以得到全局前景处理模型和分块前景处理模型。
111.在模型训练的过程中，可以通过对样本图像进行随机颜色变换处理的方式生成前景差异图像，再利用前景差异图像进行模型训练，可以以较小的人工成本生成大量的训练数据，从而提高了训练数据生成的效率，进一步提高了模型训练的效率。
112.在一些实施例中，请参见图10，如图10所示为合成图像处理方法对应的模型结构
示意图。全局前景处理模型的网络结构和分块前景处理模型的网络结构相对应，均为4个4x4的卷积层(conv)和4x4的反卷积层(deconv)，其中卷积层可以用于进行编码操作，反卷积层可以用于进行解码操作。在全局前景处理模型中，每个卷积层输出的初始全局特征信息会连接到对应的反卷积层中，与每个反卷积层的上一反卷积层输出的目标全局特征信息一起作为对应的反卷积层的输入信息。同样的，在分块前景处理模型中，每个卷积层输出的初始分块特征信息会连接到对应的反卷积层中，与每个反卷积层的上一反卷积层输出的目标分块特征信息一起作为对应的反卷积层的输入信息。全局前景处理模型中卷积层输出的全局特征处理结果还可以在通过一次3x3的卷积处理后，输入到对应的分块前景处理模型的反卷积层中。
113.将待处理合成图像和前景区域特征信息输入到全局前景处理模型中进行颜色变换处理，输出初始合成图像。并获取待处理图像图像的前景区域中各个子区域对应的分块区域特征信息。获取全局前景处理模型中卷积层的全局特征处理结果，将分块区域特征信息、初始合成图像以及卷积层的全局特征处理结果输入到分块前景处理模型中进行颜色变换处理，输出目标合成图像。请参见图11，如图11所示为合成图像处理方法的处理结果与真实图像、合成图像、基础算法对应的处理结果间的对比图，在图11中，第一行的示例图中的前景区域是一个人，包含的子区域分别为衣服区域和头发区域，现有基础算法对头发部分处理得比较好，但是对衣服部分处理效果不佳，而该合成图像处理方法对头发和衣服都处理得比较好。第二行的示例图中的前景区域是一个石柱和一个花圈，包含的子区域分别为石柱区域和花圈区域，现有基础算法对石柱部分处理得比较好，但是对花圈部分处理效果不佳，而该合成图像处理方法对石柱和花圈处理得都比较好。
114.本技术实施例提供了一种合成图像处理方法，该方法包括：对待处理合成图像的前景区域进行颜色变换全局处理，得到初始合成图像，并对待处理合成图像的前景区域进行区域划分，得到多个子区域。将初始合成图像和多个子区域各自对应的分块区域特征信息输入到分块前景处理模型中，自适应地对多个子区域进行不同程度的颜色变换处理，得到目标合成图像。该方法可以对待处理合成图像的前景区域中不同的子区域进行不同程度的颜色变换处理，从而使得前景区域中的各个子区域都可以与背景区域协调一致，提高了颜色变换处理的准确性，并提高了目标合成图像的真实性。
115.本技术实施例还提供了一种合成图像处理装置，请参见图12，该装置包括：
116.全局处理模块1210，用于基于待处理合成图像的前景区域特征信息，对待处理合成图像进行颜色变换全局处理，得到初始合成图像，前景区域特征信息为对待处理合成图像的前景区域进行特征提取得到的；
117.子区域划分模块1220，用于对前景区域进行区域划分，得到多个子区域；
118.分块处理模块1230，用于将初始合成图像和多个子区域各自对应的分块区域特征信息输入到分块前景处理模型中进行颜色变换处理，得到目标合成图像，目标合成图像中的每个子区域对应不同程度的颜色变换处理结果。
119.在一些实施例中，全局处理模块1210包括：
120.第一模型处理单元，用于将待处理合成图像和前景区域特征信息输入到全局前景处理模型中进行颜色变换全局处理，得到初始合成图像。
121.在一些实施例中，分块处理模块包括：
122.全局信息获取单元，用于获取全局前景处理模型中目标网络结构输出的全局特征处理结果，全局前景处理模型中的网络结构与分块前景处理模型中的网络结构对应；
123.第二模型处理单元，用于将初始合成图像、多个子区域各自对应的分块区域特征信息和全局特征处理结果输入到分块前景处理模型中进行颜色变换处理，得到目标合成图像。
124.在一些实施例中，分块前景处理模型包括多个按序排列的分块编码层、每个分块编码层一一对应的分块解码层和特征融合层，将与每个分块编码层对应维度的全局前景处理模型中每个全局编码层输出的初始全局特征信息作为全局特征处理结果，第二模型处理单元包括：
125.分块编码处理单元，用于将初始合成图像和分块区域特征信息输入到多个按序排列的分块编码层中进行特征处理，得到每个分块编码层输出的初始分块特征信息；
126.第一分块解码处理单元，用于在当前分块解码层为第一个分块解码层时，将第一个初始分块特征信息和第一初始全局特征信息输入到第一个分块解码层中进行特征处理，得到第一个分块解码层输出的目标分块特征信息，第一个初始分块特征信息为最后一个分块编码层输出的信息，第一初始全局特征信息为与最后一个分块编码层同一维度的全局编码层输出的信息；
127.上一分块信息获取单元，用于在当前分块解码层为非第一个分块解码层时，获取当前分块解码层对应的上一目标分块特征信息；
128.第二分块解码处理单元，用于将上一目标分块特征信息、当前初始分块特征信息和第二初始全局特征信息输入到当前分块解码层中进行特征处理，得到当前分块解码层输出的目标分块特征信息，当前初始分块特征信息为当前分块解码层对应的当前分块编码层输出的信息，第二初始全局特征信息为与当前分块编码层同一维度的全局编码层输出的信息；
129.特征融合单元，用于将每个分块解码层输出的目标分块特征信息输入到特征融合层中进行特征融合，得到目标合成图像。
130.在一些实施例中，子区域划分模块1220包括：
131.初始中心确定单元，用于基于前景区域对应的图像特征信息，确定多个初始分块中心信息；
132.当前中心确定单元，用于将多个初始分块中心信息作为当前分块中心信息；
133.当前分块区域确定单元，用于基于前景区域和当前分块中心信息，确定每个当前分块中心信息对应的当前分块区域；
134.当前中心更新单元，用于基于当前分块区域，对当前分块区域对应的当前分块中心信息进行更新；
135.重复执行单元，用于重复基于前景区域和当前分块中心信息，确定每个当前分块中心信息对应的当前分块区域到基于当前分块区域，对当前分块区域对应的当前分块中心信息进行更新的步骤，直到更新前后的当前分块中心信息匹配，将当前分块中心信息作为目标分块中心信息；
136.子区域确定单元，用于将目标分块中心信息对应的当前分块区域作为子区域。
137.在一些实施例中，全局前景处理模型包括多个按序排列的全局编码层和每个全局
编码层一一对应的全局解码层，第一模型处理单元包括：
138.全局编码处理单元，用于将待处理合成图像和前景区域特征信息输入到多个按序排列的全局编码层中进行特征处理，得到每个全局编码层输出的初始全局特征信息；
139.第一全局解码处理单元，用于在当前全局解码层为第一个全局解码层时，将第三初始全局特征信息输入到第一个全局解码层中进行特征处理，得到第一个全局解码层输出的目标全局特征信息，第三初始全局特征信息为最后一个全局编码层输出的信息；
140.上一全局信息获取单元，用于在当前全局解码层为非第一个全局解码层时，获取当前全局解码层对应的上一目标全局特征信息；
141.第二全局解码处理单元，用于将上一目标全局特征信息和第四初始全局特征信息输入到当前全局解码层中进行特征处理，得到当前全局解码层输出的目标全局特征信息，第四初始全局特征信息为当前全局解码层对应的全局编码层输出的信息；
142.初始合成图像确定单元，用于基于最后一个全局解码层输出的目标全局特征信息，得到初始合成图像。
143.在一些实施例中，该装置还包括：
144.前景差异图像获取模块，用于确定与样本图像对应的前景差异图像，前景差异图像的前景训练特征信息与样本图像对应的前景区域特征信息间存在差异，前景训练特征信息为对前景差异图像的前景区域进行特征提取得到的；
145.全局训练处理模块，用于基于前景训练特征信息，对前景差异图像进行颜色变换全局处理，得到初始训练合成图像；
146.训练子区域划分模块，用于基于前景训练特征信息，对前景差异图像的前景区域进行区域划分，得到多个训练子区域；
147.分块训练处理模块，用于将初始训练合成图像和多个训练子区域各自对应的分块区域特征信息输入到待训练模型中进行颜色变换处理，得到目标训练合成图像；
148.模型训练模块，用于基于目标训练合成图像和样本图像，对待训练模型进行训练，得到分块前景处理模型。
149.上述实施例中提供的装置可执行本技术任意实施例所提供方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的一种合成图像处理方法。
150.本实施例还提供了一种计算机可读存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令由处理器加载并执行本实施例上述的一种合成图像处理方法。
151.本实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述合成图像处理的各种可选实现方式中提供的方法。
152.本实施例还提供了一种电子设备，该电子设备包括处理器和存储器，其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行本实施例上述的一种合成图像处理方法。
153.设备可以为计算机终端、移动终端或服务器，设备还可以参与构成本技术实施例所提供的装置或系统。如图13所示，服务器13可以包括一个或多个(图中采用1302a、
access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
160.本领域技术人员还可以进一步意识到，结合本说明书所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本技术的范围。
161.以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。