一种基于深度学习的像素级色彩一致性方法和装置与流程

1.本技术涉及图像处理领域，尤其涉及一种基于深度学习的像素级色彩一致性方法和装置。


背景技术：

2.随着虚拟现实、增强现实等技术的发展，图像的虚实结合逐渐走向大众视野。作为虚实结合技术中所处理的主要问题之一，合成后图像的真实感是研究的热门，而所融入物体与原本图像之间的色彩一致是影响真实感的重要因素之一。现有的图像色彩处理方法，主要分为两类：
3.1、修图软件：类似ps(photoshop，照片商店)等修图软件有着强大的图像处理功能，但对于非专业人士，其学习使用方法是一个繁琐的过程；
4.2、色彩校正算法：
5.a)有人提出将颜色正常的区域从图像序列中提出，混合到一张高质量的图像中。虽然该方法在一定程度上取得的成功，可以得到效果较为理想的合成图像，但是需要多次将图像序列作为输入，需要较大的计算量，而且不能直接应用于单个图像；
6.b)对于视频颜色较为灰暗部分的增强方法，有人提出，首先利用采样的色调映射曲线构造每个视频帧的多次图像序列，然后以时空感知的方式逐步融合图像序列，得到增强的视频，但是这种方法只适用于颜色较为灰暗的区域。
7.特别地，现有技术中的光照双向估计法步骤主要如下：
8.1、给定一副输入图像，双光照估计，获得欠曝光区域；
9.2、将图像进行反转，获得过曝光区域；
10.3、对获得的曝光区域和欠曝光区域进行曝光校正；
11.4、将欠曝光校正图像、正常曝光图像和过曝光校正图像进行融合，得到最终输出。
12.综合来看，一方面，现有技术需要掌握ps等修图软件的使用技巧，另一方面，现有技术中色彩校正算法大多用来校正颜色过度或颜色欠缺的问题，因此其实用性有着一定的限制。此外，虽然存在一些两者兼顾的色彩校正算法，但这些算法通常处理速度慢且效果不理想。
13.另外，合成图像可能需要先进行抠图操作，现有图像抠图算法主要分为传统图像抠图方法和基于深度学习的方法：
14.a)传统图像抠图方法，如基于贝叶斯公式的数学方法，通过假设临近的像素和相近颜色的像素具有相似的不透明度来简化模型，但这是一个病态问题，未知量过多，虽然通过简单的颜色假设也可大量的减少变量数，但需要较多的先验知识，抠图过程较为繁琐；
15.b)基于深度学习的方法，是通过大量的数据来学习样本内在规律和表示，得到端到端的映射。现有方法大多基于卷积神经网络，在面对抠图任务存在着如下的缺点：一是图像在相临像素点得到的图像块重叠部分过多，从而导致网络参数冗余，造成计算资源的浪费，影响运行效率；二是为了扩大感受野不得不抛弃精度，下采样操作在扩大感受野的同时
会忽略部分像素，导致一些图像细节信息丢失，最终致使抠图精度下降，同时提高精度和扩大感受野成为不可兼得的问题。
16.特别地，基于多尺度通道注意力的抠图网络模型，其模型步骤主要如下：
17.1、输入是由rgb(red green blue，红绿蓝)图像和单通道三分图的联合输入，经过卷积与标准化；
18.2、将得到的图像经过下采样后得到特征图与经过aspp(atrous spatial pyramid pooling，空洞空间卷积池化金字塔)模块所提取的低级空间特征相融；
19.3、将得到的融合结果经过通道域注意力机制；
20.4、将通道域注意力机制的输入编码输入解码器得到最终结果。
21.一般来讲，抠图算法的评价通常包括四个标准：均方误差、绝对误差和、连接性误差和梯度误差。但由上述方法可知现有技术难以满足要求，一方面，现有技术需要大量先验知识，抠图过程繁琐，另一方面，现有技术运行效率较低，抠图精度和感受野难以均衡。
22.综上所述，现有技术中，图像色彩一致性在抠图算法和色彩校正方面均存在不足：抠图算法需要大量先验知识，过程繁琐，运行效率较低，难以均衡抠图精度和感受野；手动色彩校正需要学习修图软件的复杂使用技巧，色彩校正算法实用性存在限制，处理速度慢且效果不理想。抠图算法和色彩校正方面存在的不足说明图像色彩一致性问题仍有待进一步研究。
23.相关术语解释：
24.(1)色彩一致性：色彩一致性问题是指图像中，融入新的、原本不属于该图像场景中的物体时，会产生融入物体表面与场景颜色有所差异，为了提高图像合成后的真实感，校正新加入图像与原本场景在色彩上差异，使得最终图像更和谐，更符合人类眼睛感受的一类问题。
25.(2)卷积神经网络(convolutional neural network，cnn)：卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(shift-invariant artificial neural networks,siann)”26.(3)长短期记忆网络(long short-term memory，lstm)：长短期记忆网络是一种时间循环神经网络，是为了解决一般的rnn(循环神经网络，recurrent neural network)存在的长期依赖问题而专门设计出来的，所有的rnn都具有一种重复神经网络模块的链式形式。
27.(4)注意力机制(attention)：注意力机制源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。深度学习attention机制是对人类视觉注意力机制的仿生，本质上是一种资源分配机制。生理原理就是人类视觉注意力能够以高分辨率接收于图片上的某个区域，并且以低分辨率感知其周边区域，并且视点能够随着时间而改变。
28.(5)unet：unet网络结构模型中较浅的卷积块用于提取低级特征，例如图像内的颜色、位置等信息。较深的卷积块则能够提取更高层次的语义特征，如像素间类别信息。是一种典型的encoder-decoder(编码器-解码器)结构，且编码结构和解码结构是相对称的，形
如英文字母u，故称之为u-net网络结构。
29.(6)encoder-decoder模型：encoder-decoder并不是一个具体的模型，而是一个通用的框架。所谓编码，就是将输入序列通过某种模型转化成一个固定长度向量，解码，就是将之前生成的固定向量再转化出输出序列。
30.申请内容
31.(技术问题 技术方案 技术效果)
32.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
33.为此，本技术的目的在于解决图形色彩一致性方面存在的不足，提出了一种基于深度学习的像素级色彩一致性方法。
34.本技术的另一个目的在于提出一种基于深度学习的像素级色彩一致性装置。
35.为达上述目的，本技术一方面提出了基于深度学习的像素级色彩一致性方法，包括以下步骤：
36.获取图像数据集，其中，所述图像数据集包括rgb三通道图像和三分图；
37.通过抠图模型对所述rgb三通道图像和所述三分图进行抠图操作，得到第一抠图结果，其中，所述抠图模型包括unet(图像分割网络)网络、注意力机制和循环抠图机制；
38.基于所述第一抠图结果进行色彩校正，得到结果图像。
39.在一些可能的实施例中，所述通过抠图模型对所述rgb三通道图像和所述三分图进行抠图操作，得到第一抠图结果，包括：
40.将所述rgb三通道图像和所述三分图输入到unet网络的编码器，输出第一特征图像；
41.将所述rgb三通道图像和所述三分图进行空洞池化，得到空洞池化图像；
42.合成所述第一特征图像和所述空洞池化图像，得到合成图像；
43.通过所述注意力机制对所述合成图像进行卷积操作，得到第二特征图像；
44.将所述第二特征图像输入到unet网络的解码器，输出第二抠图结果；
45.通过循环抠图机制对所述第二抠图结果执行循环抠图，得到所述第一抠图结果。
46.在一些可能的实施例中，其特征在于，所述注意力机制包括通道域注意力机制和空间域注意力机制，所述通过所述注意力机制对所述合成图像进行卷积操作，得到第二特征图像，包括：
47.获取通道域注意力机制权重矩阵和空间域注意力权重矩阵；
48.基于所述通道域注意力机制权重矩阵和所述空间域注意力权重矩阵对所述合成图像进行卷积操作，得到所述第二特征图像。
49.在一些可能的实施例中，所述通过循环抠图机制对所述第二抠图结果执行循环抠图，得到所述第一抠图结果，包括：
50.计算所述第二抠图结果的抠图分数；
51.在所述抠图分数小于所述预设抠图分数阈值的情况下，基于所述第二抠图结果重复执行所述抠图操作；
52.在所述重复执行次数达到预设数量的情况下，得到所述第一抠图结果。
53.在一些可能的实施例中，所述基于深度学习的像素级色彩一致性方法还包括：
54.在所述抠图分数大于或等于所述预设抠图分数阈值的情况下，得到所述第一抠图
结果。
55.在一些可能的实施例中，所述色彩校正包括局部色彩校正和整体色彩校正，所述基于所述第一抠图结果进行色彩校正，得到结果图像，包括：
56.将所述第一抠图结果进行所述局部色彩校正，得到还原图像；
57.基于所述还原图像进行所述整体色彩校正，得到所述结果图像。
58.在一些可能的实施例中，所述将所述第一抠图结果进行所述局部色彩校正，得到还原图像，包括：
59.分离所述第一抠图结果，得到目标图像和背景图像；
60.分别计算所述目标图像和所述背景图像的平均像素强度值；
61.将所述平均像素强度值输入第一预设函数，输出相对像素强度值；
62.将所述相对像素强度值输入第二预设函数，输出第一相对像素强度权重；
63.基于所述第一相对像素强度权重合成还原所述目标图像和所述背景图像，得到所述还原图像。
64.在一些可能的实施例中，所述基于所述还原图像进行所述整体色彩校正，得到所述结果图像，包括：
65.扫描所述还原图像，得到每个像素的像素强度值；
66.将所述每个像素的像素强度值与预设像素强度阈值进行比较，得到比较结果；
67.根据所述比较结果，将所述还原图像划分为颜色过度区域、颜色正常区域和颜色欠缺区域；
68.计算所述颜色过度区域、所述颜色正常区域和所述颜色欠缺区域的第二相对像素强度权重；
69.基于所述第二相对像素强度权重和预设公式对所述还原图像进行色彩校正，得到所述结果图像。
70.在一些可能的实施例中，所述计算所述第二抠图结果的抠图分数，包括：
71.获取所述交并比和所述像素强度值的权重；
72.计算所述第二抠图结果的交并比分数和像素强度值分数；
73.根据所述交并比和所述像素强度值的权重、所述第二抠图结果的交并比分数和像素强度值分数计算所述第二抠图结果的所述抠图分数。
74.为达到上述目的，本技术另一方面提出了一种基于深度学习的像素级色彩一致性装置，包括：
75.获取模块，用于获取图像数据集，其中，所述图像数据集包括rgb三通道图像和三分图；
76.抠图模块，用于通过抠图模型对所述rgb三通道图像和所述三分图进行抠图操作，得到第一抠图结果，其中，所述抠图模型包括unet网络、注意力机制、和循环抠图机制；
77.校正模块，用于基于所述第一抠图结果进行色彩校正，得到结果图像。
78.本技术的有益效果：
79.根据本技术实施例的一种基于深度学习的像素级色彩一致性方法，通过获取图像数据集，通过抠图模型对图像数据集中的rgb三通道图像和三分图进行抠图操作，得到第一抠图结果，基于所述第一抠图结果进行色彩校正，得到结果图像。本技术能够减少图像的特
征流失，提升图像边缘细节信息提取能力，增强合成图像的色彩一致性。
80.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
81.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
82.图1为根据本技术实施例的一种基于深度学习的像素级色彩一致性方法的流程图；
83.图2为根据本技术实施例的一种基于深度学习的像素级色彩一致性方法的说明示意图；
84.图3为根据本技术实施例的一种基于深度学习的像素级色彩一致性装置的结构示意图。
具体实施方式
85.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
86.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
87.下面参照附图描述根据本技术实施例提出的一种基于深度学习的像素级色彩一致性方法及装置，首先将参照附图描述根据本技术实施例提出的一种基于深度学习的像素级色彩一致性方法。
88.图1是本技术一个实施例的基于深度学习的像素级色彩一致性方法的流程图。
89.如图1所示，该基于深度学习的像素级色彩一致性方法包括以下步骤：
90.步骤s110，获取图像数据集，其中，图像数据集包括rgb三通道图像和三分图。
91.在本技术实施例中，图像数据集可以基于adobe(公司名称)图像抠图数据集获取，adobe图像抠图数据集包括较多的头发等细节，能够更好地反应日常生活中的所获得图像的特点，通过对adobe图像抠图数据集中的前景图像进行合成，获取rgb三通道图像和三分图，还可以对rgb三通道图像和三分图进行数据增强，包括旋转、缩放和裁剪。
92.步骤s120，通过抠图模型对rgb三通道图像和三分图进行抠图操作，得到第一抠图结果。
93.其中，抠图模型包括unet网络、注意力机制和循环抠图机制，unet网络用于提取图像的低级特征，注意力机制用于以高分辨率接收图像上的某个区域，且以低分辨率接收其周边区域，高分辨率接收区域可以随着时间改变，循环抠图机制用于对抠图结果进行重复抠图，以提高抠图精度。第一抠图结果可以是通过抠图模型对rgb三通道图像和三分图进行抠图操作后获得的抠图结果。
94.在本技术实施例中，抠图模型包括unet网络、注意力机制和循环抠图机制，将rgb三通道图像和三分图输入到抠图模型中进行抠图操作，得到第一抠图结果。unet网络是抠图模型的主干网络，是一种典型的encoder-decoder结构，有着跳跃连接能力，在抠图过程中能够减少图像特征的丢失。可用于抠图模型主干网络还有许多种，例如，vgg、alexnet等图像分割网络。在unet网络基础上加入注意力机制，可以增强抠图模型对边缘、毛发等区域的注意力。循环抠图机制可以通过将多个unet网络进行串联，每一个unet网络都加入注意力机制，从而获取精度更高的抠图效果。
95.步骤s130，基于第一抠图结果进行色彩校正，得到结果图像。
96.在本技术实施例中，得到第一抠图结果后，可以基于第一抠图结果进行色彩校正，用于提升图像色彩一致性，得到色彩一致性得到提升的结果图像。
97.根据本技术实施例的一种基于深度学习的像素级色彩一致性方法，通过获取图像数据集，通过抠图模型对图像数据集中的rgb三通道图像和三分图进行抠图操作，得到第一抠图结果，基于所述第一抠图结果进行色彩校正，得到结果图像。本技术能够减少图像的特征流失，提升图像边缘细节信息提取能力，增强合成图像的色彩一致性。
98.在一些可能的实施例中，通过抠图模型对rgb三通道图像和三分图进行抠图操作，得到第一抠图结果，包括：
99.将rgb三通道图像和三分图输入到unet网络的编码器，输出第一特征图像；
100.将rgb三通道图像和三分图进行空洞池化，得到空洞池化图像；
101.合成第一特征图像和空洞池化图像，得到合成图像；
102.通过注意力机制对合成图像进行卷积操作，得到第二特征图像；
103.将第二特征图像输入到unet网络的解码器，输出第二抠图结果；
104.通过循环抠图机制对第二抠图结果执行循环抠图，得到第一抠图结果。
105.其中，第一特征图像是通过unet网络的编码器对rgb三通道图像和三分图进行编码得到的特征图像，第二特征图像是通过注意力机制对第一特征图像和空洞池化图像的合成图像进行卷积操作得到的特征图像，第二抠图结果是通过unet网络的解码器对第二特征图像进行解码得到的抠图结果。
106.在本技术实施例中，抠图模型的输入通道数设置为四道，可以将rgb三通道图像和三分图按四道输入通道输入到unet网络的编码器进行编码，得到第一特征图像。
107.同时，将rgb三通道图像和三分图进行空洞池化，得到空洞池化图像，在空洞池化的基础上，可以将rgb三通道图像和三分图按照任意比例缩放，这样做的目的是扩大网络神经元的感受野，空洞池化的过程可以用如下公式表示：
108.y＝c
3,6
(p) c
3,12
(p) c
3,18
(p) c
3,24
(p)
109.其中，c
k,d
(x)，k表示卷积核大小，d表示空洞率，卷积核大小可以统一采用3*3，空洞率可以采用四个数值d＝{6,12,18,24}。
110.然后将第一特征图像和空洞池化图像进行合成，得到合成图像，再可以通过注意力机制对合成图像进行卷积操作，得到第二特征图像，接着可以将第二特征图像输入到unet网络的解码器，输出第二抠图结果，最后可以通过循环抠图机制对第二抠图结果执行循环抠图，得到第一抠图结果。
111.在一些可能的实施例中，注意力机制包括通道域注意力机制和空间域注意力机
制，通过注意力机制对合成图像进行卷积操作，得到第二特征图像，包括：
112.获取通道域注意力机制权重矩阵和空间域注意力权重矩阵；
113.基于通道域注意力机制权重矩阵和空间域注意力权重矩阵对合成图像进行卷积操作，得到第二特征图像。
114.在本技术实施例中，注意力机制包括通道域注意力机制和空间域注意力机制，考虑到不同通道对结果图像有不同的重要性，因此可以对不同通道设置不同的权重，同时在空间域注意力机制中，可以提高抠图目标边缘的权重，从而注意力机制可以表示为权重矩阵。通过获取通道域注意力机制权重矩阵和空间域注意力权重矩阵，再基于通道域注意力机制权重矩阵和空间域注意力权重矩阵对合成图像进行卷积操作，可以得到第二特征图像。上述过程可以用如下公式进行简单描述：
115.output＝w
ca
·wsa
·
input
116.其中，w
ca
表示通道域注意力机制权重矩阵，w
sa
表示空间域通道注意力机制权重矩阵，input表示输入的合成图像，output表示输出的第二特征图像。。
117.在一些可能的实施例中，通过循环抠图机制对第二抠图结果执行循环抠图，得到第一抠图结果，包括：
118.计算第二抠图结果的抠图分数；
119.在抠图分数小于预设抠图分数阈值的情况下，基于第二抠图结果重复执行抠图操作；
120.在重复执行次数达到预设数量的情况下，得到第一抠图结果。
121.其中，预设抠图分数阈值可以是预先设置的抠图分数，比如0.9，预设数量可以是预先设置的重复执行次数的上限，预设数量可以通过串联的unet网络数量进行限制，比如串联3个unet网络执行循环抠图机制。
122.在本技术实施例中，将第二特征图像输入到unet网络的解码器，输出第二抠图结果后，可以计算第二抠图结果的抠图分数，在抠图分数小于预设抠图分数阈值的情况下，可以基于第二抠图结果重复执行抠图操作，也就是将第二抠图结果输入串联的下一个unet网络继续执行抠图操作，获得下一轮的抠图结果，将其更新为第二抠图结果，在重复执行次数达到预设数量的情况下，也就是第二抠图结果在串联的全部unet网络中执行完成抠图操作，将串联的最后一个unet网络的抠图结果作为第一抠图结果输出到下一步。
123.在一些可能的实施例中，基于深度学习的像素级色彩一致性方法还包括：
124.在抠图分数大于或等于预设抠图分数阈值的情况下，得到第一抠图结果。
125.在本技术实施例中，在重复执行次数达到预设数量之前，出现抠图分数大于或等于预设抠图分数阈值的情况时，也可以将当前情况的抠图结果作为第一抠图结果输出到下一步，并终止当前的循环抠图操作。
126.在一些可能的实施例中，色彩校正包括局部色彩校正和整体色彩校正，基于第一抠图结果进行色彩校正，得到结果图像，包括：
127.将第一抠图结果进行局部色彩校正，得到还原图像；
128.基于还原图像进行整体色彩校正，得到结果图像。
129.在本技术实施例中，色彩校正包括局部色彩校正和整体色彩校正。在得到第一抠图结果后，可以对第一抠图结果进行局部色彩校正，得到还原图像，再可以基于还原图像进
行整体色彩校正，得到结果图像，结果图像可以作为最终的色彩一致性处理图像进行输出。
130.在一些可能的实施例中，将第一抠图结果进行局部色彩校正，得到还原图像，包括：
131.分离第一抠图结果，得到目标图像和背景图像；
132.分别计算目标图像和背景图像的平均像素强度值；
133.将平均像素强度值输入第一预设函数，输出相对像素强度值；
134.将相对像素强度值输入第二预设函数，输出第一相对像素强度权重；
135.基于第一相对像素强度权重合成还原目标图像和背景图像，得到还原图像。
136.其中，第一预设函数用于将平均像素强度值转化为相对像素强度值，第二预设函数用于将相对像素强度值转化为第一相对像素强度权重，第一相对像素强度权重用于表示目标图像和背景图像各自所占的像素强度权重。
137.在本技术实施例中，得到第一抠图效果之后，可以分离第一抠图结果，得到目标图像和背景图像，分别计算目标图像和背景图像的平均像素强度值，平均像素强度值可以通过分别累加目标图像和背景图像的像素强度值，再除以总的像素数量得到。
138.计算出目标图像和背景图像的平均像素强度值后，可以将平均像素强度值输入第一预设函数，输出相对像素强度值。第一预设函数可以采用sigmoid函数(映射曲线函数)，函数形式如下所示：
[0139][0140]
其中，x表示输入的平均像素强度值，s(x)表示输出的相对像素强度值。
[0141]
得到相对像素强度值后，可以将相对像素强度值输入第二预设函数，输出第一相对像素强度权重。第二预设函数可以采用减法的形式，具体如下所示：
[0142]
w＝1-s(x)
[0143]
其中，s(x)表示输出的相对像素强度值，w表示输出的第一相对像素强度权重。
[0144]
得到第一相对像素强度权重后，可以基于第一相对像素强度权重合成还原目标图像和背景图像，得到还原图像。也就是说还原图像是基于第一相对像素强度权重将目标图像和背景图像合成得到的。
[0145]
在一些可能的实施例中，基于还原图像进行整体色彩校正，得到结果图像，包括：
[0146]
扫描还原图像，得到每个像素的像素强度值；
[0147]
将每个像素的像素强度值与预设像素强度阈值进行比较，得到比较结果；
[0148]
根据比较结果，将还原图像划分为颜色过度区域、颜色正常区域和颜色欠缺区域；
[0149]
计算颜色过度区域、颜色正常区域和颜色欠缺区域的第二相对像素强度权重；
[0150]
基于第二相对像素强度权重和预设公式对还原图像进行色彩校正，得到结果图像。
[0151]
其中，预设像素强度阈值可以是预先设置的像素强度值，用于衡量图像像素强度的大小，进而划分图像颜色强弱区域，预设公式可以是预先选择的对得到的还原图像进行色彩校正的公式。
[0152]
在本技术实施例中，得到还原图像后，可以扫描还原图像，得到每个像素的像素强度值，将每个像素的像素强度值与预设像素强度阈值进行比较，得到比较结果，比较结果可
能是像素强度值大于预设像素强度阈值、像素强度值等于预设像素强度阈值、像素强度值小于预设像素强度阈值。根据比较结果，可以将还原图像划分为颜色过度区域、颜色正常区域和颜色欠缺区域，颜色过度区域可以是像素强度值大于预设像素强度阈值的图像区域，颜色正常区域可以是像素强度值等于预设像素强度阈值的图像区域，颜色欠缺区域可以是像素强度值小于于预设像素强度阈值的图像区域。划分得到颜色过度区域、颜色正常区域和颜色欠缺区域后，可以计算颜色过度区域、颜色正常区域和颜色欠缺区域的第二相对像素强度权重，第二相对像素强度权重的计算可参考第一相对像素强度权重的计算，此处不再赘述。基于第二相对像素强度权重和预设公式可以对还原图像进行色彩校正，可以根据颜色过度区域、颜色正常区域和颜色欠缺区域的第二相对像素强度权重对颜色过度区域、颜色正常区域和颜色欠缺区域进行相加融合得到结果图像。其中，预设公式的形式可以如下所示：
[0153][0154]
其中，(l-l
′
p
)2表示尽量使得结果图像与初始化图相近，λ是超参数，平衡前后两者所占权重，初始化图可以选取每个rgb通道的最大值的图像作为初始化图，所占权重，初始化图可以选取每个rgb通道的最大值的图像作为初始化图，用于尽量减小图像细节部分的冗余，w
p
表示第二相对像素强度权重，表示对l计算偏导数。
[0155]
在一些可能的实施例中，计算第二抠图结果的抠图分数，包括：
[0156]
获取交并比和像素强度值的权重；
[0157]
计算第二抠图结果的交并比分数和像素强度值分数；
[0158]
根据交并比和像素强度值的权重、第二抠图结果的交并比分数和像素强度值分数计算第二抠图结果的抠图分数。
[0159]
在本技术实施例中，得到第二抠图结果后，可以获取交并比和像素强度值的权重，交并比和像素强度值的权重可以预先进行设置。也可以计算第二抠图结果的交并比分数和像素强度值分数，交并比分数和像素强度值分数的计算方式可以如下所示：
[0160][0161][0162]
其中，score
iou
表示交并比分数，score
p
表示像素强度值分数，si表示面积，用于确定抠图对象的位置，pi表示区域的像素强度值，用于优化细节区域的像素，具体地，s
object
表示目标物体预测所占面积，s
gt
表示目标物体真实所占面积，p
object
表示目标物体像素预测强度，p
gt
表示目标物体真实像素强度。
[0163]
得到交并比和像素强度值的权重和第二抠图结果的交并比分数和像素强度值分数后，可以根据交并比和像素强度值的权重、第二抠图结果的交并比分数和像素强度值分数计算第二抠图结果的抠图分数，计算方式可以如下所示：
[0164]
score＝w
iou
·
score
iou
w
p
·
sxore
p
[0165]
其中，score
iou
表示交并比分数，score
p
表示像素强度值分数，，w
iou
表示交并比权重，w
p
表示像素强度值权重，score表示第二抠图结果的抠图分数。
[0166]
需要说明的是，图2为根据本技术实施例的一种基于深度学习的像素级色彩一致性方法的说明示意图，如图2所示，首先进行图像输入，可以对图像数据集中的前景图像进行预处理操作，然后可以进行图像抠图，基于unet网络的模型，添加通道域注意力机制和空间域注意力机制，采用循序渐进的抠图策略，通过计算比较抠图得分和阈值的关系，输出抠图结果，再进行局部色彩校正，通过分别计算抠图结果(目标对象和环境)两者的平均像素强度，转化为对应权重，进行加权融合，之后进行整体色彩校正，采用双向色彩估计法，同时考虑色彩过度和色彩欠缺两种情况，通过将图像划分为三个不同情况的区域，计算对应区域的平均像素强度，进行加权融合得到最终校正结果，最后进行图像输出，即将校正结果输出。
[0167]
需要说明的是，在具体实验操作中，抠图模型需要进行预先训练，以达到较好的抠图效果，训练环境可以采用英伟达gtx2080ti(显卡型号)进行训练，训练参数可以如下表所示：
[0168]
训练参数参数数值学习率1e-3训练轮数150每次训练样本数量64抠图分数阈值0.9抠图操作重复执行数量3
[0169]
实验结果表明，经过局部色彩校正后，得到的效果图已经有所改正，但如果加入整体色彩校正，相比不加入整体色彩校正，得到的最终结果更加贴近人眼习惯，由此体现了整体色彩校正的必要性。
[0170]
为了实现上述实施例，如图3所示，本实施例中还提供了一种基于深度学习的像素级色彩一致性装置300，该装置300包括：获取模块310，抠图模块320，校正模块330。
[0171]
获取模块310，用于获取图像数据集，其中，图像数据集包括rgb三通道图像和三分图；
[0172]
抠图模块320，用于通过抠图模型对rgb三通道图像和三分图进行抠图操作，得到第一抠图结果，其中，抠图模型包括unet网络、注意力机制、和循环抠图机制；
[0173]
校正模块330，用于基于第一抠图结果进行色彩校正，得到结果图像。
[0174]
根据本技术实施例的一种基于深度学习的像素级色彩一致性装置，通过获取图像数据集，通过抠图模型对图像数据集中的rgb三通道图像和三分图进行抠图操作，得到第一抠图结果，基于所述第一抠图结果进行色彩校正，得到结果图像。本技术能够减少图像的特征流失，提升图像边缘细节信息提取能力，增强合成图像的色彩一致性。
[0175]
需要说明的是，前述对基于深度学习的像素级色彩一致性方法实施例的解释说明也适用于该实施例的基于深度学习的像素级色彩一致性装置，此处不再赘述。
[0176]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三
个等，除非另有明确具体的限定。
[0177]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0178]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。