一种基于自注意变换的图像和谐化系统的制作方法

1.本发明涉及图像处理技术领域，尤其涉及一种基于自注意变换的图像和谐化系统。


背景技术：

2.将不同图像的任意区域组合成一幅视觉感知真实的合成图像是计算机视觉和图形学许多应用研究的一项基本任务，例如图像合成、图像拼接、图像编辑以及场景合成等，同时图像合成也是人类日常生活中的一种普遍操作。然而，将一幅图像的部分区域(称作合成图像的前景)复制并粘贴到另一幅图像(称作合成图像的背景)中进而得到的合成图像，由于其前景区域和背景区域(合成图像中除前景区域的其他区域)的成像环境(例如白天和黑夜，晴天和阴天，室内和室外)不同将不可避免地出现合成图像前景和背景外观不和谐一致的问题。因此，如何通过一种简单高效的手段使得合成图像看起来更加真实，即图像和谐化，是一项重要且具有挑战性的任务。
3.传统的图像和谐化方法着重于更好的匹配技术，通过迁移诸如颜色和纹理之类的统计信息来保证前景与背景之间的外观一致性。最近，已经开发了深度和谐化模型和大规模数据集来解决这一具有挑战性的任务并取得了很好的效果。当前的深度学习模型主要采用编码器
‑
解码器的卷积神经网络(cnn)架构，该架构首先利用编码器尝试学习前景区域附近的背景外观颜色信息，进而捕获合成图像上下文以调整图像前景区域的外观或者光照使其与背景相一致，最后利用解码器重建和谐化后的图像。
4.实际上，普遍使用的编码器
‑
解码器卷积神经网络架构通过两步处理过程完成图像和谐化任务。第一阶段主要是基于合成图像背景区域的颜色统计在多层特征空间中调整前景区域的颜色使其与背景颜色相兼容，第二阶段主要是将图像从高维特征空间中重建原始的结构和语义信息以及和谐化的低层视觉特征。然而，由于cnn本身具有局部敏感性的归纳偏置决定了卷积神经网络只能关注局部有限的信息，以致于浅层的cnn只能捕获前景附近的背景区域上下文，而缺少全局的背景上下文。然而，图像整体的协调一致性是评价合成图像视觉真实度的关键要素。因此cnn可能无法充分利用背景全局信息进行调整前景颜色并使其与整体背景颜色相一致。
5.另外，先前的方法采用具有连续编码的u
‑
net多层cnn网络结构，虽然u
‑
net通过多层cnn堆叠方式可以增加感受野以捕获图像全局的上下文，但同时由于从编码器到解码器的跳连接可能会再次将合成图像原有的不和谐信息引入到重建的图像中，降低图像和谐化模型的性能。


技术实现要素：

6.本发明提供一种基于自注意变换的图像和谐化系统，解决的技术问题在于：如何在图像和谐化过程中，既能捕获前景附近的背景区域上下文，还能捕获图像全局的上下文，并且不引入不和谐信息，以最大程度地解决合成图像前景与背景的不和谐问题。
7.为解决以上技术问题，本发明提供一种基于自注意变换的图像和谐化系统，包括非解耦图像和谐化模块或解耦图像和谐化模块；
8.所述非解耦图像和谐化模块用于利用自注意变换网络对输入的合成图像和掩膜图像进行直接的自注意变换，生成对应的和谐化图像；
9.所述解耦图像和谐化模块包括反射率图像生成模块、背景光解耦模块和光照图像生成模块、合成模块；
10.所述反射率图像生成模块用于对输入的合成图像和掩膜图像进行解耦的自注意变换，生成所述合成图像的反射率本征图像；
11.所述背景光解耦模块用于利用自注意变换网络从合成图像的背景图像中解耦背景光以照射到所述反射率本征图像上；
12.所述光照变换模块用于对照射有背景光的反射率本征图像利用自注意变换网络进一步生成光照本征图像；
13.所述合成模块用于对所述反射率本征图像和所述光照本征图像进行点乘操作，生成所述合成图像的和谐化图像。
14.具体的，所述解耦图像和谐化模块包括第一编码器、第一序列化变换模块、第一自注意变换模块、第一序列化反变换模块、第一解码器；
15.所述第一编码器用于将输入的合成图像和掩膜图像编码到特征空间，得到特征图像输入所述第一序列化变换模块；
16.所述第一序列化变换模块对输入的特征图像进行序列化变换，生成所述第一自注意变换模块的输入令牌；
17.所述第一自注意变换模块用于对所述第一序列化变换模块生成的输入令牌进行直接的自注意变换，得到输出令牌输入所述第一序列化反变换模块；
18.所述第一序列化反变换模块用于对输入的输出令牌进行序列化反变换，生成和谐化特征图像；
19.所述第一解码器用于将所述和谐化特征图像解码为与所述合成图像对应的和谐化图像。
20.具体的，所述反射率图像生成模块包括第二编码器、第二序列化变换模块、第二自注意变换模块、第二序列化反变换模块、第二解码器；
21.所述第二编码器用于将输入的合成图像和掩膜图像编码到特征空间，得到特征图像输入所述第二序列化变换模块；
22.所述第二序列化变换模块对输入的特征图像进行序列化变换，生成所述第二自注意变换模块的输入令牌；
23.所述第二自注意变换模块用于对所述第二序列化变换模块生成的输入令牌进行解耦的自注意变换，得到反射率图像输出令牌输入所述第二序列化反变换模块及所述光照变换模块；
24.所述第二序列化反变换模块用于对输入的输出令牌进行序列化反变换，生成反射率本征特征图像；
25.所述第二解码器用于将所述反射率本征特征图像解码为与所述合成图像对应的反射率本征图像。
26.具体的，所述背景光解耦模块包括线性变换模块、第三自注意变换模块、第四自注意变换模块；
27.所述线性变换模块用于将输入的背景图像分割成图像块序列，然后将每个图像块展平当做一个令牌并通过线性映射将其编码到特征空间，生成所述第三自注意变换模块的输入令牌；
28.所述第三自注意变换模块用于对其输入令牌进行自注意变换编码，生成所述第四自注意变换模块的输入令牌；
29.所述第四自注意变换模块用于对其输入令牌进行自注意变换解码，生成背景光隐向量编码令牌输入所述光照变换模块中。
30.具体的，所述光照变换模块包括第五自注意变换模块、第三序列化反变换模块、第三解码器；
31.所述第五自注意变换模块用于对所述背景光隐向量编码令牌及所述反射率图像输出令牌进行自注意变换，生成对应的光照本征图像输出令牌；
32.所述第三序列化反变换模块用于对所述光照本征图像输出令牌进行序列化反变换生成与所述合成图像对应的光照本征特征图像；
33.所述第三解码器用于对所述光照本征特征图像进行解码，输出与所述合成图像对应的光照本征图像。
34.具体的，在训练过程中，对于所述非解耦图像和谐化模块及所述解耦图像和谐化模块，均采用单个损失函数来激励所述合成图像的和谐化图像逼近其真实图像。
35.具体的，所述第一编码器、所述第二编码器均采用cnn网络的编码器，所述第一解码器、所述第二解码器、所述第三解码器均采用cnn网络的解码器。
36.具体的，所述第一自注意变换模块、所述第二自注意变换模块、所述第三自注意变换模块均采用自注意变换网络的编码器tre，所述第四自注意变换模块、所述第五自注意变换模块均采用自注意变换网络的解码器trd；
37.tre由多个结构相同的层堆叠构成，其中每层包含一个具有多头自我注意力机制的子层和一个前馈网络子层，tre旨在基于对输入令牌(图像块)之间依赖关系进行建模进而输出自注意力关系图；
38.trd也由多个相同结构的层堆叠构成，其中每层除了与tre相同的两个子层外，还有第三个编码器
‑
解码器的交叉注意力机制的子层，该交叉注意力机制的子层对tre的输出与trd自身执行多头注意力操作；trd致力学习从源域到目标域的映射，生成与任务相关的特征矩阵。
39.具体的，所述第一自注意变换模块、所述第二自注意变换模块、所述第三自注意变换模块、所述第四自注意变换模块、所述第五自注意变换模块均采用2个注意力头和9个注意力层。
40.本发明实施例提供的一种基于自注意变换的图像和谐化系统，利用自注意变换网络强大的远程上下文建模能力，可采用图像非解耦方式直接生成和谐化图像，结构简单、和谐化效果好。为了更好的和谐化效果，可采用图像解耦方式，通过反射率图像生成模块获得合成图像的反射率本征图像，通过背景光解耦模块和光照图像生成模块获得合成图像的光照本征图像，从而通过将反射率本征图像和反射率本征图像合成得到和谐化图像，实现了
在保持合成图像语义和结构不变的同时调整前景光照使其与背景光照相兼容，以此解决合成图像前景与背景的不和谐问题。实验结果证明该系统在图像和谐化任务上达到了最先进的性能。
附图说明
41.图1是本发明实施例提供的利用transformer进行图像视觉任务的输入模式框架图；
42.图2是本发明实施例提供的非解耦图像和谐化模块(ht模型)的框架图；
43.图3是本发明实施例提供的非解耦图像和谐化模块(ht模型)的具体结构图；
44.图4是本发明实施例提供的解耦图像和谐化模块(d
‑
ht模型)的框架图；
45.图5是本发明实施例提供的图4所示模型的框架细化图；
46.图6是本发明实施例提供的图5所示模型的具体结构图；
47.图7是本发明实施例提供的各图像和谐化方法在iharmony4四个子数据集和整体数据集上的视觉效果展示图；
48.图8是本发明实施例提供的使用普通掩膜(中间行)和反转掩膜(底部行)进行对比的图像和谐化视觉效果展示图；
49.图9是本发明实施例提供的在不同照明条件下具有不同输出的图像视觉效果展示图；
50.图10是本发明实施例提供的通过修改目标图像的光隐向量编码(lt)得到不同光照的输出图像视觉效果展示图；
51.图11是本发明实施例提供的各图像和谐化方法在真实合成图像上的视觉效果展示图；
52.图12是本发明实施例提供的图像补全方法在paris streetview数据集上的视觉效果展示图；
53.图13是本发明实施例提供的图像增强方法在mit
‑
adobe
‑
5k
‑
upe数据集上的视觉效果展示图。
具体实施方式
54.下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
55.自注意变换网络(transformer)得益于精巧的自注意力机制设计使其能够捕获远程的上下文，transformer作为一种新型的神经网络结构受到了科研界和工业界的快速广泛关注。transformer代替了rnn和lstm，首先被应用于自然语言处理(nlp)任务中，并在nlp的多种任务中取得了令人瞩目的成绩。如今，受益于transformer强大的特征表示能力，研究者们正在将transformer应用到多种计算机视觉任务中，比如目标检测、图像识别和图像处理等。
56.自注意变换网络(transformer)最开始应用于诸如自然语言之类的顺序数据处理任务中，如机器翻译等，它不依赖递归形式而是依靠自注意力机制来描述输入和输出之间
全局的依赖关系。因此，如果将transformer用于计算机视觉任务，需要将2d图像表示为1d序列数据并将其元素或编码当作令牌(token，例如nlp中的单词)并以此序列化数据作为transformer的输入。实际上，可以将图像块作为令牌，以避免以像素为令牌而出现的超长序列问题。因此，在本项工作中，本例初步分析了不同令牌数量以及不同嵌入类型对transformer在图像和谐化方面的性能影响。对于令牌数量，考虑在将图像拆分为图像块时使用不同的步长进行调整。对于编码方式，利用线性(fc或conv)和非线性(含有非线性激活函数的mlp或cnn网络)两种投影方式。通过实验发现transformer对令牌数量更为敏感，而对编码类型不敏感。图像输入方式如图1所示。
57.自注意变换网络(transformer)包含用于捕获令牌关系的编码器tre(
·
)和用于产生任务输出的解码器trd(
·
)。tre由多个结构相同的层堆叠构成，其中每层包含一个具有多头自我注意力机制的子层和一个前馈网络子层。trd也由多个相同结构的层堆叠构成，其中每层除了与tre相同的两个子层外，还有第三个编码器
‑
解码器的交叉注意力机制的子层，该子层对tre的输出与trd自身执行多头注意力操作。由此可知，tre利用自注意力机制来探索其输入向量间的自我关系，而trd执行交叉注意以发现其自身输入与tre输出之间的相互关系。因此，对于以图像作为输入的视觉任务，tre旨在基于对输入令牌(图像块)之间依赖关系进行建模进而输出自注意力关系图，而trd则致力学习从源域(tre的输入)到目标域的映射(trd的输入/输出)，生成与任务相关的特征矩阵。本例旨在探究tre和trd在图像和谐化任务上的能力，以及不同的自注意力头数和层数对于transformer性能的影响，致力于利用transformer强大的远程上下文建模能力来解决图像和谐化问题，以充分利用背景全局上下文信息实现图像和谐化。为了解决合成图像中由于前景和背景之间不同光照条件引起的颜色外观不和谐问题，本例提供一种基于自注意变换的图像和谐化系统，其首先设计了一个简单的非解耦的自注意变换图像和谐化框架(ht)，即非解耦图像和谐化模块，在非常基本的卷积(cnn)编码器和解码器之间引入自注意变换网络(transformer)，用于利用自注意变换网络对输入的合成图像和掩膜图像进行直接的自注意变换，生成对应的和谐化图像。
58.如图2、3所示，所述解耦图像和谐化模块包括第一编码器e(采用cnn网络的编码器)、第一序列化变换模块r、第一自注意变换模块tre(采用自注意变换网络的编码器)、第一序列化反变换模块r
′
、第一解码器d(采用cnn网络的解码器)。
59.第一编码器e用于将输入的合成图像和掩膜图像m编码到特征空间，得到特征图像输入第一序列化变换模块r。第一序列化变换模块r对输入的特征图像进行序列化变换，生成第一自注意变换模块tre的输入令牌。第一自注意变换模块tre用于对第一序列化变换模块r生成的输入令牌进行直接的自注意变换，得到输出令牌输入第一序列化反变换模块r
′
。第一序列化反变换模块r
′
用于对输入的输出令牌进行序列化反变换，生成和谐化特征图像。第一解码器d用于将和谐化特征图像解码为与合成图像对应的和谐化图像
60.cnn编码器e旨在将合成图像编码到紧凑的特征空间，并以特征图的像素作为transformer的输入，而cnn解码器d旨在将transformer的输出重建为与输入图像对应的和谐化图像。这种设计方式实际上是在基本的编码器
‑
解码器体系结构下将cnn的编解码嵌入到transformer中，与当前主流的图像和谐化方法对比相对公平。此外，对于在输入图像和输出图像间许多信息不变(语义、结构等)的低层视觉任务中，可以将trd中的交叉注意力模
块与自注意力模块看作具有相似的作用，因此，本例仅在ht框架中使用tre。
61.针对图像和谐化任务，给定一幅合成图像和对应的前景掩膜图像m，目标是生成一幅前景和背景相兼容的和谐化图像作为输出，即应尽可能地接近真实图像h。具体来说，cnn编码器e(
·
)生成较低分辨率的特征图像f∈r
h
×
w
×
c
，其中，使用和c＝256，h、w分别表示合成图像的高和宽。然后将特征图像f的像素(对应于输入图像的图像块)序列化为f
′
∈r
hw
×
c
，以此作为tre的输入令牌，且输入令牌编码是每个像素中各通道的特征值。此外，与原始transformer在nlp任务中的使用方式类似，本例将每个像素在特征图像f中的实际坐标按照正余弦固定位置编码方式得到各个令牌的位置编码e，以此作为tre的令牌位置输入。进而，将tre输出的序列数据按照原有位置坐标反向变换为与f相同大小的特征图像并将其输入到cnn解码器d(
·
)中，最后生成和谐化后的图像
62.本例将这种非解耦的自注意变换图像和谐化模型用公式表达为：
[0063][0064]
其中，φ和φ
′
分别表示变换和反变换操作。
[0065]
重要的是，本例仅使用单个损失函数来激励
[0066][0067]
根据背景照明调整前景光照是解决图像不和谐问题的关键。此外，基于本征图像和retinex理论的漫反射模型假设，图像的光强度值实际上编码了对应场景点的所有特征，因此，本实施例还通过将合成图像分解为反射率本征图像和光照本征图像，进而利用transformer捕获背景光并将其放在反射率特征图像上以实现光照本征图像的和谐化。本实施例提供的一种基于自注意变换的图像和谐化系统，如图4所示，包括反射率图像生成模块、背景光解耦模块和光照图像生成模块、合成模块。其中：
[0068]
反射率图像生成模块用于对输入的合成图像和掩膜图像m进行解耦的自注意变换，生成合成图像的反射率本征图像
[0069]
背景光解耦模块用于利用自注意变换网络从合成图像的背景图像(从合成图像中抠去前景区域可得到背景图像)中解耦背景光l
bg
以照射到反射率本征图像上。光照变换模块用于对照射有背景光l
bg
的反射率本征图像利用自注意变换网络进一步生成光照本征图像合成模块用于对反射率本征图像和光照本征图像进行点乘操作，生成合成图像的和谐化图像，这个过程可公式化为：
[0070]
基于此，具体的，如图5、6所示，反射率图像生成模块包括第二编码器e
r
(采用cnn网络的编码器)、第二序列化变换模块r1、第二自注意变换模块tre
r
(采用自注意变换网络的编码器)、第二序列化反变换模块r
′1、第二解码器d
r
(采用cnn网络的编码器)。其中：
[0071]
第一编码器e
r
用于将输入的合成图像和掩膜图像m编码到特征空间，得到特征图像输入第二序列化变换模块r1，这个过程可公式化为：具体来说，cnn编码器e
r
生
成较低分辨率的特征图像f∈r
h
×
w
×
c
，其中，，其中，和c＝256，h、w分别表示合成图像的高和宽。
[0072]
第二序列化变换模块r1用于对特征图像f∈r
h
×
w
×
c
进行序列化变换生成多个令牌并对其进行位置编码，得到输入令牌，这个过程可公式化为：具体来说，将特征图像f的像素(对应于输入图像的图像块)序列化为f
′
∈r
hw
×
c
，以此作为第二自注意变换模块tre
r
的输入令牌，且输入令牌编码是每个像素中各通道的特征值。此外，将每个像素在特征图像f中的实际坐标按照正余弦固定位置编码方式得到各个令牌的位置编码e
r
，以此作为tre
r
的令牌位置输入。
[0073]
第二自注意变换编码器tre
r
用于对输入令牌进行自注意解耦变换编码，生成对应的反射率图像输出令牌，这个过程可公式化为：
[0074]
第二序列化反变换模块r
′1用于对反射率图像输出令牌进行与第二序列化变换模块r1相反的反变换，得到与特征图像f大小相同的反射率本征特征图像，这个过程可公式化为：
[0075]
第二解码器d
r
用于对反射率本征特征图像进行解码，输出与合成图像大小相同的反射率本征图像这个过程可公式化为：这个过程可公式化为：
[0076]
故，反射率图像生成模块的整个流程可公式化为：
[0077][0078]
具体的，如图5、6所示，背景光解耦模块包括线性变换模块lp、第三自注意变换模块tre
l
(采用自注意变换网络的编码器)、第四自注意变换模块trd
l
(采用自注意变换网络的解码器)。其中：
[0079]
线性变换模块lp用于将背景图像(通道数c＝3，h、y分别代表图像的高度和宽度，背景图像与合成图像同宽同高)分割成图像块序列(图像块数量图像块的大小p＝8)，然后将每个图像块展平当做一个令牌并通过线性映射lp(
·
)将其编码到c
′
＝256维度的特征空间，并将固定位置编码e
p
(图像块在原始图像中的位置坐标利用正余弦编码得到)加到令牌编码中，得到第三自注意变换模块tre
l
的输入令牌，这个过程可公式化为：
[0080]
第三自注意变换模块tre
l
用于对其输入令牌进行自注意变换编码，生成第四自注意变换模块的输入令牌，这个过程可公式化为：
[0081]
第四自注意变换模块trd
l
用于对其输入令牌进行自注意变换解码，生成对应的背景光隐向量编码令牌输入光照变换模块中，这个过程可公式化为：
这里的光编码令牌序列(d
l
＝27表示27维度的球谐系数)是trd
l
的初始输入，e
l
表示可学习的光位置编码初始值，光编码令牌的初始值为零。
[0082]
如图5、6所示，光照变换模块包括第五自注意变换模块trd
i
(采用自注意变换网络的解码器)、第三序列化反变换模块r
′2、第三解码器d
i
(采用cnn网络的解码器)。
[0083]
第五自注意变换模块trd
i
用于对背景光隐向量编码令牌、反射率图像输出令牌进行自注意变换解码，生成对应的光照本征图像输出令牌，这个过程可公式化为trd
i
(t
l
e
l
,t
r
e
r
)，这里的t
l
、e
l
分别表示学习后的光编码令牌序列、光位置编码(由第一自注意变换解码器trd
l
输出)，而反射率本征图像令牌序列t
r
的位置编码为e
r
。
[0084]
第三序列化反变换模块r
′2用于对光照本征图像输出令牌trd
i
(t
l
e
l
,t
r
e
r
)进行与第二序列化变换模块r1相反的反变换，得到与特征图像大小相同的光照本征特征图像，这个过程可公式化为：φ
′
(trd
i
(t
l
e
l
,t
r
e
r
))。
[0085]
第三解码器d
i
用于对光照本征特征图像进行解码，输出与合成图像大小相同的光照本征图像这个过程可公式化为：
[0086]
还需说明的是，在对系统的训练过程中，同样采用单个范数损失函数来激励合成图像的和谐化图像逼近其真实图像h：
[0087]
总体而言，本例所示解耦图像和谐化模块使用了两个transformer编码器和两个transformer解码器，其中编码器tre
r
以图像块的cnn编码令牌作为输入并生成反射率本征图像，编码器tre
l
以图像块的fc编码令牌作为输入并结合解码器trd
l
生成背景光的隐向量编码，而解码器trd
i
以背景光隐向量编码和反射率特征令牌作为输入进而生成光照本征图像，最后将反射率和光照本征图像点乘生成和谐化的图像。
[0088]
本发明实施例提供的一种基于自注意变换的图像和谐化系统，利用自注意变换网络强大的远程上下文建模能力，可采用图像非解耦方式(图2、3)直接生成和谐化图像，结构简单、和谐化效果好。为了更好的和谐化效果，可采用图像解耦方式，通过反射率图像生成模块获得合成图像的反射率本征图像，以及通过背景光解耦模块和光照图像生成模块获得合成图像的光照本征图像，从而通过将反射率本征图像和反射率本征图像合成得到和谐化图像，实现了在保持合成图像语义和结构不变的同时调整前景光照使其与背景光照相兼容，以此解决合成图像前景与背景的不和谐问题。
[0089]
下面通过实验验证本例所提供系统的效果。
[0090]
本次实验选取合成的iharmony4数据集和真实的合成图像数据集。其中，在公共合成iharmony4数据集上进行实验，以分析和评估自注意变换图像和谐化模型性能。iharmony4数据集共包含4个子数据集，分别为hcoco、hadobe5k、hflickr和hday2night，每一幅合成图像都对应一幅前景掩膜图像和真实图像，本例遵循与dovenet相同的实验设置。与dovenet评价相同，本例在99张真实合成图像数据集上评估系统的性能。
[0091]
反射率和光照只利用损失函数作为重建约束，并采用adam优化器(参数为β1＝0.5、β2＝0.999)，共计迭代训练60次，模型初始学习率设置为e
‑4并在40个迭代后降为e
‑5。解
耦的自注意变换图像和谐化模型中的反射率解码器d
r
和光照解码器d
i
的最后一层使用tanh激活函数。将输入图像大小调整为256
×
256用于训练和测试，模型也生成同样大小的和谐化图像。
[0092]
特别地，在恢复和谐化图像前，需要将反射率图像和光照图像归一化到[0，1]区间。
[0093]
为了进行实验对比，本例首先构建了两种用于实现图像到图像翻译任务的经典网络模型作为基准，分别为编码器
‑
解码器结构的u
‑
net(e
‑
d u
‑
net)和编码器
‑
解码器残差卷积神经网络模型(e
‑
d cnn，结构为encoder
‑
resblocks
‑
decoder)。表1展示了在iharmony4四个子数据集和整体数据集的定量评价结果，包含ht、d
‑
hc、d
‑
ht与基准模型e
‑
d u
‑
net和e
‑
d cnn以及当前最好方法：dih、s2am和dovenet在4个数据集上的比较结果，其中箭头朝上表示数据越高效果越好，箭头朝下表示数据越低效果越好。ht即为图3所示非解耦的自注意变换图像和谐化模型(带有2个注意力头和9个注意力层的tre)，d
‑
hc和d
‑
ht分别表示利用cnn的解耦模型和利用transformer的解耦模型(图6所示，注意力为2头和9层的tre和trd)。构建d
‑
hc模型，方法是用resblock替换将d
‑
ht中自注意变换编码器tre
r
，用encoder和mlp替换tre
l
和trd
l
解耦背景场景光，用adain替换trd
i
重新渲染得到光照本征图像。此外，表1还提供了合成图像与真实图像的评价结果作为参考(composite列)。
[0094]
表1
[0095][0096]
从表1的实验评估结果上可以看出，与e
‑
d(u
‑
net)相比，e
‑
d(cnn)在hcoco和hadobe5k数据集上表现更好，而在hflickr和hday2night数据集上表现较差，其原因可能是u
‑
net具有捕获全局上下文的全局感受野，但其跳连接可能为重建图像带入了不和谐因素，cnn由于其归纳偏置而使得感受野有局限。总之，在整个iharmony4数据集上，e
‑
d(cnn)比e
‑
d(u
‑
net)的fmse更低，但是，非解耦自注意变换图像和谐化模型(ht)不仅优于e
‑
d(u
‑
net)和e
‑
d(cnn)两个基准模型，而且还优于其他图像和谐化方法，这表明transformer的远程上下文能力在图像和谐化任务上是非常有效的。
[0097]
表1中的定量比较结果表明，与当前最先进的方法相比，d
‑
hc模型获得了竞争性或更优异的结果，同时证明了反射率和光照本征图像分离和谐化确实有助于图像和谐化。同样，d
‑
ht模型具有非常低的fmse分数(320.78，而s2am和dovenet分别为537.23和541.53)，证明了d
‑
ht模型的设计方式的准确性和有效性。另外，d
‑
hc在hday2night数据集的表现优于ht，这可能是由于d
‑
hc拥有更好的解耦能力，而ht由于hday2night训练数据集不足(仅
311张训练图像)缺乏偏置引起。
[0098]
图7展示了各图像和谐化方法的视觉效果(合成图像中框住部分表示不和谐的前景区域，每个数据集一个示例，从上到下依次为hcoco、hadobe5k、hflickr和hday2night)，对比视觉效果可知，d
‑
ht模型得到的和谐化图像与真实图像最为接近。
[0099]
为了研究分析输入令牌(token)数量和编码类型对transformer性能的影响,本例使用步幅s调整令牌的数量t，其中对tre使用1头3层的编码器，然后使用cnn重建，并使用步长s调整令牌数量。表2中数据表明线性和非线性编码方式都随着令牌的数量增加transformer性能不断提升。此外，对于固定的令牌数量(例如4n)，无论选择哪种编码方式(线性fc或conv还是非线性mlp或cnn)transformer的性能都是相似的。因此，可以推测，transformer的性能对于令牌的数量敏感，而在图像和谐化上对于令牌编码方式不敏感。故，本例提供带有更多令牌的长序列，甚至令牌之间可能存在冗余，那么transformer可以挖掘更丰富的上下文，并且当前不同的编码方式都可以为图像块提供有效的信息。
[0100]
表2
[0101][0102]
进一步设计实验以验证基于ht结构的自注意变换网络编码器(e)和解码器(d)层数对图像和谐化的影响。表3中fmse
↓
定量数据比较结果表明，当编码器的层数等于编码器和解码器总层数，即使解码器具有额外的交叉注意力层，transformer在图像和谐化任务上的性能也相似。因此，本例在ht模型设计上(在生成反射率本征图像上)只采用transformer编码器tre。
[0103]
表3
[0104][0105]
为分析使用transformer不同的注意力头数和层数对ht模型图像和谐化的性能影响，本例进一步设计了一组实验。表4中定量数据比较结果表明，更多的注意力层数和头数都有助于提高transformer的性能，但是当注意力层数超过9层时，transformer的性能提升空间受到了限制。
[0106]
表4
[0107][0108]
对d
‑
ht模型使用transformer部分进行消融实验研究，分别利用d
‑
hc模型中使用
的cnn结构替换反射率通路和光照通路的transformer，得出表5的定量比较结果，该结果证明了transformer在图像和谐化任务的优势。
[0109]
表5
[0110][0111]
此外，本例通过前景掩膜反转操作进行了另一项实验，即交换合成图像的前景与背景区域以生成反转的掩膜，以便在本例的d
‑
ht模型上根据合成图像的前景调整背景使其和谐化。图8显示了使用普通掩膜(中间行)和反转掩膜(底部行)进行对比的图像和谐化结果，表明d
‑
ht可以从任意前景掩膜中产生有意义的图像和谐化结果。
[0112]
本例进一步对光的隐向量空间进行研究，以探究transformer是否可以学习图像的光表示。给定一幅图像，本例使用解耦的自注意变换图像和谐化(d
‑
ht)模型获取其光的隐向量编码，并任意更改该编码通过后续网络产生不同的图像。图9展示了在不同照明条件下具有不同输出的图像，表明了本例利用transformer编码器和解码器学习的背景场景光是准确的。
[0113]
更进一步，本例还设计了一组用于验证场景光学习和迁移的组合实验。如图10所示，本例以两幅图像(source1和source2)作为场景光参考图像，以一幅图像作为光照迁移的目标图像(target)，首先学习两幅参考图像对应的场景光隐向量编码l
s1
和l
s2
，进而利用公式l
t
＝αl
s1
(1
‑
α)l
s2
通过调整变量α得到不同的目标场景光隐向量编码l
t
，最后将目标场景光隐向量编码l
t
通过光照迁移模型渲染到目标图像的反射率特征图像中生成不同光照的图像。定性实验结果表明，本例的场景光学习和迁移设计是有效的，同时也可将其应用于生成不同模态图像的相关任务中。
[0114]
本例与目前最新技术的比较，利用b
‑
t分数评估了d
‑
ht模型在真实合成图像上的图像和谐化能力。表6中统计数据和图11中视觉效果表明了本例的方法获得最好的b
‑
t分数和最佳的视觉效果。
[0115]
表6
[0116][0117]
本例将非解耦的图像和谐化ht模型应用于paris streetview数据集上随机缺失区域的图像补全任务，以验证本例设计的ht模型的实用性和扩展性。图像补全的目的是通过合成与已知区域像素相一致的视觉逼真和语义合理的像素，来填充图像的缺失区域。表7和图12展示了本例ht模型和当前最新方法rfr
‑
net的定量和视觉结果，ht模型通过充分发挥transformer在长时建模的优势，通过定量和视觉结果可知，均证明本例ht模型在图像补全任务上的优越性能。
[0118]
表7
[0119][0120]
本例还将解耦的自注意变换图像和谐化d
‑
ht模型应用于mit
‑
adobe
‑
5k
‑
upe数据集上的图像增强任务，并与最新方法deeplpf做了对比。成像时光照条件不好将导致图像质量下降，尤其是曝光不足的图像。因此，本例使用d
‑
ht模型通过重建损失函数将低光照图像分解为反射率和光照图像，并将反射率图像视作增强后的图像。
[0121]
表8的定量比较结果表明d
‑
ht在psnr、ssim和lpips评价标准上均优于deeplpf方法。图13进一步验证了本例的d
‑
ht模型可以通过解耦的自注意变换网络恢复图像的对比度、自然色彩以及清晰的细节。
[0122]
表8
[0123][0124]
综上实验，本例提出了一种使用自注意变换网络的图像和谐化新方法，旨在利用transformer的远程上下文的建模能力来消除合成图像的不和谐因素。本例不仅建立了两种非解耦和解耦的自注意变换图像和谐化框架(ht和d
‑
ht)，而且设计了综合性实验来探索和分析有关transformer在图像和谐化上的使用方式和潜力。此外，本例还将非解耦和解耦的自注意变换图像和谐化模型应用于图像修复和图像增强两种计算机视觉经典任务中，进一步说明了本例设计方法(d
‑
ht模型)的有效性和优越性。
[0125]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。