一种基于样式生成对抗网络的红外纹理样本扩充方法与流程

1.本发明属于图像处理技术领域，具体涉及一种基于样式生成对抗网络的红外纹理样本扩充方法，可用于对红外纹理样本进行扩充，以便为自然场景特性建模仿真提供多样、真实的红外纹理图像，提高场景的复杂度和真实感。


背景技术：

2.红外成像技术由于目标探测能力强、抗干扰能力强等特点，常用于目标的检测、识别和跟踪等方面。因此，复杂光学场景特性建模成为急需解决的问题。而复杂光学场景需要大量的、多样的红外背景纹理图像作为支撑，才能使得模型具有较好的复杂感和真实感。由于通过实验人工测量获得的数据目前十分有限，因此需要通过深度学习样本扩充方法获得大量的红外背景纹理。
3.当前大部分的红外图像样本扩充都是通过生成方法，尤其是生成对抗网络(gan)，获得的图像分辨率和质量正在迅速提高。目前，用于高分辨率图像合成的最新方法是stylegan，其已被证明可以在各种数据集上可靠地工作。
4.stylegan的显著特征是非常规的生成器体系结构。映射网络f不再将输入的潜在编码仅馈送至网络的开头，而是将其转换为中间的潜在编码。然后仿射变换生成控制图层的样式，并通过自适应实例归一化(adain)参与合成网络g进行合成。另外，通过向合成网络提供额外的随机噪声图来促进随机变化，这种设计允许中间潜空间w的纠缠比输入潜空间z的纠缠小得多。但是许多观察者已经注意到由stylegan生成的图像中的特征伪影，少量生成的图片有明显的液滴伪像，这个液滴伪像也存在于特征图上。


技术实现要素：

5.为了解决现有技术中存在的上述问题，本发明提供了一种基于样式生成对抗网络的红外纹理样本扩充方法，旨在解决扩充红外图像样本时仿真过程复杂，扩充的红外图像样本真实感较差，可见光到红外的光电转换方法训练集获取难度大，扩充红外图像样本缺乏多样性，扩充数量有限等问题。
6.本发明要解决的技术问题通过以下技术方案实现：
7.本发明提供了一种基于样式生成对抗网络的红外纹理样本扩充方法，包括：
8.s1：利用多张实拍的红外纹理图像组成训练集；
9.s2：构造由生成器网络和判别器网络组成的样式生成对抗网络；
10.s3：利用训练集和随机生成的特征向量对所述生成器网络进行训练；
11.s4：利用训练集、生成器网络生成的图像以及随机生成的特征向量对所述判别器网络进行训练；
12.s5：对所述生成器网络和所述判别器网络交替进行训练，使得损失小于预设阈值，获得经训练的样式生成对抗网络模型；
13.s6：利用经训练的样式生成对抗网络模型获得红外纹理图像。
14.在本发明的一个实施例中，所述s2包括：
15.s2.1：构建生成器网络，所述生成器网络包括映射网络单元和合成网络单元；
16.s2.2：构建判别器网络；
17.s2.3：将所述生成器网络和判别器网络进行级联，获得所述样式生成对抗网络。
18.在本发明的一个实施例中，所述映射网络单元包括依次连接的归一化模块和多个全连接层，其中，所述归一化模块用于对输入的隐变量进行归一化处理，所述全连接层用于根据归一化后的隐变量映射到潜在空间，学习一种仿射变换，获得仿射变换向量。
19.在本发明的一个实施例中，所述合成网络单元包括多个合成模块，每个合成模块包括第一样式卷积块、第二样式卷积块和输出卷积层，其中，
20.所述第一样式卷积块用于利用所述仿射变换向量对添加高斯噪声数据后的随机向量进行仿射变换、随后进行上采样、卷积和归一化操作，获得所述随机向量的中间特征向量；
21.所述第二样式卷积块用于利用所述仿射变换向量对添加高斯噪声数据后的中间特征向量进行仿射变换、随后进行卷积和归一化操作，获得所述随机向量的高级特征向量；
22.所述输出卷积层用于输出所述高级特征向量对应的rgb图像。
23.在本发明的一个实施例中，所述生成器网络包括依次连接的输入层、卷积块组合和两个全连接层。
24.在本发明的一个实施例中，所述卷积块组合包括多个卷积块，每个卷积块用于对输入的特征向量进行卷积、上采样和下采样，以缩小所述特征向量的尺寸。
25.在本发明的一个实施例中，每个所述卷积块依次包括卷积层、下采样层、卷积层、上采样层、卷积层和下采样层。
26.在本发明的一个实施例中，所述s3包括：
27.s3.1：固定所述判别器网络当前的权重参数，将随机生成的特征向量输入到所述生成器网络中，输出生成的红外纹理图像；
28.s3.2：将生成的红外图像输入到所述判别器网络中，所述判别器网络对生成的红外图像进行评估，输出评估结果；
29.s3.3：利用所述判别器网络的评估结果和所述生成器网络的损失函数计算生成器网络的损失值，所述生成器网络损失函数的计算公式为：
30.lg＝-e[d(g(z))]
[0031]
其中，lg表示生成器网络的损失函数，e[
·
]表示求期望操作，d(
·
)表示样式生成对抗网络中的判别器网络的输出，g(
·
)表示样式生成对抗网络中的生成器网络的输出，z表示随机生成的特征向量；
[0032]
s3.4：将所述生成器网络损失函数值与正则化项相加得到生成器的损失，根据所述损失利用梯度下降方法更新生成器网络参数。
[0033]
在本发明的一个实施例中，所述s4包括：
[0034]
s4.1：固定生成器网络当前的权重参数，将随机生成的特征向量输入到所述生成器网络中，输出生成的红外纹理图像；
[0035]
s4.2：将生成的红外纹理图像和来自所述训练集中的红外纹理图像分别输入到所述判别器网络中；
[0036]
s4.3：利用所述判别器网络对依次输入的红外纹理图像评估后分别输出对应的评估结果；
[0037]
s4.4：利用所述判别器网络的评估结果和所述判别器网络的损失函数计算所述判别器网络的损失值，所述判别器网络的损失函数计算公式为：
[0038][0039]
其中，ld表示判别器网络的损失函数，e[
·
]表示求期望操作，d(
·
)表示样式生成对抗网络中判别器网络的输出，g(
·
)表示样式生成对抗网络中生成器网络的输出，z表示随机生成的特征向量，x表示来自训练集中的实拍红外纹理图像，γ表示平方项系数，λ表示约束项系数，表示由生成器输出的红外纹理图像和训练集中的实拍红外纹理图像根据随机比例对应融合得到的约束项红外纹理图像，||
·
||2表示2范数操作，表示求导操作；
[0040]
s4.5：将损失函数值与正则化项相加得到判别器的损失，根据所述损失利用梯度下降方法更新判别器网络参数。
[0041]
与现有技术相比，本发明的有益效果在于：
[0042]
1、本发明的红外纹理样本扩充方法采用样式生成对抗网络，将实拍的红外纹理样本作为训练集，采用判别器和生成器交替训练的方式对网络进行训练，使得生成的红外纹理样本红外特性更加接近实拍图像，克服了现有技术仿真生成红外纹理时真实感较差的问题，使得在扩充红外纹理样本时，提高了红外纹理样本的真实感。
[0043]
2、本发明生成器网络中的映射网络单元采用样式卷积块，将随机特征向量作为样式卷积块的输入，并对卷积层结果进行调制，生成红外纹理样本，克服了现有技术生成红外纹理多样性差的问题，使得在扩充红外纹理样本时，提高了红外纹理样本的多样性。
[0044]
3、本发明的红外纹理样本扩充方法对传入特征图的预期统计量进行归一化处理，在保留可控制性的同时删除了伪像即水滴效果。
[0045]
4、在本发明的红外纹理样本扩充方法中，采用的损失函数延迟正则化与路径长度正则化，从而大大降低了计算成本和整体内存使用量。
[0046]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0047]
图1是本发明实施例提供的一种基于样式生成对抗网络的红外纹理样本扩充方法的流程图；
[0048]
图2是本发明实施例提供的一种生成器网络的结构示意图；
[0049]
图3是本发明实施例提供的一种判别器网络的结构示意图。
具体实施方式
[0050]
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于样式生成对抗网络的红外纹理样本扩充方法进行详细说明。
[0051]
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所
采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
[0052]
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
[0053]
本发明实施例实现上述目的的思路是：构建以随机特征向量作为输入的样式生成对抗网络，使用实拍红外纹理样本作为训练集，通过判别器网络和生成器网络交替训练的方式，更新网络的参数。在更新到生成器网络的损失值小于预设阈值，判别器网络的损失值均值小于预设阈值的情况下，保存训练好的生成器网络各层的权重参数。最后，将随机生成的特征向量输入到训练好的生成器网络中进行计算，得到生成的红外纹理图像，并将其添加到训练集中，完成对红外纹理样本的扩充。
[0054]
请参见图1，图1是本发明实施例提供的一种基于样式生成对抗网络的红外纹理样本扩充方法的流程图。该红外纹理样本扩充方法包括：
[0055]
s1：利用多张实拍的红外纹理图像组成训练集。
[0056]
选取实拍至少2000张红外纹理图像，将每张图像的大小缩放裁剪为256
×
256，组成训练集；
[0057]
s2：构造由生成器网络和判别器网络组成的样式生成对抗网络。
[0058]
进一步地，所述s2包括：
[0059]
s2.1：构建生成器网络。
[0060]
请参见图2，图2是本发明实施例提供的一种生成器网络的结构示意图。本实施例的生成器网络包括映射网络(mapping network)单元和synthesis network(合成网络)单元。
[0061]
所述映射网络单元包括归一化模块11和多个全连接层(fc)12，其中，归一化模块11用于对输入的隐变量(随机生成的向量)z进行归一化处理，全连接层12用于对归一化的向量映射到潜在空间w，学习一种仿射变换，获得仿射变换向量a。在本实施例中，所述随机生成的原始向量z为采样自高斯分布或均匀分布的随机变量。优选地，本实施例包括八个全连接层12。
[0062]
具体地，输入的隐变量z经过归一化处理后，输入所述八个全连接层12，通过所述八个全连接层12映射到中间的潜在空间w，获得中间潜在向量空间的潜在向量w，并学习到一个仿射变换向量a。这种设计使得中间特征向量w的纠缠比输入的原始向量z的纠缠小得多。
[0063]
所述合成网络单元的作用是生成图像，本实施例的合成网络单元包括多个合成模块(synthesis_block)，每个合成模块包括第一样式卷积块21、第二样式卷积块22和输出卷积层23，其中，
[0064]
第一样式卷积块21用于利用所述仿射变换向量a对添加高斯噪声数据b后的随机向量进行仿射变换、随后进行上采样、卷积和归一化操作，获得所述随机向量的中间特征向
量；
[0065]
第二样式卷积块22用于利用所述仿射变换向量a对添加高斯噪声数据b后的中间特征向量进行仿射变换、调制、随后进行卷积和归一化操作，获得所述随机向量的高级特征向量；
[0066]
输出卷积层23用于输出所述高级特征向量对应的rgb图像。
[0067]
具体地，第一样式卷积块21包括第一调制模块211、第一上采样层212、第一卷积层213和第一归一化层214。具体地，对随机变量x(例如，分辨率为4*4)添加高斯噪声数据b，并输入所述第一样式卷积块21。具体地，高斯噪声数据b均为随机的向量。
[0068]
第一调制模块211用于利用仿射变换向量a对添加高斯噪声数据b后的随机变量进行仿射变换并调制，将输入向量的标准差调制为特定的数值。随后通过第一上采样层212的上采样操作提高分辨率(8*8)，随后输入第一卷积层213中进行卷积操作后再输入第一归一化层214进行归一化操作，获得第一样式卷积块21的输出结果，即获得中间特征向量。优选地，第一卷积层213为3*3卷积层，其参数是可学习的。
[0069]
需要说明的是，这里所述的调制可以通过缩放卷积权重来实现：
[0070]w′
ijk
＝si·wijk
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0071]
其中，w
ijk
为原始权重,w
′
ijk
为调制权重，si为与第i个输入特征图相对应的比例,而j和k分别列举输出特征图和卷积的空间下标。假设输入的是独立同分布带有单位标准偏差的随机变量，经过调制和卷积后，输出的标准偏差为：
[0072][0073]
即，通过相应权重的l2范数来缩放输出。随后的归一化旨在将输出恢复为单位标准偏差。基于等式(2)，如果将每个输出特征图j缩放(解调)，则可以实现此目的。或者，可以再次将其嵌入到卷积权重中：
[0074][0075]
其中，w
″
ijk
为归一化后的权重，∈为避免数值问题的小常数。
[0076]
第二样式卷积块22包括第二调制模块221、第二卷积层222和第二归一化层223。具体地，将第一样式卷积块21的输出结果添加高斯噪声数据b后输入到第二样式卷积块22，第二调制模块221利用仿射变换向量a对输入的变量进行仿射变换并调制，随后输入所述第二卷积层222中进行卷积操作后再输入第二归一化层223进行归一化操作，获得第二样式卷积块的输出结果，即获得更高级的特征向量y。
[0077]
随后该更高级的特征向量y经过所述输出卷积层输出该分辨率的rgb图像。同时，将该特征向量y和该rgb图像输入到下一个合成模块中进行相同的处理，图像的分辨率会不断提高，最终输出指定尺寸的图像(256*256)。
[0078]
在本实施例中，所述合成网络单元包括7个依次连接的合成模块。
[0079]
s2.2：构建判别器网络。
[0080]
具体地，搭建一个判别器网络，请参见图3，图3是本发明实施例提供的一种判别器
网络的结构示意图。本实施例的判别器网络依次包括输入层31、卷积块组合32和两个全连接层33，判别器输入的是图像数据，输出的是判别结果真或假，即判断这张图是真实的还是生成器网络生成的，真就是真实的，假就是生成器网络生成的。本实施例的输入层31为3*3卷积层。
[0081]
本实施例的卷积块组合32包括6个卷积块，每个卷积块依次包括卷积层、下采样层、卷积层、上采样层、卷积层和下采样层。在判别器处理过程中，图像的分辨率逐渐减小，最终输出判别结果：真or假。本实施例的卷积块中的所有卷积层均为3*3卷积层。需要说明的是，判别器网络的处理过程为现有处理过程，这里不再赘述。
[0082]
具体地，所述判别器网络输入的是生成器网络的输出结果：256*256的图像，中间由6个卷积块堆叠而成，每个卷积块由卷积、上采样和下采样组成，因此每经过一个卷积块，图像尺寸都会减小(256*256-》128*128-》64*64-》32*32-》16*16-》8*8-》4*4)。随后，该4*4的图经过两个全连接层33映射到一个值，然后利用该值判断这张图真或假。
[0083]
s2.3：根据所述生成器网络和判别器网络构建样式生成对抗网络。
[0084]
具体地，将生成器网络和判别器网络进行级联，组成样式生成对抗网络。
[0085]
s3：利用训练集和随机生成的特征向量对所述生成器网络进行训练。
[0086]
具体地，所述s3包括：
[0087]
s3.1：固定所述判别器网络当前的权重参数，将随机生成的特征向量输入到所述生成器网络中，输出生成的红外纹理图像；
[0088]
s3.2：将生成的红外图像输入到所述判别器网络中，所述判别器网络对生成的红外图像进行评估，输出评估结果；
[0089]
s3.3：利用所述判别器网络的评估结果和所述生成器网络的损失函数计算生成器网络的损失值，所述生成器网络损失函数的计算公式为：
[0090]
lg＝-e[d(g(z))]
[0091]
其中，lg表示生成器网络的损失函数，e[
·
]表示求期望操作，d(
·
)表示样式生成对抗网络中的判别器网络的输出，g(
·
)表示样式生成对抗网络中的生成器网络的输出，z表示随机生成的特征向量；
[0092]
s3.4：将所述生成器网络损失函数值与正则化项相加得到生成器的损失，根据所述损失利用梯度下降方法更新生成器网络参数。
[0093]
通常，损失由损失函数和正则化项组成，优化的时候也是同时优化这两项的。主要损失函数和正则化项被写为单个表达式，因此被同时优化。通过观察可知，正规化项的计算频率通常比主要损失函数低得多，从而大大降低了计算成本和整体内存使用量。每16个小批量仅执行一次正则化时，不会造成任何危害。
[0094]
本实施例的正则化项包括延迟正则化和路径长度正则化，其中，损失函数延迟正则化就是增加了一个正则项的损失，这个正则项是16个minibatch才进行一次梯度计算，然后来更新网络。
[0095]
路径长度正则化的目的是为了使从潜在空间w到图像空间y的映射良好。在生成纹理图图像的同时，希望能够控制生成纹理的属性，不同的隐向量编码能得到不同的纹理，当确定隐向量变化的具体方向时，该方向上不同的大小应该对应了图像上某一个具体变化的不同幅度，为了找到一个比较合理的幅度值，设计了这个路径长度正则化。
[0096]
具体地，图像的梯度用图像乘以图像变换的梯度来表示，路径长度正则化项为：
[0097][0098]
其中，y为图像，服从正态分布；w为输入的随机变量z经过映射网络单元得到的潜在空间向量，jw为雅各比矩阵，表示图像变换的梯度，是生成器g对潜在向量空间的潜在向量w的一阶矩阵，a为动态的移动平均值，随着优化动态调整，自动找到一个全局最优值，ew表示表示对潜在向量空间的潜在向量w求期望，ey表示表示对图像y求期望。整个路径长度正则化项表示对每个空间潜在点w在图像y上的最小化的期望。
[0099]
在本实施例中，所述正则化项的权重为：
[0100][0101]
其中，r为指定输出分辨率(例如r＝1024)。研究发现，这些参数选择可以在所有配置和数据集中可靠地工作。
[0102]
s4：利用训练集、生成器网络生成的图像以及随机生成的特征向量对所述判别器网络进行训练。
[0103]
具体地，s4包括：
[0104]
s4.1：固定生成器网络当前的权重参数，将随机生成的特征向量输入到所述生成器网络中，输出生成的红外纹理图像；
[0105]
s4.2：将生成的红外纹理图像和来自所述训练集中的红外纹理图像分别输入到所述判别器网络中；
[0106]
s4.3：利用所述判别器网络对依次输入的红外纹理图像评估后分别输出对应的评估结果；
[0107]
s4.4：利用所述判别器网络的评估结果和所述判别器网络的损失函数计算所述判别器网络的损失值，所述判别器网络的损失函数计算公式为：
[0108][0109]
其中，ld表示判别器网络的损失函数，e[
·
]表示求期望操作，d(
·
)表示样式生成对抗网络中判别器网络的输出，g(
·
)表示样式生成对抗网络中生成器网络的输出，z表示随机生成的特征向量，x表示来自训练集中的实拍红外纹理图像，γ表示平方项系数，λ表示约束项系数，表示由生成器输出的红外纹理图像和训练集中的实拍红外纹理图像根据随机比例对应融合得到的约束项红外纹理图像，||
·
||2表示2范数操作，表示求导操作；
[0110]
s3.5：将损失函数值与正则化项相加得到判别器的损失，根据所述损失利用梯度下降方法更新判别器网络参数。
[0111]
s5：对所述生成器网络和所述判别器网络交替进行训练，使得损失小于预设阈值，获得经训练的样式生成对抗网络模型。
[0112]
重复s3和s4，对所述生成器网络和所述判别器网络进行交替训练，直到当前迭代获得的生成器网络与判决器网络的损失值趋于稳定时，得到训练好的生成器网络权重，保存训练好的样式生成对抗网络中生成器网络的每个卷积层的每个卷积核的权重、全连接层的权重和调制层的权重。
[0113]
s6：利用经训练的样式生成对抗网络模型对红外图像样本进行扩充。
[0114]
具体地，将随机生成的特征向量输入到经训练的样式生成对抗网络模型中进行计算，输出红外纹理图像，并将其添加到训练集中，完成对红外纹理样本的扩充。
[0115]
综上，本实施例的红外纹理样本扩充方法采用样式生成对抗网络，将实拍的红外纹理样本作为训练集，采用生成器和判别器交替训练的方式对网络进行训练，使得生成的红外纹理样本红外特性更加接近实拍图像，克服了现有技术仿真生成红外纹理时真实感较差的问题，使得在扩充红外纹理样本时，提高了红外纹理样本的真实感。生成器网络中的映射网络单元采用样式卷积块，将随机特征向量作为样式卷积块的输入，并对卷积层结果进行调制，生成红外纹理样本，克服了现有技术生成红外纹理多样性差的问题，使得在扩充红外纹理样本时，提高了红外纹理样本的多样性。本实施例的红外纹理样本扩充方法对传入特征图的预期统计量进行归一化处理，在保留可控制性的同时删除了伪像即水滴效果，采用的损失函数延迟正则化与路径长度正则化，从而大大降低了计算成本和整体内存使用量。
[0116]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。