基于生成对抗网络的火星图像增广方法

技术特征：
1.一种基于生成对抗网络的火星图像增广方法，其特征在于包括，设置基于dcgan的图像生成网络，包括图像生成器和图像判别器，所述图像生成器包括特征层处理模块一至特征层处理模块八和卷积处理模块；特征层处理模块一对输入的随机隐码依次进行adain操作、卷积操作和adain操作；特征层处理模块二至特征层处理模块八的网络结构相同，分别对前一特征层处理模块输出的火星图像依次进行反卷积操作、adain操作、卷积操作和adain操作；卷积处理模块对特征层处理模块八输出的火星图像进行1
×
1卷积操作，映射为rgb模式的火星生成图像；其中每个adain操作之前都通过一个全连接层将中间隐码映射为均值系数和方差系数；每个反卷积操作均实现2倍上采样功能；特征层处理模块一至特征层处理模块八的尺度依次为4
×4×
512、8
×8×
512、16
×
16
×
512、32
×
32
×
512、64
×
64
×
256、128
×
128
×
128、256
×
256
×
64及512
×
512
×
32，卷积处理模块的尺度为512
×
512
×
3；所述中间隐码采用风格迁移网络的多层感知机对随机隐码进行映射获得；所述中间隐码包含火星生成图像的目标属性特征；所述adain操作将中间隐码的目标属性特征迁移至每个特征层处理模块；所述图像判别器通过卷积层一至卷积层八将输入的512
×
512
×
3维的rgb模式火星生成图像和火星真实图像转化为判定结果；其中卷积层一至卷积层七中，每个卷积层后配置带泄漏线性整流函数层；卷积层八后配置sigmoid函数；对基于dcgan的图像生成网络采用由低到高，逐分辨率递进式的训练方法，使图像生成器的八个特征层处理模块由前两个特征层处理模块起始对应图像判别器由后两个卷积层起始进行迭代训练，逐级顺次相应增加图像生成器的一个特征层处理模块和图像判别器的一个卷积层进行迭代训练，直到图像生成器的八个特征层处理模块和图像判别器的八个卷积层均参与迭代训练；在每次迭代训练中，基于wasserstein距离计算损失函数进行网络参数寻优；最终完成图像生成网络的训练，获得训练后图像生成网络用于生成火星图像。2.根据权利要求1所述的基于生成对抗网络的火星图像增广方法，其特征在于，所述wasserstein距离为火星生成图像分布和火星真实图像分布之间的距离。3.根据权利要求2所述的基于生成对抗网络的火星图像增广方法，其特征在于，基于wasserstein距离的计算结果，图像判别器判断火星生成图像和火星真实图像为真的概率，通过sigmoid函数将卷积层八的输出映射到[0，1]，指示输入图像为真的概率，所述概率用于计算损失函数。4.根据权利要求3所述的基于生成对抗网络的火星图像增广方法，其特征在于，随机隐码z属于随机分布中间隐码w属于通过风格迁移网络学习得到的分布分布包含多个子空间，每个子空间控制图像的一个属性特征。5.根据权利要求4所述的基于生成对抗网络的火星图像增广方法，其特征在于，基于dcgan的图像生成网络的训练方法包括：首先，使图像生成器的前两个特征层处理模块对输入的随机隐码进行处理，经卷积处理模块处理获得8
×8×
3的低维度火星生成图像；8
×8×
3的低维度火星生成图像和8
×8×
3的火星真实图像采用图像判别器的后两个卷积层进行处理，当迭代次数达到设定阈值时，完成一级网络训练；
将完成一级训练的图像生成器从前往后增加一个特征层处理模块对生成的8
×8×
3的低维度火星生成图像继续进行处理，再经卷积处理模块处理获得16
×
16
×
3维度的火星生成图像，同时使图像判别器从后往前增加一个卷积层对16
×
16
×
3维度的火星生成图像和16
×
16
×
3的火星真实图像进行处理，当迭代次数达到设定阈值时，完成二级网络训练；
……
；直到获得512
×
512
×
3维度的火星生成图像，并且完成七级网络训练，获得训练后图像生成网络。6.根据权利要求5所述的基于生成对抗网络的火星图像增广方法，其特征在于，adain操作包括：将随机隐码z通过编码器映射为隐码空间的特征x1，将中间隐码w通过编码器映射为隐码空间的特征y1，再通过解码器将特征x1和特征y1合成同时具有随机隐码z和中间隐码w的特征的合成图像。7.根据权利要求6所述的基于生成对抗网络的火星图像增广方法，其特征在于，wasserstein距离的计算方法包括：式中x为火星真实图像，x属于火星真实图像分布g(z)为随机隐码z经过图像生成器后得到的火星生成图像，g(z)属于生成图像的分布γ为真实图像和生成图像的联合分布；为均值。8.根据权利要求7所述的基于生成对抗网络的火星图像增广方法，其特征在于，采用训练后图像生成网络生成高质量火星图像，所述高质量火星图像与nasa公开的火星真实图像构成火星图像数据集，供基于视觉火星探测任务使用。

技术总结
一种基于生成对抗网络的火星图像增广方法，属于计算机视觉中图像增广技术领域。针对现有火星图像增广方法获得的火星图像分辨率低、无法控制图像类别以及训练不稳定的问题。包括：基于DCGAN的图像生成网络，针对DCGAN难以生成优质的高分辨率火星图像的问题，使用渐进式的网络训练方法进行精细地图像生成；针对GAN无法控制目标类火星图像生成的问题，引入风格迁移技术设计了可控的火星图像生成方法；针对DCGAN训练不稳定而难以使火星车自主完成训练的问题，基于wasserstein距离设计了新的损失函数。本发明用于火星图像增广。本发明用于火星图像增广。本发明用于火星图像增广。


技术研发人员：张永强 丁明理 张子安 张印 田瑞 王骢
受保护的技术使用者：哈尔滨工业大学
技术研发日：2022.01.14
技术公布日：2022/4/22