一种改善空气热浪下机场跑道成像畸变的方法与流程

1.本发明涉及图像处理领域，尤其是涉及一种改善空气热浪下机场跑道成像畸变的方法。


背景技术：

2.夏季高温天气下，机场跑道地表温度急剧上升，受热的空气会对光线产生折射，导致利用光学设备成像时产生热浪现象。光学设备本身无法对热浪图片进行复原，因此也无法对跑道上易产生安全隐患的物体进行精确成像。本专利提出的方法能有效依托现有硬件条件，快速恢复图像的真实信息，有助于避免跑道的安全隐患以及提高机场的经济效益。


技术实现要素：

3.本发明的目的在于：针对现有技术存在的问题，提供一种改善空气热浪下机场跑道成像畸变的方法，能有效依托现有硬件条件，快速恢复图像的真实信息，有助于避免跑道的安全隐患以及提高机场的经济效益。
4.本发明的发明目的通过以下技术方案来实现：
5.一种改善空气热浪下机场跑道成像畸变的方法，该方法包括：
6.(1)采集大量真实热浪图x和真实非热浪图y；
7.(2)构造体系模型，该体系模型由生成器g、生成器f、判别器dy和判别器d
x
组成；
8.(3)对体系模型进行训练：将真实热浪图x输入生成器g生成对应的生成非热浪图x’；将真实非热浪图y输入生成器f生成对应的生成热浪图y’；判别器dy用于判别一张非热浪图是生成非热浪图像x’还是真实非热浪图y；判别器d
x
用于判别一张热浪图是生成热浪图y’还是真实热浪图x；
9.(4)用训练好的模型恢复空气热浪下机场跑道的成像。
10.作为进一步的技术方案，所述体系模型引入循环对抗损失函数，其表示为：
11.l
cyclegan
(g,f,d
x
,dy)＝l
gan
(g,dy,x,y) l
gan
(g,d
x
,x,y) λl
cyc
(g,f)；其中：
12.生成器g的映射函数g：x-》y及其判别器dy的原始的目标函数为：
13.l
gan
(g,dy,x,y)＝ε
y～pdata(y)
[logdy(y)] ε
x～pdata(x)
[log(1-dy(g(x)))]，
[0014]
生成器f的映射函数f：y-》x及其判别器d
x
的原始的目标函数为：
[0015]
l
gan
(g,d
x
,x,y)＝ε
x～pdata(x)
[logd
x
(x)] ε
y～pdata(y)
[log(1-dy(f(y)))]，
[0016]
循环一致性损失公式：l
cyc
(g,f)＝ε
x～pdata(x)
[||f(g(x))-x||1] ε
y～pdata(y)
[||g(f(y))-y||1]。
[0017]
作为进一步的技术方案，所述体系模型在引入循环对抗损失函数的基础上再引入循环感知一致性损失函数后，其表示为： l(g,f,d
x
,dy)＝l
cyclegan
(g,f,d
x
,dy) γ*l
perceptua
(g,f)，其中，γ为循环感知一致性损失的权重，循环感知一致性损失的公式：
[0018]
作为进一步的技术方案，γ设置为：循环对抗损失设置比循环感知一致性损失的
权重高。
[0019]
作为进一步的技术方案，采集的图像数据在送入体系模型之前，采用拉普拉斯金字塔方法对图像进行缩放。
[0020]
作为进一步的技术方案，采用ssim值作为拉普拉斯金字塔方法处理的图像的评价指标
[0021]
与现有技术相比，本发明具有以下优点：
[0022]
1.该方法的模型在训练过程中不需要成对的有热浪和无热浪地面实况图像作为样本，也不需要考虑光线在大气中的折射模型参数。
[0023]
2.该方法训练后生成的模型属于通用模型，可以跨场景使用。
[0024]
3.该方法考虑了计算能力弱和计算能力强两种情况下的使用方式，适用性更广泛。
附图说明
[0025]
图1为构造体系模型的结构图。
具体实施方式
[0026]
下面结合附图和具体实施例对本发明进行详细说明。
[0027]
实施例
[0028]
本实施例提供一种改善空气热浪下机场跑道成像畸变的方法，该方法包括：
[0029]
(1)采集大量真实热浪图x和真实非热浪图y。不需要成对采集相同场景下的有热浪图像和无热浪图像。
[0030]
(2)如图1所示，构造体系模型，该体系模型由生成器g、生成器f、判别器 dy和判别器d
x
组成；
[0031]
(3)对体系模型进行训练：将真实热浪图x输入生成器g生成对应的生成非热浪图x’；将真实非热浪图y输入生成器f生成对应的生成热浪图y’；判别器dy用于判别一张非热浪图是生成非热浪图像x’还是真实非热浪图y；判别器d
x
用于判别一张热浪图是生成热浪图y’还是真实热浪图x；
[0032]
(4)用训练好的模型恢复空气热浪下机场跑道的成像。
[0033]
以下是对体系模型的具体说明：
[0034]
(31)对抗性损失。将对抗损失应用于两个映射函数。对于生成器g的映射函数 g：x-》y及其判别器dy，原始的目标函数表示为：
[0035]
l
gan
(g,dy,x,y)＝ε
y～pdata(y)
[logdy(y)] ε
x～pdata(x)
[log(1-dy(g(x)))]
ꢀꢀꢀ
(1)
[0036]
其中函数g的目标是最小化该函数，判别器dy的目标则是最大化该函数，其中
[0037]
e(*)表示分布函数的期望值，x表示真实热浪图片，y表示真实非热浪图片， pdata(x)代表真实热浪图样本的分布，pdata(y)代表真实非热浪图样本的分布，g(x)表示g生成器生成的图片，dy(y)表示dy判别器判断真实图片是否真实的概率，且该值越接近1越好。而dy(g(x))是dy判别器判断g生成图片是否真实的概率。g生成器生成的图片“越真实越好”，即此时lgan(g,dy,x,y)越小越好；而对于dy而言， dy能力越强，dy(g(x))会越小，此时lgan(g,dy,x,y)越大越好。即
[0038][0039]
相同的，对于生成器f的映射函数f：y-》x及其判别器d
x
引入了类似的对抗函数，如公式3所示。
[0040]
l
gan
(g,d
x
,x,y)＝ε
x～pdata(x)
[logdx(x)] ε
y～pdata(y)
[log(1-dy(f(y)))]
ꢀꢀꢀ
(3)
[0041]
其中函数f的目标是最小化该函数，判别器d
x
的目标就是最大化该函数，其中 e(*)表示分布函数的期望值，x表示真实热浪图片，y表示真实非热浪图片，pdata(x)代表真实热浪图样本的分布，pdata(y)代表真实非热浪图样本的分布，g(x)表示g生成器生成的图片，dx(x)表示dx判别器判断真实图片是否真实的概率，且该值越接近1越好。而dy(f(y))是dy判别器判断f生成图片是否真实的概率。f生成器生成的图片“越真实越好”，即此时lgan(g,dx,x,y)越小越好；而对于dx而言，dx 能力越强，dy(f(y))会越小，此时lgan(g,dx,x,y)越大越好。即
[0042][0043]
(32)循环一致性损失。循环一致性损失即指，对于来自图像域x的每个图像x，经过图像转换循环以后应该能将x带回到原始图像状态，即x-》g(x)-》f(g(x))≈x，该项称为前向循环一致性。同理，对于来自图像域y中的每个图像y，也应该有 y-》f(y)-》g(f(y))≈y，称为反向循环一致性。因此定义循环一致性损失公式。
[0044]
l
cyc
(g,f)＝ε
x～pdata(x)
[||f(g(x))-x||1] ε
y～pdata(y)
[||g(f(y))-y||1]
ꢀꢀꢀ
(5)
[0045]
其中，e(*)表示分布函数的期望值，x表示真实热浪图片，y表示真实非热浪图片。f(g(x))则表示将生成器g生成的图片通过f映射回x中的图片；g(f(y))则表示将生成器f生成的图片通过g映射回y中的图片。||*||表示对*取1范数，此处为计算通过图像转换循环以后的图像与原图像之间的1范数。
[0046]
(33)循环对抗损失函数。综合考虑对抗性损失和循环一致性损失的损失函数，定义如下。
[0047]
l
cyclegan
(g,f,d
x
,dy)＝l
gan
(g,dy,x,y) l
gan
(g,d
x
,x,y) λl
cyc
(g,f)
ꢀꢀꢀ
(6)
[0048]
其中，λ为超参数，λ＝10。
[0049]
(34)循环感知一致性损失函数。由于仅使用阶段损失函数不足以恢复图像中较为细致的纹理信息。引入了vgg16的第2池化层和第5池化层中提取的高级和低级特征组合来保留原始图像结构。下面给出循环感知一致性损失的公式，其中(x,y)表示不成对的热浪图和非热浪图集，φ是vgg16的第2池化层和第5池化层的特征提取器。
[0050][0051]
其中φ(x)指用特征提取器提取到的图像x的特征；φ(f(g(x)))指用特征提取器提取到图像转换循环后的图像特征。表示对图像特征取2范数的平方，此处为衡量两个特征矢量的距离。
[0052]
(35)总损失函数。
[0053]
l(g,f,d
x
,dy)＝l
cyclegan
(g,f,d
x
,dy) γ*l
perceptua
(g,f)
ꢀꢀꢀ
(8)
[0054][0055]
其中γ为循环感知一致性损失的权重。
[0056]
(36)设置损失函数的权重。为了获得更好的去除/增加热浪效果，在图1架构基础上引入了循环一致性和感知一致性损失的组合。添加该损失后，该架构将保留输入图像的纹理信息并生成唯一的无热浪输出。搭建该架构时，需要根据应用场景调整周期一致性和感知一致性损失之间的权重分配比重。权重过大的感知损失会导致去除热浪后色彩信息的损失。因此，循环一致性损失一般情况下设置比感知损失有更高的权重。
[0057]
(37)拉普拉斯金字塔。一般情况下，使用该方法需要将前端数据处理中的图像缩小，再送入生成器与判别器网络，然后生成同等大小的图像。为了减少在缩小和放大复原高分辨图像过程中图像质量的下降，采用拉普拉斯金字塔方法对图像进行缩放。
[0058]
首先，利用高分辨率热浪图(实际拍摄热浪图像)构建金字塔。构建拉普拉斯金字塔需要对高分辨率图像先做高斯模糊，再将图像大小缩小到原来的1/2。执行多次上述操作即可得到多个尺度下的图像，构建得到高斯金字塔。接着从高斯金字塔中分辨率最小的图开始，将之前高斯模糊的卷积核乘以4得到新的卷积核，对图像做高斯卷积，得到一组和高斯金字塔对应分辨率的图片，称为上采样高斯金字塔。高斯金字塔和上采样高斯金字塔同分辨率相减以后，得到另一组多分辨率图像，即为拉普拉斯金字塔。然后，用去热浪的低分辨率图像(网络结构计算所得图像)更换拉普拉斯金字塔的顶层，用去热浪的低分辨率图像逐次上采样，再逐次加上每个对应尺度的拉普拉斯金字塔图像，就能得到高分辨率去热浪图像。
[0059]
(38)评价指标。拉普拉斯金字塔方法在处理图像过程中保留了大部分热浪图的可信边缘，并在放大阶段提高了ssim(结构相似性)值，ssim是一个0到1之间的数，值越大表示输出图像与无失真图像的差距越小。ssim值的公式如下：
[0060]
ssim(x,y)＝[l(x,y)]
α
[c(x,y)]
β
[s(x,y)]
γ
ꢀꢀꢀ
(10)
[0061]
其中：
[0062][0063][0064][0065]
l(x,y)用于比较亮度，c(x,y)用于比较对比度，s(x,y)用于比较结构。μ
x
和μy分别代表两张图的平均值，δ
x
和δy分别表示x,y的标准差。δ
xy
代表x和y的协方差。c1、c2、 c3均为常数，避免分母为0带来的系统错误。一般将α＝β＝γ＝1，以及c3＝c2/2。
[0066]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。