基于对抗生成网络的合成孔径雷达图像转RGB的算法的制作方法

基于对抗生成网络的合成孔径雷达图像转rgb的算法
技术领域
1.本发明涉及遥感成像技术领域，具体为基于对抗生成网络的合成孔径雷达图像转rgb的算法。


背景技术：

2.合成孔径雷达（sar）是一种微波遥感成像雷达，sar图像是接受地物散射回波的相干信号叠加而形成的，与光学、红外等雷达相比，它的成像受气候等条件限制程度较小，具有全天时、全气候、多角度等特点，因此被广泛的应用于军事侦察、地表测绘、海洋资源勘测和环境检测等领域，由于sar图像与可见光图像使用的传感器不同，所以它们也是存在很大的区别，可见光图像通常会包含多个波段的灰度信息，以便于识别目标和分类提取，而sar图像则只记录了一个波段的回波信息，以二进制复数形成记录下来，基于每个像素的复数数据可变换提取相应的振幅和相位信息，振幅信息通常对应于地面目标对雷达波的后向散射强度，与目标介质、含水量以及粗糙程度密切相关；但是目前由于sar图像是通过天线给物体发射信号，再接收信号，在这个信号发射和接收的过程分为水平发射接收和垂直发射接收，使得sar图像成像后都会有带有大部分的噪点信息，导致sar影像分辨率相对较低，信噪比较低，从而使图像的使用领域受到了极大的限制。


技术实现要素：

3.本发明提供基于对抗生成网络的合成孔径雷达图像转rgb的算法，可以有效解决上述背景技术中提出由于sar图像是通过天线给物体发射信号，再接收信号，在这个信号发射和接收的过程分为水平发射接收和垂直发射接收，使得sar图像成像后都会有带有大部分的噪点信息，导致sar影像分辨率相对较低，信噪比较低，从而使图像的使用领域受到了极大的限制的问题。
4.为实现上述目的，本发明提供如下技术方案：基于对抗生成网络的合成孔径雷达图像转rgb的算法，该算法具体包括如下步骤：s1、获取sar图像及可见光图像数据集；s2、对可见光图像进行筛选；s3、利用可见光图像训练云检测模型；s4、判断可见光图像是否不含云；s5、根据筛选后的sar和可见光图像制作数据集；s6、利用新数据模型进行训练；s7、判断模型是否收敛；s8、利用模型对输入的sar图像进行可见光图像转换。
5.根据上述技术方案，所述s1中，获取sar图像及可见光图像数据集主要是指通过sentinel数据集来获取sentinel-1的sar图像和sentinel-2的可见光图像，在具体获取过
程中，主要通过multiearth 2022的比赛开源数据集连接，进行数据集下载，并将sentinel-2的数据集进行通道融合成rgb的可见光图像。
6.根据上述技术方案，所述s2中，对可见光图像进行筛选主要是指划分少量的数据集利用均方误差公式计算图像的整体误差值，并对图像进行初步的划分为有云图像和无云图像，再通过人工观察做最后的筛选划分。
7.根据上述技术方案，所述s3中，利用可见光图像训练云检测模型具体指使用torch中的vgg11模型对划分好的数据进行分类模型训练，得到最终的分类模型。
8.根据上述技术方案，所述s4中，判断可见光图像是否不含云主要用于判断可见光图像是否含云，且在可见光不含云时，使用已训练好的模型进行图像分类，排除可见光数据集中涵盖云的图像，同时删除对应的sar图像，而在可见光含云时，则进入下一步骤。
9.根据上述技术方案，所述s5中，在可见光图像含云时，主要根据筛选后的sar和可见光图像来制作数据集。
10.根据上述技术方案，而在s5中，具体制作数据集的过程中，将16位深度sentinel-1的sar图像通过linear 2%拉伸算法拉伸成8位深度的可见光图像，然后将其与对应的sentinel-2的可见光数据集进行对应，并制作成新的数据集。
11.根据上述技术方案，所述s6中，利用新数据模型进行训练主要是指将准备好的数据集带入到backbone为gan网络的pix2pix模型中进行迭代训练，直至模型收敛。
12.根据上述技术方案，所述s7中，判断模型是否收敛主要是判断步骤s6中的模型是否收敛，在模型未收敛时，返回步骤s6进行重复训练，直至模型收敛。
13.根据上述技术方案，所述s8中，利用模型对输入的sar图像进行可见光图像转换，主要是指在模型收敛完成后将8位深度sentinel-1的sar图像输入进网络模型中，然后输出rgb的可见光图像。
14.与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便：本发明能够基于利用对抗生成网络gan，来学习sar图像对应的可见光图像的特征，可以在保留大部分sar图像的特征基础上，生成与正常可见光图像极其相似的一张图像，实现了将sar图像转换成可见光图像，同时，能够有效的对sar图像进行信息重构，扩展了sar图像的应用领域，使其可以作用于更多的领域，也弥补了在遥感领域中遥感数据集缺乏的痛点，提高sar图像的使用程度。
附图说明
15.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
16.在附图中：图1是本发明算法的流程框图；图2是本发明算法的步骤流程图；图3是本发明输出结果的展示图。
具体实施方式
17.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实
施例仅用于说明和解释本发明，并不用于限定本发明。
18.实施例1：如图1-3所示，本发明提供一种技术方案，基于对抗生成网络的合成孔径雷达图像转rgb的算法，该算法具体包括如下步骤：s1、获取sar图像及可见光图像数据集；s2、对可见光图像进行筛选；s3、利用可见光图像训练云检测模型；s4、判断可见光图像是否不含云；s5、根据筛选后的sar和可见光图像制作数据集；s6、利用新数据模型进行训练；s7、判断模型是否收敛；s8、利用模型对输入的sar图像进行可见光图像转换。
19.基于上述技术方案，s1中，获取sar图像及可见光图像数据集主要是指通过sentinel数据集来获取sentinel-1的sar图像和sentinel-2的可见光图像，在具体获取过程中，主要通过multiearth 2022的比赛开源数据集连接，进行数据集下载，并将sentinel-2的数据集进行通道融合成rgb的可见光图像。
20.基于上述技术方案，s2中，对可见光图像进行筛选主要是指划分少量的数据集利用均方误差公式计算图像的整体误差值，并对图像进行初步的划分为有云图像和无云图像，再通过人工观察做最后的筛选划分。
21.基于上述技术方案，s3中，利用可见光图像训练云检测模型具体指使用torch中的vgg11模型对划分好的数据进行分类模型训练，得到最终的分类模型。
22.基于上述技术方案，s4中，判断可见光图像是否不含云主要用于判断可见光图像，且在可见光不含云时，使用已训练好的模型进行图像分类，排除可见光数据集中涵盖云的图像，同时删除对应的sar图像。
23.实施例2：如图1-3所示，本发明提供一种技术方案，基于对抗生成网络的合成孔径雷达图像转rgb的算法，该算法具体包括如下步骤：s1、获取sar图像及可见光图像数据集；s2、对可见光图像进行筛选；s3、利用可见光图像训练云检测模型；s4、判断可见光图像是否不含云；s5、根据筛选后的sar和可见光图像制作数据集；s6、利用新数据模型进行训练；s7、判断模型是否收敛；s8、利用模型对输入的sar图像进行可见光图像转换。
24.基于上述技术方案，s1中，获取sar图像及可见光图像数据集主要是指通过sentinel数据集来获取sentinel-1的sar图像和sentinel-2的可见光图像，在具体获取过程中，主要通过multiearth 2022的比赛开源数据集连接，进行数据集下载，并将sentinel-2的数据集进行通道融合成rgb的可见光图像。
25.基于上述技术方案，s2中，对可见光图像进行筛选主要是指划分少量的数据集利用均方误差公式计算图像的整体误差值，并对图像进行初步的划分为有云图像和无云图
像，再通过人工观察做最后的筛选划分。
26.基于上述技术方案，s3中，利用可见光图像训练云检测模型具体指使用torch中的vgg11模型对划分好的数据进行分类模型训练，得到最终的分类模型。
27.基于上述技术方案，s4中，判断可见光图像是否不含云主要用于判断可见光图像，而在可见光含云时，则进入下一步骤。
28.基于上述技术方案，s5中，在可见光图像含云时，主要根据筛选后的sar和可见光图像来制作数据集。
29.基于上述技术方案，而在s5中，具体制作数据集的过程中，将16位深度sentinel-1的sar图像通过linear 2%拉伸算法拉伸成8位深度的可见光图像，然后将其与对应的sentinel-2的可见光数据集进行对应，并制作成新的数据集。
30.基于上述技术方案，s6中，利用新数据模型进行训练主要是指将准备好的数据集带入到backbone为gan网络的pix2pix模型中进行迭代训练，直至模型收敛。
31.基于上述技术方案，s7中，判断模型是否收敛主要是判断步骤s6中的模型，在模型未收敛时，返回步骤s6进行重复训练，直至模型收敛。
32.实施例3：如图1-3所示，本发明提供一种技术方案，基于对抗生成网络的合成孔径雷达图像转rgb的算法，该算法具体包括如下步骤：s1、获取sar图像及可见光图像数据集；s2、对可见光图像进行筛选；s3、利用可见光图像训练云检测模型；s4、判断可见光图像是否不含云；s5、根据筛选后的sar和可见光图像制作数据集；s6、利用新数据模型进行训练；s7、判断模型是否收敛；s8、利用模型对输入的sar图像进行可见光图像转换。
33.基于上述技术方案，s1中，获取sar图像及可见光图像数据集主要是指通过sentinel数据集来获取sentinel-1的sar图像和sentinel-2的可见光图像，在具体获取过程中，主要通过multiearth 2022的比赛开源数据集连接，进行数据集下载，并将sentinel-2的数据集进行通道融合成rgb的可见光图像。
34.基于上述技术方案，s2中，对可见光图像进行筛选主要是指划分少量的数据集利用均方误差公式计算图像的整体误差值，并对图像进行初步的划分为有云图像和无云图像，再通过人工观察做最后的筛选划分。
35.基于上述技术方案，s3中，利用可见光图像训练云检测模型具体指使用torch中的vgg11模型对划分好的数据进行分类模型训练，得到最终的分类模型。
36.基于上述技术方案，s4中，判断可见光图像是否不含云主要用于判断可见光图像，而在可见光含云时，则进入下一步骤。
37.基于上述技术方案，s5中，在可见光图像含云时，主要根据筛选后的sar和可见光图像来制作数据集。
38.基于上述技术方案，而在s5中，具体制作数据集的过程中，将16位深度sentinel-1的sar图像通过linear 2%拉伸算法拉伸成8位深度的可见光图像，然后将其与对应的
sentinel-2的可见光数据集进行对应，并制作成新的数据集。
39.基于上述技术方案，s6中，利用新数据模型进行训练主要是指将准备好的数据集带入到backbone为gan网络的pix2pix模型中进行迭代训练，直至模型收敛。
40.基于上述技术方案，s7中，判断模型是否收敛主要是判断步骤s6中的模型。
41.基于上述技术方案，s8中，利用模型对输入的sar图像进行可见光图像转换，主要是指在模型收敛完成后将8位深度sentinel-1的sar图像输入进网络模型中，然后输出rgb的可见光图像。
42.最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。