一种车载图像超分辨率重建方法、系统、装置和存储介质

技术特征：
1.一种车载图像超分辨率重建方法，其特征在于，包括以下步骤：获取待重建的低分辨率车载图像；采用训练后的车载图像超分辨率重建模型对所述低分辨率车载图像进行重建，获得高分辨率车载图像，完成图像重建任务；其中，所述车载图像超分辨率重建模型通过采用无监督的降质增强gan网络进行联合训练；在训练过程中，提取车载图像降质的特征信息，并将提取的特征信息拟合到所述车载图像超分辨率重建模型中，以提高模型的重建能力。2.根据权利要求1所述的一种车载图像超分辨率重建方法，其特征在于，通过以下方式搭建网络结构：将降质增强gan网络和车载图像超分辨率重建模型组合为一个双向的、端到端的车载图像重建系统；其中，无监督的降质增强gan网络用于提取自然场景下的车载图像噪声，得到低分辨率生成图像；车载图像超分辨率重建模型采用得到的低分辨率生成图像和作为标签的高分辨率图像作为训练数据进行权重推演，从而整体提高模型对于各种恶劣场景导致的图像降质问题。3.根据权利要求1所述的一种车载图像超分辨率重建方法，其特征在于，所述降质增强gan网络包括降质生成器和降质辨别器；训练步骤具体包括：获取高分辨率的基础事实图像；将所述基础事实图像和随机噪声输入降质生成器，输出含有随机噪声的低分辨率的降质图像；将所述降质图像和非配对的含有自然随机噪声分布的噪声图像输入降质辨别器进行真伪辨别；通过降质辨别器和降质生成器的生成与对抗，使得降质增强gan网络具有伪造噪声类型的能力。4.根据权利要求3所述的一种车载图像超分辨率重建方法，其特征在于，所述降质辨别器对应的损失函数如下：式中，a表示relu激活函数，d表示降质辨别器，bs表示批量大小，lrs表示噪声图像，lr_gen表示生成的降质图像。5.根据权利要求4所述的一种车载图像超分辨率重建方法，其特征在于，所述降质生成器对应的损失函数如下：式中，α和β分别表示均方损失权重和对抗损失权重，downs表示的是基础事实图像经过
下采样之后的结果，w和h表示像素分辨率的宽和高。6.根据权利要求3所述的一种车载图像超分辨率重建方法，其特征在于，所述降质生成器包括第一残差编码块、轻量级的第二残差编码块和解码块；在编码初期，采用第一残差编码块进行工作；随着编码过程的加深，出现特征通道数的增加和像素块的减小；当检测到降质图像的大小小于预设阈值，将第二残差编码块替换第一残差编码块。7.根据权利要求3所述的一种车载图像超分辨率重建方法，其特征在于，所述噪声图像包括高斯噪声图像、伪影噪声图像和扭曲变形噪声图像。8.一种车载图像超分辨率重建系统，其特征在于，包括：图像获取模块，用于获取待重建的低分辨率车载图像；图像重建模块，用于采用训练后的车载图像超分辨率重建模型对所述低分辨率车载图像进行重建，获得高分辨率车载图像，完成图像重建任务；其中，所述车载图像超分辨率重建模型通过采用无监督的降质增强gan网络进行联合训练；在训练过程中，提取车载图像降质的特征信息，并将提取的特征信息拟合到所述车载图像超分辨率重建模型中，以提高模型的重建能力。9.一种车载图像超分辨率重建装置，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。

技术总结
本发明公开了一种车载图像超分辨率重建方法、系统、装置和存储介质，其中方法包括：获取待重建的低分辨率车载图像；采用训练后的车载图像超分辨率重建模型对所述低分辨率车载图像进行重建，获得高分辨率车载图像，完成图像重建任务；其中，所述车载图像超分辨率重建模型通过采用无监督的降质增强GAN网络进行联合训练；在训练过程中，提取车载图像降质的特征信息，并将提取的特征信息拟合到所述车载图像超分辨率重建模型中，以提高模型的重建能力。本发明在训练过程中充分的提取自然场景下的噪声、伪影、干扰等导致车载图像降质的特征信息，并将提取的特征信息拟合到模型中，从而提高模型的重建性能。本发明可广泛应用于图像处理技术领域。处理技术领域。处理技术领域。


技术研发人员：赵帅 孙季丰
受保护的技术使用者：华南理工大学
技术研发日：2022.11.14
技术公布日：2023/2/3