一种基于多特征的POCS图像超分辨率重建方法

一种基于多特征的pocs图像超分辨率重建方法
技术领域
1.本发明属于图像超分辨率重建的技术领域，尤其涉及一种基于多特征的pocs图像超分辨率重建方法。


背景技术：

2.图像超分辨率重建是指在不升级成像硬件系统的前提下，利用计算机对低分辨率图像或图像序列进行处理，重建出高分辨率图像的一种图像处理技术，在医学影像分析、安全监控、遥感成像等领域都有广泛应用。
3.目前基于序列图像的超分辨率重建方法主要分为：基于传统算法的重建和基于深度学习方法的重建。基于传统算法的超分辨率重建主要包括：基于插值的方法(参考：deepu rajan,subhasis chaudhuri.generalized interpolation and its application in super-resolution imaging[j].image and vision computing,2001,19(13).)、基于迭代反投影的方法(参考：irani m,peleg s.improving resolution by image registration[j].gvgip:graphical models and image processing,1991,53(3):231-239.)、基于最大后验概率的方法(schultz r r,stevenson r l.improved definition video frame enhancement[c].international conference on acoustics.ieee,1995.)和基于凸集投影的方法(stark h,oskoui p.high-resolution image recovery from image-plane arrays,using convex projections[j].journal ofthe optical society ofamerica a optics&image science,1989,6(11):1715.)等。近年来，基于深度学习的图像超分辨率重建成为人们研究的热点，2014年chao等人提出一个含三个卷积层的网络-srcnn，首次将深度学习用于图像超分辨率重建(参考：chao d,chen c l,he k,et al.learning a deep convolutional network for image super-resolution[j].eccv,2014.)该方法重建效果优且可以实现较大倍数的放大，但与此同时对网络结构的设计和训练过程要求很高，需要大量数据用于训练且运算量通常非常巨大(参考：谢海平,谢凯利,杨海涛.图像超分辨率方法研究进展[j].计算机工程与用,2020,56(19):34-41.)。相比于基于深度学习方法，传统方法可以加入图像先验信息，不需要大量的训练样本，具有独特的优势。在众多传统重建方法中，pocs算法由于具有算法原理直观、成像模型灵活、方便引入大量先验信息等优点(参考：房垚鑫,郭宝峰,马超.基于改进点扩散函数的遥感图像超分辨率重建[j].激光术,2019,43(05):123-128.)，是人们使用比较多的重建方法。但pocs算法在重建过程中使用插值方法构建参考帧，而且重建过程中没有对psf(point spread function，psf)进行估计，导致重建的图像在边缘、细节信息方面效果不好。
[0004]
综上，基于传统pocs算法的超分辨率重建和基于深度学习的超分辨率重建各有优劣，基于传统pocs算法的超分辨率重建优点是，算法原理直观，成像模型灵活，可以加入图像先验信息，具有独特的优势，缺点图像在边缘、细节信息方面效果不好。相反，基于深度学习的超分辨率重建效果好且可以实现较大倍数的放大，缺点是对网络结构的设计和训练过程要求很高，需要大量数据用于训练且运算量通常非常巨大。


技术实现要素：

[0005]
针对上述技术问题，本发明的目的在于提供一种多特征的pocs图像超分辨率重建方法，基于图像的局部相似性特征和图像的梯度特征构建多特征参考帧图像，利用lk光流法进行图像配准，采用比值稀疏约束模型估计图像的psf，既提高了重建图像的边缘保持能力又增加了重建图像的纹理细节信息，有效的提升了图像质量。
[0006]
为实现上述目的，本发明提供了一种基于多特征的图像超分辨率重建方法，包括如下步骤：
[0007]
s1：输入序列lr图像gi(i＝1,2,3,4)；
[0008]
s2：读取序列lr图像的一帧g1，根据图像的局部相似性特征构建参考帧f1,根据图像的梯度特征构建参考帧f2，将f1与f2根据像素值的均值加权计算得到多特征参考帧图像f；
[0009]
s3：对除第一帧lr图像以外的其他帧序列lr图像进行2倍上采样，使用lk光流法对上采样后的序列图像与多特征参考帧图像f进行配准，找出多特征参考帧图像psf作用窗口的中心坐标，并确定psf作用窗口的范围；
[0010]
s4：利用比值稀疏约束模型估计多特征参考帧图像f的psf，由多特征参考帧图像f和估计出的psf计算出重建图像psf窗口作用范围内像素的初始估计值；
[0011]
s5：计算psf窗口作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差r；
[0012]
s6：根据残差r与阈值t的大小关系对多特征参考帧图像f做出修正，得到重建高分辨率图像p1和p2，p1和p2根据像素值均值加权计算得到最终重建图像p。
[0013]
所述步骤s2中由参考帧f1和参考帧f2生成多特征参考帧图像f的表达式为：
[0014][0015]
其中，f表示多特征参考帧图像，f1表示参考帧图像f1,f2表示参考帧图像f2,a1表示参考帧图像f1的像素值均,b1表示参考帧图像f2的像素值均值。
[0016]
所述步骤s3中使用lk光流法，即lucas-kanade光流法对上采样后的序列图像与多特征参考帧图像f进行配准。
[0017]
所述步骤s4中利用比值稀疏约束型估计重建图像的psf表达式为：
[0018][0019]
式中：c是成本函数，x是未知空间中高频的清晰图像，y是观测图像，k是psf，λ和ψ是正则化参数，用来控制k和正则化项的权重。
[0020]
由多特征参考帧图像f和估计出的psf计算出重建图像psf窗口作用范围内像素的初始估计值表达式为：
[0021][0022]
式中：表示重建图像psf窗口范围内像素的初始估计值，f表示多特征参考帧图像，表示卷积运算，k代表点扩散函数。
[0023]
所述步骤s5中计算psf作用范围内的像素估计值与当前原有序列分辨率图像像素
值之间的残差表达式为：
[0024][0025]
式中：r表示psf作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差，l表示原有序列分辨率图像的像素值，表示psf作用范围内的像素估计值。
[0026]
所述步骤s6中根据残差r与阈值t的大小关系对多特征参考帧图像f做出修正的表达式为：
[0027]
r＞t,p1＝f (r-t)
[0028]
r＜t,p2＝f (r t)
[0029]
式中：r表示残差，t表示事先设置的阈值，f表示多特征参考帧图像，p1表示r》t的重建结果，p2表示r《t的重建结果。
[0030]
根据p1和p2得到最终重建图像p的表达式为：
[0031][0032]
式中：p表示最终重建图像，p1表示r》t的重建结果,p2表示r《t的重建结果,c1表示重建图像p1的像素值均值,d1表示重建图像p2的像素值均值。
[0033]
由上，本发明提出的基于多特征的pocs图像超分辨率重建方法在高分辨率参考帧的构建和基于psf的图像重建方向进行改进，构建了多特征参考帧图像，采用比值稀疏约束模型估计图像的psf，提高了重建图像的边缘保持能力和纹理细节信息。与其他传统重建算法相比本，本发明的重建结果明显优于其他算法的重建结果。
附图说明
[0034]
图1是本发明的一种基于多特征的pocs图像超分辨率重建方法的流程图；
[0035]
图2是本发明使用的序列低分辨率真实卫星遥感影像数据；
[0036]
图3是本发明图像重建结果与上采样方法、迭代反投影算法、传统pocs算法的重建结果对比图；
具体实施方式
[0037]
下面参见图1～图3对本发明所述多特征的pocs图像超分辨率重建方法进行详细说明。
[0038]
如图1所示，为了得到更好的图像重建结果，提供了一种基于多特征的pocs图像超分辨率重建方法，包括步骤如下：
[0039]
步骤s1：输入序列lr图像gi(i＝1,2,3,4)；
[0040]
步骤s2：读取序列lr图像的一帧g1，根据图像的局部相似性特征构建参考帧f1,根据图像的梯度特征构建参考帧f2，将f1与f2根据像素值的均值加权计算得到多特征参考帧图像f；
[0041]
由参考帧f1和参考帧f2生成多特征参考帧图像f的表达式为：
[0042]
[0043]
其中，f表示多特征参考帧图像，f1表示参考帧图像f1,f2表示参考帧图像f2,a1表示参考帧图像f1的像素值均,b1表示参考帧图像f2的像素值均值。
[0044]
步骤s3：对除第一帧lr图像以外的其他帧序列lr图像进行2倍上采样，使用lk光流法对上采样后的序列图像与多特征参考帧图像f进行配准，找出多特征参考帧图像psf作用窗口的中心坐标，并确定psf作用窗口的范围；
[0045]
步骤s4：利用比值稀疏约束模型估计多特征参考帧图像f的psf，由多特征参考帧图像f和估计出的psf计算出重建图像psf窗口作用范围内像素的初始估计值；
[0046]
利用比值稀疏约束型估计重建图像的psf表达式为：
[0047][0048]
式中：c是成本函数，x是未知空间中高频的清晰图像，y是观测图像，k是psf，λ和ψ是正则化参数，用来控制k和正则化项的权重。
[0049]
由多特征参考帧图像f和估计出的psf计算出重建图像psf窗口作用范围内像素的初始估计值表达式为：
[0050][0051]
式中：表示重建图像psf窗口范围内像素的初始估计值，f表示多特征参考帧图像，表示卷积运算，k代表点扩散函数。
[0052]
步骤s5：计算psf窗口作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差；
[0053]
计算psf作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差表达式为：
[0054][0055]
式中：r表示psf作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差，l表示原有序列分辨率图像的像素值，表示psf作用范围内的像素估计值。
[0056]
步骤s6：根据残差r与阈值t的大小关系对多特征参考帧图像f做出修正，得到重建高分辨率图像p1和p2，p1和p2根据像素值均值加权计算得到最终重建图像p。
[0057]
根据残差r与阈值t的大小关系对多特征参考帧图像f做出修正的表达式为：
[0058]
r＞t,p1＝f (r-t)
[0059]
r＜t,p2＝f (r t)
[0060]
式中：r表示残差，t表示事先设置的阈值，f表示多特征参考帧图像，p1表示r》t的重建结果，p2表示r《t的重建结果。
[0061]
根据p1和p2得到最终重建图像p的表达式为：
[0062][0063]
式中：p表示最终重建图像，p1表示r》t的重建结果,p2表示r《t的重建结果,c1表示重建图像p1的像素值均值,d1表示重建图像p2的像素值均值。
[0064]
下面通过实施示例进一步对本发明方法进行说明。
[0065]
数据集：采用真实卫星遥感影像数据。
[0066]
评价指标：信息熵(ie)、平均梯度(mg)为评价指标。
[0067]
实施步骤：
[0068]
使用本发明方法与上采样方法、迭代反投影算法、传统pocs算法分别对真实卫星遥感影像数据进行超分辨率重建。其中，本发明方法在实验中的参数为：k＝25，t＝1,比值稀疏约束模型估计图像psf的参数为：kernel_size＝25，kernel_init＝3。
[0069]
针对真实卫星遥感影像数据，图像重建结果如图3所示，真实卫星遥感影像数据(见图2(a-d))，上采样方法重建结果(见图3(a)),迭代反投影算法重建结果(见图(3b)),传统pocs算法重建结果(见图3(c)),本发明方法重建结果(见图3(d))。经过质量评价，图3(a)、图(3b)、图3(c)、图3(d)的信息熵分别为6.21,6.23,6.30,6.56，图3(a)、图(3b)、图3(c)、图3(d)的平均梯度分别为2.56,3.55,2.49,3.30。
[0070]
本发明的基于多特征的pocs图像超分辨率重建方法解决了传统pocs算法重建图像边缘保持不良的问题，同时增加了重建图像的纹理细节信息。本发明重建结果分别与上采样、迭代反投影、凸集投影几种算法的重建结果使用信息熵和平均梯度两个指标进行质量评价，对比分析得出结论，本发明方法的图像重建结果在视觉上和指标上都有了明显的提高。本发明方法的处理过程没有近似，且主要是真实卫星遥感影像数据进行重建处理。
[0071]
以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。