一种基于多约束联合优化的增量式卫星视频超分重建方法
本发明属于遥感卫星硬件配套图像处理、时序视频超分辨率、卫星图像复原优化,适用于搭载cmos成像传感器、经过在轨稳像的各类对地观测灰度卫星视频,可部署于星载轻量化处理器、地面遥感处理终端,用于地面目标识别、长时序地表变化监测、地物精细化解译工程场景。
背景技术:
1、卫星遥感视频受轨道高度、大气散射、光学psf模糊、传感器采样间隔、帧间微小运动偏移多重因素耦合影响,原始采集图像空间分辨率有限,道路、小型建筑、车船等动静地物纹理细节丢失严重,直接降低对地目标识别、长时序地表变化监测的判读精度。现阶段卫星时序影像超分重建主要分为手工正则先验建模、深度学习两大技术路线,其中手工正则框架推理开销低、无需大量标注样本,更适配星上轻量化实时处理,但现有传统手工重建方案仍存在多项适配性缺陷。
2、在多帧时序光流配准重建相关研究中,shi等人2024年面向卫星时序影像设计多尺度光流融合网络实现帧间匹配(参考:shi k, liu z q, zhang w x, et al. enhancingsatellite image sequences through multi-scale optical flow-intermediatefeature joint network[j]. remote sensing, 2024, 16(2): 426.),该算法仅两两独立求解帧间运动场,未引入三帧运动传递约束,长时序序列配准误差持续累积,易造成车船等运动目标拖影、相邻帧产生帧间时域不一致伪影。xiao等人2024提出基于时空差分补偿的卫星视频超分框架(参考:xiao y, yuan q q, jiang k, et al. local-global temporaldifference learning for satellite video super-resolution[j]. ieeetransactions on circuits and systems for video technology, 2024, 34(4): 2789-2802.),该方案以差分特征替代显式稠密光流,像素级对齐精度不足,云层、大面积均质地表区域配准偏差显著,重建边缘模糊虚化。陈王丽、孙涛、马国锐等人2014将传统稠密光流引入嫦娥一号多视卫星影像重建(参考:陈王丽,孙涛,马国锐,等. 利用光流配准进行嫦娥一号ccd多视影像超分辨率重建[j]. 武汉大学学报(信息科学版),2014, 39(9): 1103-1108.),但该方法采用全局统一保真权重,无法区分静止地表、云层、移动目标,运动区域约束强度过高,重建失真问题突出。
3、基于图像块结构先验的多帧map重建方案中,现有算法大多仅依靠单一尺度图像块相似性构建正则项,无法充分挖掘遥感图像跨尺度纹理关联信息。传统联合重建多采用单向tv正则,对河道、狭长道路等线状地物保护效果差,细长边缘易被过度平滑;现有btv正则相关研究普遍采用固定全局约束系数,未结合像素运动幅值动态调整约束强度(参考:wang y, luo x b, ye h w. non-local spatiotemporal fusion incorporatingoptical flow estimation and spatial-spectral mitigation-based residual[j].geocarto international, 2025, 40(1)),难以同步兼顾静态区域噪声抑制与运动目标细节保留。
4、除此之外,现有卫星超分算法在退化建模、迭代架构上仍存在共性短板:多数方案仅简化模拟传感器下采样,未同步复现帧间运动扭曲、镜头光学模糊、尺度压缩三级卫星完整成像退化过程,观测图像与仿真模型偏差较大,重建精度存在明显上限;传统批量map优化需要全程存储全部低分图像与中间重建张量,4k/8k高分辨率卫星视频会产生巨大内存占用,普通地面终端难以实现实时运算;部分全局联合迭代方案每一轮重建均需要遍历全部历史帧,重复计算量大,无法支撑超长卫星视频连续处理。
5、针对配准误差累积、图像多尺度特征利用不充分、退化模型简化失真、正则边缘保护能力不足、批量优化资源开销过大等现有技术缺陷,本发明提出一种融合多变量核密度三帧光流优化、像素自适应保真权重、完整卫星复合退化模型、增量逐帧map求解的增量式帧间卫星视频超分辨率重建方法,仅缓存上一帧最优高分图像即可完成单帧迭代,大幅降低内存消耗,同时提升重建清晰度与时域稳定性,可适配地面终端、星上设备两类轻量化遥感高清重建场景。
6、当前遥感卫星时序超分领域存在固有技术偏见:业内主流方案均采用批量全帧缓存全局map优化、两帧独立光流配准、单一tv正则、全局固定保真权重的组合思路,尚未出现将三帧运动传递约束、全局复用统一psf、像素动态自适应权重、多邻域btv正则、增量单帧递推架构结合的完整技术方案,现有技术无法同步解决运动拖影、时序闪烁、线状地物模糊、内存占用过高多重耦合缺陷,不存在完整技术启示。
技术实现思路
1、为了克服现有单帧插值、传统两帧超分存在边缘伪影、运动拖影、帧间时域不一致伪影、内存占用高、成像模型简化失真等缺陷,在保证重建图像边缘纹理清晰的同时提升长时序卫星视频时域稳定性,降低算法内存消耗,本发明提供了一种基于多约束联合优化的增量式卫星视频超分重建方法。
2、本发明采用如下技术方案:
3、一种基于多约束联合优化的增量式卫星视频超分重建方法,包括如下步骤:
4、s1:输入原始稳像处理后的低分辨率视频序列,t为当前待处理帧序号,取值为1、2、3、……、,代表第t帧低分辨率观测图像;首次执行本步骤即t=1时,t=1代表当前为视频首帧,不存在前序图像,无对应运动矩阵,直接采用上采样方法生成初始超分结果,x代表待求解高分辨率待重建图像变量,下标代表帧序号,上标*代表迭代收敛后的最优图像;将作为下一帧的时序参考帧;非首次执行本步骤即t≥2时,将上一轮步骤s6输出的当前帧最优超分结果更新为本次处理的时序参考帧;
5、s2:当t≥2时,对第t−1帧、第t帧相邻帧进行多变量核密度运动估计与三帧时域约束优化,得到优化后的运动矩阵;m代表帧间仿射变换矩阵,下标t−1,t的含义为由第t−1帧映射至当前第t帧,上标*代表经最小二乘校正后的最优矩阵;该矩阵仅在t≥2时求解,t=1无对应运动矩阵;
6、均值漂移聚类完整执行过程:首先提取图像每个像素的五维联合特征向量,特征包含像素平面空间坐标、稠密光流二维矢量、区域语义分割标签s;在五维联合特征空间分别设置空间维度核带宽、光流维度核带宽、分割标签维度核带宽,采用三维高斯联合核度量像素相似度,迭代完成均值漂移聚类,平滑云层、噪声造成的异常离散光流,消除局部运动畸变;
7、s3:仅对视频首帧执行盲卷积求解3×3全局统一高斯psf模糊核b,全视频序列复用该模糊核;构建综合退化算子;d为下采样矩阵,为第t帧专用综合退化算子;本步骤仅在t≥2时 执行;
8、s4:基于map最大后验准则构建增量map超分模型,模型目标函数为:
9、
10、式中,为待优化的当前帧高分辨率图像,为第t帧像素级自适应权对角矩阵,为向量l2二范数,为时序平衡尺度参数,为btv正则全局权重,为btv边缘保持正则项;第一部分为观测保真项,第二部分为帧间时空增量约束项,第三部分为btv边缘保持正则项;其中所述观测保真项采用像素级自适应权对角矩阵加权,的对角元素依据像素运动强度动态调整,其表达式为:
11、
12、式中,为单像素匹配权重,为像素i对应帧间光流运动矢量,为运动衰减控制系数,所述帧间时空增量约束项引入前一帧已优化超分结果作为先验;本步骤仅在t≥2时执行;
13、s5:采用预条件共轭梯度法pcg对所述增量map超分模型的目标函数进行迭代求解;为map总损失函数,为观测保真项,为帧间时空增量约束项,为btv边缘保持正则项;以当前帧上采样结果为初始值,得到当前帧优化后的超分结果;
14、s6:输出当前帧优化超分结果;
15、s7:判断当前帧序号t是否等于视频序列最后一帧序号;若否,则进入步骤s1循环处理下一帧;若是,则进入步骤s8;
16、s8:输出完整高分卫星视频序列,结束流程。
17、本发明方法采取增量逐帧递推求解的策略,每一帧仅依赖前一帧最优超分结果作为时序参考帧,无需缓存全部历史帧,实现单帧缓存轻量化计算;在运动估计阶段,通过三帧传递性最小二乘优化消除逐帧运动漂移;在退化建模阶段,统一复用首帧盲卷积psf核,融合运动扭曲、光学模糊、下采样三级退化;在求解阶段,以像素运动幅值自适应调整保真权重,结合btv多邻域正则保护线状地物边缘。
18、根据上述增量map超分模型目标函数,计算当前帧最优超分结果的迭代求解流程为:以双三次上采样当前帧所得图像作为迭代初始值,采用pcg算法迭代最小化目标函数,迭代终止条件设置为梯度范数或迭代次数达到预设上限40~200次,迭代终止后输出,作为本发明优选实现方式,pcg算法的预条件矩阵通过损失函数海森矩阵做不完全cholesky分解得到,满足;其中l为稀疏下三角矩阵,仅保留海森原生非零元素,舍弃分解新增填充元,在几乎不损失求解精度的前提下降低矩阵运算量、加快收敛速度。
19、所述步骤s2中采用三帧传递性最小二乘优化修正帧间运动矩阵,以连续三帧、、为输入,基于空间域、光流域、分割域三维高斯核密度均值漂移聚类修正稠密光流场,分别求解三组帧间原始稠密光流:t−2到t−1、t−1到t、t−2到t,基于稠密光流全局拟合得到三组初始运动矩阵:、、;其中为未优化原始运动矩阵,构建三帧运动传递最小二乘优化目标函数:
20、
21、其中,为第t−1帧至第t帧原始运动矩阵,为仅依靠、两帧光流直接求解、未经过三帧约束校正的运动矩阵,代表矩阵frobenius范数,α∈[0.2,0.5]为正则平衡系数,用于权衡运动传递一致性约束与原始光流保真约束;对目标函数关于运动矩阵求导并令梯度为零,通过矩阵代数解析求解得到最优运动矩阵;求解过程仅修正运动矩阵内旋转、尺度缩放分量,完整保留原始光流输出的平移矢量,保证地面固定建筑、道路等地物像素空间坐标不发生偏移。
22、所述步骤s3中综合退化算子完整模拟卫星成像三级退化过程:第一步运动变换对高分图像像素坐标做帧间扭曲对齐;第二步光学卷积b模拟镜头高斯模糊;第三步下采样d模拟传感器离散像素采集与尺度压缩,超分放大倍数固定为2倍;b为视频首帧采用盲卷积算法求解得到的3×3高斯psf光学模糊核,后续全部帧直接复用该模糊核,所述盲卷积求解采用图像与psf交替迭代优化的盲反卷积策略,具体为:初始化psf为3×3中心权重最大的高斯型核(σ取值0.3~0.8);每次迭代中,固定当前psf估计采用richardson-lucy算法更新高分辨率图像,再固定更新后的图像采用最小二乘估计更新psf,并对psf施加非负约束及能量归一化约束(所有元素之和等于1);迭代至相邻两次psf估计矩阵的frobenius范数相对变化量小于预设阈值(优选10⁻4)或达到预设最大迭代次数(优选20~50次)时终止,输出最终psf核b供全序列复用;
23、所述步骤s4中btv边缘保持正则项的完整表达式为:
24、
25、式中,代表图像沿行偏移l、列偏移m的平移变换,为随邻域距离指数衰减的加权系数,α=0.8,p为最大邻域偏移距离,为向量l1范数;采用多邻域加权l1平滑约束,可完整保留道路、线状建筑、河道等细长边缘,抑制高分辨率重建中高频振铃伪影;λ∈(0,0.1)为正则权重,平衡边缘平滑与纹理细节保留。
26、所述步骤s4中像素级自适应权对角矩阵的对角元素计算后统一裁剪至区间[0.3,0.9],避免极端零权重导致重建失效;τ∈[1.5,2.5]为运动衰减控制系数,像素运动幅值越大,对应权重数值越低,主动弱化云层、空中移动物体区域的观测约束,抑制重建拖影、模糊伪影。
27、所述步骤s5中pcg算法引入不完全乔莱斯基分解对海森矩阵预处理,加速目标函数收敛速度;所述预条件矩阵采用海森矩阵∇²f(xt)的不完全乔莱斯基分解构造,丢弃填充因子小于预设阈值(优选10⁻³)的非对角元,以平衡求解精度与计算效率;迭代终止判定设置双重停止条件,满足任意一条即终止迭代:①;②迭代次数达到预设上限40~200次。
28、本发明各变量统一工程优选实施参数:运动衰减控制系数τ=2.0;三帧运动平衡正则系数α=0.3;btv全局正则权重λ=0.05;btv最大邻域偏移距离p=2;pcg最大迭代次数优选80次;迭代收敛判定梯度阈值固定10−5;时序平衡参数ρ0随帧序号递增线性递减。采用该组参数可同步实现图像清晰度与时域稳定性最优平衡,所属领域技术人员依据该组参数可完整复现本发明重建流程。
29、值得注意的是,本发明的技术效果并非各技术特征的简单叠加。三帧运动传递约束确保了帧间对齐的长期稳定性,为像素自适应权重提供了可靠的运动信息基础;而像素自适应权重则精确区分了静止与运动区域,使得btv正则能够在保护线状地物的同时,不对运动目标造成过度平滑;最后,增量逐帧求解架构不仅降低了内存,还使得帧间时序增量约束项得以高效实现,将前帧的先验知识无缝传递到当前帧。这四个核心手段相互依存、互为前提,共同解决了长时序卫星视频超分中“运动拖影、时序闪烁、边缘模糊、内存爆炸”这一系统性难题。任何单一技术的孤立应用都无法取得本发明的综合效果,因此本发明的技术方案相对于现有技术是非显而易见的。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com