一种小波高频提示与残差补偿的光场空间超分辨率方法
本发明涉及计算机视觉、计算成像和光场图像空间超分辨率重建,具体涉及一种小波高频提示与残差补偿的光场空间超分辨率方法。
背景技术:
1、光场成像技术能够同时记录对应场景中光线的空间位置信息与传播方向信息,相比传统二维成像,能够为数字重聚焦、三维重建、深度估计、自由视角显示、沉浸式显示以及智能感知等任务提供更丰富的场景结构信息。通常情况下,光场数据可以由子孔径图像阵列表示,其中不同子孔径图像对应不同角度视角,每个子孔径图像内部又包含二维空间采样。
2、受传感器总像素数、微透镜阵列结构和成像光学系统带宽的限制,光场采集过程天然存在空间分辨率与角度分辨率之间的矛盾。当角度采样数量增加时,每个子孔径图像能够分配到的空间采样像素减少,导致实际采集得到的子孔径图像空间分辨率较低,表现为边缘变钝、文字模糊、细线断裂、纹理边界不清晰以及遮挡边缘过平滑等问题。
3、图1为光场图像空间超分辨率重建任务示意图,图1示出输入光场与输出光场的子孔径视角数量保持不变、各子孔径图像的空间尺寸按照预设倍率提高,并示出水平极平面图像和垂直极平面图像随空间分辨率提高而产生的结构细化;光场空间超分辨率在保持u×v个子孔径视角数量不变的条件下,将每个低分辨率子孔径图像的空间尺寸由h×w提高为sh×sw;其中,u和v分别表示两个角度轴的视角数量,h和w分别表示单个低分辨率子孔径图像的高度和宽度,s表示空间放大倍率。图1中的水平和垂直极平面图像用于说明该任务不仅需要恢复单个视角内部的空间纹理和高频结构,还需要保持不同视角之间由视差引起的几何对应关系。若仅将每个子孔径图像作为普通二维图像独立处理,可能导致相邻视角中的边缘、纹理或细线位置不一致,进而破坏光场图像的几何一致性;若过度依赖跨视角平均或全局平滑,又容易得到几何关系较稳定但局部高频细节不足的结果。
4、现有光场空间超分辨率方法通常从子孔径图像、宏像素图像和极平面图像中提取特征。基于卷积的空间-角度交互方法能够有效建模局部纹理和局部视角关系,但受局部感受野限制,对长距离空间-角度相关性和大视差几何结构的表达能力不足。基于自注意力或状态空间模型的方法增强了长程依赖建模能力,但通常更关注整体结构恢复和跨视角关系建模,对文字、细线、纹理边界等小面积局部高频区域缺少显式补偿机制。
5、此外,部分方法直接尝试对整体高频进行优化增强,能够提升局部锐度,但如果缺少可靠的跨视角几何上下文约束,高频增强可能在不同视角中产生不一致的边缘位置和纹理响应,从而形成视角闪烁、极线断裂或伪影。对于光场空间超分辨率而言,高频恢复并非单纯锐化问题,而是需要在稳定几何基底之上进行受控的局部残差补偿。
6、从光场数据组织形式看,子孔径图像阵列、宏像素图像以及极平面图像分别突出不同物理含义。子孔径图像阵列便于描述单个视角内部的空间纹理,宏像素图像便于聚合同一空间位置附近的角度信息,极平面图像则能够将跨视角视差关系表现为具有一定斜率的线结构。光场空间超分辨率方法若只依赖其中一种表示,通常难以同时兼顾空间纹理恢复、角度互补利用和极线几何连续性。
7、传统单图像超分辨率方法主要关注二维图像内部的边缘、纹理和语义结构,其输入和输出通常均为单幅图像。将此类方法直接应用于每个子孔径图像时,虽然能够在单视角内提升局部清晰度,但由于不同视角之间的高频增强过程彼此独立,容易导致同一物体边缘在相邻视角中出现位置偏差,从而破坏光场数据固有的跨视角一致性。
8、现有基于空间-角度联合学习的光场超分辨率方法尝试在网络中引入角度交互、宏像素重排或跨视角特征融合,以利用多视角冗余信息提升重建质量。这类方法能够在一定程度上改善单视角独立超分带来的不一致问题,但当场景中存在文字、细线、栅栏、遮挡边界或高对比纹理时,局部高频细节仍可能在多视角平均或特征融合过程中被削弱。
9、基于极平面图像的建模方法进一步利用极平面图像(epipolar plane image,epi)中的线结构表征视差信息,有助于保持跨视角几何连续性。然而,epi结构既包含长距离连续极线,也包含局部短线段、边缘突变和纹理断裂。若仅采用长序列建模,局部细节容易在长程传播中被平滑;若仅采用局部片段建模,又难以覆盖完整视角范围下的几何关系。因此,单一粒度的epi证据难以充分支撑复杂区域的空间超分辨率重建。
10、近年来,自注意力机制和状态空间序列模型被用于图像及光场重建任务,以提升长程依赖建模能力。此类结构有助于扩大感受野并捕获全局上下文,但通用视觉骨干的扫描路径或注意力组织方式并不天然对应光场中的空间维、角度维和极线几何维。若缺少面向光场拓扑的组织和约束,长程建模可能增强整体结构表达,却仍无法有针对性地恢复局部方向高频细节。
11、另一方面,频域损失、小波变换和高通滤波等方式常被用于增强图像超分辨率中的高频信息。然而,光场空间超分辨率中的高频补偿不能简单等同于锐化滤波。对于同一物理边缘,多个视角中应当保持相互对应的几何位置;对于遮挡和非朗伯区域,部分高频响应还可能具有视角相关性。因此,高频补偿需要建立在较可靠的几何上下文之上,并且需要通过结构引导机制控制补偿位置、方向和幅度。
12、综上,现有技术仍存在如下不足:一是现有空间、角度及epi特征建模虽可提供基础几何表征,但基础结构恢复与局部高频细节补偿缺少明确分工;二是基础重建结果中缺失的文字、细线、纹理边界和遮挡边界等方向高频信息缺少显式候选表示;三是高频增强分支容易与主体结构恢复相互耦合,导致局部锐化与跨视角一致性之间出现冲突;四是缺少一种在特征域中利用低频结构响应引导方向高频子带选择,并以受控残差形式注入基础重建结果的补偿机制。
13、因此,需要一种能够与现有光场特征建模骨干兼容的空间超分辨率方案。该方案不要求将空间、角度或极平面图像建模本身作为新的发明点,而是在光场特征建模骨干已经形成融合特征和基础重建结果后,进一步以逐视角特征域小波分解获得方向高频候选提示,利用低频结构响应选择性调制方向高频,并采用门控式小残差方式将局部细节增量注入基础特征。同时,还需要通过共享重建映射构造基础结果和最终结果,使两者差值能够被明确监督为高频补偿分支产生的细节增量。
技术实现思路
1、为了解决现有技术中光场空间超分辨率结果在复杂高频区域细节恢复不足、直接高频增强容易破坏跨视角一致性、以及基础结构恢复与局部细节补偿耦合过强的技术问题,本技术提供一种小波高频提示与残差补偿的光场空间超分辨率方法,属于光场图像空间超分辨率重建技术领域。以已有或可替换的光场特征建模骨干获得几何融合特征和基础重建结果,几何融合特征是光场特征建模骨干在高频提示分支之前输出的特征;基础重建结果是几何融合特征经共享重建头并与逐视角双三次插值基线相加得到的结果;然后,对几何融合特征逐视角执行二维haar离散小波变换(discrete wavelet transform,dwt),得到低频子带ll、列方向差分高频子带lh、行方向差分高频子带hl和行列联合差分高频子带hh。利用ll低频结构响应引导lh、hl、hh方向高频子带选择性调制,形成高频提示特征,并对几何融合特征进行受控残差补偿。本发明减少了噪声放大、虚假纹理和跨视角边缘错位;有助于在保持基础结构稳定的同时提升局部纹理、文字和细线的恢复能力。
2、一种小波高频提示与残差补偿的光场空间超分辨率方法,包括如下步骤:
3、步骤s1,光场输入表示及逐视角双三次插值基线构建:
4、以输入低分辨率光场为处理对象,对子孔径图像阵列进行光场输入表示和逐视角重排,并构建逐视角双三次插值基线;
5、所述逐视角双三次插值基线作为后续基础重建和最终重建的共同像素域基线;
6、步骤s2,光场几何特征建模与基础重建:
7、以步骤s1的光场输入表示为输入,将光场特征建模单元输出的特征进行融合,得到几何融合特征;所述几何融合特征指经过空间建模、角度建模和双粒度极线平面图像建模后,融合逐视角空间纹理、跨视角对应关系及极线结构信息形成的光场特征;所述几何表示光场不同视角之间的结构对应关系,并非显式深度图或三维几何图;将几何融合特征输入至共享重建头,得到基础重建残差,将基础重建残差与逐视角双三次插值基线相加,得到基础重建结果;
8、步骤s3,逐视角特征域小波高频提示构建:
9、将步骤s2的几何融合特征重排为逐视角sai特征,并对各逐视角sai特征执行一级二维haar小波分解,利用低频结构响应对不同方向的高频子带进行选择性调制,形成高频提示特征;
10、步骤s4,门控式局部残差补偿及最终重建:
11、将步骤s3的高频提示特征用于步骤s2的几何融合特征对应的逐视角sai特征的局部残差细化,通过门控和残差缩放控制细节补偿幅度,得到细化特征;再经共享重建头与逐视角双三次插值基线相加,得到最终重建结果;
12、步骤s5,训练阶段联合优化:
13、在训练阶段,利用步骤s2获得的基础重建结果、步骤s4获得的最终重建结果以及对应的真实高分辨率光场构建联合损失,对步骤s1至步骤s4进行联合优化;在推理阶段,不执行步骤s5,仅依次执行步骤s1至步骤s4获得最终重建结果。
14、进一步,步骤s1中,所述光场输入表示及逐视角双三次插值基线构建过程如下:
15、步骤s11,子孔径图像阵列拼接表示及元素索引:
16、设批次大小为b,输入亮度通道数为1,第一角度轴和第二角度轴的视角数量分别为u和v,每个低分辨率子孔径图像的高度和宽度分别为h和w,r表示实数集合;实际网络接收的输入为子孔径图像(sub-aperture image,sai)阵列拼接表示;的张量尺寸满足:,lr表示低分辨率;
17、为说明阵列拼接位置与光场物理维度之间的对应关系,引入批次索引b、第一角度轴索引u、第二角度轴索引v、子孔径图像内部行索引y和列索引x;低分辨率光场的六维视角张量,则与间满足:
18、;
19、其中,u、v、h、w均表示相应维度长度;u、v、y、x分别表示两个角度索引和子孔径图像内的行、列索引,索引采用从0开始的约定:;uh+y确定第u个水平视角内第y行在阵列拼接表示中的纵向位置,vw+x确定第v个垂直视角内第x列在阵列拼接表示中的横向位置;该定义避免将维度长度与元素索引混用,也明确后续逐视角重排的来源;
20、步骤s12,逐视角拆分:
21、将重排为buv个独立子孔径图像构成的批次:
22、;
23、其中,表示不改变元素数值、仅改变存储布局的按视角拆分的通用可逆重排算子,而非只针对单通道图像;表示对执行逐视角拆分所得结果;每个批次元素对应一个确定的(u,v)视角,尺寸为1×h×w;该步骤保证后续插值和小波处理均在单个子孔径图像内部进行,避免跨视角边界参与局部算子计算;
24、步骤s13,逐视角空间插值及角度排列恢复:
25、首先,对中的每个子孔径图像使用相同空间倍率s执行双三次插值;
26、然后,通过的逆重排恢复原有u×v角度排列,得到逐视角双三次插值基线:
27、;
28、其中,表示按倍率s对每个子孔径图像执行双三次插值的算子,表示将逐视角批次中每幅子孔径图像放大s倍的结果,表示恢复u×v视角排列的逆重排算子,的尺寸为b×1×(ush)×(vsw);所述逐视角双三次插值基线不生成新的视角,仅提高各视角的空间尺寸;步骤s2得到的基础重建残差与步骤s4得到的最终重建残差均与步骤s13构建的逐视角双三次插值基线逐元素相加;
29、所述逐视角双三次插值基线作为步骤s2基础重建结果和步骤s4最终重建结果的共同像素域基线。
30、进一步,步骤s2中,所述光场几何特征建模与基础重建的过程如下:
31、步骤s21,浅层特征映射:
32、首先,将步骤s1中的低分辨率光场输入表示按角度维展开为五维视角张量;其中,采用sai阵列拼接形式:
33、;
34、区别于将所述视角维并入批次维,此处的为角度维展开算子;表示将中的个视角排列为独立视角维所得的五维张量;
35、随后,使用卷积核尺寸为1×3×3的三维卷积把单通道输入映射为通道,表示特征通道数;
36、接着,通过浅层残差映射提取局部特征:
37、;
38、其中,表示经初始1×3×3三维卷积后的浅层映射特征;表示该浅层映射特征经浅层残差映射得到的局部残差特征;和尺寸相同并逐元素相加;
39、所述浅层残差映射包括由三个连续组合层,每个组合层包括1×3×3三维卷积和leakyrelu;
40、训练时,将局部特征按视角重排为(buv)×(hw)×的token序列,随机掩码掉其中35%的空间特征标记(token)后恢复原布局,以提高光场特征建模骨干的鲁棒性;推理时不执行随机掩码;训练增强不改变后续高频提示分支的输入输出定义;
41、步骤s22,光场特征建模骨干特征提取:
42、采用与输出接口尺寸一致的光场特征建模骨干;在局部特征上加入可学习角度嵌入,重排为(buv)×h×w×,并串联12个光场特征建模单元;将12个光场特征建模单元分为4组;每组包含三个,分别为sai建模单元、宏像素建模单元和epi建模单元;所述光场特征建模单元为光场图像超分中的通用建模单元,不限定建模方法;所述光场特征建模单元采用卷积、注意力或状态空间序列建模;
43、所述光场特征建模骨干递推过程表示为:
44、;
45、其中,为骨干初始特征;表示从b××(uv)×h×w至(buv)×h×w×的布局转换,为可学习角度嵌入,尺寸与相同;为第n个光场特征建模单元输出;表示第n个光场特征建模单元的映射;是将转换到逐视角批次布局后的结果;所述光场特征建模单元目的仅是生成后续补偿所需的几何融合特征,并不构成本技术逐视角小波门控与受控残差补偿的必要结构限定;
46、步骤s23,多层级特征聚合及浅层旁路融合:
47、首先,在每组光场特征建模单元执行完成后,分别保存第3、6、9和12个单元的输出、、和;
48、然后,将四组输出、、和沿通道维拼接,经3×3二维卷积和leakyrelu构成的多层级聚合映射压缩回通道;
49、随后,恢复为b××(uh)×(vw)的sai阵列拼接特征,并与恢复后的浅层旁路特征逐元素相加,得到几何融合特征:
50、;
51、其中,表示通道维拼接,表示从逐视角特征布局恢复到sai阵列拼接特征布局,是按输入布局选用对应逆重排的统称;表示把浅层特征恢复为b×c_f×(u·h)×(v·w)的sai阵列拼接特征;
52、式中两个加数在相加前均已转换为相同的b××(uh)×(vw)布局,因而不存在逐视角批次与阵列拼接布局直接相加的尺寸冲突;所述几何融合特征是光场特征建模骨干在小波高频提示与受控残差补偿之前输出的sai阵列拼接特征;几何融合特征仅表示其尚未经过所述高频细化分支,并不表示低质量或不含高频;
53、步骤s24,基础结果重建:
54、共享重建头依次包括1×1二维卷积、倍率为s的pixelshuffle、leakyrelu和3×3二维卷积;第一卷积将通道映射为s²通道,像素重排上采样算子(pixelshuffle)把通道信息重排到空间维,最后输出单通道重建残差;将单通道重建残差与逐视角双三次插值基线相加得到基础重建结果:
55、;
56、其中,表示将几何融合特征输入共享重建头后得到的单通道基础重建残差,其尺寸与相同;
57、所述基础重建结果是几何融合特征未经步骤s3和步骤s4的高频提示特征引导及受控残差补偿、经共享重建头并与逐视角双三次插值基线相加得到的中间重建结果,用于承担主体结构、中低频内容和基础跨视角关系恢复,但不意味着在频率意义上严格不含高频。
58、进一步,步骤s3中,所述逐视角特征域小波高频提示构建过程如下:
59、将几何融合特征逐视角拆分并执行一级逐视角二维haar-dwt,由低频子带ll生成三个方向门控,将调制后的列方向差分高频子带lh、行方向差分高频子带hl和行列联合差分高频子带hh后通过haar逆小波变换得到高频提示特征,并由ll重建低频结构特征,供步骤s4使用;
60、步骤s31,几何融合特征逐视角重排及边界处理:
61、将几何融合特征拆分为buv个逐视角sai特征:
62、;
63、每个逐视角sai特征包含个通道,并共享同一组haar变换、方向门控参数;若h或w为奇数,则分别计算和,和分别表示高度和宽度方向的填充量,仅在右侧补列、在下侧补行,采用反射填充,为反射填充算子,表示反射填充后的逐视角特征:
64、;
65、当h和w均为偶数时,==0,不执行填充;在步骤s34执行haar逆变换后,将结果裁剪至原始h×w,不能把填充后的尺寸误认为模块输出尺寸;
66、步骤s32,一级逐视角二维haar-dwt:
67、步骤s321,奇偶位置子采样:
68、对填充后的在行列两个方向按奇偶位置采样,形成四组张量:
69、;
70、;
71、其中,对应偶数行偶数列,对应偶数行奇数列,对应奇数行偶数列,对应奇数行奇数列;所述四组张量尺寸相同;i和j分别表示haar子带中的行索引和列索引,均为从0开始的整数;
72、步骤s322,采用正交二维haar变换系数0.5计算四个haar子带:
73、;;
74、;;
75、其中,ll为低频子带;lh为列方向差分高频子带;hl为行方向差分高频子带;hh为行列联合差分高频子带;ll为局部平均意义上的低频结构响应;lh对同一行内相邻列差分敏感,hl对同一列内相邻行差分敏感,hh对行列联合变化敏感;
76、步骤s323,尺寸记录:
77、四个haar子带的空间尺寸均为;同时记录小波变换前的原始尺寸(h,w),供后续逆变换裁剪使用;所述二维haar小波分解作用在已经包含基础光场上下文的逐视角特征图上,而不是直接作用在输入像素图像或整幅光场子孔径图像阵列拼接图上;
78、步骤s33,低频结构引导的三方向高频门控:
79、步骤s331,门控张量生成:
80、将ll输入由1×1卷积、gelu、1×1卷积和sigmoid构成的轻量门控网络;第一卷积保持通道,第二卷积输出通道,表示sigmoid函数,门控张量表示如下:
81、;
82、其中,表示输入和输出通道数均为的第一1×1二维卷积;表示将通道映射为3通道的第二1×1二维卷积;表示ll依次经过两个卷积及中间gelu后的结果;
83、步骤s332,方向拆分:
84、沿通道维把平均拆分为三组:,且三组门控张量分别与lh、hl和hh一一对应,形状均为;
85、步骤s333,以恒等映射为中心的方向调制:
86、设表示方向d的原始高频子带,为对应方向门控,使用可学习标量执行以下运算得到调制后子带:
87、;
88、其中,为方向d的原始高频子带、为对应门控、为调制后子带,⊙表示逐元素乘法,参数初始化为0,因此,训练刚开始时,调制分支不改变原始高频子带;随着训练进行,和三个方向门控共同学习在给定ll结构响应下对相应方向响应作小幅增强或抑制;上述调制方式不同于直接用0至1的sigmoid结果乘高频子带,可避免初始状态把高频统一压缩至约一半;
89、步骤s34,高频提示特征和低频结构特征重建:
90、构造与ll同形状的零张量:把低频输入置零、把三个调制后高频子带输入haar逆变换,并裁剪回h×w,得到高频提示特征:
91、;
92、其中,仅由三个调制后的方向高频子带重建,作为高频提示特征,而不是直接作为像素域超分结果;表示裁剪掉步骤s31产生的右侧和下侧填充,表示二维haar逆小波变换;同时,将ll作为唯一非零子带执行逆变换并裁剪,得到低频结构特征:
93、;
94、其中,为由ll低频子带重建得到的低频结构特征;用于后续低频结构门控;和的尺寸均与相同,、和三者在不改变视角数量和空间布局的情况下参与残差补偿;
95、由此,步骤s3输出与同尺寸的高频提示特征和低频结构特征,供步骤s4使用。
96、进一步,步骤s4中,所述门控式局部残差补偿及最终重建过程如下:
97、步骤s41,高频提示特征驱动的局部残差预测:
98、首先,将步骤s31得到的逐视角sai特征与步骤s34得到的高频提示特征沿通道维拼接,得到融合特征q:
99、;
100、步骤s411,通道压缩:
101、使用1×1卷积把q的通道压缩至通道,以融合逐视角sai特征和高频提示特征;
102、步骤s412,候选残差输出:
103、将步骤s411通道压缩后的特征依次输入4个串联的轻量局部卷积残差块进行局部特征变换,再通过末端1×1二维卷积得到与逐视角sai特征尺寸相同的候选残差:
104、;
105、其中,表示4个轻量局部卷积残差块,每个块的第一子块依次执行通道维层归一化(layer normalization,layernorm)、1×1通道扩展、3×3深度卷积、通道二分乘法门控(simplegate)以及1×1通道恢复,再以零初始化比例进行残差连接;第二子块依次执行layernorm、1×1扩展、simplegate和1×1恢复,再以零初始化比例进行残差连接;该实现不使用全局池化通道注意力,旨在保持局部修补性质并使新增分支初始接近恒等;
106、步骤s42,细节门控和低频结构门控生成:
107、采用两组相互独立的1×1卷积分别生成细节门控和低频结构门控:
108、;
109、其中,和分别表示两组参数相互独立的1×1二维卷积,表示sigmoid函数;细节门控由逐视角sai特征和高频提示特征拼接得到的q为输入,用于确定候选残差的局部注入位置;低频结构门控由ll重建的同尺寸结构特征,用于对残差注入幅度作进一步调节;细节门控和低频结构门控二者由于功能不同,所以不能用单个未定义门控笼统替代;细节门控和低频结构门控在步骤s43中进一步组合形成联合门控;
110、步骤s43,联合门控及小尺度残差注入:
111、首先用可学习标量将低频结构门控转换为以1为中心的调节因子,并与细节门控逐元素相乘:
112、;
113、其中,表示联合门控,为低频结构门控缩放标量,初始化为0,因此训练开始时等于,低频门控保持中性;
114、随后使用可学习小尺度残差比例控制候选残差的总体幅度:
115、;
116、其中,为总体残差缩放比例;由此,步骤s4的局部残差细化分支在训练初期只对逐视角sai特征作小幅修正,随后再根据监督信号学习合适的门控和残差幅度,降低高频增强破坏已有基础结构的风险;
117、步骤s44,细化特征恢复与共享重建:
118、将按原u×v视角顺序恢复为sai阵列拼接特征,得到阵列拼接特征:
119、;
120、其中,的尺寸为b××(uh)×(vw);
121、将输入至步骤s24所述同一个共享重建头,并与步骤s13得到的同一个相加,得到最终重建结果:
122、;
123、其中,为最终重建残差;
124、几何融合特征与细化特征均输入参数共享的同一重建头,并分别与同一逐视角双三次插值基线相加;因此,两路重建结果的差异主要来自受控残差补偿前后的特征差异;
125、步骤s45,训练态像素域输出增量构造:
126、训练时输出和,并构造像素域细节增量:
127、;
128、其中,stopgrad表示数值保持不变但阻断梯度回传的算子;是受控细化分支在同一逐视角双三次插值基线和参数共享的重建头下引起的像素域细节增量;由于重建头包含卷积、pixelshuffle和非线性激活,增量并非数学上预先保证的纯高频;训练阶段通过步骤s54的高通损失引导其主要关注基础结果尚未恢复的局部细节;
129、步骤s46,推理态输出:
130、推理时不需要高分辨率标签,不将基础重建结果和像素域细节增量用于损失计算;推理阶段依次执行步骤s1至步骤s4并输出最终重建结果;若系统需要诊断或可视化,则保留作为辅助输出,但不影响最终重建流程。
131、进一步,步骤s5中,所述训练阶段联合优化过程如下:
132、步骤s51,像素重建损失:
133、设真实高分辨率光场子孔径图像阵列拼接表示为,尺寸与和相同,其中,hr表示高分辨率,sr表示超分辨率,表示真实高分辨率光场,表示最终超分辨率重建结果即最终重建结果;和的平均绝对误差分别为:
134、;
135、其中,为必需的主重建监督;为辅助监督;mean表示对张量全部指定元素求平均;
136、步骤s52,频率半径加权的逐视角傅里叶损失:
137、先把和分别重排为(buv)×1×(sh)×(sw)的逐视角批次,再使用正交归一化二维实数快速傅里叶变换rfft2获得最终重建结果半谱和真实结果半谱;根据归一化频率半径构造权重:
138、;
139、其中,表示归一化频率半径,表示频率半径权重,分别表示纵向和横向频率坐标,fftfreq用于生成完整频率轴坐标,表示半谱网格的最大频率半径,表示频率强调指数,由fftfreq生成,rfftfreq用于生成实数傅里叶半谱频率轴坐标,由rfftfreq生成;权重再除以自身均值,使不同图像块尺寸下损失尺度较稳定;分别对复数频谱实部和虚部计算加权绝对误差:
140、;
141、其中,和分别表示复数实部与虚部,fft表示快速傅里叶变换,损失降低低频分量的相对权重,补充像素l1对中高频内容的约束;
142、步骤s53,边缘感知的两级逐视角haar小波损失:
143、首先使用水平和垂直sobel核、在真实高分辨率逐视角图像上生成边缘响应,并在每个样本内归一化:
144、;
145、其中,表示真实图像的边缘响应;表示归一化边缘权重;和分别为水平和垂直sobel核;表示边缘强调系数,实现将停止梯度,并以双线性插值缩放到相应子带尺寸;对与执行第一级haar-dwt,比较lh、hl、hh;再分别对与的第一级ll继续执行第二级haar-dwt,比较第二级三个高频子带;令方向高频子带集合d={lh,hl,hh},损失为:
146、;
147、其中,为方向子带索引;表示在第1级的方向高频子带;表示在第2级的方向高频子带;表示的对应子带;表示的对应子带;和分别为缩放到两级子带尺寸的边缘权重;β为第二级相对权重;步骤s3主分支中的一级dwt作用于几何融合特征,用于生成高频提示特征;本步骤的两级dwt作用于像素域和,用于损失计算;
148、步骤s54,像素域细节增量高通损失:
149、令目标残差,定义反射填充后使用k×k平均池化的高通算子,并比较预测增量与目标残差的高通成分:
150、;
151、其中,表示高通算子的任意输入张量,表示反射填充,表示k×k平均池化,表示相应高通算子;表示像素域细节增量;
152、目标残差表示真实图像相对于基础结果尚未恢复的像素差,预测增量来自细化分支;两侧均经过同一高通算子后再计算l1,可减少低频亮度差异对细节监督的干扰;
153、步骤s55,极线平面梯度一致性及角度差分一致性:
154、把高分辨率光场子孔径图像阵列拼接表示恢复为b×1×u×v××,其中=sh、=sw;水平epi固定(v,y)并观察(u,x)平面,垂直epi固定(u,x)并观察(v,y)平面,批次化布局为:
155、;
156、其中,表示高分辨率光场数据;为水平epi重排算子;为垂直epi重排算子;对每个epi张量沿最后一个空间轴和倒数第二个角度轴分别计算一阶差分,并将两个轴的l1梯度误差取平均,记为;水平和垂直epi损失再取平均,得到极线平面梯度一致性损失lepi:
157、;
158、分别表示由最终重建结果和真实高分辨率光场经水平epi重排得到的水平epi张量;分别表示由最终重建结果和真实高分辨率光场经垂直epi重排得到的垂直epi张量;
159、步骤s56,预热及联合加权:
160、设当前训练轮次为e,辅助损失预热轮数为,定义:
161、;
162、其中,表示第e轮的辅助损失权重,当e=1时预热权重为0,之后线性增加并截断至1;令辅助损失索引集合,其中各元素分别对应步骤s52至s55所述频域、小波、增量、epi和可选角度差分损失,则总损失表示为:
163、;
164、其中,表示辅助损失类别,表示辅助损失类别对应的权重;
165、步骤s57,参数更新:
166、将低分辨率光场输入表示依次输入步骤s1至s4,得到、和,按步骤s51至s56计算已启用损失项并求和,通过反向传播获得参数梯度,再使用所配置的梯度优化器更新光场特征建模骨干、方向门控、局部残差细化分支和共享重建头;
167、步骤s58,训练与推理的阶段关系:
168、训练阶段以和为输入,执行步骤s1至步骤s5以确定各可学习参数;推理阶段参数固定,仅以为输入执行步骤s1至步骤s4并输出。
169、一种电子设备,其特征在于,包括:一个或多个处理器;存储器;一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述光场空间超分辨率方法。
170、一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序代码,所述程序代码可被处理器调用执行上述光场空间超分辨率方法。
171、与现有技术相比,本发明的技术效果如下:
172、(1)本发明将基础结构恢复与局部高频补偿显式解耦,使基础重建结果主要承担主体结构、中低频内容和基本跨视角一致性恢复,而高频分支集中补偿基础结果中仍然缺失的文字、细线、纹理边界和遮挡边界等局部细节;
173、(2)本发明利用ll低频结构响应对lh、hl、hh方向高频子带进行门控调制,使高频补偿具备方向选择和结构引导能力,避免将所有高频响应无差别注入,从而减少噪声放大、虚假纹理和跨视角边缘错位;
174、(3)本发明在特征域而非图像域进行二维小波分解,将高频信息作为提示特征参与残差细化,而不是直接对输出图像进行锐化处理,有助于在保持基础结构稳定的同时提升局部纹理、文字和细线的恢复能力;
175、(4)本发明通过基础重建结果与最终重建结果的残差解耦约束,使高频分支主要学习基础结果中缺失的局部细节增量,限制其对整幅光场图像的无约束修改,提升训练稳定性和结果可解释性;
176、(5)本发明的模块组织方式具有较好的扩展性。视角数量、空间放大倍率、状态空间建模单元、自注意力单元、卷积细化单元及上采样单元均可根据实际需求进行替换或调整,但仍保持特征域小波高频提示、低频结构引导方向高频选择、基础重建结果与最终重建结果的共享重建映射及像素域细节增量监督的核心流程。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com