单像素初始重建图像增强方法、系统、介质及识别方法

本发明涉及计算成像，特别是涉及一种单像素初始重建图像增强方法、系统、介质及识别方法。

背景技术：

1、单像素成像（single-pixel imaging, spi）是一种新颖的计算成像技术，它利用单像素探测器而非传统阵列探测器获取图像信息。spi 通过一系列空间光调制模式对目标场景进行调制，再由单像素探测器记录相应的光强值，最后通过重建算法恢复目标图像。与传统的面阵成像相比，spi 在非可见光波段成像、弱光成像、散射介质成像等领域具有独特优势。然而，spi 成像质量高度依赖于采样率。在实际应用中，为了缩短采集时间，通常采用低采样率（如 1%~25%）进行采样，这导致初始重建图像（通常由压缩感知（compressedsensing，cs）、滤波反投影（filtered back projection，fbp）等传统方法获得）存在严重的退化，主要表现为：结构信息大量缺失、条纹伪影明显、局部空洞与断裂、高频细节丢失等，这些退化不是简单的加性噪声，而是具有全局性和结构性的复杂退化。现有技术中，为了对初始重建图像进行重建，主要包括以下几类方法：基于cnn的图像复原方法（如dncnn、unet）、基于transformer 的图像复原方法（如uformer、swinir、restormer）、基于生成对抗网络（gan）的图像增强方法等。然而，这些重建方法中，采用的固定恢复策略难以适应2%、5%和25%等不同采样率，并且对所有空间位置施加相同增强强度也可能放大低可信区域的伪影。此外，一步式预测还可能在主体结构尚未稳定时引入错误高频细节。

技术实现思路

1、为了解决现有spi图像重建在低采样率下易产生结构失真和伪影的技术问题，本发明提供一种单像素初始重建图像增强方法、系统、介质及识别方法。

2、第一方面，本发明提供了一种物理条件引导的单像素初始重建图像增强方法，其包括：

3、获取待增强的单像素成像初始重建图像y及其对应的采样率α。通过物理条件编码器计算y的梯度幅度图gm和拉普拉斯响应图l，将采样率α扩展为与y空间尺寸一致的采样率特征图aα，并将采样率α映射为采样率嵌入向量e。将y、gm、l和aα沿通道维度拼接形成物理增强输入p，对p进行多尺度特征编码，得到多尺度特征；将多尺度特征中的最深层特征与e生成全局退化条件向量c，并根据多尺度特征与c生成空间可靠性图r。

4、将y输入粗重建图像恢复网络，并利用c和r调制粗重建图像恢复网络，得到粗重建结果xc。将y、xc和r拼接后输入细节残差图像恢复网络，并利用c和r调制细节残差图像恢复网络，得到细节残差δx。根据y、xc、r和δx的残差能量生成门控值g，根据g和r生成融合权重w。以xc为基础，将w门控后的δx与xc相加并限制至预设图像值域，得到最终增强图像x。

5、第二方面，本发明提出了一种物理条件引导的单像素初始重建图像增强系统，其使用第一方面中的物理条件引导的单像素初始重建图像增强方法。单像素初始重建图像增强系统包括：输入模块、物理条件编码模块、渐进式重建模块、可靠性融合模块。

6、其中，输入模块用于获取待增强的单像素成像初始重建图像y及其对应的采样率α。物理条件编码模块用于通过物理条件编码器计算y的梯度幅度图gm和拉普拉斯响应图l，将采样率α扩展为与y空间尺寸一致的采样率特征图aα，并将采样率α映射为采样率嵌入向量e。将y、gm、l和aα沿通道维度拼接形成物理增强输入p，对p进行多尺度特征编码，得到多尺度特征。将多尺度特征中的最深层特征与e生成全局退化条件向量c，并根据多尺度特征与c生成空间可靠性图r。渐进式重建模块用于将y输入粗重建图像恢复网络，并利用c和r调制粗重建图像恢复网络，得到粗重建结果xc。将y、xc和r拼接后输入细节残差图像恢复网络，并利用c和r调制细节残差图像恢复网络，得到细节残差δx。可靠性融合模块用于根据y、xc、r和δx的残差能量生成门控值g，根据g和r生成融合权重w。以xc为基础，将w门控后的δx与xc相加并限制至预设图像值域，得到最终增强图像x。

7、第三方面，本发明提出了一种空中目标识别方法，其包括以下步骤：

8、获取目标空域的单像素成像测量数据及对应采样率。采用压缩感知重建方法或滤波反投影方法形成初始重建图像y。使用第一方面中的物理条件引导的单像素初始重建图像增强方法对初始重建图像y进行增强，得到最终增强图像x。将最终增强图像x输入目标识别模型，获得空中目标的类别和/或位置。

9、第四方面，本发明提出了一种计算机可读存储介质，其上存储有计算机程序/指令。该计算机程序/指令被处理器执行时实现第一方面中的物理条件引导的单像素初始重建图像增强方法的步骤。

10、本发明的有益效果在于：

11、1、本发明通过物理条件编码器显式建模采样率和空间退化特征，自适应调整恢复策略，极低采样率下显著提升psnr（峰值信噪比），以实现退化感知。通过空间可靠性图针对性处理不均匀退化，抑制伪影和结构失真，实现空间自适应处理。通过渐进式重建，实现粗到细的分步恢复，平衡结构保真与细节丰富度。通过多维度约束，利用空间 + 频域损失协同抑制伪影，有效抑制 spi 特有条纹伪影，提升视觉质量。

12、2、本发明与未引入物理条件和空间可靠性的图像复原方式相比，能够针对不同采样率采用不同的条件调制；能够区分目标区域、边缘区域和伪影区域的恢复可信度；能够将主体结构恢复与局部细节补偿分开处理。定性重建结果可表现为目标外轮廓和细长结构连续性改善、边缘灰度过渡更清晰、局部纹理与亮暗层次得到补充，同时条纹伪影、块状伪影、局部断裂、孔洞和过平滑现象得到减轻。该改善不依赖生成对抗损失，因而有利于保持飞机、鸟类和无人机等目标的真实形状。

13、3、本发明充分结合 spi 物理先验与深度学习优势，在低采样率 spi 重建任务中实现了结构保真度和细节丰富度的双重提升，显著优于现有技术方案。

1.一种物理条件引导的单像素初始重建图像增强方法，其特征在于，其包括：

2.根据权利要求1所述的物理条件引导的单像素初始重建图像增强方法，其特征在于，物理条件编码器包括：

3.根据权利要求2所述的物理条件引导的单像素初始重建图像增强方法，其特征在于，梯度幅度图gm由固定sobel算子计算，拉普拉斯响应图l由固定拉普拉斯算子计算；采样率特征图aα通过将采样率α沿空间维度广播获得；采样率嵌入向量e通过依次连接的第一全连接层、gelu激活层和第二全连接层获得；所述多尺度特征编码支路包括初始卷积层和三级步长卷积层，形成原始尺寸、二分之一尺寸、四分之一尺寸和八分之一尺寸的四级特征。

4.根据权利要求1所述的物理条件引导的单像素初始重建图像增强方法，其特征在于，所述粗重建图像恢复网络和细节残差图像恢复网络均采用包括编码器、瓶颈层和解码器的u形transformer结构；所述细节残差图像恢复网络的嵌入维度和网络深度小于所述粗重建图像恢复网络；所述粗重建图像恢复网络用于优先恢复目标主体轮廓和低频结构，所述细节残差图像恢复网络用于补充边缘、高频纹理和局部灰度变化。

5.根据权利要求4所述的物理条件引导的单像素初始重建图像增强方法，其特征在于，所述粗重建图像恢复网络和细节残差图像恢复网络中的transformer块采用全局退化条件调制和可靠性引导窗口注意力机制；所述全局退化条件调制利用全局退化条件向量c生成缩放参数γ(c)和偏移参数β(c)，并对归一化特征f执行f′=f⊙(1+γ(c))+β(c)；f′为调制后的特征；

6.根据权利要求1所述的物理条件引导的单像素初始重建图像增强方法，其特征在于，将细节残差δx沿通道维度取绝对值并求均值得到残差能量图e，将y、xc、r和e拼接后输入门控网络，经sigmoid函数得到门控值g；融合权重w满足w=clamp(λr+(1-λ)g,0,1)，其中λ为可靠性图与学习门控值的融合系数；最终增强图像满足x=clamp(xc+w⊙δx,0,1)。

7.根据权利要求6所述的物理条件引导的单像素初始重建图像增强方法，其特征在于，物理条件编码器、粗重建图像恢复网络、细节残差图像恢复网络和门控网络采用端到端联合训练；

8.一种物理条件引导的单像素初始重建图像增强系统，其特征在于，其使用如权利要求1至7中任意一项所述的物理条件引导的单像素初始重建图像增强方法；单像素初始重建图像增强系统包括：

9.一种空中目标识别方法，其特征在于，其包括以下步骤：

10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1至7中任意一项所述的物理条件引导的单像素初始重建图像增强方法的步骤。