物理语义驱动阶段感知的多光谱滤波阵列图像去噪方法

本发明属于图像处理与计算成像，具体涉及一种物理语义驱动阶段感知的多光谱滤波阵列图像去噪方法。尤其涉及低光子条件下多光谱滤波阵列（multispectralfilter array，msfa）图像的去噪与复原。

背景技术：

1、多光谱滤波阵列（multispectral filter array，msfa）成像技术通过在探测器阵列前设置由多种光谱响应单元按周期排列构成的滤波阵列，能够在单次曝光中同时获取多个光谱通道的空间交错采样信息。相比普通彩色滤光阵列，msfa成像能够提供更丰富的光谱响应；相比推扫式或多次曝光式光谱成像系统，其具有更高的时效性和更低的硬件复杂度。因此，msfa成像在低照度遥感、夜间观测、生物荧光成像、弱光工业检测以及便携式智能感知设备等场景中具有重要应用价值。

2、在低光子成像条件下，传感器接收的有效光子数量有限，原始观测图像中会同时存在由光子到达过程的计数随机性引起的光子散粒噪声、由读出电路和放大过程引入的读出噪声、由扫描读出不一致引起的条纹噪声、由模数转换引起的量化伪影，以及由不同光谱滤波单元响应不均衡引起的颜色相关失真。对于msfa图像而言，不同光谱通道以空间交错方式采样，通道之间既存在光谱相关性，也存在空间结构耦合；当噪声强度较高时，空间结构、光谱一致性和局部纹理均容易受到破坏。

3、针对多光谱或高光谱图像去噪，现有技术大体可分为两类。一类依赖显式数学模型和人工设计的先验，例如非局部相似性、稀疏表示、低秩矩阵恢复、低秩张量先验、全变分正则化和协同滤波等。这类方法具有较强的物理可解释性，能够在一定程度上描述噪声模型和图像结构先验，但人工先验难以完整描述低光子msfa成像中多种物理因素共同作用的复杂退化过程，且迭代优化成本较高，参数调节对不同场景的适应性不足。另一类基于深度学习的方法通常通过端到端学习建立从噪声图像到干净图像的直接映射，能够利用大量样本自动学习非线性恢复规律，获得较好的数值指标和视觉效果。然而，多数此类方法将复合退化压缩为单一黑盒映射，缺少对不同噪声来源、退化责任和恢复顺序的显式区分，当多种退化耦合叠加时，单一映射难以判断不同退化成分的主导区域和恢复顺序，容易造成过平滑、残留伪影或结构边界模糊。同时，低光子msfa图像的恢复不仅涉及像素强度的去噪，还涉及不同光谱通道之间的平衡、不同滤波单元空间采样位置之间的信息补偿以及局部结构与光谱一致性的协同保持，若网络仅追求从输入到输出的直接回归，则可能在高噪声条件下损害细节结构或产生通道偏移。

4、此外，若采用多个相互独立的网络分别处理不同退化阶段，虽然能够在一定程度上提升表达能力，但会显著增加模型参数量和存储成本，不同阶段之间也容易形成不一致的特征表示，不利于在嵌入式设备、便携式成像设备或边缘计算平台上部署。近年来，将图像恢复过程建模为连续状态演化、以神经网络学习恢复速度场并采用欧拉迭代进行推理的恢复范式在通用图像复原任务中得到发展，但其通常以单一映射方式实施，未充分考虑多光谱滤波阵列图像多种退化来源并存以及光谱通道空间交错采样的特点。

5、综上，现有低光子msfa图像去噪方法仍存在以下不足：恢复过程难以显式区分多种退化来源并确定各自的恢复顺序；多阶段独立处理方式会造成明显的参数冗余与特征表示不一致；无论采用单次映射还是多阶段处理，恢复结果均缺乏对残留误差的全局再校正手段。上述不足制约了低光子条件下msfa图像去噪在噪声抑制能力、光谱一致性、结构保持效果与模型部署效率等方面的综合性能，仍有待进一步改进。

技术实现思路

1、针对现有低光子多光谱滤波阵列图像去噪方法中复合退化难以显式区分与恢复顺序不清、多阶段独立处理造成参数冗余与特征表示不一致、以及恢复结果缺乏全局再校正手段等问题，本发明提供一种基于物理语义驱动阶段感知恢复的多光谱滤波阵列图像去噪方法，在保持恢复过程可解释性的同时，逐阶段抑制不同退化来源，避免多阶段完全独立建模造成的参数冗余，并对初步恢复结果进行全局连续校正，以提高最终图像的噪声抑制、结构保持与光谱一致性。

2、本发明提供的一种物理语义驱动阶段感知的多光谱滤波阵列图像去噪方法，包括：获取低光子多光谱滤波阵列图像，以干净多光谱滤波阵列图像为起点，按退化来源的物理语义依次构建光子散粒噪声、读出噪声、条纹噪声、量化伪影和颜色相关失真五个退化阶段，形成由干净状态到最重退化观测状态的有向退化链。所述有向退化链以干净图像为初始状态，通过依次施加不同物理语义的退化算子逐级生成退化程度递增的中间状态，直至达到与实际低光子观测图像对应的最重退化状态，从而为训练提供具有可解释物理含义的中间监督信号，避免将全部恢复责任集中于单一映射。沿所述有向退化链的反方向逐阶段反向恢复，每一反向恢复阶段在当前退化状态与其在退化链中的前一阶段状态之间构建连续插值状态，以两状态之差作为目标恢复速度场。其中，前一阶段状态指退化链中退化程度更轻、更接近干净图像的相邻状态；由于插值状态对连续时间变量的导数恰等于两端状态之差，目标恢复速度场与插值路径在几何上严格对应，网络由此学习从当前退化状态向目标状态的连续演化方向，而非仅学习离散的端到端映射。采用同一共享参数位置编码网络统一预测全部反向恢复阶段的速度场，所述共享参数位置编码网络接收所述连续插值状态、连续时间变量、反向恢复阶段标识和包含滤波单元类型的多光谱滤波阵列位置编码作为输入。其中，反向恢复阶段标识用于告知网络当前执行的物理语义恢复任务，包含滤波单元类型的位置编码用于提供每个像素在阵列周期中的位置及对应的滤波单元类型信息，使同一组网络参数能够区分不同恢复阶段并适配多光谱滤波阵列的空间交错采样特性。训练时每次迭代随机采样一个反向恢复阶段，以预测速度场与目标恢复速度场的差异更新网络参数；随机阶段采样使网络在训练过程中反复接触所有阶段任务，在降低单轮迭代计算与显存开销的同时，促使网络学习不同退化阶段之间共有的空间纹理与光谱相关性规律，并借助阶段标识保留各阶段语义差异。推理时以所述低光子多光谱滤波阵列图像作为最重退化观测状态，利用所述共享参数位置编码网络对各反向恢复阶段依次进行连续状态迭代更新，得到初步恢复图像。在此基础上，采用独立于所述共享参数位置编码网络的后端全局细化网络，对所述初步恢复图像至干净目标图像的连续演化进行全局速度场预测并迭代更新，得到最终去噪图像。后端全局细化网络用于对前端逐阶段恢复后可能残留的整体亮度偏差、局部残留噪声、通道比例偏移或纹理连续性不足进行全局校正，形成前端物理语义阶段恢复与后端全局连续细化相级联的两级恢复架构。

3、进一步地，所述有向退化链按照各类退化来源的物理语义及其在成像链路中的相对位置进行组织：光子散粒噪声源于光子到达过程的计数随机性，位于成像链路的起始端；读出噪声与条纹噪声源于传感器读出电路及扫描读出过程；量化伪影源于模数转换环节；颜色相关失真用于刻画不同光谱滤波单元透过率差异、通道响应增益与偏移不均衡以及数字域标定残余误差，在退化链中置于量化阶段之后。上述顺序为一种可实施的阶段化建模方式，本领域技术人员可在保持退化物理语义不变的前提下根据实际传感器特性进行调整。

4、进一步地，所述有向退化链满足递推关系，即第i阶段退化后的图像状态由第i-1阶段状态经第i阶段退化算子作用得到，其中第1阶段为干净状态，第5阶段为最重退化观测状态。各退化算子的建模方式为：光子散粒噪声退化算子采用泊松分布模拟光子计数的随机性，读出噪声退化算子采用随机扰动与固定偏置的组合模拟读出电路与放大过程的噪声贡献，条纹噪声退化算子采用行方向偏置与列方向偏置模拟扫描与读出通道的不一致，量化伪影退化算子采用比特量化模拟模数转换的离散化效应，颜色相关失真退化算子采用通道增益、通道偏移与颜色相关残差模拟不同滤波单元响应不均衡与通道间偏移。上述参数化形式为优选实现方式，不构成对退化算子具体形式的唯一限定。

5、进一步地，所述多光谱滤波阵列位置编码由全局空间坐标分量、阵列周期内坐标分量和滤波单元类型编码分量构成。对于周期为m行n列的滤波阵列模板，任意像素位置对应的位置编码包含该像素的归一化全局坐标、在阵列周期内的归一化坐标以及对应滤波单元类型的独热编码，m和n均大于1；所述位置编码可在通道维度上与输入图像拼接，也可作为条件偏置注入网络中间特征层。由于多光谱滤波阵列图像中不同空间位置对应不同光谱滤波单元，局部邻域像素并非同质采样，该位置编码使网络能够感知每个像素在滤波阵列周期模板中的位置及对应的滤波单元类型，从而减少通道间混叠、阵列采样差异与局部结构差异对恢复结果的影响。

6、进一步地，所述共享参数位置编码网络采用u-net结构，包括编码路径、瓶颈层和解码路径，编码路径通过多层卷积与下采样提取浅层纹理特征与深层语义特征，瓶颈层在低空间分辨率下融合深层语义特征，解码路径通过上采样与跳跃连接融合编码路径对应尺度特征，输出层采用3×3卷积将特征映射为与输入图像尺寸及通道数一致的预测速度场。所述反向恢复阶段标识通过离散索引编码、独热编码或可学习嵌入向量表示，与连续时间变量一起经多层感知机映射为条件向量后，通过通道拼接、加法调制、尺度偏移调制或注意力调制中的至少一种方式注入网络的一个或多个尺度层，使网络在同一组参数下实现不同恢复阶段的语义区分与行为切换。

7、进一步地，所述连续插值状态由当前退化状态与该阶段在退化链中的前一阶段状态按连续时间变量加权插值得到，当连续时间变量取0时插值状态等于当前退化状态，取1时等于前一阶段状态；所述目标恢复速度场为前一阶段状态与当前退化状态之差。所述连续状态迭代更新采用欧拉迭代，即以预测速度场乘以迭代步长对当前状态逐步更新，前端各反向恢复阶段与后端全局细化网络的迭代步长分别为各自迭代步数的倒数；迭代步数可根据恢复质量与推理效率进行选择，迭代步数较小时推理速度较快，迭代步数较大时连续恢复路径划分更细、输出更稳定。

8、进一步地，训练时对连续插值状态施加小幅随机扰动，所述小幅随机扰动指幅度相对于相邻阶段状态之间差异可以忽略的随机噪声，用于在不改变阶段物理语义的前提下增强网络对级联推理中输入分布偏移的鲁棒性；和/或，在所述共享参数位置编码网络具备初步恢复能力后，将五个反向恢复阶段串联，利用上一阶段网络的实际输出作为下一阶段输入进行级联微调，以缓解训练阶段合成中间状态与推理阶段网络实际输出之间的分布差异，所述具备初步恢复能力指网络在验证集上的损失下降至预设阈值或趋于稳定。此外，各反向恢复阶段的随机采样概率可根据对应退化类型在训练样本中的噪声强度进行调节，当条纹噪声较为严重时提高条纹噪声恢复阶段的采样概率，当图像整体亮度较低且随机噪声占主导时提高光子散粒噪声恢复阶段和读出噪声恢复阶段的采样概率，从而在不改变总体网络结构的情况下提高模型对特定退化类型的恢复能力。

9、进一步地，所述后端全局细化网络的输入还包括可选条件信息，所述可选条件信息包括前端恢复状态、相机元数据、噪声比例、传感器增益、曝光信息或前端各阶段输出统计特征中的至少一种，用于使全局校正能够感知前端恢复过程与成像上下文。所述后端全局细化网络可选择性启用，在计算资源受限场景下仅输出前端阶段恢复的去噪结果，在高质量恢复场景下启用后端全局细化网络以获取更优的最终图像质量，所述高质量恢复场景指对去噪结果的噪声抑制程度和光谱保真度有较高要求的应用场合。

10、进一步地，训练过程采用分阶段训练策略：先训练所述共享参数位置编码网络，待其具备初步恢复能力后利用其生成初步恢复图像，再训练所述后端全局细化网络，训练后端时共享参数位置编码网络保持参数固定，初步恢复图像作为常量输入后端网络，以避免前后端在训练早期相互干扰并提升收敛稳定性；在前端与后端均具备初始恢复能力后，将二者串联进行端到端联合微调，所述具备初始恢复能力指前端和后端网络各自在验证集上达到一定收敛程度，联合微调时同时使用阶段速度场损失、全局细化损失、图像重建损失、结构相似性损失或光谱一致性损失中的至少一种，使模型在整体输出层面进一步优化。

11、本发明还提供一种基于物理语义驱动阶段感知恢复的多光谱滤波阵列图像去噪系统，包括：数据获取模块，用于获取低光子多光谱滤波阵列图像、训练样本以及传感器标定参数；阶段退化构建模块，用于按照退化来源的物理语义构建包括光子散粒噪声、读出噪声、条纹噪声、量化伪影和颜色相关失真的五阶段有向退化链；前端共享阶段恢复模块，用于基于带反向恢复阶段标识和多光谱滤波阵列位置编码的共享参数位置编码网络，通过随机阶段采样训练和逐阶段连续状态迭代更新获得初步恢复图像；后端全局细化模块，用于采用独立于所述共享参数位置编码网络的全局细化网络对所述初步恢复图像进行全局速度场预测和连续状态校正，获得最终去噪图像；结果输出模块，用于输出所述最终去噪图像。

12、与现有技术相比，本发明及其优选方案将低光子多光谱滤波阵列图像的复合噪声恢复过程拆解为多个具有明确物理语义的阶段子任务，使退化过程与恢复过程按物理语义严格对应，避免了将多种退化因素混合到单一黑盒映射中造成的退化责任不清与恢复顺序不明，提高了恢复过程的可解释性和针对性；采用同一共享参数位置编码网络统一建模多个前端恢复阶段，并利用反向恢复阶段标识和包含滤波单元类型的位置编码实现阶段区分与阵列适配，减少了多阶段网络的参数冗余，避免了独立阶段模型之间的特征表示不一致；采用连续插值状态与目标恢复速度场的建模方式，使恢复过程由离散回归扩展为连续状态演化，有利于提高高噪声条件下的恢复稳定性；在前端阶段恢复之后设置独立的后端全局细化网络，对初步恢复结果进行全局校正，进一步提升了噪声抑制、结构保持与光谱一致性；整体方案结构清晰，便于根据计算资源与恢复质量需求灵活配置，适用于低照度遥感、夜间观测、生物荧光成像、弱光工业检测及资源受限视觉系统等场景。