基于坐标编码的神经隐式表示鬼成像重建方法及系统

摘要: 本发明涉及计算成像与图像重建,尤其涉及一种基于坐标编码的神经隐式表示鬼成像重建方法及系统。背景技术:1、鬼成像是一类利用已知照明模式与单像素探测响应之间的关联关...
基于坐标编码的神经隐式表示鬼成像重建方法及系统

本发明涉及计算成像与图像重建,尤其涉及一种基于坐标编码的神经隐式表示鬼成像重建方法及系统。

背景技术:

1、鬼成像是一类利用已知照明模式与单像素探测响应之间的关联关系对目标图像进行恢复的成像方法。其基本过程通常为:采用多组预设光场模式对待测目标进行照射,利用单像素探测器采集各次照射对应的总强度响应,再根据照明模式与响应信号之间的对应关系对目标图像进行反演重建。

2、现有鬼成像重建方法主要包括相关计算方法、压缩感知方法以及迭代优化方法等。上述方法在实际应用中能够实现目标图像重建,但仍存在如下不足:其一,多数方法基于离散像素域进行求解,对目标图像的连续空间表达能力有限;其二,在采样率不足、噪声较大或者目标纹理结构较复杂时,容易出现细节恢复不足、边缘模糊或局部结构失真等问题;其三,部分方法依赖较复杂的优化过程,计算负担较重,且在不同分辨率或不同采样条件下的重建灵活性有待提高。

3、近年来,也出现了将深度学习方法应用于鬼成像重建的技术方案。例如,利用卷积神经网络或其他神经网络模型,根据测量信号、相关中间结果或者初始重建结果恢复目标图像。该类方法在一定程度上改善了鬼成像重建过程,并为复杂场景下的图像恢复提供了新的技术途径。然而,现有基于深度学习的鬼成像方法多数仍以离散像素网格作为输出形式,通常面向固定分辨率进行重建,对目标图像的连续空间表达能力仍然有限;同时,在低采样率、复杂纹理或者高频细节恢复场景下,仍可能存在边缘表达不足、细节拟合能力受限以及训练过程稳定性有待改善等问题。

技术实现思路

1、针对现有鬼成像重建方法无法实现目标图像的连续场表示、重建分辨率受限于离散网格采样,且对大量成对训练数据或固定测量矩阵存在较强依赖的问题。本发明提出了一种基于坐标编码的神经隐式表示鬼成像重建方法及系统,通过将鬼成像重建问题表示为二维坐标到目标强度值的连续映射问题,利用坐标编码模块和多层感知机网络构建目标图像的连续神经隐式表示;并利用实际单像素探测响应直接驱动网络参数优化,实现免训练标签的连续空间图像重建。

2、第一方面,本发明提供一种基于坐标编码的神经隐式表示鬼成像重建方法,包括:

3、获取待重建图像在鬼成像过程中的照明模式集合以及与各照明模式对应的单像素探测响应;

4、在所述待重建图像的空间中建立二维坐标系,生成用于索引所述照明模式空间位置的二维坐标集合;

5、将所述二维坐标集合中的各二维坐标通过预设的坐标编码模块映射为高维编码特征;

6、将所述高维编码特征通过预设的多层感知机网络映射为单通道强度值,得到由所述二维坐标集合定义的目标强度分布;

7、根据所述目标强度分布与对应的照明模式的关系构建预测测量值,并基于所述预测测量值与对应的所述单像素探测响应之间的差异构建训练目标;

8、根据所述训练目标对所述坐标编码模块和所述多层感知机网络中的可训练参数进行迭代更新;

9、将所述待重建图像对应的多个二维坐标点输入更新后的坐标编码模块和多层感知机网络,获取各坐标点输出的单通道强度值,并按照空间位置排列输出,得到所述待重建图像的重建结果。

10、优选地,所述二维坐标集合中的任一二维坐标为:

11、对应于所述待重建图像的离散采样网格点,或

12、对应于所述待重建图像连续空间中的任意查询位置。

13、优选地,在生成用于索引所述照明模式空间位置的二维坐标集合之后,还包括:根据待重建图像区域的横向范围与纵向范围,将所述二维坐标集合中的各二维坐标归一化至区间。

14、优选地,将所述二维坐标集合中的各二维坐标通过预设的坐标编码模块映射为高维编码特征,包括:

15、采用位置编码,将二维坐标通过多组不同频率的正弦函数和余弦函数映射到高维特征空间:

16、

17、

18、其中,表示二维坐标经位置编码映射到高维特征空间的特征,表示频率数。

19、优选地,所述高维编码特征为:所述位置编码的结果,或者所述位置编码的结果与二维坐标拼接后的特征。

20、优选地,将所述二维坐标集合中的各二维坐标通过预设的坐标编码模块映射为高维编码特征,包括:

21、采用哈希网格编码,将二维坐标映射到多层不同分辨率的特征网格中,并在各层特征网格上执行特征索引与插值运算,将各层特征网格的输出特征进行拼接得到高维编码特征。

22、优选地,所述哈希网格编码的参数包括:网格层数、每层特征维度、基础分辨率、层间分辨率缩放因子和哈希表大小的对数参数。

23、优选地,所述多层感知机网络包括依次连接的第一线性层、多个中间线性层和输出层。

24、优选地,根据所述目标强度分布与对应的照明模式的关系构建预测测量值,并基于所述预测测量值与对应的所述单像素探测响应之间的差异构建训练目标,包括:

25、对于第个照明模式,通过计算所述目标强度分布与所述照明模式的空间积分或离散求和结果,作为预测测量值;

26、基于所述预测测量值与对应的所述单像素探测响应之间的差异,构建损失函数作为所述训练目标。

27、第二方面,本发明提供一种基于坐标编码的神经隐式表示鬼成像重建系统,包括:

28、数据获取单元,用于获取待重建图像在鬼成像过程中的照明模式集合以及与各照明模式对应的单像素探测响应;

29、坐标生成单元,用于在所述待重建图像的空间中建立二维坐标系,生成用于索引所述照明模式空间位置的二维坐标集合;

30、坐标编码单元,用于将所述二维坐标集合中的各二维坐标通过预设的坐标编码模块映射为高维编码特征;

31、目标强度获取单元,用于将所述高维编码特征通过预设的多层感知机网络映射为单通道强度值,得到由所述二维坐标集合定义的目标强度分布;

32、训练目标构建单元,用于根据所述目标强度分布与对应的照明模式的关系构建预测测量值,并基于所述预测测量值与对应的所述单像素探测响应之间的差异构建训练目标;

33、参数更新单元,用于根据所述训练目标对所述坐标编码模块和所述多层感知机网络中的可训练参数进行迭代更新;

34、重建输出单元,用于将所述待重建图像对应的多个二维坐标点输入更新后的坐标编码模块和多层感知机网络,获取各坐标点输出的单通道强度值,并按照空间位置排列输出,得到所述待重建图像的重建结果。

35、本发明的有益效果为:

36、本发明通过将鬼成像重建转化为二维坐标到目标强度值的连续映射问题,利用坐标编码与多层感知机网络构建目标图像的神经隐式表示,从根本上突破了传统方法对离散像素网格的依赖,能够在连续空间任意位置进行强度查询,为任意尺度的超分辨率重建提供了天然支撑;同时,本发明直接以鬼成像物理测量模型为约束,利用实际单像素探测响应驱动网络参数的现场迭代优化,无需任何成对训练标签,既显著降低了数据获取成本,又使重建方法对散斑图案变动和系统配置调整具备天然的灵活适应能力,避免了传统深度学习方案因测量条件变化而必须重新训练网络的弊端;此外,通过高维编码特征与连续场表示的内在平滑先验,结合物理一致性约束,本发明能更有效地恢复目标图像的锐利边缘和精细纹理,缓解低采样率下的细节模糊与伪影问题,并因重建质量仅取决于当前测量信息而展现出对非典型目标的更强鲁棒性,整体框架简洁统一,易于实现与部署。