基于条件扩散模型的超表面光谱编码器设计方法和装置、设备与介质

本公开涉及人工光学超表面，尤其涉及一种基于条件扩散模型的超表面光谱编码器设计方法和装置、设备与介质。

背景技术：

1、超表面是一类由亚波长尺度人工微结构单元组成的光学器件，能够对电磁波的振幅、相位和偏振进行灵活调控，在光谱检测、计算成像、传感、显示及通信等领域具有广泛应用前景。对于计算光谱系统而言，光谱编码器的核心作用在于对不同波长的入射光施加差异化调制，使输出响应携带待测光谱的特征信息，从而为后续的光谱重建、目标识别或物质成分分析提供基础。超表面光谱编码器则是一类使用超表面结构的光谱编码器。

2、传统超表面结构设计通常依赖人工经验、参数扫描以及反复电磁仿真来搜索满足目标光谱响应的几何结构。随着设计自由度提高，尤其是当设计变量由少量规则几何参数扩展为二维自由形状像素结构时，设计空间维度急剧增加，导致传统试错式设计和全波仿真迭代方法计算量大、周期长、效率低，难以适应高自由度、宽带、多目标的超表面光谱编码器设计需求。

3、近年来，深度学习方法被引入超表面逆向设计领域。该类方法通过学习超表面结构与光谱响应之间的映射关系，根据给定目标光谱响应直接输出结构参数或二维图案，可显著降低单次设计对电磁仿真的依赖，提高逆向设计效率。尤其是生成模型的发展，为解决复杂自由形状超表面结构设计问题提供了新的技术路线。

4、然而，现有基于深度学习的超表面逆向设计方法通常采用串联神经网络（tandemnetwork）、变分自编码器网络（vae）及生成对抗网络（gan）等网络架构，将待设计透射谱作为条件信息输入网络，并输出相应的结构参数或二维图案。该类方法虽然较传统参数扫描或穷举仿真显著提高了设计效率，但在面向实际光谱编码器设计时仍存在若干亟待解决的问题。

5、首先，直接神经网络逆映射存在一对多非唯一性问题。超表面结构到光谱响应之间通常具有明显的一对多映射特征，即同一目标光谱响应往往对应多个几何形态不同但响应相近的可行结构。如果直接训练一个网络从目标光谱回归单一结构，容易受到非唯一性影响，导致模型训练不稳定或输出模糊平均结构。对于二维像素化自由形状超表面结构，该问题更加突出。

6、其次，现有逆向设计方法表达能力有限，使得光谱匹配精度不高。例如串联神经网络适用于低维参数化结构，如半径、长度、周期、厚度等规则参数，而不适合高自由度二值图案。变分自编码器类方法通常通过潜空间压缩和重构学习结构分布，容易引入信息损失，导致结构边界模糊及局部特征不清晰。对于要求边界明确、可直接制造的二值超表面编码器结构，变分自编码器网络输出结果往往需要额外复杂后处理。

7、再次，基于生成对抗网络的网络训练不稳定，且易出现模式坍塌，使得超表面结构生成质量不高。生成对抗网络虽然可用于结构生成，但由于依赖对抗训练机制，往往存在训练震荡、模式坍塌、对网络结构和超参数敏感等问题。当输入条件为高维目标光谱响应、输出为高自由度二值超表面结构图时，保证生成对抗网络稳定训练和光谱一致性的控制难度进一步增大。

技术实现思路

1、有鉴于此，本公开提出了一种基于条件扩散模型的超表面光谱编码器设计方法和装置、设备与介质，能够有效缓解超表面设计存在的一对多非唯一性问题，提高光谱匹配精度且具有较高的稳定性和生成质量。

2、根据本公开的一方面，提供了一种超表面光谱编码器设计方法，包括：获取目标光谱响应、至少一种结构尺寸参数以及多种随机高斯噪声；其中，所述结构尺寸参数表征所需的超表面结构的尺寸；利用训练好的条件扩散模型分别根据所述目标光谱响应以及每种结构尺寸参数，对每种随机高斯噪声进行迭代去噪，得到在各种结构尺寸参数和各种随机高斯噪声下生成的多个候选超表面结构图；利用训练好的光谱预测模型确定各个候选超表面结构图对应的预测光谱响应，并分别确定各个候选超表面结构图对应的预测光谱响应与所述目标光谱响应之间的误差；根据所述各个候选超表面结构图对应的预测光谱响应与所述目标光谱响应之间的误差，确定超表面光谱编码器的超表面结构设计结果。

3、在一些实施例中，所述利用训练好的条件扩散模型分别根据所述目标光谱响应以及每种结构尺寸参数，对每种随机高斯噪声进行迭代去噪，得到在各种结构尺寸参数和各种随机高斯噪声下生成的多个候选超表面结构图，包括：针对至少一种结构尺寸参数中的第s种结构尺寸参数以及多种随机高斯噪声中的第i种随机高斯噪声，利用训练好的条件扩散模型根据所述目标光谱响应和所述第s种结构尺寸参数，从所述第i种随机高斯噪声开始进行t步反向采样，得到在第s种结构尺寸参数和第i种随机高斯噪声下生成的候选超表面结构图，t为正整数；其中，所述t步反向采样包括从第t步反向采样开始至第1步反向采样，从第t步反向采样开始至第1步反向采样中的第t步反向采样过程包括：利用训练好的条件扩散模型根据所述目标光谱响应、所述第s种结构尺寸参数、所述第t步反向采样对应的时间步以及第t步结构图，预测出所述第t步结构图中的噪声，其中，第t步结构图为所述第i种随机高斯噪声；根据所述第t步结构图中的噪声，对所述第t步结构图进行去噪，得到第t-1步结构图；其中，在第s种结构尺寸参数和第i种随机高斯噪声下生成的候选超表面结构图包括：第1步反向采样过程所生成的第0步结构图。

4、在一些实施例中，针对所述t步反向采样中指定的第r步反向采样，t＞r＞1，从所述第r步反向采样至第1步反向采样中的第t步反向采样过程中还包括：在得到第t-1步结构图后，利用训练好的光谱预测模型根据所述第t-1步结构图，生成所述第t-1步结构图对应的预测光谱响应；根据所述预测光谱响应与所述目标光谱响应之间的误差，确定光谱引导损失，并计算该光谱引导损失相对于所述第t-1步结构图的梯度；利用所述光谱引导损失相对于所述第t-1步结构图的梯度，对所述第t-1步结构图进行修正，得到修正后的第t-1步结构图，以利用修正后的第t-1步结构图执行第t-1步反向采样过程；其中，在第s种结构尺寸参数和第i种随机高斯噪声下生成的候选超表面结构图包括：第1步反向采样过程所生成的修正后的第0步结构图。

5、在一些实施例中，所述利用训练好的光谱预测模型根据所述第t-1步结构图，生成所述第t-1步结构图对应的预测光谱响应，包括：对所述第t-1步结构图进行软二值化处理，得到第t-1步中间结构图；根据该第t-1步中间结构图以及与所述第s种结构尺寸参数对应的有效区域掩膜，生成第t-1步目标结构图，其中，所述有效区域掩膜用于指示所述第t-1步中间结构图中满足所述结构尺寸参数的有效超表面结构区域；利用训练好的光谱预测模型根据所述第t-1步目标结构图和所述有效区域掩膜，生成所述第t-1步结构图对应的预测光谱响应。

6、在一些实施例中，所述根据所述各个候选超表面结构图对应的预测光谱响应与所述目标光谱响应之间的误差，确定超表面光谱编码器的超表面结构设计结果，包括：对所述多个候选超表面结构图中误差小于指定误差阈值的至少一个候选超表面结构图进行硬二值化处理，得到至少一个二值化超表面结构图；利用误差小于指定误差阈值的至少一个候选超表面结构图所对应的有效区域掩膜，分别从所述至少一个二值化超表面结构图中确定出有效超表面结构区域内的超表面结构作为超表面光谱编码器的超表面结构设计结果。

7、在一些实施例中，所述条件扩散模型的训练过程包括：获取训练数据集，所述训练数据集包括：多个样本超表面结构图以及每个样本超表面结构图对应的样本结构尺寸参数和样本目标光谱响应；针对任一样本超表面结构图，逐时间步地向该样本超表面结构图添加高斯噪声，得到t步带噪结构图；针对所述t步带噪结构图中的第t步带噪结构图，将该第t步带噪结构图、对应的时间步，以及，对应的样本目标光谱响应和样本结构尺寸参数输入至初始条件扩散模型，得到第t步带噪结构图中的预测噪声；根据所述第t步带噪结构图中的预测噪声与所述第t步带噪结构图中添加的高斯噪声之间的误差，优化所述初始条件扩散模型的模型参数，以得到训练好的条件扩散模型。

8、在一些实施例中，所述条件扩散模型包括：时间嵌入分支网络、条件嵌入分支网络以及去噪主干网络；所述时间嵌入分支网络用于对输入的时间步进行编码，得到时间条件向量；所述条件嵌入分支网络用于对输入的结构尺寸参数和目标光谱响应进行编码与拼接，得到联合条件向量；所述去噪主干网络用于基于所述时间条件向量和所述联合条件向量，对输入的带噪结构图进行多尺度特征提取与重建，以得到满足目标光谱响应的超表面结构图；其中，所述去噪主干网络中包括多个残差块，所述时间条件向量和所述联合条件向量分别经线性映射至各残差块对应的输出通道维度后注入至各个残差块中。

9、根据本公开的另一方面，提供了一种超表面光谱编码器设计装置，包括：获取模块，用于获取目标光谱响应、至少一种结构尺寸参数以及多种随机高斯噪声；其中，所述结构尺寸参数表征所需的超表面结构的尺寸；生成模块，用于利用训练好的条件扩散模型分别根据所述目标光谱响应以及每种结构尺寸参数，对每种随机高斯噪声进行迭代去噪，得到在各种结构尺寸参数和各种随机高斯噪声下生成的多个候选超表面结构图；确定模块，用于利用训练好的光谱预测模型确定各个候选超表面结构图对应的预测光谱响应，并分别确定各个候选超表面结构图对应的预测光谱响应与所述目标光谱响应之间的误差；选取模块，用于从所述多个候选超表面结构图中选取误差最小的候选超表面结构图作为超表面光谱编码器的超表面结构设计结果。

10、根据本公开另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述方法的步骤。

11、根据本公开另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

12、根据本公开另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

13、根据本公开的各方面，根据本公开实施例的方法，通过训练好的条件扩散模型直接从随机高斯噪声出发生成候选超表面结构图，避免了传统参数扫描和全波仿真反复优化所带来的高计算成本，可显著缩短光谱编码器设计周期，同时条件扩散模型本身具有训练更稳定、生成质量更高等特点，可以避免现有利用生成对抗网络进行超表面结构生成所产的各类问题，尤其是，利用条件扩散模型还能够在不同随机高斯噪声和不同结构尺寸参数的联合控制下，针对同一目标光谱响应生成多个候选超表面结构图，从而更符合超表面逆向设计“一谱多构”的物理特征，相比单一结构回归方法具有更好的表达能力，有利于筛选出与目标光谱响应更匹配的超表面结构，进而再利用训练好的光谱预测模型确定各个候选超表面结构图对应的预测光谱响应以及分别确定预测光谱响应与目标光谱响应之间的误差，再根据误差最小的候选超表面结构图确定超表面结构设计结果，可以提高最终生成的超表面结构与目标光谱响应的匹配精度，得到更满足目标光谱响应且高质量超表面结构。

14、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。