基于扩散模型的多层显微图像逐层解耦重构方法及系统

摘要: 本申请涉及图像处理,具体涉及一种基于扩散模型的多层显微图像逐层解耦重构方法及系统。背景技术:1、层间堆叠与层内缺陷共同影响着层状材料的性能。其中,层间堆叠可调节...
基于扩散模型的多层显微图像逐层解耦重构方法及系统

本申请涉及图像处理,具体涉及一种基于扩散模型的多层显微图像逐层解耦重构方法及系统。

背景技术:

1、层间堆叠与层内缺陷共同影响着层状材料的性能。其中,层间堆叠可调节晶格对称性、重塑层间势能分布并调控轨道杂化,显著影响材料的电学、磁学、光学、催化和拓扑性质;层内缺陷可能引入局部晶格畸变、带隙中间电子态以及输运不均匀性。可见,对多层材料进行逐层解耦重构,是建立层间结构与材料性质关系的重要基础。

2、扫描透射电子显微镜能够提供原子分辨率的材料结构图像,是解析层状材料微观结构的重要表征手段。现有多层显微图像解析方法主要依赖人工分析。然而,人工分析存在强烈依赖领域专家的经验、对一张图像的解析可能耗费数小时甚至数天、不同操作者对同一张图像的解析结果可能不同等问题。

3、可见,相关技术中层状材料的解耦重构方案存在解耦效果差的问题。

技术实现思路

1、本申请旨在解决相关技术中层状材料的解耦重构方案存在的解耦效果差的问题,提供一种基于扩散模型的多层显微图像逐层解耦重构方法及系统。

2、为解决上述问题,本申请是这样实现的:

3、第一方面,本申请提供了一种基于扩散模型的多层显微图像逐层解耦重构方法,包括:

4、获取待解析的层数为n的多层范德华材料显微图像,对所述多层范德华材料显微图像进行输入数据处理,得到观测对象,n为大于1的整数;

5、构建n个潜在单层图像变量,对各潜在单层图像变量进行随机噪声初始化;调用预先训练的单层显微图像扩散模型,使各潜在单层图像变量进入反向扩散生成过程;所述单层显微图像扩散模型预先以单层范德华材料显微图像作为训练样本进行训练,用于在使用阶段为逐层解耦重构提供单层图像先验;

6、在当前反向扩散时间步,将所述当前反向扩散时间步对应的n个潜在单层图像变量分别输入所述单层显微图像扩散模型,预测得到n个单层预测图像;将所述n个单层预测图像转换至与所述观测对象一致的灰度强度区间;调用预先确定的线性图像叠加算子,将转换后的所述n个单层预测图像合成为多层重构图像;计算所述多层重构图像与所述观测对象之间的差异,作为一致性残差;根据所述一致性残差,沿所述线性图像叠加算子的反方向对所述n个单层预测图像进行校正,得到校正后的n个单层预测图像;利用校正后的所述n个单层预测图像更新下一反向扩散时间步的n个潜在单层图像变量;在多个反向扩散时间步中重复执行上述预测、合成、残差计算、校正和更新的过程,直至达到预设的终止时间步,获得n个解耦后的单层显微图像;

7、根据所述n个解耦后的单层显微图像进行原子坐标定位、层内晶格方向分析和层间配准,输出层间滑移量、层间旋转角、堆垛类型以及缺陷层归属信息。

8、第二方面,本申请提供了一种基于扩散模型的多层显微图像逐层解耦重构系统,包括:

9、获取处理模块,用于获取待解析的层数为n的多层范德华材料显微图像,对所述多层范德华材料显微图像进行输入数据处理,得到观测对象,n为大于1的整数;

10、扩散生成模块,用于构建n个潜在单层图像变量,对各潜在单层图像变量进行随机噪声初始化;调用预先训练的单层显微图像扩散模型,使各潜在单层图像变量进入反向扩散生成过程;所述单层显微图像扩散模型预先以单层范德华材料显微图像作为训练样本进行训练,用于在使用阶段为逐层解耦重构提供单层图像先验;

11、重构解耦模块,用于在当前反向扩散时间步,将所述当前反向扩散时间步对应的n个潜在单层图像变量分别输入所述单层显微图像扩散模型,预测得到n个单层预测图像;将所述n个单层预测图像转换至与所述观测对象一致的灰度强度区间;调用预先确定的线性图像叠加算子,将转换后的所述n个单层预测图像合成为多层重构图像;计算所述多层重构图像与所述观测对象之间的差异,作为一致性残差;根据所述一致性残差,沿所述线性图像叠加算子的反方向对所述n个单层预测图像进行校正,得到校正后的n个单层预测图像;利用校正后的所述n个单层预测图像更新下一反向扩散时间步的n个潜在单层图像变量;在多个反向扩散时间步中重复执行上述预测、合成、残差计算、校正和更新的过程,直至达到预设的终止时间步,获得n个解耦后的单层显微图像;

12、解析识别模块,用于根据所述n个解耦后的单层显微图像进行原子坐标定位、层内晶格方向分析和层间配准,输出层间滑移量、层间旋转角、堆垛类型以及缺陷层归属信息。

13、第三方面,本申请提供了一种终端设备,该终端设备包括处理器和存储器,所述存储器上存储有可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

14、第四方面,本申请提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

15、第五方面,本申请提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法的步骤。

16、第六方面,本申请提供一种计算机程序产品,所述程序产品被存储在存储介质中,所述程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤。

17、与现有技术相比,本申请具有如下有益效果:

18、通过在使用阶段调用预先训练的单层显微图像扩散模型,通过单层显微图像扩散模型在训练过程中学习到的单层显微图像数据分布,为多层显微图像逐层解耦重构提供单层结构先验。由此,无需依赖多层图像对应的真实单层监督标签,也无需针对不同堆垛构型进行大量人工标注,降低了方法对标注数据的依赖。

19、在反向扩散过程中通过多层显微图像的强度叠加关系执行预测校正循环,一方面利用单层显微图像扩散模型生成符合单层结构特征的单层预测图像,另一方面利用多层重构图像与输入观测图像之间的一致性残差对单层预测图像进行校正。由此,获得的解耦结果既符合单层显微图像的结构特征,又能够在重新叠加后接近输入的多层观测图像,该过程具有明确的物理含义,能够提高解耦重构结果的可解释性和可靠性,有效解决了层状材料的解耦重构方案所存在的解耦效果差的问题。

20、通过对解耦后的单层显微图像进一步进行原子坐标定位、层内晶格方向分析和层间配准,从而获得层间滑移矢量、层间旋转角以及缺陷层归属等结构参数。由此,本申请不仅能够输出多个单层重构图像,还能够将图像解耦结果进一步转化为可量化的层间结构信息,为多层范德华材料的堆垛构型分析、局部缺陷结构变化识别和结构性能关系研究提供数据基础。

1.一种基于扩散模型的多层显微图像逐层解耦重构方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述多层范德华材料显微图像进行输入数据处理,得到观测对象,包括:

3.根据权利要求1所述的方法,其特征在于,所述单层显微图像扩散模型的预先训练包括:

4.根据权利要求1至3中任一项所述的方法,其特征在于,对各潜在单层图像变量进行随机噪声初始化时,为各潜在单层图像变量独立采样高斯随机噪声,使各潜在单层图像变量的初始状态互不相同。

5.根据权利要求1至3中任一项所述的方法,其特征在于,所述线性图像叠加算子用于表征多个单层显微图像与对应多层显微图像之间的强度叠加关系;

6.一种基于扩散模型的多层显微图像逐层解耦重构系统,其特征在于,包括:

7.根据权利要求6所述的系统,其特征在于,所述获取处理模块,具体用于:

8.根据权利要求6所述的系统,其特征在于,所述单层显微图像扩散模型的预先训练包括:

9.根据权利要求6至8中任一项所述的系统,其特征在于,对各潜在单层图像变量进行随机噪声初始化时,为各潜在单层图像变量独立采样高斯随机噪声,使各潜在单层图像变量的初始状态互不相同。

10.根据权利要求6至8中任一项所述的系统,其特征在于,所述线性图像叠加算子用于表征多个单层显微图像与对应多层显微图像之间的强度叠加关系;