一种二维材料点缺陷识别方法及相关装置

本发明涉及一种二维材料点缺陷识别方法及相关装置，属于先进材料表征与人工智能交叉。

背景技术：

1、随着人工智能芯片、三维集成等技术的飞速发展，二维半导体材料因其原子级厚度和优异的电学、力学、光学特性，成为未来微电子器件、光电器件的核心基础材料。二维材料中的点缺陷（即原子级点缺陷，如空位、原子掺杂、间隙原子等）作为最基础的微观结构缺陷，其类型、密度、形貌直接影响材料的核心理化性能，因此实现点缺陷的高精度、自动化识别是二维材料微观结构分析的关键环节。

2、目前已有研究尝试采用深度学习模型（如u-net、yolov8）实现自动化识别，但仍存在明显局限：u-net直接处理整图时，容易被背景噪声干扰（如二维材料图像的电子显微镜噪声），对二维材料stem图像中微小点缺陷漏检率高；yolov8 只能输出矩形候选框，无法精准贴合缺陷轮廓（二维材料点缺陷多为不规则形状），且存在一定误检（如把噪声误判为缺陷）。

技术实现思路

1、本发明提供了一种二维材料点缺陷识别方法及相关装置，解决了背景技术中披露的问题。

2、根据本申请的一个方面，提供一种二维材料点缺陷识别方法，包括：

3、获得待识别二维材料的stem图像；

4、将待识别二维材料的stem图像输入预先训练的双模型架构，获得点缺陷的边界框预测结果和像素级分割掩码预测结果；其中，双模型架构中包括并联的u-net和yolov8；yolov8输出边界框预测结果，在yolov8的特征提取模块中嵌入eca注意力机制，用于强化点缺陷对应的特征通道响应；u-net输出像素级分割掩码预测结果，在u-net编码器的特征提取模块中嵌入cbam注意力机制，用于聚焦点缺陷的边缘轮廓特征，在u-net解码器的每一组卷积快后加入batchnorm2d归一化层；yolov8的检测头模块和u-net解码器中均增设针对点缺陷的感知头；yolov8和u-net的浅层卷积后增加晶格特征保持层；yolov8的特征提取模块和u-net编码器的特征提取模块均进行多模态特征提取，多模态特征为拼接的形状特征、光谱特征和统计距离，形状特征为从stem图像中提取的形状特征，光谱特征为从stem图像中提取的光谱特征，统计距离为stem图像中点缺陷与完美晶格的hellinger统计距离；

5、对边界框预测结果和像素级分割掩码预测结果进行逐像素加权融合，获得点缺陷识别图。

6、进一步地，双模型架构训练包括先分别对u-net和yolov8进行单独训练，然后将u-net和yolov8协同训练。

7、进一步地，双模型架构训练采用半监督学习框架，并且采用增强策略对训练样本进行扩充；其中，增强策略中的增强方式不破坏二维材料周期性晶格结构。

8、进一步地，yolov8单独训练时，引入余弦退火学习率策略和样本翻转策略，以点缺陷边界框标签为监督，优化yolov8的框损失与分类损失；在协同训练时，保留yolov8单独训练获得的权重，冻结yolov8骨干网络。

9、进一步地，u-net训练引入dropout2d正则化策略；

10、u-net单独训练时，采用bcewithlogitsloss作为损失函数，以点缺陷像素级分割掩码为监督，优化u-net的分割损失；在协同训练时，将bcewithlogitsloss替换为tverskyloss，将yolov8的边界框预测结果作为约束，引导u-net聚焦点缺陷区域进行像素级分割。

11、进一步地，对边界框预测结果和像素级分割掩码预测结果进行逐像素加权融合，获得点缺陷识别图，包括：

12、将边界框预测结果转换为与输入的stem图像同尺寸的二值热力图y；

13、将二值热力图y与像素级分割掩码预测结果进行逐像素加权求和运算，得到融合置信图f；其中，像素级分割掩码预测结果为与stem图像同尺寸的像素级缺陷分割概率图u；像素级分割掩码预测结果的权重大于二值热力图y的权重；

14、对融合置信图f进行分尺寸自适应二值化，获得点缺陷识别图。

15、进一步地，对融合置信图f进行分尺寸自适应二值化，包括：

16、融合置信图f中，针对小于预设像素的点缺陷区域，采用第一阈值进行二值化，针对不小于预设像素的常规缺陷区域，采用第二阈值进行二值化，并对第一阈值分割后的区域执行连通域过滤，仅保留像素数大于等于第三阈值的连通域；其中，第二阈值大于第一阈值。

17、根据本申请的另一个方面，提供一种二维材料点缺陷识别装置，包括：

18、获取模块，获得待识别二维材料的stem图像；

19、预测模块，将待识别二维材料的stem图像输入预先训练的双模型架构，获得点缺陷的边界框预测结果和像素级分割掩码预测结果；其中，双模型架构中包括并联的u-net和yolov8；yolov8输出边界框预测结果，在yolov8的特征提取模块中嵌入eca注意力机制，用于强化点缺陷对应的特征通道响应；u-net输出像素级分割掩码预测结果，在u-net编码器的特征提取模块中嵌入cbam注意力机制，用于聚焦点缺陷的边缘轮廓特征，在u-net解码器的每一组卷积快后加入batchnorm2d归一化层；yolov8的检测头模块和u-net解码器中均增设针对点缺陷的感知头；yolov8和u-net的浅层卷积后增加晶格特征保持层；yolov8的特征提取模块和u-net编码器的特征提取模块均进行多模态特征提取，多模态特征为拼接的形状特征、光谱特征和统计距离，形状特征为从stem图像中提取的形状特征，光谱特征为从stem图像中提取的光谱特征，统计距离为stem图像中点缺陷与完美晶格的hellinger统计距离；

20、融合模块，对边界框预测结果和像素级分割掩码预测结果进行逐像素加权融合，获得点缺陷识别图。

21、根据本申请的另一个方面，提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行二维材料点缺陷识别方法。

22、根据本申请的另一个方面，提供一种计算机设备，包括一个或多个处理器、以及一个或多个存储器，一个或多个程序存储在一个或多个存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行二维材料点缺陷识别方法的指令。

23、本发明所达到的有益效果：本发明通过多模态特征表征、嵌入注意力机制的双模型协同策略，针对性强化原子尺度点缺陷的通道特征与细微特征，结合双模型优势互补与加权融合，可实现84%以上的点缺陷识别准确率，可有效识别0.2nm~2nm多尺寸点缺陷，解决单模型对微小缺陷漏检、无法精准贴合缺陷轮廓、误检的问题。

1.一种二维材料点缺陷识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，双模型架构训练包括先分别对u-net和yolov8进行单独训练，然后将u-net和yolov8协同训练。

3.根据权利要求2所述的方法，其特征在于，双模型架构训练采用半监督学习框架，并且采用增强策略对训练样本进行扩充；其中，增强策略中的增强方式不破坏二维材料周期性晶格结构。

4.根据权利要求2所述的方法，其特征在于，yolov8单独训练时，引入余弦退火学习率策略和样本翻转策略，以点缺陷边界框标签为监督，优化yolov8的框损失与分类损失；在协同训练时，保留yolov8单独训练获得的权重，冻结yolov8骨干网络。

5.根据权利要求2所述的方法，其特征在于，u-net训练引入dropout2d正则化策略；

6.根据权利要求1所述的方法，其特征在于，对边界框预测结果和像素级分割掩码预测结果进行逐像素加权融合，获得点缺陷识别图，包括：

7.根据权利要求6所述的方法，其特征在于，对融合置信图f进行分尺寸自适应二值化，包括：

8.一种二维材料点缺陷识别装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行权利要求1~7任一所述的方法。

10.一种计算机设备，其特征在于，包括：