集成电路设计数据多模态融合与对抗生成的视觉检测方法与流程

摘要: 本发明涉及图像识别,具体为集成电路设计数据多模态融合与对抗生成的视觉检测方法。背景技术:1、随着集成电路制造工艺向纳米级节点推进,基于扫描电子显微镜图像、视觉检...
集成电路设计数据多模态融合与对抗生成的视觉检测方法与流程

本发明涉及图像识别,具体为集成电路设计数据多模态融合与对抗生成的视觉检测方法。

背景技术:

1、随着集成电路制造工艺向纳米级节点推进,基于扫描电子显微镜图像、视觉检测成为保障良率关键环节。为提高视觉检测模型泛化能力,采用对抗生成网络合成包含缺陷、训练样本成为主流方式。集成电路视觉检测中多模态融合是指将扫描电子显微镜图像与集成电路版图几何拓扑文件结合,通过建立跨模态特征映射,以期生成的缺陷图像既具备物理真实纹理特征,又符合底层电路拓扑几何规则。

2、当前该领域已有技术多采用特征级拼接、常规注意力机制实现图像与版图数据跨模态融合。一类主流方案将版图拓扑文件转化为二维伪图像,与扫描电子显微镜图像进行通道拼接,直接输入生成对抗网络进行特征映射与重构。另一类技术路线利用商用离散规则校验工具对生成网络输出的样本进行后置筛选,通过独立执行布尔逻辑判定生成缺陷样本是否违反最小线宽、最小线距等物理设计规则,进而筛选出表面合规样本纳入视觉检测模型训练集中。

3、然而,现有技术在多模态融合与物理合规性校验方面仍存在不够完善之处。具体地是现有集成电路视觉检测、对抗生成网络在多模态融合过程中易产生特征幻觉,输出看似合理但实质上违反集成电路设计规则、虚假缺陷样本。存在该问题原因在于,图像像素坐标系与矢量拓扑坐标系之间存在特征空间未对齐现象,且现有后置校验方法采用离散规则校验,其布尔逻辑不可微导致物理规则约束无法融入神经网络进行端到端联合反向传播训练。将此类违规幻觉样本混入视觉检测训练集,会大幅降低模型训练基准有效性,造成视觉检测模型在真实制造产线中误报率上升;且单纯废弃未能通过离散校验、高价值边缘数据也会直接导致算力浪费与模型泛化样本多样性受损。因此,亟需集成电路设计数据多模态融合与对抗生成的视觉检测方法解决上述问题。

技术实现思路

1、针对相关技术中的问题,本发明提供了一种集成电路设计数据多模态融合与对抗生成的视觉检测方法,以克服现有相关技术所存在的所述技术问题。

2、为解决所述技术问题,本发明是通过以下技术方案实现的:

3、本发明实施例提供了一种集成电路设计数据多模态融合与对抗生成的视觉检测方法,具体包括:

4、采集包含真实缺陷的扫描电子显微镜图像数据序列与对应的集成电路版图几何拓扑文件建立物理空间对齐关系,采用快速行进算法生成精确符号距离场离散矩阵;

5、提取视觉特征向量与拓扑特征向量,将所述精确符号距离场离散矩阵转化为几何约束偏置矩阵,结合所述几何约束偏置矩阵计算生成跨模态注意力融合特征矩阵;

6、将所述跨模态注意力融合特征矩阵输入至预训练的可微神经代理模型与联合验证分类网络,执行幻觉特征的可微判别并基于动态不确定边界机制输出联合校准损失;

7、提取幻觉概率误差梯度并结合感知相似度损失执行微步迭代特征修正,通过闭环自适应修复与真实规则强制后验机制输出合规视觉检测训练样本。

8、作为本发明所述集成电路设计数据多模态融合与对抗生成的视觉检测方法的一种优选方案,其中,所述生成精确符号距离场离散矩阵,包括:

9、采用仿射变换矩阵对集成电路版图几何拓扑文件的节点坐标进行校正,将集成电路版图拓扑节点投影至扫描电子显微镜图像的像素坐标系中,建立物理空间上的对齐关系;

10、接收物理空间对齐坐标参数,解析集成电路版图几何拓扑文件中的多边形几何坐标,采用快速行进算法进行确定性像素级几何计算,生成逐像素的精确符号距离场离散矩阵。

11、作为本发明所述集成电路设计数据多模态融合与对抗生成的视觉检测方法的一种优选方案,其中,采用仿射变换矩阵对集成电路版图几何拓扑文件的节点坐标进行校正,包括:

12、读取集成电路版图几何拓扑文件,解析获取版图多边形边界的拓扑节点,建立二维连续空间的矢量坐标系;

13、获取包含目标观测区域的扫描电子显微镜图像,建立基于离散像素网格的图像像素坐标系;

14、选取同源锚点构建用于参数求解的匹配坐标点集;

15、基于最小二乘法结合所述匹配坐标点集求解仿射变换模型获得仿射变换矩阵;

16、将拓扑节点的矢量坐标转化为齐次坐标向量并代入所述仿射变换模型中,计算输出投影像素坐标。

17、作为本发明所述集成电路设计数据多模态融合与对抗生成的视觉检测方法的一种优选方案,其中,采用快速行进算法进行确定性像素级几何计算,生成逐像素的精确符号距离场离散矩阵,包括:

18、建立二维离散栅格坐标系,提取集成电路版图几何拓扑文件的物理边界,将与物理边界相交的栅格像素点定义为边界节点,将边界节点构成的集合设定为零偏置水平集;

19、利用射线交叉法判定非边界节点的空间极性,确定已知节点、试探节点、未知节点并存入最小二叉堆;

20、循环执行快速行进迭代计算,采用迎风有限差分格式离散化求解程函方程计算并更新相邻试探节点的精确几何距离;

21、迭代停止后结合空间极性赋予正负号形成二维符号距离场,按行优先顺序展开生成精确符号距离场离散矩阵。

22、作为本发明所述集成电路设计数据多模态融合与对抗生成的视觉检测方法的一种优选方案,其中,所述生成跨模态注意力融合特征矩阵,包括:

23、利用带有组归一化算子的特征金字塔视觉编码网络提取扫描电子显微镜图像的视觉特征向量,利用包含节点坐标归一化处理的图卷积网络提取集成电路版图几何拓扑文件的拓扑特征向量;

24、将所述精确符号距离场离散矩阵经二维最小池化,并代入对数型麦克劳林级数展开形态的复合激活函数,进行非线性激活转化为一维空间掩码,利用矩阵克罗内克积广播机制,沿拓扑节点特征维度进行复制生成几何约束偏置矩阵,以在流形映射中实现物理合规性规则的硬约束;

25、在多模态生成对抗网络的融合层中,结合所述几何约束偏置矩阵计算生成跨模态注意力融合特征矩阵。

26、作为本发明所述集成电路设计数据多模态融合与对抗生成的视觉检测方法的一种优选方案,其中,所述执行幻觉特征的可微判别,包括:

27、将所述跨模态注意力融合特征矩阵输入至采用多任务残差架构的预训练可微神经代理模型中,通过物理规则解耦的隐含流形映射,将高维特征投影至正交子空间,输出表征各独立设计规则违例严重程度的连续惩罚特征向量,所述连续惩罚特征向量利用自适应缩放常数消除多任务特征拼接时的尺度差异;

28、将所述跨模态注意力融合特征与所述连续惩罚特征向量并行输入至采用分步独立训练模式的联合验证分类网络,计算混合验证幻觉判定置信度实现幻觉特征的可微判别。

29、作为本发明所述集成电路设计数据多模态融合与对抗生成的视觉检测方法的一种优选方案,其中,所述基于动态不确定边界机制输出联合校准损失,包括:

30、设定基于分类验证误差自适应调整的动态容错不确定边界与分支判定抽样触发机制获取联合验证分类网络输出的幻觉判定置信度;

31、将满足动态容错不确定边界的生成多模态数据样本推入抽样缓冲队列;

32、当队列内积压的样本数量达到触发阈值时,启动非阻塞式异步双线程并行微调机制,调用集成电路真实商用设计规则检查工具,对抽样缓冲队列内的重建版图图像样本进行批量核验,获取真实判定结果;

33、将所述真实判定结果转化为真实二分类硬标签与真实连续违例程度向量,结合联合验证分类网络的预测输出以及预训练可微神经代理模型的预测输出,构建联合校准损失函数计算联合校准损失值;

34、利用联合校准损失值执行梯度反向传播实现网络权重的在线微调。

35、作为本发明所述集成电路设计数据多模态融合与对抗生成的视觉检测方法的一种优选方案,其中,所述提取幻觉概率误差梯度并结合感知相似度损失执行微步迭代特征修正,包括:

36、提取所述联合校准损失函数对输入特征张量的一阶偏导数,确定幻觉概率误差梯度;

37、将生成视觉特征矩阵逆向重构,经生成器的部分解码层映射回具备物理空间属性的中间伪图像像素空间;

38、利用预训练的视觉感知评价模型提取多层特征图,计算当前迭代特征与初始特征的中间伪图像张量在多层特征图中的通道激活差异确定感知相似度损失;

39、结合幻觉概率误差梯度与感知相似度损失惩罚梯度对处于幻觉判定边界的视觉特征执行微步迭代特征修正。

40、作为本发明所述集成电路设计数据多模态融合与对抗生成的视觉检测方法的一种优选方案,其中,所述通过闭环自适应修复与真实规则强制后验机制输出合规视觉检测训练样本,包括:

41、设定最大迭代步数阈值与收敛精度容差,实时监测特征流形的单步位移量与幻觉判定置信度以判定收敛状态;

42、若满足收敛条件,将修复后的合规视觉特征矩阵映射还原为重建版图图像,调用真实商用设计规则检查工具执行真实规则强制后验;

43、若判定完全符合所有集成电路设计规则,将其确认为合规视觉检测训练样本;

44、若未满足收敛条件,将更新后的特征矩阵作为下一轮迭代输入,监测并执行算力过载保护判定。

45、作为本发明所述集成电路设计数据多模态融合与对抗生成的视觉检测方法的一种优选方案,其中,所述执行算力过载保护判定与真实规则强制后验包括以下机制:

46、若达到最大迭代步数阈值且未达到收敛容差,强制截断修复迭代循环并将对应的生成多模态数据样本剔除;

47、设定全局重试计数器,若全局重试计数器超过全局重试阈值,将生成多模态数据样本标记为不可修复状态并从训练批次队列中剔除;

48、若真实规则强制后验判定存在违规,废弃伪合规样本并触发重新生成作业,同时提取触发误判的特征与真实判定结果推入抽样缓冲队列触发在线微调。

49、本发明具备以下有益效果:

50、1、本发明通过建立扫描电子显微镜图像数据序列与对应的集成电路版图几何拓扑文件的物理空间对齐关系,采用快速行进算法生成精确符号距离场离散矩阵,进而将精确符号距离场离散矩阵转化为几何约束偏置矩阵,并结合几何约束偏置矩阵计算生成跨模态注意力融合特征矩阵,能够解决图像像素坐标系与矢量拓扑坐标系之间特征空间未对齐的问题,利用几何约束偏置矩阵压制非法物理距离内的特征响应,阻断违规像素区域与拓扑特征的结合,抑制多模态融合过程中产生违反集成电路设计规则的特征幻觉。

51、2、本发明通过将跨模态注意力融合特征矩阵输入至预训练的可微神经代理模型与联合验证分类网络,执行幻觉特征的可微判别,基于动态不确定边界机制输出联合校准损失,并提取对应的幻觉概率误差梯度,能够解决现有技术中后置离散规则校验工具因布尔逻辑不可微导致无法融入神经网络的问题,将离散的物理几何规则约束转化为连续且可导的误差惩罚参数,实现多模态对抗生成网络中物理合规性约束的端到端联合反向传播训练。

52、3、本发明通过结合幻觉概率误差梯度与感知相似度损失,对处于幻觉判定边界的视觉特征执行微步迭代特征空间回退运算,并辅以真实规则强制后验机制输出合规视觉检测训练样本,能够解决单纯废弃未能通过离散校验的高价值边缘数据所造成的算力浪费与模型泛化样本多样性受损的问题,利用多目标联合梯度引导生成特征,在保留原始视觉缺陷结构语义的条件下回退至物理合规流形,使闭环自适应修复后的生成样本兼具集成电路底层电路拓扑合规性与物理缺陷视觉真实性。

53、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。