一种基于人工智能的电子元器件故障诊断方法与流程

摘要: 本发明涉及人工智能故障诊断与图像智能检测,尤其涉及一种基于人工智能的电子元器件故障诊断方法。背景技术:1、随着电子产品向高集成度、小型化方向发展,电子元器件在制...
一种基于人工智能的电子元器件故障诊断方法与流程

本发明涉及人工智能故障诊断与图像智能检测,尤其涉及一种基于人工智能的电子元器件故障诊断方法。

背景技术:

1、随着电子产品向高集成度、小型化方向发展,电子元器件在制造、装配及服役过程中对可靠性的要求不断提高,基于图像的电子元器件故障检测与诊断技术逐渐成为生产检测与质量控制中的重要手段。现有技术中,通常通过采集电子元器件的外观图像,结合传统图像处理方法或深度学习模型,对元器件表面缺陷、异常区域进行识别与定位,从而辅助判断元器件的工作状态或失效情况。

2、然而,现有基于图像的故障检测方案多集中于像素级或区域级异常检测,主要依赖重构误差、分类结果或显著性响应来判定异常区域,对电子元器件内部结构组成及部件间关系的利用较为有限。当电子元器件具有复杂结构或多部件组合特征时,仅基于像素级异常响应容易受到纹理相似、结构遮挡及噪声干扰的影响,导致异常定位结果不稳定。同时,现有技术通常缺乏从结构部件层面对异常信息进行聚合和推理的机制,难以形成与器件结构对应的故障诊断结果,也难以将结构层面的诊断结论有效反馈至像素级定位过程,从而在整体诊断一致性和可解释性方面存在不足。

3、因此,如何提供一种基于人工智能的电子元器件故障诊断方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于人工智能的电子元器件故障诊断方法,本发明通过构建引入结构部件图约束的 cg-draem 模型,融合电子元器件结构解析、重构式异常检测以及结构图推理技术,对电子元器件图像中的结构部件进行建模,并在结构约束下完成像素级异常检测与部件级故障诊断,从而实现异常区域定位结果与器件结构信息之间的一致性匹配。本发明利用 cg-draem 模型在重构阶段引入结构部件差异化约束,并在判别与推理阶段结合结构部件关系进行联合校正,使故障诊断过程能够同时反映像素层面的异常分布和结构层面的故障状态,具备诊断结果一致性高、对复杂结构电子元器件适应性强以及异常定位与故障判定准确度高的优点。

2、根据本发明实施例的一种基于人工智能的电子元器件故障诊断方法,包括如下步骤:

3、采集待诊断电子元器件在检测工位下的图像数据,生成原始元器件图像,并获取器件标识信息,得到原始图像输入数据;

4、对原始图像输入数据执行图像预处理,生成预处理图像输入;

5、将预处理图像输入输入结构解析网络,解析得到结构部件实例集合、结构部件关系集合,并构建结构部件图;

6、将预处理图像输入以及结构部件图输入cg-draem模型中的重构子网络,执行差异化重构约束处理,生成重构图像;

7、基于预处理图像输入与重构图像构造像素级差异特征,输入cg-draem模型中的像素级判别子网络,生成像素级异常候选图和像素异常特征集合;

8、基于部件区域映射,对像素级异常候选图以及像素异常特征集合执行部件级聚合处理,生成部件异常表征集合;

9、将结构部件图以及部件异常表征集合输入cg-draem模型中的结构图推理网络,生成部件级故障诊断结果;

10、基于部件级故障诊断结果对像素级异常候选图执行像素—结构联合校正处理,生成最终异常定位图,并生成故障诊断输出信息。

11、可选的,所述采集待诊断电子元器件在检测工位下的图像数据,生成原始元器件图像,并获取器件标识信息,得到原始图像输入数据具体包括:

12、在检测工位通过图像采集设备对待诊断电子元器件进行连续图像采集,形成图像帧序列;

13、对图像帧序列执行质量筛选处理,确定合格图像帧,并将全部合格图像帧汇集形成目标图像帧集合;

14、对目标图像帧集合执行去噪与畸变校正处理,得到校正图像集合;

15、基于校正图像集合执行帧间合成处理,生成原始元器件图像;

16、获取与待诊断电子元器件对应的器件标识信息,将器件标识信息与原始元器件图像进行关联绑定处理,形成原始图像输入数据。

17、可选的,所述预处理包括目标区域定位处理、裁剪处理、尺寸分析处理、尺度统一处理和像素值标准化处理。

18、可选的,所述将预处理图像输入输入结构解析网络,解析得到结构部件实例集合、结构部件关系集合,并构建结构部件图具体包括:

19、获取预处理图像输入中的尺度统一结果与标准化图像结果,并将标准化图像结果作为结构解析网络的输入图像;

20、将输入图像输入结构解析网络的特征提取子网络,对输入图像依次执行卷积运算、非线性激活运算与下采样运算,结构特征图集合;

21、将结构特征图集合输入候选区域生成子网络,对结构特征图集合执行上采样与特征融合运算,生成结构部件候选热力图与结构部件候选边界图;

22、基于结构部件候选热力图与结构部件候选边界图确定结构部件候选区域集合;

23、对结构部件候选区域集合执行候选区域筛选处理,得到结构部件候选实例集合;

24、对结构部件候选实例集合执行结构部件实例分割处理,生成结构部件实例集合;

25、基于结构部件实例集合生成结构部件关系集合,基于结构部件实例集合与结构部件关系集合构建结构部件图;

26、基于结构部件实例集合中的各实例掩码结果生成部件区域映射。

27、可选的,所述将预处理图像输入以及结构部件图输入cg-draem模型中的重构子网络,执行差异化重构约束处理,生成重构图像具体包括:

28、从预处理图像输入中提取标准化图像结果,并将标准化图像结果作为重构子网络的输入图像;

29、获取结构部件图以及部件区域映射,并将结构部件图与部件区域映射作为结构约束输入数据;

30、将输入图像输入cg-draem 模型中的重构子网络的编码器,依次执行卷积处理、非线性激活处理以及下采样处理,构成多尺度编码特征集合;

31、将多尺度编码特征集合输入重构子网络的解码器,生成重构特征图;

32、基于部件区域映射对重构特征图执行部件区域提取处理,生成部件重构特征;

33、基于结构部件图,为结构部件图中的各个结构部件节点分别生成对应的部件重构权重参数,共同构成部件重构权重参数集合;

34、对各结构部件对应的部件重构特征执行差异化重构约束处理,形成部件加权重构特征;

35、基于结构部件图的边集合,对存在连接关系的相邻结构部件节点对应的部件加权重构特征执行边界一致性约束处理,获得边界重构差异;

36、基于边界重构差异,将各结构部件节点对应的部件加权重构特征按照部件区域映射执行回填融合处理,形成约束重构特征图;

37、对约束重构特征图执行输出映射处理,生成重构图像。

38、可选的,所述基于预处理图像输入与重构图像构造像素级差异特征,输入cg-draem模型中的像素级判别子网络,生成像素级异常候选图和像素异常特征集合具体包括:

39、获取预处理图像输入中的标准化图像结果作为待比较图像,并获取重构图像作为重构比较图像;

40、对待比较图像与重构比较图像执行像素级残差计算处理,得到对应像素坐标位置的残差值,形成像素级残差图;

41、对待比较图像和重构比较图像执行边缘梯度提取处理,生成待比较梯度图和重构梯度图;

42、对待比较梯度图与重构梯度图执行梯度残差计算处理,得到对应像素坐标位置的梯度残差值,形成梯度残差图;

43、对待比较图像、重构比较图像、像素级残差图以及梯度残差图执行通道组合处理,生成像素级差异特征;

44、将像素级差异特征输入cg-draem模型中的像素级判别子网络,生成多尺度判别特征集合,并对多尺度判别特征集合执行上采样处理与特征融合处理,生成像素异常判别特征图;

45、基于像素异常判别特征图执行像素级异常预测处理,得到像素级异常候选图;

46、基于像素异常判别特征图执行像素异常特征导出处理,形成像素异常特征集合。

47、可选的,所述基于部件区域映射,对像素级异常候选图以及像素异常特征集合执行部件级聚合处理,生成部件异常表征集合具体包括:

48、获取部件区域映射以及像素级异常候选图和像素异常特征集合;

49、基于部件区域映射,对像素级异常候选图执行结构部件划分处理,形成部件异常候选子图;

50、对每一结构部件对应的部件异常候选子图执行异常强度统计处理,得到部件异常强度值;

51、基于部件区域映射,对像素异常特征集合执行特征归属处理,形成部件异常特征子集;

52、对每一结构部件对应的部件异常特征子集执行特征聚合处理,得到部件异常特征向量;

53、基于部件异常强度值与部件异常特征向量,为每一结构部件生成对应的部件异常表征;

54、将结构部件图中各结构部件对应的部件异常表征汇集形成部件异常表征集合。

55、可选的,所述将结构部件图以及部件异常表征集合输入cg-draem模型中的结构图推理网络,生成部件级故障诊断结果具体包括:

56、获取结构部件图以及部件异常表征集合,对部件异常表征集合执行节点特征赋值处理,形成节点输入特征向量,汇集形成节点输入特征集合;

57、将结构部件图以及节点输入特征集合输入cg-draem模型中的结构图推理网络执行节点特征投影处理,生成节点初始隐状态集合;

58、在结构部件图的边集合限定的邻接关系下,对节点初始隐状态集合执行部件级证据传播处理,得到更新后的节点隐状态集合;

59、对更新后的节点隐状态集合执行一致性推理处理,生成边一致性度量集合;

60、基于边一致性度量集合对更新后的节点隐状态集合执行一致性约束更新处理,得到一致性约束后的节点隐状态集合;

61、基于一致性约束后的节点隐状态集合执行节点级故障判定处理,形成部件级故障诊断结果。

62、可选的,所述基于部件级故障诊断结果对像素级异常候选图执行像素—结构联合校正处理,生成最终异常定位图,并生成故障诊断输出信息具体包括:

63、基于部件级故障诊断结果确定故障结构部件集合,并确定各故障结构部件对应的故障诊断得分;

64、基于故障结构部件集合与部件区域映射生成故障区域掩码图;

65、对像素级异常候选图执行像素—结构联合校正处理,生成结构约束后的异常候选图;

66、基于各故障结构部件对应的故障诊断得分对结构约束后的异常候选图执行置信度加权处理,形成加权异常候选图;

67、对加权异常候选图执行阈值分割处理,生成最终异常定位图;

68、基于最终异常定位图与部件级故障诊断结果生成故障诊断输出信息。

69、本发明的有益效果是:

70、本发明通过在电子元器件故障诊断过程中引入结构解析与结构部件建模机制,使故障诊断过程不再局限于像素级或局部区域级异常判断,而是能够在明确器件结构组成的前提下,对异常信息进行有序组织与表达。通过构建结构部件图并建立结构部件与图像像素区域之间的对应关系,本发明实现了图像信息与器件结构信息的有效关联,从而使后续异常检测和诊断结果能够与电子元器件的实际结构保持一致。

71、进一步地,本发明在重构式异常检测过程中引入基于结构部件的差异化重构约束机制,通过cg-draem模型在重构阶段对不同结构部件施加不同的重构约束,使重构结果能够反映结构部件之间的差异性特征。在此基础上,通过像素级差异特征构造与像素级判别处理,获得对异常区域的细粒度表征,同时避免单一重构误差在复杂结构场景下产生的不稳定响应,从而提高异常定位结果在复杂电子元器件图像中的可靠性。

72、此外,本发明通过在结构部件图上执行部件级证据传播与一致性推理处理,将像素级异常信息聚合为部件级异常表征,并进一步生成部件级故障诊断结果,再利用所述部件级故障诊断结果对像素级异常候选图进行像素—结构联合校正,形成结构约束下的最终异常定位图。通过该像素层与结构层相互反馈的诊断流程,本发明能够同时输出异常区域定位结果和与之对应的部件级故障信息,使故障诊断结果在空间分布和结构语义层面保持一致,有利于提升电子元器件故障诊断结果的稳定性与可用性。