一种基于双解码器的电路板去遮挡异常检测方法与流程

本发明涉及一种电路板去遮挡异常检测方法，属于视觉异常状态检测领域，尤其涉及一种基于双解码器的电路板去遮挡异常检测方法。

背景技术：

1、在船海机电产品电路板的遮挡环境试验视觉异常检测中，遮挡会造成被检测电路板的边缘、纹理等关键特征部分不可见，致使电路板视觉异常状态检测算法难以提取到有效信息；同时，遮挡引入的阴影、反光等干扰会增加图像噪声，对后续电路板异常状态检测处理产生不利影响。目前，主要采用基于生成抵抗网络（gan）的图像去遮挡算法去除电路板上的遮挡问题，但是该算法在去遮挡任务中，依赖单一对抗损失函数而缺乏对边缘、纹理等细节特征的约束，使得去遮挡过程中电路板图像出现细节特征模糊或缺失、结构信息失真、伪影等问题，从而导致在去遮挡过程中图像信息逐渐丢失，造成图像质量较差。

2、申请号为202010199775.1，申请日为2020年06月23日的中国专利申请，公开了图像修复方法和图像修复模型的训练方法，方法包括：获取待修复的第一目标图像；提取第一目标图像的目标图像特征；基于目标图像特征，获取目标候选区域信息和目标基准图，目标基准图携带第一目标图像的模式信息；基于目标候选区域信息和目标基准图，对第一目标图像进行修复，得到第一目标图像对应的目标修复图像。在图像修复的过程中，增加对图像的模式信息的考虑，考虑的方面较全面，有利于提高图像修复的修复效果，修复后的图像更加自然。虽然该专利可以通过生成抵抗网络对图像遮挡进行修复，但其仍旧具有以下缺陷：

3、该设计采用单一生成式对抗网络，无法有效保留电路板的关键细节特征，导致在去遮挡过程中图像信息逐渐丢失，造成图像质量较差。

4、公开该背景技术部分的信息仅仅旨在增加对本专利申请的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现思路

1、本发明的目的是克服现有技术中存在的在去遮挡过程中图像信息逐渐丢失，造成图像质量较差的缺陷与问题，提供一种在去遮挡过程中避免图像信息逐渐丢失，图像质量较好的基于双解码器的电路板去遮挡异常检测方法。

2、为实现以上目的，本发明的技术解决方案是：一种基于双解码器的电路板去遮挡异常检测方法，所述去遮挡异常检测方法包括以下步骤：

3、第一步：对含遮挡电路板图像进行尺寸调整，得到长度和宽度相等的输入电路板图像；

4、第二步：先对上述输入电路板图像进行基础特征提取，得到初始特征图，再将初始特征图的空间尺寸减半、特征通道数翻倍，得到第一特征图，接着将第一特征图的空间尺寸减半、特征通道数翻倍，得到第二特征图，再将第二特征图的空间尺寸减半、特征通道数翻倍，得到第三特征图，接着将第三特征图的空间尺寸减半、特征通道数翻倍，得到第四特征图，然后将第四特征图的空间尺寸减半、特征通道数翻倍，得到第五特征图；

5、第三步：先对上述第五特征图进行维度恢复，生成与第四特征图空间维度匹配的第四恢复特征图，再对第四恢复特征图进行维度恢复，生成与第三特征图空间维度匹配的第三恢复特征图，接着对第三恢复特征图进行维度恢复，生成与第二特征图空间维度匹配的第二恢复特征图，然后对第二恢复特征图进行维度恢复，生成与第一特征图空间维度匹配的第一恢复特征图；

6、第四步：先分别将上述第四恢复特征图与第四特征图、第三恢复特征图与第三特征图、第二恢复特征图与第二特征图、第一恢复特征图与第一特征图进行特征融合，分别生成第四混合特征图、第三混合特征图、第二混合特征图、第一混合特征图，再对第一混合特征图进行维度恢复，生成与输入图像尺寸一致的去遮挡特征图，然后对去遮挡特征图进行特征解码，生成初步去遮挡图像；同时，分别对第四混合特征图、第三混合特征图、第二混合特征图、第一混合特征图、去遮挡特征图进行特征转换和二值化处理，生成不同尺度的二进制掩码，再分别对不同尺度的二进制掩码进行优化后，进行加权融合，得到精确遮挡掩码；

7、第五步：基于上述精确遮挡掩码，将初步去遮挡图像与输入电路板图像进行加权融合，生成最终去遮挡图像。

8、所述第一步中，所述对含遮挡电路板图像进行尺寸调整，得到长度和宽度相等的输入电路板图像是指：将含遮挡电路板图像调整为512×512像素的正方形输入电路板图像。

9、所述第二步中，所述将初始特征图的空间尺寸减半、特征通道数翻倍，得到第一特征图是指：对初始特征图进行下采样，使初始特征图的空间尺寸减半、特征通道数翻倍，得到第一特征图；

10、所述第二步中，所述将第一特征图的空间尺寸减半、特征通道数翻倍，得到第二特征图是指：对第一特征图进行下采样，使第一特征图的空间尺寸减半、特征通道数翻倍，得到第二特征图；

11、所述第二步中，所述将第二特征图的空间尺寸减半、特征通道数翻倍，得到第三特征图是指：对第二特征图进行下采样，使第二特征图的空间尺寸减半、特征通道数翻倍，得到第三特征图；

12、所述第二步中，所述将第三特征图的空间尺寸减半、特征通道数翻倍，得到第四特征图是指：对第三特征图进行下采样，使第三特征图的空间尺寸减半、特征通道数翻倍，得到第四特征图；

13、所述第二步中，所述将第四特征图的空间尺寸减半、特征通道数翻倍，得到第五特征图是指：对第四特征图进行下采样，使第四特征图的空间尺寸减半、特征通道数翻倍，得到第五特征图。

14、所述第三步中，所述对上述第五特征图进行维度恢复，生成与第四特征图空间维度匹配的第四恢复特征图，再对第四恢复特征图进行维度恢复，生成与第三特征图空间维度匹配的第三恢复特征图，接着对第三恢复特征图进行维度恢复，生成与第二特征图空间维度匹配的第二恢复特征图，然后对第二恢复特征图进行维度恢复，生成与第一特征图空间维度匹配的第一恢复特征图是指：对第五特征图进行上采样，得到与第四特征图尺寸一致的第四恢复特征图，再对第四恢复特征图进行上采样，得到与第三特征图尺寸一致的第三恢复特征图，接着对第三恢复特征图进行上采样，得到与第二特征图尺寸一致的第二恢复特征图，然后对第二恢复特征图进行上采样，得到与第一特征图尺寸一致的第一恢复特征图。

15、所述第四步中，所述分别将上述第四恢复特征图与第四特征图、第三恢复特征图与第三特征图、第二恢复特征图与第二特征图、第一恢复特征图与第一特征图进行特征融合是指：通过跳跃连接将上述第四特征图、第三特征图、第二特征图、第一特征图从下采样路径传递至上采样路径，并分别与第四恢复特征图、第三恢复特征图、第二恢复特征图、第一恢复特征图进行拼接，实现不同层级特征的融合。

16、所述第四步中，所述对第一混合特征图进行维度恢复，生成与输入图像尺寸一致的去遮挡特征图是指：对第一混合特征图进行上采样操作，使第一混合特征图的空间尺寸与输入电路板图像的空间尺寸相同，得到去遮挡特征图；

17、所述第四步中，所述对去遮挡特征图进行特征解码，生成初步去遮挡图像是指：将去遮挡特征图的特征通道压缩至三通道，并通过激活函数进行特征映射，得到初步去遮挡图像。

18、所述第四步中，所述分别对第四混合特征图、第三混合特征图、第二混合特征图、第一混合特征图、去遮挡特征图进行特征转换和二值化处理，生成不同尺度的二进制掩码是指：首先利用卷积层分别对第四混合特征图、第三混合特征图、第二混合特征图、第一混合特征图、去遮挡特征图进行特征转换，提取各特征图遮挡区域的边缘、纹理特征，得到与各特征图尺度对应的第四遮挡特征图、第三遮挡特征图、第二遮挡特征图、第一遮挡特征图、输入尺度遮挡特征图；再采用阈值法分别对第四遮挡特征图、第三遮挡特征图、第二遮挡特征图、第一遮挡特征图、输入尺度遮挡特征图进行二值化处理，将各遮挡特征图的遮挡区域与非遮挡区域分离，生成第四掩码、第三掩码、第二掩码、第一掩码、输入尺度掩码。

19、所述第四步中，所述分别对不同尺度的二进制掩码进行优化是指：采用深度监督混合损失函数分别对第四掩码、第三掩码、第二掩码、第一掩码、输入尺度掩码进行优化。

20、所述第四步中，所述进行加权融合，得到精确遮挡掩码是指：先将优化后的第四掩码、第三掩码、第二掩码、第一掩码、输入尺度掩码上采样至与输入电路板图像尺寸相同，再采用注意力机制或加权平均法对优化后的第四掩码、第三掩码、第二掩码、第一掩码、输入尺度掩码进行加权融合，生成覆盖不同大小遮挡区域的精确遮挡掩码。

21、所述第五步中，所述基于上述精确遮挡掩码，将初步去遮挡图像与输入电路板图像进行加权融合，生成最终去遮挡图像是指：上述精确遮挡掩码的像素值仅为0或1，对于精确遮挡掩码中像素值为1的位置，判定为遮挡区域，最终去遮挡图像在该位置采用初步去遮挡图像的像素值以修复遮挡；对于精确遮挡掩码中像素值为0的位置，判定为非遮挡区域，最终去遮挡图像在该位置保留输入电路板图像的原始像素值，以维持非遮挡区域的电路特征，所述加权融合采用逐元素加权的方式实现。

22、与现有技术相比，本发明的有益效果为：

23、1、本发明一种基于双解码器的电路板去遮挡异常检测方法，包括第一步，调整含遮挡电路板图像尺寸得到输入电路板图像，第二步，提取输入电路板图像的基础特征得到初始特征图，对初始特征图依次进行多次空间尺寸减半、特征通道数翻倍操作，生成第一至第五特征图，第三步，对第五特征图依次进行维度恢复生成与第四至第一特征图维度匹配的第四至第一恢复特征图，第四步，融合恢复特征图与对应特征图生成混合特征图，对第一混合特征图维度恢复生成去遮挡特征图，并解码生成初步去遮挡图像，同时，处理各混合特征图及去遮挡特征图，生成对应尺度的二进制掩码，优化并加权融合得精确遮挡掩码，第五步，根据精确遮挡掩码，加权融合初步去遮挡图像与输入电路板图像，生成最终去遮挡图像；应用时，先对含遮挡电路板图像进行尺寸调整，得到长宽相等的输入电路板图像，对输入电路板图像进行基础特征提取得到初始特征图，再依次对初始特征图进行五次空间尺寸减半、特征通道数翻倍操作，分别得到第一至第五特征图，对第五特征图依次进行维度恢复，分别得到第四至第一恢复特征图，再将上述恢复特征图分别与对应层级的特征图进行特征融合，生成第四至第一混合特征图，再对第一混合特征图进行维度恢复生成去遮挡特征图，然后对去遮挡特征图进行特征解码得到初步去遮挡图像，同时，对第四至第一混合特征图、去遮挡特征图进行特征转换、二值化处理、损失函数优化、加权融合得到精确遮挡掩码，最后基于精确遮挡掩码，将初步去遮挡图像与输入电路板图像加权融合，得到最终去遮挡图像，本发明的优点还包括：

24、第一点：通过多次下采样、上采样生成多尺寸特征图，每次下采样使特征图空间尺寸减半、通道数翻倍，上采样后将恢复特征图与对应层级特征图进行特征融合，同步捕获电路板全局结构与局部细节特征，避免特征衰减，解决了传统算法因单一尺度特征提取不足导致的细节特征模糊或缺失问题；

25、第二点：采用双解码器并行架构，其中一个解码器专注于生成精确的二进制遮挡掩码，另一个解码器仅对掩码标记的遮挡区域进行修复，非遮挡区域的原始电路特征直接保留，避免了传统单解码器因混淆遮挡检测与图像修复任务，导致的非遮挡区域电路边缘被误处理而结构失真；

26、第三点：基于精确遮挡掩码逐元素加权融合，遮挡区域采用初步去遮挡图像的修复像素，非遮挡区域直接保留输入电路板图像的像素，保留原始电路特征，避免传统gan全局修复导致的未遮挡电路特征篡改、产生伪影，经测试，最终去遮挡图像的峰值信噪比（psnr）达32.72，结构相似性（ssim）达0.951，电路板的故障检测准确率达93.22%；

27、因此，本发明不仅能对电路板图像进行去遮挡修复，而且在去遮挡过程中避免图像信息逐渐丢失，图像质量较好。

28、2、本发明一种基于双解码器的电路板去遮挡异常检测方法中，采用深度监督混合损失函数分别对第四掩码、第三掩码、第二掩码、第一掩码、输入尺度掩码进行优化，再采用注意力机制或加权平均法对优化后的第四掩码、第三掩码、第二掩码、第一掩码、输入尺度掩码进行加权融合，生成覆盖不同大小遮挡区域的精确遮挡掩码；应用时，深度监督混合损失函数发挥多损失协同优势，从像素分类、区域重叠、边界贴合等维度优化掩码，避免单一损失导致的掩码空洞、边界粗糙问题，让生成的掩码在分类精度、区域完整性和边缘平滑度上达到良好平衡，接着，将优化后的不同尺寸的掩码上采样至输入电路板图像尺寸，通过注意力机制或加权平均法，依据各尺度掩码对不同大小遮挡的置信度加权融合，生成精准遮挡掩码，实现对微小焊点到大面积标签等不同尺度遮挡区域的精确定位，解决传统单一损失函数对复杂遮挡场景适应性差的问题，提升了通用性。因此，本发明不仅在去遮挡过程中避免图像信息逐渐丢失，图像质量较好，而且提升了去遮挡处理的通用性。

29、3、本发明一种基于双解码器的电路板去遮挡异常检测方法中，精确遮挡掩码的像素值仅为0或1，对于精确遮挡掩码中像素值为1的位置，判定为遮挡区域，最终去遮挡图像在该位置采用初步去遮挡图像的像素值以修复遮挡，对于精确遮挡掩码中像素值为0的位置，判定为非遮挡区域，最终去遮挡图像在该位置保留输入电路板图像的原始像素值，以维持非遮挡区域的电路特征，所述加权融合采用逐元素加权的方式实现；应用时，双解码器独立生成遮挡掩码与初步去遮挡图像，通过逐元素加权融合，实现遮挡区域修复与非遮挡区域原始像素保留，精确遮挡掩码可以精准定位遮挡边界，仅对遮挡区域进行像素级修复，避免非遮挡区域电路边缘被误处理而模糊，相比于初步去遮挡图像的结构相似性（ssim）为0.922，经掩码引导融合后，最终去遮挡图像的结构相似性（ssim）提升至0.951，从而保证非遮挡区域原始像素无损保留，有效减少特征篡改，提升去遮挡修复的准确性。因此，本发明不仅提升了去遮挡处理的通用性，而且提升了去遮挡处理的准确性。