一种面向语义分割的对抗式标签反演与虚拟图像生成方法与流程

本发明属于工业缺陷检测与计算机视觉交叉领域，尤其涉及一种面向语义分割的对抗式标签反演与虚拟图像生成方法。

背景技术：

1、工业缺陷检测是保障工业产品质量的关键环节，广泛应用于机械零件、电子元件、板材表面等各类工业产品的质量管控。近年来，随着深度学习技术的快速发展，基于语义分割的工业缺陷检测方法逐渐成为主流技术路线。其中，以segformer为代表的基于transformer的语义分割模型凭借其强大的特征提取能力，在缺陷检测任务中取得了显著进展。

2、然而，基于深度学习的语义分割模型训练高度依赖大规模、高质量的像素级标注数据。在实际工业场景中，工业生产中大量缺陷属于低概率偶发事件，部分隐性缺陷更是难以通过常规采集手段获取，导致可用于模型训练的真实缺陷样本数量极为有限，无法满足深度神经网络的训练需求，成为制约模型性能提升的关键瓶颈。工业缺陷形态多样、分布复杂，现有采集的样本往往无法涵盖全部缺陷形态、尺寸大小和空间分布类型，形成典型的长尾缺陷问题——常见缺陷样本充足，而稀有缺陷样本极度匮乏，导致模型对少见缺陷类型的检测能力严重不足。

3、为缓解标注数据不足的问题，业界已提出多种解决方案，传统数据增强方法，如随机旋转、平移、缩放、色彩抖动等，仅能对现有样本进行几何或色彩层面的简单变换，无法生成具有全新语义布局或新种类缺陷的训练样本，本质上并未增加数据的语义多样性，难以从根本上解决样本稀缺问题。基于生成对抗网络的样本生成方法，以pix2pix为代表的条件生成对抗网络能够实现从语义标签图到真实图像的翻译转换，理论上可用于生成虚拟训练样本。然而，pix2pix模型的训练本身同样需要大量成对的标签图与真实图像数据，且单独使用pix2pix时缺乏语义分割的精准引导，生成的虚拟样本在缺陷语义、纹理细节等方面与实际工业缺陷场景贴合度较低，生成图像的缺陷区域标注准确性不足，难以直接用于语义分割模型的训练。单独使用segformer等语义分割算法，其模型性能高度依赖训练数据的规模和多样性。在样本数量有限、缺陷种类不全的情况下，模型容易出现过拟合，泛化能力较弱，对训练集中未出现过的缺陷类型检测精度大幅下降，无法突破样本数据瓶颈的限制。

技术实现思路

1、本发明目的在于提供一种面向语义分割的对抗式标签反演与虚拟图像生成方法,以解决工业缺陷检测场景下，因真实标注样本数量稀缺、缺陷种类覆盖不全导致语义分割模型检测精度低、泛化能力差的技术问题。

2、为实现上述目的，本发明的一种面向语义分割的对抗式标签反演与虚拟图像生成方法的具体技术方案如下：

3、一种面向语义分割的对抗式标签反演与虚拟图像生成方法，包括以下步骤：

4、s1、收集缺陷真实图像及其对应的语义分割标签图，对图像进行尺寸归一化处理，对不同缺陷类型进行标注，并按预设比例划分为训练集和验证集；

5、s2、构建语义分割模型与条件生成对抗模型的协同训练框架，以语义分割标签图作为条件生成对抗模型的输入条件，以与所述语义分割标签图对应的真实图像作为条件生成对抗模型的输出目标，训练条件生成对抗模型学习从语义标签到真实图像的映射关系；

6、s3、创建语义标签候选集，所述语义标签候选集包含多种不同形态的缺陷区域标注；

7、s4、将所述语义标签候选集输入条件生成对抗模型，生成对应的虚拟图像样本；

8、s5、利用所述语义分割模型对生成的虚拟图像样本进行反向语义分割校验，筛选出语义一致性满足预设阈值的有效虚拟样本，构建扩充后的训练数据集；

9、s6、将扩充后的训练数据集用于所述语义分割模型的训练。

10、作为本发明的进一步改进，s2中所述条件生成对抗模型的训练采用多损失融合函数，所述多损失融合函数包括对抗损失、像素损失以及语义分割损失，三者按预设权重加权求和作为总训练目标。

11、作为本发明的进一步改进，所述语义分割损失为交叉熵损失，由语义分割模型对生成图像进行前向推理得到，用于约束生成图像与真实图像之间的语义一致性。

12、作为本发明的进一步改进，所述语义分割模型为segformer模型，其segformerhead组件包括通道注意力模块和空间注意力模块；所述通道注意力模块通过全局池化自适应学习各特征通道的重要性权重，所述空间注意力模块生成空间权重图以引导模型聚焦于潜在缺陷区域。

13、作为本发明的进一步改进，所述segformerhead组件还包括边缘增强模块，所述边缘增强模块采用边缘卷积层与残差连接相结合的结构。

14、作为本发明的进一步改进，s3中所述语义标签候选集包括缺陷尺寸、缺陷形态、缺陷位置的缺陷类型标签；

15、所述缺陷形态包括点状、线状、块状以及不规则状；所述缺陷位置包括表面、边缘以及内部。

16、作为本发明的进一步改进，s5中所述反向语义分割校验包括以下步骤：将生成的虚拟图像输入语义分割模型，得到预测语义标签图，计算预测语义标签图与输入的原始语义标签图之间的交并比，保留交并比满足预设阈值的虚拟样本作为有效样本。

17、作为本发明的进一步改进，所述条件生成对抗模型为pix2pix模型，其生成器为u-net结构，判别器为卷积神经网络结构。

18、作为本发明的进一步改进，s2中所述条件生成对抗模型训练过程中，每隔预设迭代次数在验证集上对模型性能进行验证，当生成图像与真实图像的相似度达到收敛条件时停止训练。

19、一种面向语义分割的对抗式标签反演与虚拟图像生成系统，采用上述面向语义分割的对抗式标签反演与虚拟图像生成方法，包括：

20、数据预处理模块，用于收集工业缺陷真实图像及其对应的语义分割标签图，进行尺寸归一化和数据集划分；

21、协同训练模块，用于构建语义分割模型与条件生成对抗模型的协同训练框架，训练条件生成对抗模型学习从语义标签到真实图像的映射关系；

22、标签生成模块，用于创建包含多种不同形态缺陷区域标注的语义标签候选集；

23、图像生成模块，用于将语义标签候选集输入条件生成对抗模型，生成对应的虚拟图像样本；

24、样本筛选模块，用于利用语义分割模型对虚拟图像样本进行反向语义分割校验，筛选有效虚拟样本并构建扩充训练数据集；

25、模型训练模块，用于将扩充后的训练数据集用于语义分割模型的训练。

26、有益效果：

27、本发明通过构建语义分割模型与条件生成对抗模型的协同训练框架，学习从语义标签到真实图像的映射关系，进而以人工创建的多样化语义标签驱动生成大量虚拟图像样本，能够在有限真实标注数据的基础上显著扩充训练样本规模，突破了工业场景中低概率偶发缺陷、隐性缺陷难以采集的样本数量瓶颈，为语义分割模型的训练提供充足的数据支撑。

28、通过创建包含多种不同形态缺陷区域标注的语义标签候选集，能够灵活生成各类形态、各类分布的缺陷样本，尤其可生成现有数据集中未覆盖的稀缺缺陷类型，大幅拓展了缺陷种类的覆盖范围，有效解决工业缺陷检测中常见的长尾缺陷问题，使模型能够学习到更全面的缺陷特征。

29、采用语义分割模型与条件生成对抗模型相结合的协同训练框架，以真实的语义标签与对应真实图像作为成对训练数据，使条件生成对抗模型在学习图像生成的同时受到语义信息的约束，克服了单独使用生成模型时缺乏语义引导的缺陷，确保生成的虚拟样本在缺陷语义布局上与实际工业场景高度贴合，具备可用性。

30、设置反向语义分割校验环节，利用语义分割模型对生成的虚拟图像进行反向分割验证，筛选出语义一致性满足预设阈值的有效样本后再纳入训练集。该质量管控机制从源头上保证了扩充数据集中虚拟样本的标注准确性和语义有效性，避免低质量生成样本干扰模型训练，确保数据扩充的实际增益。

31、经筛选的高质量虚拟样本与原始真实样本共同构成扩充后的训练数据集，样本数量的增加和缺陷种类的丰富使语义分割模型能够学习到更具多样性的缺陷特征，有效缓解小样本下的过拟合问题，显著提升模型的缺陷检测精度，同时增强模型对未见过缺陷类型的泛化能力，整体检测性能优于仅使用原始样本训练的模型。

32、通过虚拟样本生成替代部分真实缺陷样本的采集与标注工作，无需投入大量人力物力去采集稀缺缺陷样本，也无需对生成的虚拟样本进行额外人工标注，能够大幅降低工业缺陷检测模型训练的数据获取成本和人力成本，缩短数据准备周期，具有显著的经济效益和工程实用价值。