基于样本重组与风格校正的跨域目标检测方法及装置

本发明涉及工业机器视觉图像检测，尤其涉及面向制造业工件缺陷质检的基于样本重组与风格校正的跨域目标检测方法及装置。

背景技术：

1、工业目标检测可实现焊缝、金属表面、复合材料、电子器件等工业产品图像内待检目标的自动定位与分类。深度学习目标检测技术能够有效提升检测效率与结果一致性，但该类技术高度依赖数量充足、标注准确，且与实际部署环境数据分布保持一致的训练数据集。在小批量生产、新产品导入、设备更换或者工艺切换等实际工业场景下，目标生产线仅能够获取极少量带标注的目标域图像；同时源生产线与目标生产线之间会存在材料纹理、照明条件、成像装置、背景噪声、待检目标外观等方面的数据分布差异。直接部署源域训练得到的检测器，或是仅依靠少量目标域样本开展微调，很难适配目标域的数据分布，会造成跨域少样本目标检测精度偏低，引发漏检、误检、模型过拟合等问题。现有少样本检测技术主要依靠常规图像增强、复制粘贴、生成模型、元学习、度量学习等方式扩充训练数据分布。直接采用复制粘贴方案将真实待检目标图块粘贴至其他图像时，容易保留原图原有待检目标，产生目标重叠、语义冲突、标注遗漏问题；不同图像之间成像风格、亮度、纹理不一致，粘贴后会产生硬边界与拼接痕迹，网络会错误学习该类合成伪影。该类方法大多仅聚焦样本数量扩充或者类别泛化能力提升，难以在目标域标注稀缺的条件下，同时复用目标域真实待检目标形态与源域丰富的背景上下文信息，检测提升效果有限。

2、另外一类域自适应目标检测方法，借助对抗学习、伪标签、教师-学生网络、特征对齐等手段缩小域间差异。但在目标域标注样本极少的条件下，目标域数据分布与伪标签无法稳定估计；若执行强度过高的图像级、实例级域对齐操作，还会破坏工业待检目标的边缘、形状等关键定位特征线索，损害检测性能。

3、在实际制造业工件缺陷质检产线中，产线更新、工艺切换后可获取的带标注工件缺陷图像数量稀少，直接采用现有算法会造成焊缝、划痕、裂纹类缺陷漏检误检，难以满足自动化质检的实际生产需求。由此产生的技术问题在于：在少样本跨域工业检测场景中，源域、目标域有效信息呈非对称状态，少量目标域样本具备真实的目标形态，但背景、成像条件覆盖范围有限；源域样本具备丰富的背景上下文，但原有目标外观、背景风格和目标域不一致。现有技术缺少一种方案，能够在目标域标注稀缺条件下，充分利用目标域真实目标形态与源域背景上下文，抑制样本重组带来的合成伪影，同时修正合成样本引入的源背景风格偏差，以此提升跨域少样本目标检测精度。

4、综上，现有少样本、域自适应检测方法难以兼顾有效样本扩充、合成伪影抑制与跨域特征偏差校正，无法很好适配工业场景下标注稀缺的跨域目标检测任务。

技术实现思路

1、本发明实施例提供基于样本重组与风格校正的跨域目标检测方法及装置，用于解决在制造业工件缺陷质检场景下，当新产线可获取的带标注工件缺陷图像数量稀缺，不同产线采集的工件图像成像风格存在较大差异时，现有检测方案难以兼顾训练样本扩充、合成伪影抑制、跨域特征偏差校正，造成工件缺陷漏检、误检，检测精度难以满足工业自动化质检生产要求。

2、本发明实施例提供基于样本重组与风格校正的跨域目标检测方法，包括：

3、获取带有第一待检目标标注的源域图像集和带有第一待检目标标注的目标域图像集，利用所述带有第一待检目标标注的源域图像集训练目标检测网络，得到源域预训练参数；依据源域图像的第一待检目标标注生成源域待检目标掩膜，对源域待检目标掩膜覆盖区域进行图像修复，得到净化源背景图像；

4、根据原始目标域图像的第一待检目标标注提取真实待检目标图块，将所述真实待检目标图块植入所述净化源背景图像并确定有效放置区域，对所述真实待检目标图块进行几何约束、局部光度对齐和连续软掩膜融合，根据融合后的放置位置、变换尺寸和待检目标类别，生成第二待检目标标注，得到跨域合成样本；

5、对原始目标域图像进行语义保持增强得到增强后的真实目标域样本，将增强后的真实目标域样本与跨域合成样本构成混合微调数据集并划分混合微调批次，利用源域预训练参数初始化目标检测网络；

6、在训练迭代前，从初始化完成的目标检测网络的主干网络浅层至中层中选取一个或多个固定网络层作为预设特征层，全部所述预设特征层汇总构成预设特征层集合；

7、在迭代过程中，将混合微调批次输入初始化完成的目标检测网络，分别对所述混合微调批次内的真实目标域样本子集、跨域合成样本子集，在所述预设特征层对应的原始特征图上计算批级归一化gram矩阵，根据两类样本子集批级归一化gram矩阵的差异构建风格校正损失；

8、将所述风格校正损失作为弱正则项与目标检测损失联合得到联合总损失，根据所述联合总损失反向传播更新目标检测网络的可训练参数，所述可训练参数包括主干网络未被冻结参数、颈部网络参数以及检测头参数；

9、达到迭代停止条件时，得到可训练参数收敛更新完成的最终目标检测网络，将真实场景下的目标域待检图像输入最终目标检测网络，输出目标域待检图像对应的待检目标类别与待检目标位置。

10、本发明实施例提供基于样本重组与风格校正的跨域目标检测装置，包括：

11、第一得到单元，用于获取带有第一待检目标标注的源域图像集和带有第一待检目标标注的目标域图像集，利用所述带有第一待检目标标注的源域图像集训练目标检测网络，得到源域预训练参数；依据源域图像的第一待检目标标注生成源域待检目标掩膜，对源域待检目标掩膜覆盖区域进行图像修复，得到净化源背景图像；

12、第二得到单元，用于根据原始目标域图像的第一待检目标标注提取真实待检目标图块，将所述真实待检目标图块植入所述净化源背景图像并确定有效放置区域，对所述真实待检目标图块进行几何约束、局部光度对齐和连续软掩膜融合，根据融合后的放置位置、变换尺寸和待检目标类别，生成第二待检目标标注，得到跨域合成样本；

13、初始化单元，用于对原始目标域图像进行语义保持增强得到增强后的真实目标域样本，将增强后的真实目标域样本与跨域合成样本构成混合微调数据集并划分混合微调批次，利用源域预训练参数初始化目标检测网络；

14、选取单元，用于在训练迭代前，从初始化完成的目标检测网络的主干网络浅层至中层中选取一个或多个固定网络层作为预设特征层，全部所述预设特征层汇总构成预设特征层集合；

15、构建单元，用于在迭代过程中，将混合微调批次输入初始化完成的目标检测网络，分别对所述混合微调批次内的真实目标域样本子集、跨域合成样本子集，在所述预设特征层对应的原始特征图上计算批级归一化gram矩阵，根据两类样本子集批级归一化gram矩阵的差异构建风格校正损失；

16、更新单元，用于将所述风格校正损失作为弱正则项与目标检测损失联合得到联合总损失，根据所述联合总损失反向传播更新目标检测网络的可训练参数，所述可训练参数包括主干网络未被冻结参数、颈部网络参数以及检测头参数；

17、输出单元，用于达到迭代停止条件时，得到可训练参数收敛更新完成的最终目标检测网络，将真实场景下的目标域待检图像输入最终目标检测网络，输出目标域待检图像对应的待检目标类别与待检目标位置。

18、本发明实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任意一项所述的基于样本重组与风格校正的跨域目标检测方法。

19、本发明实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意一项所述的基于样本重组与风格校正的跨域目标检测方法。

20、与现有技术相比，本发明实施例至少具有以下有益效果：

21、（1）本发明实施例中，将真实待检目标图块植入已移除原有待检目标的净化源背景图像，在少量带第一待检目标标注的目标域样本条件下，完整保留与实际目标域场景一致的待检目标形态；同时使单一待检目标适配更多源域背景、纹理及照明工况，大幅扩充可用于目标域微调的混合微调数据集有效样本体量，显著提升跨域少样本场景下的工业目标检测精度。同时，融合过程可根据待检目标的融合位置、缩放尺寸自动生成匹配的第二待检目标标注，有效规避待检目标重叠、标注冲突问题，无需额外人工标注，降低少样本跨域检测的样本制备成本。

22、（2）本发明实施例通过有效放置区域约束真实待检目标图块的放置位置，结合局部光度对齐与连续软掩膜矩阵融合策略，对待检目标中心及边缘区域设置差异化权重过渡，有效消除跨域图块融合产生的亮度突变、硬接缝及合成痕迹，大幅提升真实待检目标图块与净化源背景图像的视觉一致性，保障跨域合成样本的训练有效性，进一步优化少样本跨域场景下的目标检测精度与鲁棒性。

23、（3）本发明实施例在目标域微调阶段，于训练迭代前预先从主干网络浅层至中层选取固定网络层构建预设特征层集合，固定风格统计的特征提取位置；在迭代训练过程中，依托跨域风格校正算法流程，提取网络预设特征层的原始特征图，对比计算混合微调批次中跨域合成样本子集与真实目标域样本子集的批级归一化gram矩阵二阶特征统计差异，通过风格校正损失校正样本重组过程引入的残余源背景风格偏差，缩小两类训练样本的特征分布差距，使目标检测网络快速适配目标域数据分布特征，稳定提升少样本跨域目标检测性能。同时，该风格校正约束仅作为训练期弱正则化手段，无需两类样本在目标类别、位置及空间布局上一一对应，且在达到迭代停止条件后停用风格校正支路，不会改变部署阶段的最终目标检测网络结构，无额外推理开销，兼顾检测精度与部署效率。本发明实施例提升了焊缝、划痕、裂纹等工业工件缺陷的检出能力，能够适配产线工艺、成像条件发生变化后的自动化缺陷质检需求，可直接应用于工业产线工件缺陷自动识别，降低人工质检工作负担。