一种基于动态权重多特征重构的少样本工业视觉异常检测方法

本发明涉及工业机器视觉、图像处理与智能异常检测，具体涉及一种在异常参考样本数量有限且不参与模型训练的条件下，利用正常样本训练状态编码约束的纹理、边缘和结构多分支正常状态重构模型，并结合图像质量驱动的动态权重、跨帧时序一致性分析及有限异常标准样本特征匹配实现工业视觉异常检测的方法。

背景技术：

1、工业生产现场通常需要利用视觉检测手段识别目标表面的污染、裂纹、缺口、部件缺失、错位、变形或者异物等异常。现有监督式缺陷检测方法通常依赖数量充足且类别标注完整的异常样本，而工业异常具有发生概率低、类型分散、采集成本高以及新异常形态难以预先穷举等特点，难以获得覆盖全部异常状态的大规模训练集。本说明书所称“少样本”并非机器学习文献中依赖每一类别少量标注样本进行元学习或快速适配的少样本学习，而是指可获得的异常参考样本数量有限，且所述异常参考样本不参与正常状态重构模型训练，仅作为二次异常判定阶段的特征匹配基准。

2、基于正常样本的重构式异常检测方法通过学习正常图像的表征规律，并根据待检测图像与正常重构结果之间的差异判断异常，能够降低对异常样本训练数据的依赖。但是，工业目标在不同摄像头点位、姿态、运行阶段和工况下可能呈现多种正常外观；若使用单一正常参考进行重构，容易将正常状态变化误判为异常。

3、此外，工业现场还存在反光、运动模糊、轮廓遮挡和设备振动等干扰。同一帧图像中的纹理、边缘和结构信息可靠性并不恒定，固定权重融合容易使受干扰的特征维度主导异常分数。仅依据单帧重构误差进行判定，也可能将瞬时高光、噪声或抖动误判为持续异常。

4、另一方面，少量已确认异常样本虽然不足以训练稳定的异常分类模型，但可以作为二次匹配基准。现有方案常直接使用有限异常样本训练新的异常模型，容易发生过拟合，并削弱异常样本稀缺场景下以正常样本为主进行训练的技术路线。因而，需要一种能够以正常样本完成主要模型训练，同时合理利用有限异常标准样本抑制误检的工业视觉异常检测方法。

技术实现思路

1、本发明为解决现有工业视觉异常检测方法在异常样本数量有限、正常目标状态变化以及复杂工业环境干扰条件下存在误检率高、异常确认可靠性不足的问题，提供一种基于动态权重多特征重构的少样本工业视觉异常检测方法。

2、本发明的技术方案如下：一种基于动态权重多特征重构的少样本工业视觉异常检测方法，包括以下步骤：

3、s1：初始化构建正常样本库和异常数据库。

4、所述正常样本库用于存储经人工确认不存在目标异常的正常工业图像，用于训练多分支正常状态重构模型以及建立正常状态表征。

5、所述异常数据库用于统一管理检测过程中产生的异常相关数据，包括异常标准库、确认异常图片集合和异常疑似库。

6、进一步地，异常标准库用于存放经人工确认、具有代表性的标准异常样本对应的标准异常区域及其特征信息，作为后续二次异常判定阶段的特征匹配基准；确认异常图片集合用于存储经过二次异常判定确认后的异常样本；异常疑似库用于存储经过二次异常判定后尚未确认为异常、需要进行人工复核的疑似异常样本。

7、进一步地，在标准异常样本存入所述异常标准库前，对标准异常样本中的异常区域进行人工标注、尺寸归一化和方向校正，分别提取所述异常区域的纹理特征、边缘特征和结构特征，并与对应样本的样本索引关联存储于所述异常标准库中，供步骤s7进行二次异常判定时调用。

8、进一步地，所述纹理特征采用局部二值模式特征，所述边缘特征采用方向梯度直方图特征，所述结构特征采用hu不变矩和轮廓几何特征。

9、进一步地，所述异常标准库仅由人工进行初始化构建和定期审核更新，不参与多分支正常状态重构模型的训练。

10、s2：基于正常样本库建立多分支正常状态重构模型。

11、步骤s2.1、对正常样本库中的正常样本进行目标区域提取和预处理。其中目标区域提取的方式为固定工位下采用预设感兴趣区域裁剪；预处理包括背景抑制、位置配准、尺寸归一化和像素归一化；

12、步骤s2.2、根据摄像头采集点位、设备运行阶段以及工业工况参数对正常样本进行初始分组，并利用目标轮廓、目标姿态和整体外观特征进行k-means聚类，为每个正常状态类别分配状态编号，并将状态编号映射为对应状态编码；

13、步骤s2.3、构建并训练多分支正常状态重构模型。

14、将步骤s2.1得到的预处理正常样本以及步骤s2.2确定的对应状态编码共同作为模型训练数据，构建多分支正常状态重构模型。所述多分支正常状态重构模型用于学习不同正常状态下待检测目标的纹理表征、边缘表征和结构表征，并在后续步骤s4中根据当前帧待检测区域及其对应的正常状态编码，生成当前帧待检测区域在对应正常状态下应当具有的纹理重构结果、边缘重构结果和结构重构结果。

15、所述多分支正常状态重构模型包括共享图像编码器、状态编码融合模块以及并行设置的纹理重构分支、边缘重构分支和结构重构分支。其中，共享图像编码器和状态编码融合模块由三个重构分支共同使用，三个重构分支分别具有独立的网络参数。

16、所述共享图像编码器包括依次连接的多级卷积编码单元，每级卷积编码单元包括卷积层、批归一化层和激活层，相邻卷积编码单元之间通过下采样操作逐级减小特征图的空间尺寸并增加特征通道数，从而提取预处理正常样本的多尺度图像特征，得到编码器瓶颈特征。

17、所述状态编码融合模块用于将步骤s2.2得到的状态编码与所述编码器瓶颈特征进行融合。具体地，将状态编码通过全连接层映射为状态条件向量，并将所述状态条件向量在空间维度进行扩展，形成与编码器瓶颈特征空间尺寸相同的状态条件特征图；将所述状态条件特征图与编码器瓶颈特征沿通道维度进行拼接，得到状态融合特征。

18、所述状态融合特征同时包含输入正常样本的图像信息和对应正常状态的条件信息，并分别输入纹理重构分支、边缘重构分支和结构重构分支。

19、进一步地，所述纹理重构分支、边缘重构分支和结构重构分支均包括依次连接的多级上采样卷积单元和输出层；所述多级上采样卷积单元用于逐级恢复状态融合特征的空间尺寸，所述输出层用于将恢复后的特征转换为对应分支的重构结果。三个重构分支共享所述共享图像编码器和状态编码融合模块，并分别具有独立的网络参数。

20、所述纹理重构分支以状态融合特征为输入，经过多级上采样卷积处理后输出纹理重构结果；所述纹理重构结果为与预处理正常样本空间尺寸一致的归一化彩色图像，用于表示待检测目标在对应正常状态下应当具有的颜色分布和局部表面纹理。

21、所述边缘重构分支以状态融合特征为输入，经过多级上采样卷积处理后输出边缘重构结果；所述边缘重构结果为与预处理正常样本空间尺寸一致的单通道边缘图，用于表示待检测目标在对应正常状态下应当具有的轮廓边界、局部边缘和边缘连续性。

22、所述结构重构分支以状态融合特征为输入，经过多级上采样卷积处理后输出结构重构结果；所述结构重构结果为与预处理正常样本空间尺寸一致的单通道距离变换图，用于表示待检测目标在对应正常状态下应当具有的整体轮廓、区域形状及目标内部像素相对于轮廓边界的空间关系。

23、训练时，对步骤s2.1得到的预处理正常样本施加随机矩形掩码和高斯噪声，得到扰动正常样本，将所述扰动正常样本及其对应的状态编码共同输入多分支正常状态重构模型，以未扰动正常样本、由未扰动正常样本生成的边缘图以及由目标轮廓掩膜生成的距离变换图分别作为三个分支的训练目标，从而抑制多分支正常状态重构模型对输入图像的直接复制并增强对正常结构规律的学习。

24、通过纹理重构损失、边缘重构损失和结构重构损失对三个重构分支进行联合训练，并根据总训练损失更新共享图像编码器、状态编码融合模块以及三个重构分支的网络参数，得到训练完成的多分支正常状态重构模型。

25、所述总训练损失为纹理重构损失、边缘重构损失，结构重构损失的加权和：

26、

27、其中，纹理重构损失由纹理重构分支采用的绝对误差损失与结构相似性损失联合构成，边缘重构损失由边缘重构分支采用的二值交叉熵损失与 dice 损失联合构成，结构重构损失由结构重构分支采用的绝对误差损失与 dice 损失联合构成；、和为训练阶段的固定损失系数。训练阶段的固定损失系数与在线检测阶段根据图像质量确定的动态权重相互独立。

28、所述训练完成的多分支正常状态重构模型作为步骤s2的输出，供步骤s4根据当前帧待检测区域及其对应的状态编码生成纹理重构结果、边缘重构结果和结构重构结果。

29、s3：采集工业现场图像并计算图像质量参数。

30、通过rgb摄像头连续采集工业现场待检测目标的图像帧。针对当前图像帧提取待检测区域，并执行背景抑制、位置配准、尺寸归一化以及像素归一化处理，得到标准化待检测区域。

31、基于标准化待检测区域计算图像质量参数，所述图像质量参数包括反光程度、模糊程度以及结构可见程度。

32、其中，反光程度用于表示图像区域受到高亮反光影响的程度，根据待检测区域中归一化亮度大于高亮阈值的像素比例计算；模糊程度用于表示图像边缘信息受到模糊影响的程度，根据拉普拉斯响应方差相对于清晰图像标定区间的归一化结果计算；结构可见程度用于表示目标结构轮廓的完整程度，根据当前轮廓长度与对应正常状态参考轮廓长度之比计算。和越大分别表示反光和模糊越严重，越大表示结构越完整。

33、s4：基于状态编码进行多特征重构并计算异常误差。

34、具体地，首先按照步骤s2.2中的方法提取当前待检测区域的状态编码。将当前待检测区域及对应的状态编码共同输入步骤s2建立的多分支正常状态重构模型，分别获得纹理重构结果、边缘重构结果和结构重构结果。

35、将实际纹理表征、实际边缘表征以及实际结构表征分别与对应重构结果进行逐位置比较，得到纹理误差图、边缘误差图和结构误差图，并进一步计算得到纹理误差、边缘误差和结构误差。

36、s5：基于图像质量参数动态调整特征误差权重，得到当前帧的加权特征异常分数和候选异常区域。

37、步骤s5.1、基于步骤s3计算得到的反光程度、模糊程度和结构可见程度，构建当前帧的质量退化向量：

38、，

39、其中，表示反光程度，表示模糊程度，表示结构不可见程度；

40、步骤s5.2、从正常样本库中划分正常验证样本，并基于所述正常验证样本构建质量扰动验证集。具体地，对正常验证样本分别施加多个等级的反光扰动、模糊扰动和轮廓遮挡扰动，以分别模拟工业现场中的反光、模糊和结构不可见情况。

41、将未施加质量扰动的正常验证样本以及施加不同等级质量扰动后的正常验证样本分别输入步骤s2建立的多分支正常状态重构模型，按照步骤s4所述方法计算纹理误差、边缘误差和结构误差，并统计每一种质量退化因素对每一个特征分支产生的平均相对误差增量。

42、对同一特征分支对应的三个平均相对误差增量进行归一化，得到质量—分支影响系数：

43、

44、其中为特征分支索引，分别表示纹理、边缘和结构分支，为质量退化因素索引，分别表示反光、模糊和结构不可见，表示第种质量退化因素对第个特征分支造成的平均相对误差增量，表示用于防止分母为零的预设正数，表示第种质量退化因素对第个特征分支可靠性的影响系数。

45、由各质量—分支影响系数组成质量—分支影响系数矩阵：

46、

47、步骤s5.3、基于步骤s5.1得到的当前帧的质量退化向量和步骤s5.2得到的质量—分支影响系数矩阵，分别计算纹理、边缘和结构三个分支的动态权重。

48、具体的，首先按照下式计算：

49、

50、其中，表示第个特征分支的可靠性权重，表示预设的最小可靠性权重下限，且，用于避免任一特征分支的权重降低为零；

51、对三个可靠性权重进行归一化，得到动态权重

、和:

52、

53、步骤s5.4、基于步骤s4得到的纹理误差、边缘误差、结构误差和步骤s5.3得到的动态权重，按照下式计算当前帧的加权特征异常分数：。

54、步骤s5.5、基于步骤s4得到的纹理误差图、边缘误差图和结构误差图，按照下式进行逐位置加权融合，得到综合异常热力图：

55、

56、并通过阈值分割和连通区域处理获得候选异常区域。

57、s6：对候选异常区域进行时序一致性分析，结合加权特征异常分数进行初步异常判定。

58、其中时序一致性分析为将当前帧候选异常区域与预设时间窗口内历史帧候选异常区域映射至统一坐标系，计算当前候选异常区域与历史候选异常区域之间的交并比；

59、当当前帧加权特征异常分数大于异常分数阈值，且当前帧候选异常区域在预设时间窗口内满足交并比约束条件时，将满足所述交并比约束条件的当前帧候选异常区域判定为初步异常区域；否则将对应候选异常区域判定为非持续异常响应，不进入异常标准库匹配流程。

60、s7：基于异常数据库中的异常标准库进行二次异常判定。

61、对步骤s6得到的初步异常区域进行尺寸归一化和方向校正，并采用与步骤s1中的标准异常样本相同的特征提取方式提取纹理特征、边缘特征和结构特征。

62、初步异常区域得到的纹理特征、边缘特征和结构特征分别与异常标准库中的标准异常区域进行匹配，获得纹理匹配距离、边缘匹配距离和结构匹配距离。所述纹理匹配距离采用卡方距离计算，边缘匹配距离采用1减余弦相似度计算，结构匹配距离采用经各维度方差归一化后的欧氏距离计算。对上述三类匹配距离各自进行归一化处理，得到纹理匹配差异、边缘匹配差异和结构匹配差异。使用步骤s5确定的动态权重，计算第i个标准异常区域对应的加权特征差异分数：

63、其中，表示第

i个标准异常区域对应的加权特征差异分数；表示纹理匹配差异,；表示边缘匹配差异；表示结构匹配差；

、和为步骤s5得到的动态权重。

64、取异常标准库中全部标准异常区域对应加权特征差异分数中的最小值：

65、其中，

n表示异常标准库中的标准异常区域数量。

66、当小于或等于预设差异阈值时，将当前初步异常判定为确认异常，并存入异常数据库中的确认异常图片集合；当大于预设差异阈值时，将当前初步异常存入异常疑似库，等待人工复核。

67、本发明中，“少样本”是指可用于异常参考和验证的异常样本数量有限，并非指利用每一异常类别的少量标注样本进行元学习或者模型快速适配。多分支正常状态重构模型仅使用正常样本训练；异常标准样本不参与所述模型训练，仅在二次异常判定阶段作为数量有限、来源可控的特征匹配基准。

68、本发明采用学习型正常重构与确定性原始特征匹配相结合的两阶段技术路线。第一阶段的目的在于利用仅由正常样本训练的模型定位偏离正常状态的区域；第二阶段的目的在于验证所述区域是否与有限异常标准样本具有足够的特征相似性，而非重新训练异常分类模型。由于共享编码器仅针对正常状态重构目标进行优化，其瓶颈特征并未针对异常样本间的相似性进行训练，直接使用编码器特征或者重构残差进行二次匹配还可能叠加状态选择误差和重构误差；同时，有限异常标准样本不足以支持稳定的网络微调。因此，在完成尺寸归一化和主方向校正后，本发明采用无需异常样本训练、维度较低且具有明确物理含义的纹理、边缘和结构原始特征进行二次匹配，使其分别对应第一阶段的三个重构分支，并降低异常样本数量有限条件下的过拟合和误差传播风险。

69、与现有技术相比，本发明技术方案的有益效果是：

70、本发明通过利用正常样本训练状态编码约束的纹理、边缘和结构多分支正常状态重构模型，并结合经受控质量扰动验证集标定的交叉影响动态权重、跨帧时序一致性分析以及有限异常标准样本的确定性原始特征匹配，能够在异常参考样本数量有限、正常目标状态多变及现场干扰复杂的条件下，降低正常状态变化、反光、模糊、轮廓缺失和瞬时抖动引起的误检；同时避免利用少量异常样本训练复杂异常模型造成的过拟合，以及直接复用正常编码器特征可能带来的训练分布偏置和重构误差传播，从而提高工业视觉异常检测的准确性、稳定性和可解释性。