基于多重表示与多重子域自适应的轮胎瑕疵检测方法

1.本发明涉及人工智能迁移学习领域，尤其是涉及一种基于多重表示与多重子域自适应的轮胎瑕疵检测方法。


背景技术：

2.在轮胎的制造过程中，由于外部环境的影响，成品轮胎可能含有的瑕疵种类较多，这对轮胎应用的安全性产生了严重的影响。因此必须彻底对每条轮胎进行瑕疵检测，以保证产品质量。由于瑕疵样本的数据不平衡以及瑕疵出现的位置和概率的不确定性，目前还没有完善的自动化瑕疵检测技术。大多数工厂还主要依靠检测人员肉眼观察轮胎x光图像进行瑕疵检测。这种方法耗时且具有主观性，加之轮胎x光图像背景纹理复杂，多种类别的瑕疵混杂在背景纹理中，造成瑕疵难以用肉眼分辨等问题，给轮胎瑕疵检测带来了挑战。
3.近年来，基于计算机视觉的瑕疵检测方法由于其可靠性和客观性正在逐渐取代人工检查成为保证产品质量的主流方式。传统的基于计算机视觉的方法已经能够取得满意的结果，但是其大多需要手动进行特征提取且缺乏通用性。最近，深度学习方法由于其强大的特征提取能力被广泛应用在瑕疵检测领域。
4.但是深度学习方法是由数据驱动的，需要大量有标记数据集才能保证模型的性能，且这些方法假设训练集和测试集服从相同的分布，上述条件在实际情况下是难以保证的。在瑕疵检测中，轮胎的生产条件是复杂多变的。这种变化(领域偏移)将不可避免地导致测试数据集分布偏离训练集，造成在原有数据集(源域)上训练得到的深度学习模型在新数据上(目标域)的性能显著下降甚至失效。这时需要重新收集和标注大量的目标域样本进行模型训练。然而瑕疵在工业生产过程中出现的几率较低，在短时间内收集足够的样本是相当困难的，这严重阻碍了深度学习模型在瑕疵检测中的应用。加之轮胎x光图像具有低对比度和低亮度等不良特征，且轮胎瑕疵尺度变化大，出现的位置不固定，容易受到背景噪声的干扰，这些特征给轮胎瑕疵检测带来了困难。


技术实现要素：

5.本发明的目的在于，针对现有技术的不足，提供一种基于多重表示与多重子域自适应的轮胎瑕疵检测方法。
6.为此，本发明采用如下技术方案：
7.一种基于多重表示与多重子域自适应的轮胎瑕疵检测方法，其特征在于：所述轮胎瑕疵检测方法使用多重特征表示模块提取图像的多重表示信息，将源域和目标域数据映射到再生核希尔伯特空间中，同时考虑相同类别子域之间分布对齐和不同类别子域之间分布差异最大化，以学习更好的领域不变特征，只需要极少量的新样本即可将源域上训练得到的模型应用到目标域中，适用于解决生产环境或生产条件发生变化而引起的领域偏移问题；所述轮胎瑕疵检测方法包括模型训练和瑕疵检测；
8.所述模型训练包括以下步骤：
9.步骤s1，数据获取：使用轮胎质检x光机对每条轮胎进行扫描，得到高分辨率原始轮胎图像，将原始轮胎图像裁剪成规定尺寸的小图像作为数据集；最终得到第一型号x光机上ns张有标注的图像作为源域数据集，第二型号x光机上n
t
张无标注的图像作为目标域数据集(n
t
＜＜ns)；使用数据增强方法扩充所述源域和目标域数据集；
10.步骤s2，特征提取：将batch_size张源域图像和batch_size张目标域图像同时输入特征提取模块，所述特征提取模块采用卷积神经网络；
11.步骤s3，多重特征表示：基于步骤s2中特征提取模块所提取的源域特征和目标域特征，采用由n个子结构组成的多重特征表示模块提取图像的多重特征表示；
12.步骤s4，多重子域自适应：基于步骤s3中得到的多重特征表示，使用局部最大均值差异同时最小化相同类别子域之间的距离和最大化不同类别子域之间的距离；
13.步骤s5，瑕疵分类：将步骤s4中适配后的特征进行拼接，而后输入瑕疵检测分类器得到瑕疵检测结果；源域的分类结果与源域真实样本标签计算交叉熵损失作为网络的分类损失，目标域的分类结果作为伪标签使用；
14.步骤s6，更新参数：重复步骤s2到步骤s5，使用随机梯度下降法更新模型参数，直至达到最大迭代次数iteration；
15.步骤s7，保存模型：保存步骤s2中所得特征提取模块，步骤s3所得多重特征表示模块和步骤s5中瑕疵检测分类器的模型参数；
16.所述瑕疵检测包括以下步骤：
17.步骤z1，数据预处理：将需要进行质量检查的轮胎经过目标域轮胎x光机，而后将得到的x光图像裁剪成规定尺寸的图片；
18.步骤z2，特征提取：将z1中裁剪后的图像输入步骤s7中保存的特征提取模块中，得到单一特征表示；
19.步骤z3，多重特征表示：基于步骤z2中特征提取模块所提取的目标域特征，使用步骤s7中保存的多重特征表示模块，得到多重特征表示；
20.步骤z4，瑕疵分类：将步骤z3提取的多重特征表示拼接后输入步骤s7中保存的瑕疵检测分类器进行瑕疵分类，最终得出瑕疵检测结果。
21.在采用上述技术方案的同时，本发明还可以采用或者组合采用以下进一步的技术方案：
22.作为本发明的优选技术方案：所述规定尺寸为224
×
224；所述步骤s1中，所述源域样本优选在每个类别不少于100张，且需要标注，所述目标域样本优选在每个类别不少于20张，且无需标注；所述数据增强方法优选于随机水平翻转。
23.作为本发明的优选技术方案：所述步骤s2中，所述batch_size优选于32，所述卷积神经网络优选于resnet50并去掉最后一层全连接层，其使用在imagenet上的预训练权重作为初始化参数。
24.作为本发明的优选技术方案：所述步骤s3中，所述多重特征表示模块并行子结构个数优选于4，子结构由卷积和池化组成。
25.作为本发明的优选技术方案：所述步骤s4中，所述多重子域自适应中，其中源域的类别信息来自真实样本标签，目标域的类别信息来自步骤s5中对目标域样本分类所得的伪标签。
26.作为本发明的优选技术方案：所述步骤s5中，所述瑕疵检测分类器是单层的全连接层，其神经元个数优选于288，所述源域特征和目标域特征共享相同的分类器参数，最终以独热向量的形式输出瑕疵检测结果。
27.作为本发明的优选技术方案：所述步骤s6中，所述最大迭代次数优选于15000。
28.作为本发明的优选技术方案：所述步骤s7中需要保存所述特征提取模块的参数用于步骤z2中，保存所述多重特征表示模块用于步骤z3中，并保存所述瑕疵检测分类器模型参数用于步骤z4以得出瑕疵检测结果。
29.根据本发明的目的，本发明提供一种基于多重表示与多重子域自适应的轮胎瑕疵检测模型，其特征在于它采用上述的模型训练方法进行训练。
30.根据本发明的目的，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述模型训练步骤和瑕疵检测步骤。
31.根据本发明的目的，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述的模型训练步骤和瑕疵检测步骤。
32.本发明所提供的基于多重表示与多重子域自适应的轮胎瑕疵检测方法具有以下优点：
33.(1)采用无监督领域自适应的方法有效解决了生产条件变化而造成的领域偏移问题，只需要极少量无标注的目标域样本即可实现优异的迁移效果，极大地提高了瑕疵检测的效率；
34.(2)充分利用了源域和目标域中每个类别子域的信息进行领域自适应，不仅使领域之间相同类别的分布更加吻合，还能增大不同类别分布之间的距离，从而实现优异的迁移效果；
35.(3)为了对图像中的完备信息进行适配，本文通过提取图像中的多重特征表示，能够从多个表示同时进行源域和目标域的子域分布对齐，使得领域间的特征对齐更加准确。
附图说明
36.图1为本发明方法的主要流程图；
37.图2为本发明方法模型训练阶段的主要流程图；
38.图3为本发明方法瑕疵检测阶段的主要流程图；
39.图4为多重特征表示模块的详细结构图。
具体实施方式
40.本发明的具体实施方式，将结合附图和领域偏移发生时的轮胎瑕疵检测具体实施例进行详述。
41.具体实施例选取最常见的异物和泡两种瑕疵，加上正常样本一共3类图像进行轮胎瑕疵检测，迁移场景为不同型号x光机之间的迁移，将原始图像裁剪成224
×
224大小的图像作为数据集使用。源域样本包括两种类型的缺陷和正常样本，每个类别100张有标注样本，采样自a型号x光机。目标域样本采样自b型号x光机。其中目标域中训练集样本为每类20
张，测试集样本为每类40张。目标域上的图像均为无标签样本。先通过模型训练阶段得到用于轮胎瑕疵检测的模型，而后进行瑕疵检测阶段即可完成本具体实施例。
42.如图2所示，模型训练阶段的步骤如下：
43.步骤s1，在a型号x光机上采集轮胎x光图像，将其裁剪为224
×
224的大小。在此x光机上共收集100张正常样本图像，100张异物瑕疵样本图像和100张泡瑕疵样本图像并进行标注作为源域数据集。在另一台不同型号的x光机上采集轮胎x光图像，将其裁剪为224
×
224的大小，共收集20张正常样本图像，20张异物瑕疵样本图像和20张泡瑕疵样本图像作为目标域训练集。使用随机水平翻转的方式增强上述数据集。
44.步骤s2，取步骤s1裁剪后得到的源域样本32张和目标域样本32张，同时输入特征提取模块中，分别得到源域和目标域的单一特征表示。
45.步骤s3，基于步骤s2所得单一特征表示，采用由n个子结构组成的多重特征表示模块提取图像的多重特征表示。其中多重特征表示模块的详细结构如图4所示。
46.步骤s4，基于步骤s3所得多重特征表示，首先使用局部最大均值差异最小化相同类别子域之间的距离：
[0047][0048]
其中，xs和x
t
分别是源域样本和目标域样本，ec(
·
)是类别c的数学期望，p
(c)
和q
(c)
分别为源域类别c和目标域类别c的样本分布。表示由显著核定义的再生核希尔伯特空间，映射函数φ(
·
)表示原数据到此空间的映射，并且将核函数定义为映射的内积k(xs,x
t
)＝《φ(xs),φ(x
t
)》，《
·
,
·
》表示内积操作。接着可以导出(1)式的无偏估计：
[0049][0050]
其中和分别代表和属于类别c的权重。权重可由下式计算：
[0051][0052]
其中y
ic
是yi的第c个分量。
[0053]
使用核技巧后，可以得到(2)式的无偏估计：
[0054][0055]
其中和分别表示源域和目标域图像经过多重特征表示模块后的激活值。同时，使用局部最大均值差异最大化源域和目标域不同类别特征之间的差异：
[0056][0057]
其中1≤c1,c2≤c。由(4)和(5)可以计算得到总领域自适应损失为：
[0058][0059]
步骤s5，将步骤s4中适配后的特征进行拼接，而后输入瑕疵检测分类器得出瑕疵检测结果。利用目标域瑕疵检测分类器所得结果作为目标域样本的伪标签与源域真实样本标签进行(6)式的计算。源域的分类结果与源域真实样本标签计算交叉熵损失作为网络的分类损失，并与步骤s4中所得领域自适应损失加权求和得到网络的总损失：
[0060][0061]
其中j(
·
,
·
)代表交叉熵损失函数，代表领域自适应损失函数的无偏估计。λ是用来平衡分类损失和领域自适应损失重要性的超参数。将平衡参数λ设置为λ＝2/(1 exp(-10
×
p))-1，以抑制训练初期的模型噪声，其中p是当前迭代次数与总迭代次数的比值。
[0062]
步骤s6：重复步骤s2到步骤s5，使用随机梯度下降法更新模型参数，初始学习率为0.01，学习率衰减为0.75，动量更新为0.9。总共迭代15000次。
[0063]
步骤s7：当迭代完成后，保存特征提取模块的模型参数，多重特征表示模块参数和瑕疵检测分类器模型参数以供瑕疵检测阶段使用。
[0064]
如图3所示，瑕疵检测阶段的步骤如下：
[0065]
步骤z1：将需要进行质量检查的轮胎经过目标域x光机，将其裁剪为224
×
224大小的图像，共得到20张正常样本，20张异物瑕疵样本和20张泡瑕疵样本作为目标域测试集。
[0066]
步骤z2：将步骤z1中得到的样本输入步骤s7所得特征提取模块中，得到单一特征表示。
[0067]
步骤z3：将步骤z2中得到的特征输入步骤s7所得多重特征表示模块得到多重特征表示。
[0068]
步骤z4：将步骤z3中得到的多重特征表示拼接后输入步骤s7所得瑕疵检测分类器得到最终的瑕疵检测结果。
[0069]
结果验证：为了验证本发明所提出的基于多重表示与多重子域自适应的轮胎瑕疵检测方法的有效性，将此方法与现有领域自适应模型bnm，deep coral，dann，dan，mran和dsan进行性能比较，结果如表1所示，每种指标的最佳性能由粗体标出。可以看到本发明方法在所有评价指标中都要优于其他方法。特别是在检测精度方面，所提出的方法显著优于其他方法(超过6.18％)。本方法可以在目标域每个类别只有20张无标签样本的情况下实现高精度的轮胎瑕疵检测，很好地解决了x光机的不同而带来的领域偏移，提高了已有数据的复用性，减少了收集和标注大量新样本的成本。
[0070]
为了验证本发明所述多重子域自适应的有效性，表2中的l1表示仅最小化相同类
别子域之间的特征，l2表示仅最大化不同类别子域之间的特征。所提出的方法则同时包括了上述两个自适应目标。首先可以看到单独使用l1和l2都能取得不错的迁移效果，这是由于使用了更加细粒度的子域信息。本发明方法将两者结合实现了源域和目标域相同类别特征的聚类和不同类别特征的可分，从而大幅提升了模型性能，表明所提出方法的有效性。
[0071]
表1
[0072][0073]
表2
[0074][0075]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明的设施可借助软件加必需的通用硬件平台的方式来实现。本发明的实施例可以使用现有的处理器来实现，或者由被用于此目的或其他目的用于适当系统的专用处理器来实现，或者由硬接线系统来实现。本发明的实施例还包括非暂态计算机可读存储介质，其包括用于承载或具有存储在其上的机器可执行指令或数据结构的机器可读介质；这种机器可读介质可以是可由通用或专用计算机或具有处理器的其他机器访问的任何可用介质。举例来说，这种机器
可读介质可以包括ram、rom、eprom、eeprom、cd-rom或其他光盘存储器、磁盘存储器或其他磁存储设备，或任何其他可用于以机器可执行指令或数据结构的形式携带或存储所需的程序代码，并可被由通用或专用计算机或其它带有处理器的机器访问的介质。当信息通过网络或其他通信连接(硬接线、无线或硬接线或无线的组合)传输或提供给机器时，该连接也被视为机器可读介质。
[0076]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。