一种基于领域损失预测主动学习的玻璃缺陷检测方法与流程

1.本发明属于卷积神经网络技术领域，涉及一种基于领域损失预测主动学习的玻璃缺陷检 测方法。


背景技术：

2.玻璃对于城市化和现代工业具有重要意义，对于玻璃缺陷检测领域，每天都有大量的玻 璃缺陷检测工作，大多还是靠人工筛选。然而，人工识别玻璃缺陷成本高，效率低。专业的 玻璃缺陷检测仪器不仅价格昂贵，而且设备的占地空间大，在普通企业中不容易普及。这些 企业迫切需要一种低成本的玻璃缺陷检测方案。玻璃通常可能出现多种不同的缺陷，因此属 于对玻璃图像的识别，属于多标签分类问题。正确识别并分类这些缺陷的类别，对工厂降低 成本，提高效率具有重要意义。
3.多标签图像分类不同于单标签分类，其待分类样本可能同时属于两个或更多类别，并且 各个类别之间存在着更加复杂的关系。多标签分类算法主要分为两种：一种是问题转换方法 (problem transformation methods)；另一种是算法转换方法(algorithm adaptation methods)。 问题转换方法的基本思想是将多标签分类问题转化为简单的二分类问题，然后利用已知的方 法解决多标签问题。算法转换方法通常是将传统的单标签分类算法进行优化，从而适应多标 签分类数据集。一些经典的多标签学习算法有：基于概率模型的方法、基于决策树的方法、 基于支持向量机的方法、基于神经网络的方法、基于knn的方法。
4.主动学习是降低标注成本，提升模型效果的一种有效的方法，核心思想是通过一些启发 式策略找到相对最具有“价值”的训练样本，使得模型能够以尽可能少的标注样本达到甚至 超过预期的效果。因此可以很好的用于玻璃缺陷检测领域。主动学习的概念由simon在1974 年提出。随后，主动学习方法在许多领域中层出不穷，并进一步被归纳为生成式成员查询 (membership query synthesis)、流式主动学习方法(stream
‑
based selective sampling)和基 于未标注样本池的主动学习方法(pool
‑
based sampling)等经典的场景。相较之下，基于未 标注样本池的主动学习方法将大量未标注样本构成未标注样本池，通过设计样本筛选策略从 未标注样本池中筛选出最有“价值”的样本优先进行标注。此外，伴随着互联网的热潮以及 数据采集技术的不断提升，很多领域能够以廉价的成本获取大量的未标注数据。因此，基于 未标注样本池的主动学习方法最流行并且广泛应用于不同的领域中，在机器学习和数据挖掘 的应用中处于非常重要的地位。


技术实现要素：

5.本发明的目的在于：提供一种应用于深度卷积神经网络中，面对多标签玻璃图像分类任 务的损失预测主动学习方法，该方法通过提出一种损失预测主动学习模型，选取对分类模型 最有效的图像进行标注并用于模型训练，从而用最低标注成本使模型更好的识别出玻璃图像 存在哪些类别的缺陷，达到预期效果。
6.本发明采用的技术方案如下：
7.一种基于领域损失预测主动学习的玻璃缺陷检测方法，步骤1：输入待处理的未标记玻 璃图像，随机选取部分图像，交由专家标记，作为初始标注数据集；
8.步骤2：构建多标签分类模型与损失预测模型；
9.步骤3：利用当前标注数据集训练多标签分类模型与损失预测模型；
10.步骤4：使用损失预测模型从所有未标注玻璃样本中挑选样本，标注后加入标注数据集；
11.步骤5：重复步骤3、步骤4，直到预算耗尽或达到预期效果，得到训练好的多标签分类 模型。
12.进一步地，所述步骤2中的多标签分类模型由图像特征学习模型与图卷积神经网络模型 组成；
13.其中，多标签分类损失函数如下所示：
[0014][0015]
其中，c表示类别数，σ表示sigmoid函数，表示类别c下的预测分数；
[0016]
所述步骤2中的损失预测模型由多个损失预测模块组成，每个损失预测模块包括一个全 局平均池化层、全连接层，损失预测模块的输入为多标签分类模型中间层的特征，各损失预 测模块的特征经连接后在通过一个全连接层，与多标签分类模型中图卷积神经网络的输出进 行点积运算，得到预测损失；
[0017]
其中，预测损失的损失函数如下所示：
[0018][0019]
其中，ξ为预定义的边界；
[0020]
定义最终损失函数为：loss＝l
target
λ
·
l
loss
；其中λ为权重参数。
[0021]
进一步地，基于当前标注数据集，使用反向传播算法训练步骤2中的多标签分类模型、 损失预测模型。
[0022]
进一步地，基于步骤3得到的训练后的损失预测模型，对未标注样本池中的玻璃样本进 行损失预测并排序，取前k大的样本作为主动学习挑选出的重要样本；将其标注后，加入标 记样本集中。
[0023]
进一步地，重复步骤3、步骤4，直到预算耗尽或达到预期效果，得到训练好的多标签 图像分类模型。
[0024]
综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0025]
1.多标签玻璃图像标注复杂，对标注专家要求很高，因次样本标注成本高昂。经过本发 明实施方案在多个数据集实验测试，相同样本量下，使用本发明挑选出的样本训练的模型， 相比随机挑选样本训练模型分类准确率更高；同时，本发明用低于全部训练集50％的样本量， 就可以达到全部训练集训练模型准确率的80％以上。在主动学习领域具有显著的提升，在降 低标注成本的前提下，达到了较高的分类准确率。
[0026]
2.现有的多标签主动学习研究中，查询策略多为一次采样选择一个样本。本发明提出的 主动学习方法为批模式查询，一次查询选出一批有价值的主动学习样本，能够极大地提升主 动学习查询效率，使其适用于基于深度学习的多标签分类模型。
[0027]
3.本发明方法使多标签主动学习方法能够在多标签玻璃图像分类场景中得到实际应用， 扩展了其应用场景。
附图说明
[0028]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简 单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的 限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图 获得其他相关的附图，其中：
[0029]
图1为本发明实施例1提供的一种玻璃图像示意图；
[0030]
图2为本发明实施例1提供的一种损失预测主动学习方法流程示意图。
[0031]
具体实施方式
[0032]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发 明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于 限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在 此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0033]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发 明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没 有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0034]
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操 作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种 实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他 性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且 还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的 要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所 述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0035]
下面结合实施例对本发明的特征和性能作进一步的详细描述。
[0036]
实施例一
[0037]
参照图2所示，本发明实施例1方法，包括以下具体步骤：
[0038]
s101：从玻璃图像数据集3500张训练集中随机选取一定数量的图像，交由专家标记， 作为初始标注数据集，图像示例如图1所示：；
[0039]
s102：构建多标签分类模型与损失预测模型；其中，多标签分类模型由图像特征学习模 型与图卷积神经网络模型组成。图像特征学习模型本处使用resnet
‑
101，图卷积神经
网络模 型由2层堆叠gcn组成。所用的多标签分类损失函数如下所示：
[0040][0041]
其中，c表示类别数，σ表示sigmoid函数，表示类别c下的预测分数。
[0042]
定义损失预测模型，如参照图2所示，损失预测模型由多个损失预测模块组成，每个损 失预测模块包括一个全局池化层、全连接层，损失预测模块的输入为多标签分类模型中间层 的特征，各损失预测模块的特征经连接后再通过一个全连接层，与多标签分类模型中图卷积 神经网络的输出进行点积运算，得到预测损失。预测损失的损失函数如下所示：
[0043][0044]
其中，ξ为预定义的边界；
[0045]
定义最终联合损失函数为：loss＝l
target
λ
·
l
loss
；其中λ为权重参数，设置为0.25；
[0046]
s103：基于当前的标记数据集训练s102定义的多标签分类模型、损失预测模型，训练 30轮次；
[0047]
s104：使用损失预测模型，对未标注样本池中的样本进行损失预测并排序，取前k大 的样本作为主动学习挑选出的重要玻璃样本；将其标注后，加入标记样本集中；
[0048]
s105：重复s103、s104，直到预算耗尽或达到预期效果，得到训练好的多标签分类模 型。
[0049]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明的保护范围，任何熟悉本 领域的技术人员在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。