一种支持增量学习的图片分类方法及装置与流程

1.本发明涉及一种支持增量学习的图片分类方法及装置，属于图像分类技术领域。


背景技术：

2.传统的机器学习方式多为离线学习和批量学习，离线学习和批量学习的方式不能动态学习数据特征，同时需要耗费大量内存空间存储历史数据。增量学习旨在开发一种不会停止学习，而是随着时间不断更新模型参数的算法。近年来，随着大数据的显著增长，增量学习已经成为热门方向。
3.近年来，该领域已经涌现出很多研究成果。早期的增量学习算法大部分基于前馈神经网络。parekhr等人给出了一种通过调整多层感知器神经网络(mlp)结构实现增量学习的方法。当新样本所含知识不在mlp网络已学到的知识范围内时，通过添加隐层单元的方法实现对新样本的增量学习。但是，当新样本规模较大时，通过权值调整、结构调整的方法实现增量学习将会出现困难。被动主动算法(passive aggressive learning,pa)是一种二阶算法，在学习过程中考虑预测的置信水平，即样本到当前决策边界的间距，使用该信息来辅助模型更新，pa采用更复杂的学习步长：每个样本上的学习步长与该样本被分类的置信水平。置信度加权学习(confidence
‑
weighted learning,cw)是另一种二阶算法，它是pa算法的拓展。但是算法cw总是强迫当前样本被正确分类，这个约束使得它极容易受到噪声数据的影响而产生过拟合。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足，提供一种支持增量学习的图片分类方法及装置，能够对于图片的在线分类，能够显著的提高分类准确率。
5.为达到上述目的，本发明是采用下述技术方案实现的：
6.第一方面，本发明提供了一种图片分类方法，包括：
7.选取训练集中的训练图片样本输入卷积神经网络，通过卷积神经网络选取典型图片样本；
8.通过典型图片样本更新代表性记忆内存；
9.将代表性记忆内存和增量任务的数据集进行数据增广，构建测试集；
10.将测试集中的测试图片样本输入卷积神经网络，通过卷积神经提取特征向量；
11.将所有测试图片样本的特征向量输入训练好的分类器，通过分类器增量输出图片分类结果。
12.优选的，所述通过卷积神经网络选取典型图片样本包括：卷积神经网络根据输入的训练图片样本中能够正确识别的训练图片样本输出后验概率，按照后验概率从高到低的顺序从训练图片样本中选取典型图片样本。
13.优选的，所述卷积神经网络包括：8个卷积层，每个所述卷积层使用一个3
×
3的卷积核和64个节点，在第2、4、6和8个卷积层后增加maxpooling层，每个所述maxpooling层的
池大小为2
×
2，步长为2；在最后一个maxpooling层上增加一个dropout层，dropout概率为0.5。
14.优选的，所述通过卷积神经提取特征向量包括：
15.通过卷积层对输入的测试图片样本进行卷积处理得到图像特征；
16.通过批归一化对图像特征进行归一化处理；
17.通过maxpooling层对归一化后的图像特征进行池化处理；
18.通过relu激活函数激活池化后的图像特征得到特征向量。
19.优选的，所述分类器包括正则对偶平均算法rda和软置信度加权算法scw，所述正则对偶平均算法rda用于提高流数据的特征提取能力，所述软置信度加权算法scw用于输出分类结果。
20.优选的，所述软置信度加权算法scw的优化问题的表达式如下：
[0021][0022]
其中，n(μ，σ)表示分类器的服从均值向量μ与协方差矩阵σ的高斯分布，d
kl
表示新的高斯分布n(μ
t 1
，σ
t 1
)与当前的高斯分布n(μ
t
，σ
t
)之间的散度，ι
φ
为损失函数，c表示权衡被动和侵略性的参数，(x
t
，y
t
)表示输入的特征向量；
[0023]
其封闭解为：
[0024][0025]
其中，α
t
和β
t
分别为系数，其表达式如下：
[0026][0027]
其中，其中，φ＝φ
‑1(η)；φ表示正态分布的累积函数，φ
‑1(η)为φ的反函数，反函数用于生成服从该随机分布的随机变量，η∈[0,1]。
[0028]
优选的，所述正则对偶平均算法rda的的权重更新策略的表达式如下：
[0029][0030]
其中，<g
(t)
，w>表示梯度g
(t)
对权重w的积分平均值，ψ(w)为正则项，ψ(w)＝λ‖w
‖1，λ表示学习率，h(w)为一个辅助的严格凸函数，β
(t)
为一个非负且非自减序列，t表示时间步长。
[0031]
优选的，所述分类器的训练包括：
[0032]
选取训练集中的训练图片样本输入卷积神经网络，通过卷积神经网络提取特征向量；
[0033]
分类器根据输入的训练图片样本的特征向量输出预测标签；
[0034]
判断预测标签与训练图片样本的实际标签是否一致，
[0035]
若是，则保持分类器不变，如否，则更新分类器的参数。
[0036]
第二方面，本发明提供了一种支持增量学习的图片分类装置，包括处理器及存储介质；
[0037]
所述存储介质用于存储指令；
[0038]
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
[0039]
与现有技术相比，本发明所达到的有益效果：
[0040]
本发明提供的一种支持增量学习的图片分类方法及装置，能够对图片进行在线分类，同时可以根据增量的图片进行学习，提升分类的准确率。
附图说明
[0041]
图1是本发明实施例提供的一种支持增量学习的图片分类方法的流程图。
具体实施方式
[0042]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0043]
实施例一：
[0044]
如图1所示，本发明实施例提供了一种图片分类方法，包括以下步骤：
[0045]
步骤1、选取训练集中的训练图片样本输入卷积神经网络，通过卷积神经网络选取典型图片样本。
[0046]
步骤2、通过典型图片样本更新代表性记忆内存。
[0047]
步骤3、将代表性记忆内存和增量任务的数据集进行数据增广，构建测试集。
[0048]
步骤4、将测试集中的测试图片样本输入卷积神经网络，通过卷积神经提取特征向量。
[0049]
步骤5、所有测试图片样本的特征向量输入训练好的分类器，通过分类器增量输出图片分类结果。
[0050]
以mnist手写数据集为例，mnist数据集是机器学习领域中非常经典的一个数据集，由60000个训练样本和10000个测试样本组成，每个样本都是一张28*28像素的灰度手写数字图片。本实验选择数字“0”到“9”共计10个类样本，每一类选取1000张图片作为初始训练集样本。
[0051]
通过卷积神经网络选取典型图片样本包括：
[0052]
步骤1.1、卷积神经网络根据输入的训练图片样本中能够正确识别的训练图片样本输出后验概率；
[0053]
步骤1.2、按照后验概率从高到低的顺序从训练图片样本中选取典型图片样本。
[0054]
通过卷积神经提取特征向量包括：
[0055]
步骤4.1、通过卷积层对输入的测试图片样本进行卷积处理得到图像特征；
[0056]
步骤4.2、通过批归一化对图像特征进行归一化处理；
[0057]
步骤4.3、通过maxpooling层对归一化后的图像特征进行池化处理；
[0058]
步骤4.4、通过relu激活函数激活池化后的图像特征得到特征向量。
[0059]
其中，卷积神经网络包括：8个卷积层，每个卷积层使用一个3
×
3的卷积核和64个节点，在第2、4、6和8个卷积层后增加maxpooling层，每个maxpooling层的池大小为2
×
2，步长为2；在最后一个maxpooling层上增加一个dropout层，dropout概率为0.5。
[0060]
分类器包括正则对偶平均算法rda和软置信度加权算法scw，正则对偶平均算法rda用于提高流数据的特征提取能力，软置信度加权算法scw用于输出分类结果。
[0061]
分类器包括正则对偶平均算法rda和软置信度加权算法scw，正则对偶平均算法rda用于提高流数据的特征提取能力，软置信度加权算法scw用于输出分类结果。
[0062]
软置信度加权算法scw的优化问题的表达式如下：
[0063][0064]
其中，n(μ，σ)表示分类器的服从均值向量μ与协方差矩阵σ的高斯分布，d
kl
表示新的高斯分布n(μ
t 1
，σ
t 1
)与当前的高斯分布n(μ
t
，σ
t
)之间的散度，ι
φ
为损失函数，c表示权衡被动和侵略性的参数，(x
t
，y
t
)表示输入的特征向量；
[0065]
其封闭解为：
[0066][0067]
其中，α
t
和β
t
分别为系数，其表达式如下：
[0068][0069]
其中，其中，φ＝φ
‑1(η)；φ表示正态分布的累积函数，φ
‑1(η)为φ的反函数，反函数用于生成服从该随机分布的随机变量，η∈[0,
1]。
[0070]
优选的，正则对偶平均算法rda的的权重更新策略的表达式如下：
[0071][0072]
其中，<g
(t)
，w>表示梯度g
(t)
对权重w的积分平均值，ψ(w)为正则项，ψ(w)＝λ‖w‖1，λ表示学习率，h(w)为一个辅助的严格凸函数，β
(t)
为一个非负且非自减序列，t表示时间步长。
[0073]
分类器的训练包括：
[0074]
步骤5.1、选取训练集中的训练图片样本输入卷积神经网络，通过卷积神经网络提取特征向量；
[0075]
步骤5.2、分类器根据输入的训练图片样本的特征向量输出预测标签；
[0076]
步骤5.3、判断预测标签与训练图片样本的实际标签是否一致，
[0077]
若是，则保持分类器不变，如否，则更新分类器的参数。
[0078]
本文发明相比于传统的增量学习算法：正则对偶平均算法和软置信度加权算法，在分类准确率和模型收敛速度上有了一定程度的优化，对于图片的在线分类，是一种非常实用的图片分类方法。
[0079]
实施例二：
[0080]
本发明实施例提供了一种支持增量学习的图片分类装置，包括处理器及存储介质；存储介质用于存储指令；处理器用于根据指令进行操作以执行根据实施例一任一项方法的步骤。
[0081]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0082]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。