一种改进型Top-k损失函数分步训练的图像分类算法

一种改进型top-k损失函数分步训练的图像分类算法
技术领域
1.本发明属于图像分类领域，尤其涉及一种基于深度学习的改进型top-k损失函数分步训练的图像分类系统。


背景技术：

2.在日常生活的各个领域，图像分类发挥着日益重要的作用，图像分类(image classification)技术应运而生。为进一步实现图像的正确分类，给定一组各自被标记为单一类别的图像，我们对一组新的测试图像的类别进行预测，并测量预测的准确性结果成为研究重点。传统的图像分类算法提取手工设计的特征，而手工设计的特征具有较大的局限性且难于设计，因此仍无法胜任一些复杂的任务，如k邻算法(knn)、支持向量机(svm)等算法，设计往往难度较高，特征提取及分类器算法的组合繁琐，难以实现很高的分类准确率。
3.近年来深度学习不断被应用于图像分类系统中。目前，深度学习方法在实际应用方面取得了很多突破性的成绩，逐渐成为了人工智能的重要工具。卷积神经网络是深度学习算法的一种，深度特征相比较于传统的手工设计的特征，优点在于不需要人工进行复杂而耗时的特征提取算法设计,只需要设计有效的神经网络模型，而且分类准确度高。但是深度神经网络往往无法在不修改网络结构的条件下突破准确率限制，需要一种改进算法有效提高准确率。


技术实现要素：

4.本发明的目的是提供一种用于图像分类的改进top-k多损失函数的分步训练算法，相比传统方法，能够相比原来损失函数实现更高的分类准确度，使用深度学习方法同时省去人工提取特征和人为选择分类器的步骤，克服了传统方法中特征提取和分类困难的问题。
5.本发明提出的解决方法是采用一种用于图像分类的改进top-k多损失函数的分步训练算法实现更高分类正确率，包括：图像数据预处理模块；深度学习特征提取模块和系统预测输出模块。
6.图像数据的预处理模块将图像数据用一个三维张量表示。图像数据预处理模块的功能包括：摒弃无关的输入数据,可以减少负面的影响，通常由改变原图像的明亮度、改变原图片的对比度、对图像进行中心修剪、改变色彩的函数、去噪预处理等组成。预处理图像数据，使其转换为图像目标分类模块能接受的输入形式，在训练模式下需要标记图像目标数据类别，选择机器学习方法所需的数据集。
7.训练模式下图像数据预处理的工作方法为：对三通道图像，改变原图像的明亮度、改变原图片的对比度、对图像进行中心修剪、改变色彩的函数、去噪预处理，做统一上采样、中心裁切、旋转等预处理，扩充数据量。训练模型中，可以更新卷积神经网络的参数，得到能对指定数据集进行准确分类的cnn网络。
8.测试模式下图像目标数据预处理的工作方法为：对三通道图像，改变原图像的明
亮度、改变原图片的对比度、改变色彩的函数、去噪预处理，做统一上采样，不做数据扩充处理。统一上采样到某一固定分辨率，以下种实施例中上采样后得到图像分辨率为224*224像素。得到最后分类效果。
9.图像目标分类模块包括深度学习特征提取模块及损失函数分步训练模块，训练网络时使用监督学习算法。cnn网络特征提取模块及分类器模块，top-k损失函数是对交叉熵损失函数的改进，训练具有较低top-2错误的模型比改进top-1正确分类更简单，并且只要前两个预测类别包含真实标签，就可以有效地提高模型结构的容错性。通过联合训练策略的基础分类器用于我们提出的集成学习，并使用该训练策略分别训练多个cnn模型。在第一步中，我们使用交叉熵损失函数训练cnn网络，该函数由imagenet预训练模型初始化，并针对数据集进行微调。我们知道，交叉熵损失函数是为了优化top-1损失而创建的损失函数，并且通过交叉熵损失函数对模型进行训练，以获得具有更高top-1正确率的网络。在第二步中，我们使用为前k个正确标签创建的top-k损失函数进行微调，并使用在第一步中训练的模型作为top-k损失函数训练的初始权重，以在top-1正确率和更高top-2正确率不变的情况下获得优化网络，该模型提高了识别能力。该网络由两个并行的损失函数共同训练，形成一个统一的网络。
10.系统输出模块对分类器的输出进行处理后输出判定结果。
11.本发明公开的一种改进型top-k损失函数分步训练的图像分类算法，相较传统交叉熵损失函数，能够实现更高的top-1和top-2分类准确度，同时降低了人工计算的复杂度。在改变模型架构的基础上，本发明比交叉熵损失函数提高了top-1和top-2准确率。相比传统训练方法，提出的改进型top-k损失函数分步训练的图像分类算法具有更好的鲁棒性，在cifar-10数据集上具有更优的性能。
附图说明
12.图1为使用深度学习的图像分类算法流程图；
13.图2使用两种损失函数进行分步训练实现图像分类的流程图；
14.图3为为传统训练方法和提出的top-k损失函数分步训练准确率效果对比图；
具体实施方式
15.下面参照附图对本发明作进一步详细描述。
16.首先进行数据集的选取，我们选择的数据集是cifar-10图像分类数据集，cifar-10数据集是广泛用于图像分类的基准数据集。该数据集包含60000张图像，分为10类(飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车)，分为50000张用于训练的图像和10000张用于测试的图像，大小均为32x 32像素。数据集详细信息如下表所示：表1 cifar-10数据集信息表数据集训练集验证集测试集类别cifar-105000001000010
17.深度学习模型的选择，我们选取的进行测试的深度学习模型分类器有：
18.inception-v3，inception-v3具有强大的图像特征抽取和分类性能，是一种广泛使用的图像识别模型。它由对称和非对称构建块组成，包括卷积、平均池化、最大池化、辍学
和全连接层。批量归一化在整个模型中广泛使用，并应用于激活输入。。
19.dpn92，dpn模型中用high order rnn结构(hornn)将densenet和resnet联系到了一起，证明了densenet能从靠前的层级中提取到新的特征，而resnet本质上是对之前层级中已提取特征的复用。通过把这两种结构的优点结合到一起，dpn网络可以有效提升分类效率。
20.resnet，resnet使用恒等映射将前一层的输出直接传到后层，增加了网络的深度的同时，并且误差不会增加，更深的网络不会带来训练集上误差的上升，解决了梯度消失问题。
21.训练模型，使用下表所示环境训练数据集。表2实验环境表表2实验环境表
22.模型训练参数如下表所示，根据模型参数量适当调整batchsize减少显卡占用显存和模型训练时间。表3模型初始化参数表参数值学习率0.1学习率衰减0.1动量0.9批大小32/24训练轮次200
23.训练过程中，使用我们提出的一种改进型top-k损失函数分步训练的图像分类算法，如图2所示，训练具有较低top-2错误的模型比改进top-1正确分类更简单，并且只要前两个预测类别包含真实标签，就可以有效地提高模型结构的容错性。通过联合训练策略的基础分类器用于我们提出的集成学习，并使用该训练策略分别训练多个cnn模型。在第一步中，我们使用交叉熵损失函数训练cnn网络，该函数由imagenet预训练模型初始化，并针对数据集进行微调。我们知道，交叉熵损失函数是为了优化top-1损失而创建的损失函数，并且通过交叉熵损失函数对模型进行训练，以获得具有更高top-1正确率的网络。在第二步中，我们使用为前k个正确标签创建的top-k损失函数进行微调，并使用在第一步中训练的模型作为top-k损失函数训练的初始权重，以在top-1正确率和更高top-2正确率不变的情况下获得优化网络，该模型提高了识别能力。然而，由于标签的模糊性，特征的不确定性，没
有办法真正识别，除了提高特征提取的效率，预测的标签隐藏在top-1到top-k之间，改进的top-2分类正确率进一步提高我们将提取top-2标签以便有效使用，该网络由两个并行的损失函数共同训练，形成一个统一的网络。
24.测试模型，经过训练模型，得到resnet、dpn92、inception-v3三个深度学习模型的测试结果，使用传统交叉熵损失函数效果如下表所示：表3使用损失函数在cifar-10数据集上分类结果方法准确率resnet1896.50dpn9297.56incption-v397.19
25.测试模型，经过训练模型，得到resnet、dpn92、inception-v3三个深度学习模型的测试结果，使用我们提出的top-k损失函数分步训练如下表所示：表4在cifar-10数据集的inception-v3、dpn92和resnet18模型上使用不同损失函数对分类结果进行比较。
26.本文提出了一种改进型top-k损失函数分步训练的图像分类算法，在保证top-1精度的同时，试图减少模型的top-2泛化误差，并通过约束top-k损失值来强调模型多个输出值的重要性和top-k损失的重要性，进一步提高分类性能。在cifar-10数据集上对这两种损失功能进行了对比实验。使用top-k损失函数后的基础分类器不仅在top-1精度和top-2精度方面优于使用交叉熵损失函数。可以看出，应用top-k损失函数后，模型的分类性能得到了改善。特别是，在应用top-k损失函数后，在cifar-10数据集上，模型的top-1精度提高了约0.03％-0.2％，top-2精度提高了约0.2％-0.6％，附图3显示了cifar-10数据集上top-k损失函数的稳定性。
27.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。