一种神经网络图像分类器置信度校准方法及系统

1.本发明涉及计算机视觉和图像识别技术领域，特别是涉及一种神经网络图像分类器置信度校准方法及系统。


背景技术：

2.使神经网络图像分类模型能够输出一个良好校准的置信度是十分有意义的，这样在实际运行环境下，可以根据置信度对图像预测分类结果是否正确作出实时的判断，从而在复杂的现实环境中提供可靠、健壮的ai系统。目前的神经网络图像分类模型通常会输出过高的置信度，特别是对预测结果错误的样本。因此如何降低神经网络图像分类器给出的置信度预测是现代神经网络应用中需要解决的主要问题。
3.现有的置信度预测技术分为三类：softmax校准、深度集成和贝叶斯神经网络方法。贝叶斯方法基于贝叶斯网络和蒙特卡罗抽样对神经网络预测的结果进行置信度估计；深度集成方法通过对多个神经网络进行平均值计算获得预测结果和置信度估计；softmax校准方法通过对原有的神经网络softmax层输出的概率进行调整，降低置信度估计。其中，softmax校准方法包括直方图分段、roc分段、贝叶斯分段、等压回归、boosting、platt校准以及温度校准等。但是现有的置信度预测技术降低了输入神经网络模型内所有图像的置信度预测值，不能根据置信度对神经网络模型预测的结果区分正确分类和错误分类。


技术实现要素：

4.本发明的目的是提供一种神经网络图像分类器置信度校准方法及系统，以解决不能根据置信度对目标图像的预测类别区分正确分类和错误分类的问题。
5.为实现上述目的，本发明提供了如下方案：
6.一种神经网络图像分类器置信度校准方法，所述方法包括：
7.采用神经网络分类器对目标图像进行高维特征提取，并根据提取得到的高维特征对所述目标图像进行分类，得到所述目标图像的初始类别置信度；
8.计算目标特征与高维特征数据库中各第一参考特征之间的距离；所述目标特征为所述神经网络分类器对所述目标图像进行高维特征提取得到的高维特征，每一第一参考特征对应一目标样本图像，所述第一参考特征为所述神经网络分类器对所述目标样本图像进行高维特征提取得到的高维特征，所述目标样本图像为与所述目标图像类别相同且被所述神经网络分类器正确分类的图像，所述目标图像的类别根据所述初始类别置信度确定；
9.将各所述距离分别输入机器学习模块，对所述目标图像被正确分类的概率进行预测，得到多个正确分类预测概率；
10.根据所述正确分类预测概率对所述初始类别置信度进行校准，得到所述目标图像校准后的类别置信度。
11.可选地，所述根据所述正确分类预测概率对所述初始类别置信度进行校准，得到所述目标图像校准后的类别置信度，具体包括：
12.对所有所述正确分类预测概率进行平均值计算得到平均正确概率；
13.采用平均正确概率对所述初始类别置信度进行校准，得到所述目标图像校准后的类别置信度。
14.可选地，还包括：构建高维特征数据库；
15.所述构建高维特征数据库的步骤如下：
16.获取训练集中的分类正确训练样本；所述分类正确训练样本为被所述神经网络分类器正确分类的样本图像；所述训练集用于对所述神经网络分类器进行训练；
17.将各所述分类正确训练样本输入所述神经网络分类器进行高维特征提取；
18.以每一所述分类正确训练样本提取得到的高维特征作为元素构建所述高维特征数据库。
19.可选地，在所述将各所述距离分别输入机器学习模块之前，还包括：对所述机器学习模块进行训练，训练方法如下：
20.获取验证集中每一验证样本图像的高维特征；所述验证集用于对所述神经网络分类器进行验证；
21.计算每一所述验证样本图像的高维特征与每一第二参考特征之间的样本距离；所述第二参考特征为所述高维特征数据库中与所述验证样本图像类别相同的图像的高维特征；
22.根据各所述验证样本图像的预测类别以及所述验证样本图像的类别标签，判断所述验证样本图像是否被正确分类，得到每一所述样本距离的标签；所述预测类别为所述验证样本图像被所述神经网络分类器分类得到的类别；所述样本距离的标签表示所述验证样本图像是否被正确分类；
23.利用各所述样本距离以及所述样本距离的标签，对所述机器学习模块进行训练，得到训练好的机器学习模块。
24.可选地，所述目标特征为所述神经网络分类器最后一卷积层的输出特征。
25.可选地，所述采用平均正确概率对所述初始类别置信度进行校准，得到所述目标图像校准后的类别置信度，具体包括：将所述平均正确概率与所述初始类别置信度相乘，得到所述目标图像校准后的类别置信度。
26.可选地，所述利用各所述样本距离以及所述样本距离的标签，对所述机器学习模块进行训练，得到训练好的机器学习模块，具体包括：
27.利用各所述样本距离以及所述样本距离的标签，采用机器学习算法对所述机器学习模块进行训练，得到训练好的机器学习模块；所述机器学习算法为决策树或随机森林或k近邻或支持向量机或神经网络。
28.一种神经网络图像分类器置信度校准系统，所述系统包括：神经网络分类器、检测器和置信度校准模块；
29.所述神经网络分类器用于：对目标图像进行高维特征提取，并根据提取得到的高维特征对所述目标图像进行分类，得到所述目标图像的初始类别置信度；
30.所述检测器包括距离模块、机器学习模块和概率模块；
31.所述距离模块用于计算目标特征与高维特征数据库中各第一参考特征之间的距离；所述目标特征为所述神经网络分类器对所述目标图像进行高维特征提取得到的高维特
征，每一第一参考特征对应一目标样本图像，所述第一参考特征为所述神经网络分类器对所述目标样本图像进行高维特征提取得到的高维特征，所述目标样本图像为与所述目标图像类别相同且被所述神经网络分类器正确分类的图像，所述目标图像的类别根据所述初始类别置信度确定；
32.所述机器学习模块用于根据每一所述距离分别对所述目标图像被正确分类的概率进行预测，得到多个正确分类预测概率；
33.所述概率模块用于对所有所述正确分类预测概率进行平均值计算得到平均正确概率；
34.所述置信度校准模块用于采用所述平均正确概率对所述初始类别置信度进行校准，得到所述目标图像校准后的类别置信度。
35.可选地，还包括：高维特征数据库构建模块；
36.所述高维特征数据库构建模块用于：
37.获取训练集中的分类正确训练样本；所述分类正确训练样本为被所述神经网络分类器正确分类的样本图像；所述训练集用于对所述神经网络分类器进行训练；
38.将各所述分类正确训练样本输入所述神经网络分类器进行高维特征提取；
39.以每一所述分类正确训练样本提取得到的高维特征作为元素构建所述高维特征数据库。
40.可选地，还包括：机器学习模块训练模块；
41.所述机器学习模块训练模块用于：
42.获取验证集中每一验证样本图像的高维特征；所述验证集用于对所述神经网络分类器进行验证；
43.计算每一所述验证样本图像的高维特征与每一第二参考特征之间的样本距离；所述第二参考特征为所述高维特征数据库中与所述验证样本图像类别相同的图像的高维特征；
44.根据各所述验证样本图像的预测类别以及所述验证样本图像的类别标签，判断所述验证样本图像是否被正确分类，得到每一所述样本距离的标签；所述预测类别为所述验证样本图像被所述神经网络分类器分类得到的类别；所述样本距离的标签表示所述验证样本图像是否被正确分类；
45.利用各所述样本距离以及所述样本距离的标签，对所述机器学习模块进行训练，得到训练好的机器学习模块。
46.根据本发明提供的具体实施例，公开了以下技术效果：本发明提供的神经网络图像分类器置信度校准方法及系统，包括：采用神经网络分类器对目标图像进行高维特征提取，并根据提取得到的高维特征对目标图像进行分类，得到目标图像的初始类别置信度；计算目标特征与高维特征数据库中各第一参考特征之间的距离；目标特征为神经网络分类器对目标图像进行高维特征提取得到的高维特征，每一第一参考特征对应一目标样本图像，第一参考特征为神经网络分类器对目标样本图像进行高维特征提取得到的高维特征，目标样本图像为与目标图像类别相同且被神经网络分类器正确分类的图像，目标图像的类别根据初始类别置信度确定；将各距离分别输入机器学习模块，对目标图像被正确分类的概率进行预测，得到多个正确分类预测概率；根据正确分类预测概率对初始类别置信度进行校
准，得到目标图像校准后的类别置信度。本发明根据目标特征与高维特征数据库中各第一参考特征之间的距离预测得到正确分类预测概率，采用正确分类预测概率对目标图像的初始类别置信度进行校准，得到目标图像校准后的类别置信度，能够根据校准后的类别置信度很好地对目标图像的预测类别区分正确分类和错误分类。
附图说明
47.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1为本发明实施例1提供的神经网络图像分类器置信度校准方法流程示意图；
49.图2为本发明实施例2提供的神经网络图像分类器置信度校准系统结构图。
50.附图标记：
51.1-神经网络分类器；2-检测器；3-置信度校准模块；21-距离模块；22-机器学习模块；23-概率模块。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.本发明的目的是提供一种神经网络图像分类器置信度校准方法及系统，以解决不能根据置信度对目标图像的预测类别区分正确分类和错误分类的问题。
54.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
55.实施例1
56.本实施例提供了一种神经网络图像分类器置信度校准方法，参见图1和图2，所述方法包括：
57.步骤s1：采用神经网络分类器对目标图像进行高维特征提取，并根据提取得到的高维特征对所述目标图像进行分类，得到所述目标图像的初始类别置信度。
58.步骤s2：计算目标特征与高维特征数据库中各第一参考特征之间的距离；所述目标特征为所述神经网络分类器对所述目标图像进行高维特征提取得到的高维特征，每一第一参考特征对应一目标样本图像，所述第一参考特征为所述神经网络分类器对所述目标样本图像进行高维特征提取得到的高维特征，所述目标样本图像为与所述目标图像类别相同且被所述神经网络分类器正确分类的图像，所述目标图像的类别根据所述初始类别置信度确定。
59.步骤s3：将各所述距离分别输入机器学习模块，对所述目标图像被正确分类的概率进行预测，得到多个正确分类预测概率。
60.步骤s4：根据所述正确分类预测概率对所述初始类别置信度进行校准，得到所述
目标图像校准后的类别置信度。
61.其中，步骤s1具体包括：
62.将所述目标图像输入至所述神经网络分类器中，获取神经网络模型的预测类和所述目标图像的初始类别置信度，所述目标图像的初始类别置信度表示所述目标图像被神经网络分类器分类的类别正确的概率，本实施例中采用softmax层输出的概率p
nn
表示目标图像的类别置信度，即p
nn
＝f(x
*
)。
63.在本实施例中，在采用神经网络分类器对目标图像进行高维特征提取之前，还包括：对神经网络分类器进行训练，具体如下：
64.参与训练的样本图像集需划分为训练集x
(train)
和验证集x
(valid)
两部分。其中，训练集用于对神经网络分类器进行训练，验证集用于对神经网络分类器中的超参数进行优化，以及对机器学习模块进行训练。训练用于图像分类的神经网络分类器其中是l个类别的编码。神经网络分类器可将任一目标样本图像与中的某一类对应，即对目标样本图像进行分类预测，用表示神经网络分类器的预测输出，则有的预测输出，则有
65.在本实施例中，神经网络分类器结构采用卷积神经网络，训练过程采用交叉熵损失函数、adam优化器或sgd优化器，可基于pytorch等工具实现。
66.在步骤s2之前，所述方法还包括：构建高维特征数据库；
67.所述构建高维特征数据库的步骤如下：
68.获取训练集中的分类正确训练样本；所述分类正确训练样本为被所述神经网络分类器正确分类的样本图像；所述训练集用于对所述神经网络分类器进行训练；
69.将各所述分类正确训练样本输入所述神经网络分类器进行高维特征提取；
70.以每一所述分类正确训练样本提取得到的高维特征作为元素构建所述高维特征数据库。
71.例如，选取训练集中标签为l(l为目标图像对应的标签的类别)且分类正确(因此预测类也是l，即)的样本图像(分类正确训练样本)，将分类正确训练样本输入神经网络分类器进行高维特征提取，得到分类正确训练样本的高维特征向量，这些高维特征向量是神经网络分类器学习到的关于l类图像的特征，记为将每一类别的分类正确训练样本都进行高维特征提取得到其高维特征向量，采用所有分类正确训练样本的高维特征向量构建高维特征数据库。
72.步骤s2中的所述目标特征为所述神经网络分类器最后一卷积层的输出特征。根据步骤s1得到的预测类在高维特征数据库中选取第一参考特征，第一参考特征为与目标图像预测类类别相同的目标样本图像进行高维特征提取得到的高维特征，计算目标特征与每一第一参考特征的距离，具体地：
73.分别计算目标图像x
*
的目标高维特征c
*
＝g(x
*
)与高维特征数据库中关于类别l的高维特征数据c
l(train)
中每一个第一参考特征的距离，得到距离集合设
则距离则距离
74.在步骤s3将各所述距离分别输入机器学习模块之前，还包括：对所述机器学习模块进行训练，训练方法如下：
75.获取验证集中每一验证样本图像的高维特征；所述验证集用于对所述神经网络分类器进行验证；
76.计算每一所述验证样本图像的高维特征与每一第二参考特征之间的样本距离；所述第二参考特征为所述高维特征数据库中与所述验证样本图像类别相同的图像的高维特征；
77.根据各所述验证样本图像的预测类别以及所述验证样本图像的类别标签，判断所述验证样本图像是否被正确分类，得到每一所述样本距离的标签；所述预测类别为所述验证样本图像被所述神经网络分类器分类得到的类别；所述样本距离的标签表示所述验证样本图像是否被正确分类；
78.利用各所述样本距离以及所述样本距离的标签，对所述机器学习模块进行训练，得到训练好的机器学习模块。
79.在此以验证集中预测类为l的验证样本图像对机器学习模块的训练方法进行说明：
80.选取验证集中预测类为l(即)的验证样本图像提取其特征向量，构成集合将验证样本图像的预测类(用表示)与标签类(用yi表示)相比较，可以判断其预测类别是否正确：如果则验证样本图像的预测类别是正确的(即“correct”)，如果则验证样本图像的预测类别是错误的(即“incorrect”)。
81.将中的每一个高维特征向量分别与中的每一个高维特征向量计算距离向量，构成距离向量集合算距离向量，构成距离向量集合距离向量集合的样本数量为m
l
×nl
。根据每一所述样本距离对应的验证集验证图像样本的预测类别是否正确，为每个样本距离向量添加标签，当验证样本图像的预测类别是正确的，将验证样本图像对应的距离向量标记为“correct”，在训练时作为正类，用1表示，当验证样本图像的预测类别是错的，则标记为“incorrect”，作为反类，用0表示，从而获得每一样本距离的标签。
82.利用各所述样本距离以及所述样本距离的标签，采用机器学习算法对所述机器学习模块进行训练，得到训练好的机器学习模块；机器学习算法包括决策树、随机森林、k近邻、支持向量机、神经网络等，根据测试集上的准确率指标选取其中性能最优的算法。神经网络算法训练过程一般采用交叉熵损失函数、adam优化器或sgd优化器，其他机器学习算法一般基于机器学习工具sklearn实现。
83.将步骤s2中得到的各所述距离di输入至上述训练好的机器学习模块中，对所述目标图像被正确分类的概率进行预测，得到多个正确分类预测概率，记为p[ml(di)＝1]。
[0084]
在步骤s4中所述根据所述正确分类预测概率对所述初始类别置信度进行校准，得
到所述目标图像校准后的类别置信度，具体包括：
[0085]
对所有所述正确分类预测概率进行平均值计算得到平均正确概率，即得到采用平均正确概率对所述初始类别置信度进行校准，得到所述目标图像校准后的类别置信度。
[0086]
在本实施例中，将所述平均正确概率与所述目标图像的初始类别置信度相乘，得到所述目标图像校准后的类别置信度，即conf＝p
nn
×
pd。
[0087]
实施例2
[0088]
如图2所示，本实施例提供了一种神经网络图像分类器置信度校准系统，所述系统包括：神经网络分类器1、检测器2和置信度校准模块3。
[0089]
所述神经网络分类器1用于：对目标图像进行高维特征提取，并根据提取得到的高维特征对所述目标图像进行分类，得到所述目标图像的初始类别置信度。
[0090]
所述检测器2包括距离模块21、机器学习模块22和概率模块23；
[0091]
所述距离模块21用于计算目标特征与高维特征数据库中各第一参考特征之间的距离；所述目标特征为所述神经网络分类器对所述目标图像进行高维特征提取得到的高维特征，每一第一参考特征对应一目标样本图像，所述第一参考特征为所述神经网络分类器对所述目标样本图像进行高维特征提取得到的高维特征，所述目标样本图像为与所述目标图像类别相同且被所述神经网络分类器正确分类的图像，所述目标图像的类别根据所述初始类别置信度确定。
[0092]
所述机器学习模块22用于根据每一所述距离分别对所述目标图像被正确分类的概率进行预测，得到多个正确分类预测概率。
[0093]
所述概率模块23用于对所有所述正确分类预测概率进行平均值计算得到平均正确概率。
[0094]
所述置信度校准模块3用于采用所述平均正确概率对所述目标图像的初始类别置信度进行校准，得到所述目标图像校准后的类别置信度。
[0095]
所述系统还包括：高维特征数据库构建模块；
[0096]
所述高维特征数据库构建模块用于：
[0097]
获取训练集中的分类正确训练样本；所述分类正确训练样本为被所述神经网络分类器正确分类的样本图像；所述训练集用于对所述神经网络分类器进行训练；
[0098]
将各所述分类正确训练样本输入所述神经网络分类器进行高维特征提取；
[0099]
以每一所述分类正确训练样本提取得到的高维特征作为元素构建所述高维特征数据库。
[0100]
所述系统还包括：机器学习模块训练模块；
[0101]
所述机器学习模块训练模块用于：
[0102]
获取验证集中每一验证样本图像的高维特征；所述验证集用于对所述神经网络分类器进行验证；
[0103]
计算每一所述验证样本图像的高维特征与每一第二参考特征之间的样本距离；所述第二参考特征为所述高维特征数据库中与所述验证样本图像类别相同的图像的高维特征；
[0104]
根据各所述验证样本图像的预测类别以及所述验证样本图像的类别标签，判断所述验证样本图像是否被正确分类，得到每一所述样本距离的标签；所述预测类别为所述验证样本图像被所述神经网络分类器分类得到的类别；所述样本距离的标签表示所述验证样本图像是否被正确分类；
[0105]
利用各所述样本距离以及所述样本距离的标签，对所述机器学习模块进行训练，得到训练好的机器学习模块。
[0106]
本发明为神经网络分类器增加一个检测器，该检测器的构建，利用了参与神经网络分类器训练的数据样本的网络中间层信息(即高维特征)以及预测输出的正确性信息，该信息获取方便，不需要收集新的数据样本，使用训练样本的网络中间层信息反映神经网络分类器已学到的信息，使用差值向量度量两个特征向量之间的距离。检测器可以估计神经网络分类器预测输出类别正确的概率，将此概率与softmax层预测的概率(即初始类别置信度)相结合，可以有效降低误分类样本的置信度，能够根据校准后的类别置信度很好地对目标图像的预测类别区分正确分类和错误分类。
[0107]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0108]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。