一种人工智能图像识别结果的置信度评判方法与流程

1.本发明涉及针对人工智能图像识别领域，具体涉及一种人工智能图像识别结果的置信度评判方法。


背景技术：

2.从20世纪70年代起，随着第一颗陆地卫星发射成功，人们就开始利用计算机进行卫星遥感图像的解译研究。最初是利用数字图像处理软件对卫星数字图像进行几何纠正与位置配准，在此基础上采用人机交互方式从遥感图像中获取有关地学信息。这种方法的实质仍然是遥感图像目视判读，它依赖于业务人员的看图经验与水平，它在遥感图像解译方法上并没有新突破。随着人工智能和深度学习技术应用在计算机图形图像处理当中，在某些条件下，计算机图像识别水平已经达到人工识别的水平，这大大提高了遥感图像解译的效率。
3.并且遥感图像质量也存在着诸多因素的影响，比如拍摄时间、分辨率、天气等各种单个因素或多个因素的叠加影响，在不同的质量条件下，图像识别结果存在着不同的差异。
4.人工智能图像识别算法模型需要先进行训练，达到一定的指标比如85％的检测率以上，才投入实际使用。但在训练过程中，存在单个文件超大(2gb以上)，模型训练时间长(以周度为单位)、需要的算力资源多等问题。为了提高训练效率，无法将全部样本数据投入到训练中，但选取多少样本数据、什么特性的样本数据能够在提高训练效率的同时，并使得实际推理得到的指标结果可信，此问题在目前的数学及人工智能领域中没有方法解决。


技术实现要素：

5.本发明的目的是提供一种人工智能图像识别结果的置信度评判方法，通过一种科学定量的方法，在人工智能图像识别领域，训练样本和测试样本不完全的情况下，评判图像识别结果指标的可信程度即置信度的方法。通过计算得到的置信度，可以用来指导如何改进训练样本，以及明确模型需要优化的具体指标项。
6.因此本发明所采用的技术方案如下：
7.一种人工智能图像识别结果的置信度评判方法，是通过对人工智能图像识别算法模型训练的样本符合度和算法能力度两个指标，对识别结果的置信度进行评判分析，置信度的表达式为：
8.z＝1-w1*m
算法
w2*f
任务
9.其中，z为置信度；f
任务
为样本符合度；m
算法
为算法能力度；w1、w2为权重值，w1、w2取值范围均在0-1之间，w1 w2＝1，w1、w2的赋值原则是，如果哪一项指标能力度高，则该项指标权重值相应小，而另一项指标权重值相应小。
10.所述样本符合度计算方法为：
[0011][0012]
n：样本固有属性数；
[0013]
表示测试任务场景中第i个样本固有属性中具有的样本特征数；
[0014]
表示应用场景下第i个样本固有属性的样本特征数总和；
[0015]
αi：第i个样本固有属性的权重，
[0016]
所述算法能力度的计算方法为：
[0017][0018]
l：表示目标类别数；
[0019]
表示某一目标类别算法所宣称支持的子类别数；
[0020]
表示某一目标类别在应用场景下的所有子类别数。
[0021]
所述算法数据迭代时，设定算法能力度的阈值，当某子类别识别率达不到阈值时，的值为该子类别所支持的计数值减1后的值；当某子类别识别率大于或等于阈值时，的值为该子类别所支持的计数值。
[0022]
所述置信度值越高，说明算法越可靠，置信度值越低，说明算法越不可靠，需要重新选择合适的训练样本，重新训练。
[0023]
本发明的优点在于：
[0024]
1、通过本方法可以针对人工智能图像识别领域，对算法模型训练的样本条件，以及对应生成的识别结果，做定量的置信度分析，可以让使用者明确在算法的迭代训练过程中，训练样本特征的分布情况，对最终识别结果的可信程度，从而指导用户进一步优化训练样本，以及明确哪些模型指标是弱项或强项，做相应的优化。
[0025]
2、本方法在模拟测试及实际应用时，经验验证效果良好，减少人工智能图像识别模型训练对算力资源的数量要求，减少训练时间，加快模型迭代和优化。
具体实施方式
[0026]
下面通过具体实施例对本发明技术方案进行详细的描述。
[0027]
在人工智能图像识别结果的置信度评判方法中，通过对置信度的定量分析，可以让使用者明确在人工智能图像识别算法模型的迭代训练过程中，训练样本特征的分布情况对最终识别结果的可信程度，从而进一步优化训练样本，优化模型指标。
[0028]
评判结果通过置信度指标值反映，相应的置信度指标值和以下两个指标具有强相关性，分别是样本符合度和算法能力度，通过样本符合度和算法能力度计算置信度。
[0029]
1、样本符合度的计算
[0030]
样本符合度，描述了测试任务场景中样本集的各个样本固有属性具有的样本特征与应用场景下样本特征的差异，设样本符合度的指标值为f
任务
，计算公式如下：
[0031][0032]
式中:
[0033]
n：样本固有属性数；i＝1，2
…
,n；
[0034]
表示测试任务场景中第i个样本固有属性中具有的样本特征数；
[0035]
表示应用场景下第i个样本固有属性的样本特征数总和；
[0036]
αi：第i个样本固有属性的权重；αi∈[0,1]，每个αi彼此独立，权值均设置为彼此独立，权值均设置为包含包含是的子集；
[0037]
举例：如n＝5(属性是时间、天气、季节、位置、分辨率5种)；
[0038]
在测试任务场景样本集中位置属性中具有的样本特征数是2，则
[0039]
应用场景下样本集中位置属性的应用样本特征数总和是3，则
[0040]
是把第i个样本固有属性特征差异映射到[0,1)区间内。
[0041]
样本符合度指标值f
任务
的大小表征了算法模型中，训练样本的符合程度。
[0042]
2、算法能力度的计算
[0043]
算法能力度，描述了算法支持对不同目标类别(湖泊、河流、建筑、地面车辆等)的检测能力，以及对不同目标类别下子类别识别的能力，设算法能力度的指标值为m
算法
，计算公式如下：
[0044][0045]
式中：
[0046]
l：表示目标类别数；
[0047]
表示某一目标类别算法所宣称支持的子类别数；
[0048]
表示某一目标类别在应用场景下的所有子类别数；
[0049]
例如：表示在第2目标类别算法所宣称支持的子类别数为4；表示第2目标类别在应用场景下的所有子类别数为6。
[0050]
初始时按照算法描述所支持的子类别计数带入公式计算算法能力度；当有算法数据迭代时，根据迭代数据设定算法能力度阈值为a(如85％)；当某子类别目标识别率达不到
阈值时，则认为对该子类别识别率未达到需求，公式中的值为该子类别对应的计数值减1后的值，即如上例中的此时应为4-1＝3；当某子类别目标识别率大于或等于85％时，则的值保持原计数值不变，如还为
[0051]
3、置信度的计算
[0052]
置信度，描述了根据评判的样本特征分布，给出算法识别指标的可信程度。置信度与m
算法
和f
任务
有关，表达为：
[0053]
z＝1-w1*m
算法
w2*f
任务
ꢀꢀꢀ
(3)
[0054]
z的取值范围在0
–
1之间，置信度值越高，算法能力度指标越可靠，置信度值越低，其指标越不可靠，需要重新选择合适的训练样本，重新训练。
[0055]
w1、w2为权重值，w1、w2取值范围均在0-1之间，w1 w2＝1；它们的赋值原则是，如果某一项指标能力度高，则该项指标权重赋值相应小，而另一能力度相对低的指标权重赋值大。如下表1所示，应用类型指不同的算法使用场景，分为以下二种情况分别赋值：
[0056]
表1：权重取值表
[0057]