自适应分类任务阈值调整方法、装置、设备及存储介质与流程

1.本技术涉及机器学习技术领域，更具体的说，是涉及自适应分类任务阈值调整方法、装置、设备及存储介质。


背景技术：

2.在机器学习技术领域，使用完成训练的神经网络模型进行分类任务是比较常见的。神经网络(neural networks,nn)是由大量的、简单的处理单元广泛地互相连接而形成的复杂网络系统。在工业级分类任务中，如使用训练后的神经网络分类模型可以给指定的商品打上对应的属性标签。神经网络分类模型的置信度可以反映模型预测结果正确的可能性，可用于判断模型预测结果的可靠性。对此，为了提高神经网络分类模型输出的预测分类结果的准确率，需要对神经网络分类模型设置比较合适的置信度阈值，将置信度不符合置信度阈值范围的模型预测分类结果过滤掉，不输出置信度不符合置信度阈值范围的模型预测分类结果，从而提高神经网络模型输出的预测分类结果的准确度。
3.现有的分类任务置信度阈值的设置方法，需要人工的介入，由人根据神经网络分类模型在预测数据上的表现，分析模型预测输出的结果是否接近实际期望输出的结果，然后通过人工手动调整神经网络分类模型的置信度阈值。这个人工调整置信度阈值的过程比较繁琐，并且依赖于人对分类结果的观察和分析程度以及自身的经验知识来设置出一个比较合适的置信度阈值，这种方法下设定的置信度阈值可能会出现较大的误差，使模型输出的分类结果的精确度不稳定。


技术实现要素：

4.鉴于上述问题，提出了本技术以便提供自适应分类任务阈值调整方案，以自适应调整出合适的置信度阈值，从而提高神经网络分类模型的预测分类结果的准确率。具体方案如下：
5.一种自适应分类任务阈值调整方法，包括：
6.获取测试样本集及训练样本集；
7.将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度；所述神经网络分类模型由所述训练样本集训练得到；
8.基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度；
9.根据所述错误分类结果的置信度，调整所述神经网络分类模型的置信度阈值。
10.可选的，基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度，包括：
11.判断所述测试样本集中每一测试样本对应的预测分类结果是否与所述测试样本的标签一致，若不一致，则将所述测试样本对应的预测分类结果确定为错误分类结果；
12.获取所述测试样本对应的预测分类结果的置信度，得到所述错误分类结果的置信度。
13.可选的，根据所述错误分类结果的置信度，调整所述神经网络分类模型的置信度阈值，包括：
14.根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标，所述置信度指标用于衡量所述错误分类结果的置信度整体水平；
15.将所述错误分类结果的置信度指标作为置信度阈值，对所述神经网络分类模型进行更新。
16.可选的，根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标，包括：
17.统计所述错误分类结果的个数；
18.计算所述错误分类结果的置信度之和；
19.将所述置信度之和除以所述错误分类结果的个数，得到置信度平均值；
20.将所述置信度平均值作为所述错误分类结果的置信度指标。
21.可选的，所述获取测试样本集及训练样本集，包括：
22.获取样本数据；
23.将所述样本数据按照比例划分为训练样本集、测试样本集。
24.一种自适应分类任务阈值调整装置，包括：
25.数据获取单元，用于获取测试样本集及训练样本集；
26.预测分类结果获取单元，用于将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度；所述神经网络分类模型由所述训练样本集训练得到；
27.错误分类结果获取单元，用于基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度；
28.置信度阈值确定单元，用于根据所述错误分类结果的置信度，调整所述神经网分类络模型的置信度阈值。
29.可选的，所述错误分类结果获取单元包括：
30.判断单元，用于判断所述测试样本集中每一测试样本对应的预测分类结果是否与所述测试样本的标签一致，若不一致，则将所述测试样本对应的预测分类结果确定为错误分类结果；
31.错误分类结果置信度确定单元，用于获取所述测试样本对应的预测分类结果的置信度，得到所述错误分类结果的置信度。
32.可选的，所述置信度阈值确定单元包括：
33.置信度指标确定单元，用于根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标，所述置信度指标用于衡量所述错误分类结果的置信度整体水平；
34.置信度阈值更新单元，用于将所述错误分类结果的置信度指标作为置信度阈值，对所述神经网络分类模型进行更新。
35.一种自适应分类任务阈值调整设备，包括：存储器和处理器；
36.所述存储器，用于存储程序；
37.所述处理器，用于执行所述程序，实现如上述自适应分类任务阈值调整方法的各个步骤。
38.一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述自适应分类任务阈值调整方法的各个步骤。
39.借由上述技术方案，本技术根据测试样本集数据分布与训练样本集数据分布具有相似性的特点，利用测试样本集对训练后的神经网络模型进行置信度阈值的调整，首先获取测试样本集，将所述测试样本集输入到训练后的神经网络分类模型，从而得到神经网络分类模型输出的预测分类结果以及所述预测分类结果对应的置信度，进一步地，基于所述预测分类结果与测试样本标签可以确定出错误分类结果及其置信度，通过对该错误分类结果的置信度的分析，无需通过人工介入，不依赖人的观测和分析，从而调整该神经网络模型的置信度阈值，得到一个合适的置信度阈值来提高神经网络模型预测结果的可靠性。
附图说明
40.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
41.图1为本技术实施例提供的自适应分类任务阈值调整方法的一流程示意图；
42.图2为本技术实施例提供的一种自适应分类任务阈值调整装置结构示意图；
43.图3为本技术实施例提供的自适应分类任务阈值调整设备的结构示意图。
具体实施方式
44.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.本技术提供了一种自适应分类任务阈值调整方案，可以适用于解决各类神经网络分类模型的置信度阈值调整任务，例如激活函数为sigmoid的二分类模型、激活函数为softmax的多分类模型等。
46.接下来，结合图1所述，本技术的自适应分类任务阈值调整方法可以包括如下步骤：
47.步骤s100，获取测试样本集及训练样本集。
48.具体地，训练样本可以为已知类别的样本，训练样本可用于多次训练一神经网络分类模型。训练样本的选择可以直接关系神经网络分类模型的精度，是神经网络分类模型的关键。因此，训练样本集的数据集合需要大量的历史记录的数据，训练样本集越大，训练出来的神经网络分类模型越可靠。另外，测试样本集可用于验证训练后的神经网络分类模型的性能，可以在测试样本集上执行神经网络分类模型，生成预测结果，进一步地根据预测结果计算评估指标，评估分类模型的性能。
49.步骤s110，将测试样本集输入神经网络分类模型，得到预测分类结果及其置信度。
50.具体地，可以将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度，可以理解的是的，所述神经网络分类模型可以由所述训练样本集训练得到。在本技术实施例中，本技术的自适应分类任务阈值调整方法利用测试样本集上的数据分布和实际预测时的待预测集上的数据分布的相似性，通过神经网络分类模型在测试样本集上的预测结果来计算实际预测时的置信度阈值。
51.步骤s120，基于预测分类结果及测试样本标签，确定错误分类结果及其置信度。
52.具体地，基于上述步骤s110得到的预测分类结果，与测试样本标签可以确定错误分类结果以及错误分类结果的置信度。预测分类结果可以为一个集合，在这个预测分类结果集合中，有的分类结果可能错误的，可以将每一测试样本标签与每一预测分类结果进行对比，确定神经网络分类模型输出的分类结果是否正确，从而确定出错误分类的集合。
53.测试样本标签可以为测试样本集中标注的分类标签，可以用于区分每个测试样本的不同类别。在神经网络分类模型的推理过程中，模型输出的分类结果的分类正确率与模型预测结果的置信度成正相关关系。
54.步骤s130，根据错误分类结果的置信度，调整神经网络分类模型的置信度阈值。
55.具体地，可以根据错误分类结果的置信度，调整神经网络分类模型的置信度阈值，从而提升神经网络分类模型输出结果的正确率。对于每一个样本，神经网络分类模型所输出的分类结果的置信度越高，则可以代表该分类结果越可信。本技术实施例中，因为考虑到通过错误分类结果的置信度设置分类模型的置信度阈值，可以过滤掉大部分错误的分类结果，本技术可以通过错误分类结果的置信度调整神经网络分类模型置信度阈值。
56.借由上述技术方案，本技术根据测试样本集数据分布与训练样本集数据分布具有相似性的特点，利用测试样本集对训练后的神经网络模型进行置信度阈值的调整，首先获取测试样本集，将所述测试样本集输入到训练后的神经网络分类模型，从而得到神经网络分类模型输出的预测分类结果以及所述预测分类结果对应的置信度，进一步地，基于所述预测分类结果与测试样本标签可以确定出错误分类结果及其置信度，通过对该错误分类结果的置信度的分析，无需通过人工介入，不依赖人的观测和分析，从而调整该神经网络模型的置信度阈值，得到一个合适的置信度阈值来提高神经网络模型预测结果的可靠性。
57.在本技术的一些实施例中，对于获取的测试样本集及训练样本集需要在数据分布相同的样本数据中获取，具体地，可以获取来自同一记录集中的历史数据作为样本数据，进一步地将所述样本数据集按照一定的比较划分为训练样本集、测试样本集。通常可以将样本数据的2/3作为训练样本集，剩余的部分作为测试样本集，当然，划分的比例还可以按照实际需要调整。
58.在本技术的一些实施例中，对上述步骤s120基于预测分类结果及测试样本标签，确定错误分类结果及其置信度的过程进行详细介绍。该过程可以包括以下步骤：
59.s1，判断所述测试样本集中每一测试样本对应的预测分类结果是否与所述测试样本的标签一致，若不一致，则将所述测试样本对应的预测分类结果确定为错误分类结果。
60.具体地，利用神经网络分类模型在测试样本集a上做分类任务，可以得到测试样本集a中每一测试样本i对应的预测分类结果每一测试样本i的预测分类结果可以通过函数argmax求取，可以表示为其中f代表神经网络分类模型，可以是激
活函数为softmax的多分类模型，也可以是激活函数为sigmoid的二分类模型。
61.判断测试样本集a中每一测试样本i对应的预测分类结果与测试样本i的标签是否一致，如果不一致，则将所述测试样本i对应的预测分类结果确定为错误分类结果，从而得到一组错误分类集合s，可以用表示任一错误分类结果。
62.s2，获取所述测试样本对应的预测分类结果的置信度，得到所述错误分类结果的置信度。
63.具体地，在上述步骤s1中可以确定一组错误分类集合s，进一步地可以分别获取错误分类集合s中每一错误分类结果的置信度。在本技术实施例中，可以用表示错误分类的测试样本i的置信度。
64.在本技术的一些实施例中，可以对上述步骤s130根据错误分类结果的置信度，调整神经网络分类模型的置信度阈值的过程进行详细介绍，该过程可以包括以下步骤：
65.s1，根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标。
66.具体地，可以根据错误分类集合s的分类结果的个数以及每一个错误分类结果的置信度确定置信度指标，该置信度指标可以用于衡量错误分类结果的置信度整体水平。置信度指标可以是各个错误分类结果置信度的平均值，也可以是各个错误分类结果置信度的方差等，在本技术实施例中，以错误分类的置信度平均值作为置信度指标进行举例说明。首先统计错误分类结果的个数，可以用n表示，计算这n个错误分类结果的置信度之和，进步一地用置信度之和除以错误分类结果的个数n，可以得到置信度平均值，可以将该置信度平均值作为错误分类结果的置信度指标。置信度指标的公式可以表示为
[0067][0068]
其中，t可以表示置信度指标，可以表示每一个错误分类结果的置信度，n可以表示错误分类结果的个数。可以表示错误分类集合s中所有错误分类结果的置信度之和。
[0069]
s2，将所述错误分类结果的置信度指标作为置信度阈值，对所述神经网络分类模型进行更新。
[0070]
具体地，在上述步骤s1可以得到置信度指标，可以将该置信度指标作为置信度阈值，进一步地对神经网络分类模型进行参数更新。从而可以得到一个合适置信度阈值的神经网络分类模型，可以为后续的预测过程提供一个可靠的神经网络分类模型。
[0071]
下面对本技术实施例提供的自适应分类任务阈值调整装置进行描述，下文描述的自适应分类任务阈值调整装置与上文描述的自适应分类任务阈值调整方法可相互对应参照。
[0072]
参见图2，图2为本技术实施例公开的一种自适应分类任务阈值调整装置结构示意图。
[0073]
如图2所示，该装置可以包括：
[0074]
数据获取单元11，用于获取测试样本集及训练样本集；
memory)等，例如至少一个磁盘存储器；
[0096]
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
[0097]
获取测试样本集及训练样本集；
[0098]
将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度；所述神经网络分类模型由所述训练样本集训练得到；
[0099]
基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度；
[0100]
根据所述错误分类结果的置信度，调整所述神经网分类络模型的置信度阈值。
[0101]
可选的，所述程序的细化功能和扩展功能可参照上文描述。
[0102]
本技术实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
[0103]
获取测试样本集及训练样本集；
[0104]
将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度；所述神经网络分类模型由所述训练样本集训练得到；
[0105]
基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度；
[0106]
根据所述错误分类结果的置信度，调整所述神经网分类络模型的置信度阈值。
[0107]
可选的，所述程序的细化功能和扩展功能可参照上文描述。
[0108]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0109]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
[0110]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。