一种样本选择方法及装置与流程

本发明涉及人工智能、计算机视觉与深度学习数据工程交叉，特别涉及一种样本选择方法及装置。

背景技术：

1、深度学习在图像分类、目标检测、语义分割等计算机视觉任务中取得了显著成绩，这离不开大规模标注数据集的支撑。然而，高质量标注数据的获取仍主要依赖人工，尤其是在交通设施巡检、工业缺陷检测、医学影像分析等需要领域专业知识的计算机视觉应用场景中，人工标注不仅耗时费力，而且成本高昂，已成为制约模型实际部署的主要瓶颈。

2、为缓解标注压力，现有技术中，通常采用主动学习（active learning, al）方法，通过主动学习迭代挑选最具信息量的样本来减少标注需求。但其经典设定假设所有样本的标注成本均等，即每个样本的标注成本为一个单位，目标是用k个标注样本最大化模型性能。

技术实现思路

1、为了提高样本筛选的质量与效率，增加主动学习样本筛选技术的选择空间，本发明实施例提供了一种样本选择方法及装置。

2、第一方面，本发明实施例提供了一种样本选择方法，包括：

3、将候选样本池输入样本选择训练模型进行前向传播，得到每个样本的特征向量和类别预测概率分布；

4、根据每个样本的特征向量和类别预测概率分布，以最大化样本综合信息增益、最小化批量冗余为优化目标构建mip模型，基于预设的约束条件，求解得到候选样本集；

5、将所述候选样本集加入当前标注样本集，得到并基于更新后标注样本集，重新训练所述样本选择训练模型；

6、迭代执行上述前向传播、样本选择和模型训练过程，直至模型训练达到预设终止条件，得到训练好的样本选择模型和最终标注样本集。

7、在一个或一些可选的实施例中，所述的方法，还包括：以最大化样本综合信息增益、最小化批量冗余为优化目标，构建得到下述mip模型：

8、；

9、公式1中，{0,1}，表示mip模型的决策变量，=1表示样本i被选中作为候选样本，=0表示样本i未被选中；n表示进行mip计算的样本集的样本总数；表示样本i的代理分数；{0,1}表示mip二元变量，表示样本对(i,j)同时被选中时的冗余指示变量；

10、表示样本i与j的相似度；e表示成对相似度超过预设相似度阈值τ的样本对集合。

11、在一个或一些可选的实施例中，样本的代理分数通过下述公式计算得到：

12、，公式5；公式5中，为样本i在第m次蒙特卡洛dropout推理中的类别预测概率分布，m表示通过在前向传播中启用dropout层并重复推理的次数，m的推荐值为10；为预测边际不确定性，，公式6；公式6中，，即最大类概率与次大类概率之差。

13、在一个或一些可选的实施例中，样本间的相似度通过下述公式计算得到：

14、；公式7中，和分别表示样本i和j的特征向量，∈[0.4, 0.6]，表示预设相似度阈值，优选值为0.5；对于不同类别的样本，跨类别相似度=∞。

15、在一个或一些可选的实施例中，所述预设的约束条件，包括：

16、预算约束：

17、;

18、其中：

19、，公式8；公式8中，[0.1, 0.3]，q表示选中的样本的数量，表示所有n个样本的标注成本的算术平均值；

20、表示样本i的标注成本，，公式9；

21、公式9中，表示样本i的类别预测概率分布；

22、为样本i的类别预测香农熵，，公式10；公式10中，ε=1e-8，c为样本类别的数量；

23、，归一化到[1,5]范围；

24、∈[0.5, 0.7]，∈[0.3, 0.5]，为归一化权重系数；

25、表示样本i的真实类别标签；

26、表示样本i所属类别的先验频率，，公式11；为长尾成本项，放大尾类样本的“相对成本”，使其更优先被选中。

27、在一个或一些可选的实施例中，所述预设的约束条件，包括：基数约束：

28、，其中mip模型无可行解时自动松弛为；

29、在一个或一些可选的实施例中，所述预设的约束条件，包括：完整链接约束：

30、。

31、在一个或一些可选的实施例中，所述预设的约束条件，包括：二进制约束：

32、，。

33、在一个或一些可选的实施例中，所述预设的约束条件，包括：类别级别最小入选数量约束：

34、  ，其中， ，[1.2, 2.0]，为长尾补偿因子；该约束直接修改了mip的可行域，确保尾类样本的入选底线。

35、在一个或一些可选的实施例中，所述预设的约束条件，包括：类别级别最大入选数量约束：

36、，， ∈[0.3,0.8]，为头类抑制因子。

37、在一个或一些可选的实施例中，所述的方法，还包括：以最大化样本综合信息增益、最小化批量冗余为优化目标，构建得到下述mip模型：

38、 ，公式2;

39、公式2中，{0,1}，表示mip模型的决策变量，=1表示样本i被选中作为候选样本，=0表示样本i未被选中；n表示进行mip计算的样本集的样本总数；表示样本i的代理分数；{0,1}表示mip二元变量，表示样本对(i,j)同时被选中时的冗余指示变量；表示样本i与j的相似度；e表示成对相似度超过预设相似度阈值τ的样本对集合；为类别级别最小入选数量， ，[1.2, 2.0]，为长尾补偿因子。

40、在一个或一些可选的实施例中，所述预设的约束条件，包括：

41、预算约束：；

42、基数约束：，其中mip模型无可行解时自动松弛为；

43、完整链接约束：；

44、二进制约束：，；

45、类别级别最大入选数量约束：，， ∈[0.3, 0.8]，为头类抑制因子。

46、在一个或一些可选的实施例中，所述根据每个样本的特征向量和类别预测概率分布，以最大化样本综合信息增益、最小化批量冗余为优化目标构建mip模型，基于预设的约束条件，求解得到候选样本集，包括：

47、将所述候选样本池划分为多个样本子块；

48、针对每一样本子块，根据所述样本子块中的每个样本的特征向量和类别预测概率分布，以最大化样本综合信息增益、最小化批量冗余为优化目标构建mip模型，基于预设的约束条件，求解得到对应的候选样本子集；

49、合并所述多个样本子块对应的候选样本子集，得到所述候选样本集。

50、在一个或一些可选的实施例中，所述将所述候选样本池划分为多个样本子块，包括：

51、对所述候选样本池中每一样本，根据样本的特征向量，利用 faiss 构建向量索引并执行近似 k 近邻搜索，得到每个样本的前 k个最相似邻居及对应相似度；

52、根据每个样本的前 k个最相似邻居及对应相似度，对所述候选样本池进行聚类，得到预设聚类总数的聚类簇；

53、对于每个聚类簇，遍历聚类簇内所有样本对，计算每一样本对的两个样本之间的特征向量之间的余弦相似度之和，结合所有样本对的总数，得到聚类簇内平均相似度；

54、根据聚类簇内平均相似度，基于下述样本子块大小计算公式，得到对应样本子块的大小：

55、 ，公式3；

56、公式3中，为聚类簇内平均相似度；为基准块大小；为分块灵敏度系数，取值范围[0.3, 0.7]；为最小块大小；

57、为最大块大小；＜＜；

58、按照所述样本子块的大小将对应的聚类簇进行划分，得到对应的至少一个样本子块。

59、在一个或一些可选的实施例中，在得到所述候选样本集之后，所述方法还包括：

60、按照每一样本的标注成本，将所述候选样本集划分为预设数量的成本档，并获取每一成本档的预设最大选取比例；

61、按照样本的代理分数降序遍历所述候选样本集，对于每个样本i：

62、检查所属成本档当前已选数量是否已达对应的最大选取比例，若是则跳过；

63、否则，检查样本所属类别是否已达类别级别最大入选数量，若是则跳过；

64、否则，计算样本与已选样本集合中所有样本的最大相似度是否超过预设相似度阈值，若是则跳过；

65、否则，将样本加入所述已选样集合，并更新剩余成本预算；

66、判断总成本是否超过成本预算，若是，迭代移除标注成本与代理分数的比值最高的样本，直至总成本不大于成本预算，得到精选后的候选样本集。

67、在一个或一些可选的实施例中，所述的方法，还包括：对于每一类别的样本，若样本数量低于类别级别最小入选数量，则从剩余候选样本中按代理分数与标注成本的比值降序补充选中该类别样本，直至达到类别级别最小入选数量。

68、在一个或一些可选的实施例中，将候选样本池输入样本选择训练模型进行前向传播，得到每个样本的特征向量和类别预测概率分布，包括：

69、从原始的未标注样本池中随机筛选预设比例的未标注样本，得到所述候选样本池；

70、将所述候选样本池输入样本选择训练模型进行前向传播，得到每个样本的特征向量和类别预测概率分布。

71、在一个或一些可选的实施例中，在得到精选后的候选样本集之后，所述方法还包括：

72、对于任意样本子块，计算所述样本子块的mip模型的最优目标值与同区域的贪心批量目标值的求解类别级偏差向量；

73、根据所述类别级偏差向量，基于下述权重更新公式，计算各类别样本的采样权重：

74、，公式4；

75、公式4中，[0.01, 0.5]，为学习率（优选0.1），表示轮迭代的第k类样本的类别级偏差向量，表示轮迭代的各类别样本的采样权重，表示所有类别更新后权重的和，k′=1，…，k，…，c；

76、所述从原始的未标注样本池中随机筛选预设比例的未标注样本，得到所述候选样本池；包括：

77、基于所述各类别样本的采样权重，按所述预设比例将所述原始的未标注样本池压缩，得到所述候选样本池。

78、在一个或一些可选的实施例中，所述迭代执行上述前向传播、样本选择和模型训练过程，直至模型训练达到预设终止条件，得到训练好的样本选择模型和最终标注样本集，包括：

79、迭代执行上述前向传播、样本选择和模型训练过程，判断模型训练是否满足下述任一终止条件：

80、所述样本选择模型在预设验证集的准确率连续多轮无变化；

81、所述样本选择模型在所述更新后标注样本集中的正确分类比例超过预设分类比例阈值；

82、预设的总标注样本数预算耗尽；

83、所述候选样本集的所有样本的代理分数的均值低于预设成本分数阈值；

84、若是，输出训练好的样本选择模型和最终标注样本集。

85、在一个或一些可选的实施例中，在执行将未标注样本池输入样本选择训练模型进行前向传播，得到每个样本的特征向量和类别预测概率分布的步骤之前，还包括：

86、从未标注样本池中采集各个样本类别的多个标注样本，构建初始标注样本集；

87、基于所述初始标注样本集进行预训练，得到初始的样本选择训练模型。

88、第二方面，本发明实施例提供了一种样本选择装置，包括：

89、前向传播模块，用于将候选样本池输入样本选择训练模型进行前向传播，得到每个样本的特征向量和类别预测概率分布；

90、样本求解模块，用于根据每个样本的特征向量和类别预测概率分布，以最大化样本综合信息增益、最小化批量冗余为优化目标构建mip模型，基于预设的约束条件，求解得到候选样本集；

91、模型训练模块，用于将所述候选样本集加入当前标注样本集，得到并基于更新后标注样本集，重新训练所述样本选择训练模型；

92、迭代控制模块，用于迭代执行上述前向传播、样本选择和模型训练过程，直至模型训练达到预设终止条件，得到训练好的样本选择模型和最终标注样本集。

93、第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的样本选择方法。

94、第四方面，本发明实施例提供了一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的样本选择方法。

95、第五方面，本发明实施例提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行如第一方面所述的样本选择方法。

96、本发明实施例提供的上述技术方案的有益效果至少包括：

97、本发明实施例提供的样本选择方法，通过构建以最大化样本综合信息增益、最小化批量冗余为优化目标的mip模型，通过mip全局优化求解实现样本选择与成本约束的联合优化，克服贪心算法在非子模目标下的局部最优缺陷，确保多样性约束下的理论最优性，提高了样本选择的精度和样本选择的效率，提供了样本筛选的质量。能够适用于道路事故样本、工业罕见缺陷样本、医学稀有病灶样本等高单价、高人力成本敏感的标注场景的高精度样本数据集构建，通过多轮迭代，可以保证样本质量稳定，特别适用于长尾分布场景下的样本选择。

98、本发明实施例提供的样本选择方法，在mip模型的构建时，对于不同类别的样本i,j，将跨类别相似度设置为预设的极大值（或无穷大），以在mip最大化目标函数中使表示样本i,j同时被选中时的冗余指示变量恒等于0（即强制排除跨类冗余惩罚），确保跨类别样本不会被当作冗余样本排除。对于相同类别的样本i,j，则基于样本成对相似度计算公式计算得到。这确保了跨类别多样性约束不受同类别样本影响，这意味着不同类别的样本之间不会互相屏蔽，保证了类别覆盖的多样性。

99、本发明实施例提供的样本选择方法，在mip模型的成本约束中，引入预算约束，通过动态预算机制结合标注成本，将成本因素纳入优化，实现成本感知。在mip模型的成本约束中，通过引入融合预测熵、类别频率、长尾频率的标注成本函数对每个样本的标注成本进行量化，通过类别频率的倒数加权项，放大尾类样本的“相对成本”，使其更优先被选中，实现成本异质性，mip优化尾类样本更容易被有效筛选，从源头改善长尾场景下的样本筛选失衡问题，显著提升整体资源利用率。

100、本发明实施例提供的样本选择方法，在mip模型求解中，通过引入成对相似度惩罚项和完整链接约束，进行成对多样性惩罚，提高了mip模型求解的精确度。

101、本发明实施例提供的样本选择方法，在mip模型的成本约束中，引入类别级别采样率控制机制，通过类别级别最小入选数量约束可以控制在极端长尾场景（如某个类别频率<1%）下提供足够的尾类覆盖，确保尾类样本在每轮查询中都有足够的代表性，同时避免了过度补偿导致的头类严格本覆盖不足，而且通过类别级别最大入选数量约束可以保证头类样本不会超出数量限制，克服mip模型的np难固有属性问题，显著提升尾类样本召回率。

102、本发明实施例提供的样本选择方法，采用自组织分块策略，通过样本密度聚类和聚类簇内平均相似度，进行因果逻辑优化，根据预先设置的基准块大小、最小块大小和最大块大小，利用自适应分块的计算公式，将候选样本池划分为多个样本子块，样本子块的数量和各样本子块中的样本数量根据样本分布密度动态确定，而非固定均等划分，聚类簇内样本越相似（高聚度），样本子块大小越小（只需少量代表即可覆盖），对应的，聚类簇内样本越离散，样本子块大小越大（需要更多样本才能覆盖）。这直接解决了“固定样本块大小的聚类分块机制导致长尾簇被稀释”的技术问题，解决了固定分块在样本分布不均匀时的效率瓶颈，缩短了mip求解的时间。

103、本发明实施例提供的样本选择方法，通过采用分层贪心全局资源调配，执行分层约束贪心全局筛选，强化了“mip硬约束嵌入”与“贪心补偿”的因果逻辑，兼顾样本选择精度与运算效率。

104、本发明实施例提供的样本选择方法，在贪心筛选阶段基于类别补偿机制，有效提升了尾类样本的召回率，解决了类别不平衡带来的样本稀疏问题。

105、本发明实施例提供的样本选择方法，基于上述跨模式偏差反馈闭环机制，利用mip子块最优求解值与贪心批量目标值之间产生的类别级求解偏差，反向修正类别采样权重，并基于类别偏差聚合得到的全局平均偏差同步调整mip多样性系数以及贪心打分参数，使类别采样权重、mip多样性约束强度以及贪心筛选阈值随迭代过程动态更新，持续缩小多轮迭代过程中贪心策略与mip最优策略之间的性能差距，提高长期迭代过程的稳定性。

106、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

107、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。