一种基于增量学习与检索库动态更新的轻量迭代式人机协同标注方法及系统

本发明涉及图像数据标注领域，尤其涉及一种基于增量学习与检索库动态更新的轻量迭代式人机协同标注方法及系统。

背景技术：

1、随着人工智能技术在垂直领域中的广泛应用，高质量图像标注数据已成为视觉模型训练和落地部署的重要基础。现有图像标注工具通常支持人工标注、半自动标注和结果导出等功能，能够在一定程度上提升数据整理效率。

2、然而，在菜品识别等类别细粒度分类、数据持续增长的场景中，传统图像标注系统仍存在明显不足。首先，现有标注系统大多依赖人工逐张标注，标注成本高，标注效率低。当图像数量较大、类别数量较多或类别之间相似度较高时，人工标注工作量显著增加。

3、其次，部分半自动标注系统虽然引入预训练模型或分类模型，但模型通常是静态的。系统在使用过程中无法充分利用用户不断确认和修正的新样本，导致自动标注能力难以随着标注数据积累持续优化。

4、再次，现有基于增量学习的图像分类方法通常围绕完整分类网络展开，例如扩展分类头、重新训练分类网络、引入知识蒸馏或分类权重约束等。这类方法在标注系统中使用时，往往存在训练开销较大、在线更新不够轻量、新类别加入不够灵活等问题。

5、现有增量学习方法中，任务增量学习需要测试时提供任务标识，不适用于开放标注场景；类增量学习虽不需要任务标识、可处理新类别动态加入，但灾难性遗忘问题更为突出，如何在类增量场景下实现轻量高效的特征空间适配，是本发明所要解决的核心问题。

6、此外，传统分类网络依赖固定分类头输出类别概率。当新增类别不断出现时，需要修改分类层结构或重新训练模型，不利于图像标注系统中类别动态变化的场景。已有自动标注方法还通常缺乏对低置信度标注结果的有效控制，对人工标注样本和自动标注样本不加区分地用于模型更新，容易将错误自动标注结果直接写入系统，导致自动标注的错误样本会污染后续训练数据，形成错误的反馈循环。

7、因此，需要一种适用于图像标注系统的轻量增量自动标注方法，使系统能够在人工标注、自动标注和人工修正的循环过程中持续优化，同时避免频繁训练完整分类网络，提高标注效率和系统可持续性。

技术实现思路

1、本发明目的在于针对现有图像标注系统在动态数据场景下自动标注能力难以持续提升、完整模型增量训练成本高、新类别扩展不灵活以及错误自动标注结果容易传播的问题，提出了一种基于增量学习与检索库动态更新的轻量迭代式人机协同标注方法及系统。

2、本发明的目的是通过以下技术方案来实现的：一种基于增量学习与检索库动态更新的轻量迭代式人机协同标注方法，该方法包括如下步骤：

3、获取人工确认标注图像与未标注图像；通过预训练图像编码器对图像进行特征提取并归一化，得到归一化图像特征；

4、将归一化图像特征输入残差式特征调整器，输出为输入图像特征与特征偏移量之和作为调整后图像特征；

5、根据人工确认标注图像的调整后图像特征及其类别标签，构建类别特征集合并计算各类别中心；依据预设的检索库更新策略对各类别的特征样本集合进行筛选或重组，形成类别中心检索库；

6、对未标注图像执行与人工确认标注图像一致的特征提取与调整流程，得到待标注调整特征；计算待标注调整特征与类别中心检索库中各类别中心之间的相似度，将最大相似度对应的类别作为候选自动标注类别；当最大相似度满足预设阈值条件时写入标注结果，否则保留为待人工标注状态；

7、基于确认或修正后的样本，以三元组损失与弹性权重固化正则化损失联合训练残差式特征调整器，并依据预设的检索库更新策略重建类别中心检索库，完成一轮增量迭代更新。

8、进一步地，所述残差式特征调整器包括至少两层全连接层，残差式特征调整器为，其中表示特征调整器的可训练参数；

9、残差式特征调整器根据归一化图像特征学习得到特征偏移量：，调整后图像特征可表示为：

10、

11、其中，表示调整后图像特征，表示由残差式 mlp 特征调整器学习得到的特征偏移量。

12、进一步地，所述残差式特征调整器包括至少两层全连接层，所有全连接层的权重与偏置均初始化为零；使得训练开始前特征偏移量恒为零向量，调整后图像特征与输入归一化图像特征完全相同，调整器在初始状态下等价于恒等映射。

13、进一步地，所述类别中心检索库包括：类别标签集合、每个类别对应的样本特征集合、每个类别的类别中心特征、类别中心矩阵以及类别标签与类别中心之间的映射关系。

14、进一步地，所述预设的检索库更新策略为最近邻中心采样策略，对每一类别计算各样本的调整后图像特征与当前类别中心之间的距离，优先保留距类别中心最近的若干样本作为该类别的代表性特征集合，所述类别中心通过对同一类别下的多个调整后图像特征求均值并进行归一化得到，其中类别的类别中心通过同类样本调整后图像特征的均值计算后，进行归一化处理得到。

15、进一步地，所述候选自动标注类别的计算过程包括：

16、首先通过预训练图像编码器提取原始图像特征并进行归一化，然后将归一化图像特征输入残差式特征调整器，得到待标注调整特征，对于类别中心检索库中的任一类别，计算待标注调整特征与类别中心之间的余弦相似度：

17、

18、其中，表示未标注图像与类别的相似度，将最大相似度对应的类别作为候选自动标注类别。

19、进一步地，所述三元组损失与弹性权重固化正则化损失联合训练残差式特征调整器中，损失函数，其中，表示参数重要性约束项的权重系数，代表三元组损失，代表参数重要性约束损失；

20、三元组损失为：

21、

22、其中，表示间隔参数，表示特征距离函数；、、分别代表锚点样本，与锚点样本属于同一类别的正样本、与锚点样本属于不同类别的负样本三者经过图像编码器和残差式特征调整器处理后的特征；

23、参数重要性约束损失为：

24、

25、其中，为残差式 mlp 特征调整器在上一训练阶段的最优参数，为当前训练阶段的参数为，为第个参数的重要性系数，越大，表示第 个参数对历史标注样本或历史类别中心越重要，在后续增量训练中该参数受到的约束越强。

26、进一步地，重建所述类别中心检索库时，优先选取人工确认标注图像的调整后图像特征作为类别特征集合中的样本特征。

27、根据说明书的另一方面，还提供了一种用于实现所述方法的基于残差式特征调整器与类别中心检索库的图像增量标注系统，该系统包括：图像数据管理模块、人工标注模块、图像特征提取模块、残差式特征调整模块、类别中心检索库维护模块、自动标注模块、增量更新模块、结果导出模块和异步任务管理模块；

28、所述图像数据管理模块用于导入和管理图像数据；

29、所述人工标注模块用于接收用户对图像类别的人工标注、确认或修正；

30、所述图像特征提取模块用于通过预训练图像编码器提取归一化图像特征；

31、所述残差式特征调整模块用于通过残差式特征调整器生成调整后图像特征；

32、所述类别中心检索库维护模块用于根据人工确认样本维护类别特征集合和类别中心；

33、所述自动标注模块用于根据待标注图像的调整后图像特征与类别中心之间的相似度生成自动标注结果；

34、所述增量更新模块用于基于人工确认样本更新残差式特征调整器和类别中心检索库。

35、根据说明书的另一方面，还提供了一种基于残差式特征调整器与类别中心检索库的图像增量标注装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的一种基于残差式特征调整器与类别中心检索库的图像增量标注方法。

36、本发明的有益效果：

37、（1）降低模型更新成本。本发明无需频繁训练完整图像分类网络，而是固定或调用预训练图像编码器，仅训练轻量级残差式mlp特征调整器，显著降低增量更新的计算成本。实验采用resnet50 onnx作为编码器时，特征提取推理效率显著优于convnext和clip。

38、（2）提高新类别扩展灵活性。本发明采用类别中心检索库进行类别预测，不依赖固定分类头。新增类别只需加入人工确认样本并计算类别中心，即可参与自动标注。我们在568个类别的菜品数据集上验证了系统对大规模细粒度类别的处理能力。

39、（3）增强特征空间适应能力且保证初始性能不下降。残差结构与全零初始化的组合，保证系统在标注起步阶段直接复用预训练特征空间、性能不下降，随样本积累平滑过渡为垂直领域特征适配器，实现'起步不退化、迭代持续优化'的增量学习效果。

40、（4）减少灾难性遗忘风险。通过参数重要性约束，可限制历史重要参数发生过大变化，降低新样本增量训练对旧类别识别能力的破坏。对比实验表明，ewc正则化方法在准确率与存储开销之间取得最优平衡。

41、（5）降低错误自动标注传播风险。通过相似度阈值控制，系统仅在最大相似度满足阈值条件时写入自动标注结果，低可信样本保留给人工处理。

42、（6）形成持续优化闭环。系统将人工标注、自动标注、人工修正和增量更新结合起来，使标注系统能够随着使用过程持续优化。系统经20轮人机协同迭代后，自动标注准确率从初始基线持续提升至95.67%，实现'越标越准'的持续优化效果。