一种基于多智能体协同的长尾识别自适应数据治理方法

本发明涉及计算机视觉识别，具体涉及一种基于多智能体协同的长尾识别自适应数据治理方法。

背景技术：

1、现实世界中的视觉数据普遍呈现长尾分布特征，即少数头部类拥有大量样本，而绝大多数尾部类仅包含极少量样本。这种数据不平衡性会导致深度学习模型严重偏向头部类，对尾部类的识别精度急剧下降，严重制约了模型在实际场景中的部署应用。

2、传统长尾识别方法主要分为三类：一是重加权方法，通过给尾部类样本分配更高的损失权重来平衡梯度贡献；二是重采样方法，通过过采样尾部类或欠采样头部类来调整训练数据分布；三是模型结构调整方法，通过设计专用的网络模块来增强尾部类的特征表示能力。然而，这些方法普遍依赖人工设计，泛化性较差，且难以从根本上解决尾部类数据不足的问题。

3、近年来，基于生成模型的数据增强方法成为长尾识别的研究热点，通过扩散模型、gan 等生成合成样本补充尾部类数据。例如，difflt 利用类平衡扩散模型为尾部类生成样本，gif 通过 stable diffusion 丰富有限数据集。但这类方法存在两个核心缺陷：

4、1.合成数据质量不一致：生成样本的质量参差不齐，大量低质量样本不仅无法提升模型性能，反而会引入噪声干扰训练。

5、2.合成-真实数据分布偏移：生成过程中的固有随机性导致合成数据与真实数据存在明显的域差距，混合训练后会改变每个类的真实数据分布，进一步加剧模型的分类偏差。

6、随着大语言模型（llm）的发展，部分研究尝试利用 llm 辅助长尾识别，如 llm-autoda 通过 llm 自动学习数据增强策略，ltgc 利用 llm 生成图像描述并生成外部样本。但现有 llm 驱动的方法仍存在不足：增强策略多为固定设计，无法根据分类器的实时训练状态动态调整；未显式建模合成与真实数据之间的域偏移，导致数据增强效率低下；仍需依赖大规模合成数据，训练成本高昂。

技术实现思路

1、本发明为了克服以上技术的不足，提供了一种同时解决合成数据质量问题和分布偏移问题，实现高效、精准的长尾识别的方法。

2、本发明克服其技术问题所采用的技术方案是：

3、一种基于多智能体协同的长尾识别自适应数据治理方法，包括：

4、s1.建立真实训练集和待筛选合成样本集；

5、s2.利用真实训练集和待筛选合成样本集得到真实样本特征集、类别的真实样本特征矩阵及待筛选合成样本特征集；

6、s3.利用类别的真实样本特征矩阵及待筛选合成样本特征集计算得到合成样本特征集中第个合成样本的纯度分数；

7、s4.计算第个合成样本的纯度分数的惩罚后纯度基础分；

8、s5.利用惩罚后纯度基础分计算第个合成样本的质量感知拓扑度量，按质量感知拓扑度量对待筛选合成样本集进行过滤，得到平衡复合数据集；

9、s6.利用平衡复合数据集得到通过校验的类感知最终增强策略；

10、s7.构建沙盒网络，将第个合成样本及使用类感知最终增强策略变换后的合成图像输入到沙盒网络中，输出得到基准特征组、增强特征组；

11、s8.利用基准特征组、增强特征组得到沙盒损失，利用沙盒损失构建总损失，通过总损失训练模型。

12、进一步的，步骤s1中真实训练集为cifar10-lt数据集或cifar100-lt数据集或imagenet-lt数据集；将cifar10-lt数据集输入到扩散模型中，将cifar10-lt数据集10个类别的每个类别分别生成100000张合成图像，将cifar100-lt数据集输入到扩散模型中，将cifar100-lt数据集100个类别的每个类别分别生成10000张合成图像，将imagenet-lt数据集输入到扩散模型中，将imagenet-lt数据集每个类别分别生成5000张合成图像，所有cifar10-lt数据集生成的合成图像、所有cifar100-lt数据集生成的合成图像、所有imagenet-lt数据集生成的合成图像构成待筛选合成样本集。

13、进一步的，上述扩散模型为预训练的edm模型。

14、进一步的，步骤s2包括如下步骤：

15、s2-1.将真实训练集中第张图像调整分辨率至224×224，将调整分辨率后的第张图像中的像素值归一化，使用torch.transform中的normalize函数将归一化后的第张图像转化为标准化张量，将标准化张量输入到clip视觉编码器中，得到第张图像的真实样本特征，所有真实样本特征构成真实样本特征集；

16、s2-2.构建类别的真实样本特征矩阵，，其中，为实数空间，为真实样本特征集中类别为的真实样本特征的数量，，为真实训练集中类别的数量；

17、s2-3.将待筛选合成样本集中第张合成图像调整分辨率至224×224，将调整分辨率后的第张合成图像中的像素值归一化，使用torch.transform中的normalize函数将归一化后的第张合成图像转化为标准化张量，将标准化张量输入到clip视觉编码器中，得到第张合成图像的待筛选合成样本特征，所有待筛选合成样本特征构成待筛选合成样本特征集。

18、进一步的，步骤s3包括如下步骤：

19、s3-1.对真实样本特征矩阵使用pytorch中的torch.mean函数得到类别为的均值向量，；

20、s3-2.对真实样本特征矩阵使用pytorch中的torch.cov函数得到类别为的协方差矩阵，；

21、s3-3.对协方差矩阵使用pytorch中的 torch.linalg.inv函数得到类别为的协方差矩阵的逆；

22、s3-4.通过公式计算得到第张合成图像的流形马氏距离，式中，为转置；

23、s3-5.对类别为的所有合成图像的流形马氏距离执行min-max归一化操作，得到第个合成样本的纯度分数。

24、进一步的，步骤s4包括如下步骤：

25、s4-1.将待筛选合成样本集按其所有个类别中每个类别合成图像的数量进行降序排序，选择前个类别作为头部类，，为向下取整，选择后个类别作为尾部类，；

26、s4-2.使用torch.nn.functional.cosine_similarity函数计算得到头部类中第个类别中所有合成图像的待筛选合成样本特征的均值向量，；

27、s4-3.通过公式计算得到排斥惩罚值，式中，为求l2范数；

28、s4-4.通过公式计算得到指数衰减系数，式中，为可调超参数；

29、s4-5.通过公式计算得到惩罚后纯度基础分。

30、进一步的，步骤s5包括如下步骤：

31、s5-1.将第张合成图像依次输入到resnet-32模型、softmax激活函数中，输出得到类别概率分布，对类别概率分布使用torch.sum函数得到第张合成图像的预测熵；

32、s5-2.通过公式计算得到第个合成样本的质量感知拓扑度量，式中为可调超参数；

33、s5-3.将待筛选合成样本集中所有合成图像的质量感知拓扑度量按照从高到低的顺序排序后在个类别中对每个类别保留最高的top-k个质量感知拓扑度量对应的合成图像，得到高质量合成样本集，将高质量合成样本集与真实训练集拼接得到平衡复合数据集。

34、进一步的，步骤s6包括如下步骤：

35、s6-1.将平衡复合数据集输入到resnet-32模型，输出得到指标序列，将resnet-32模型训练50个epoch，第个epoch输出训练指标序列，；

36、s6-2.将第40个epoch至第50个epoch输出训练指标序列-输入到qwen2.5-7b-instruct模型中，输出得到平衡复合数据集中第个类别的状态标签，，为healthy learning、overfitting、stagnation、unstable training；

37、s6-3.将指标序列-、状态标签输入到qwen2.5-7b-instruct模型中，输出得到第个类别的增强目标，；

38、s6-4.将增强目标输入到qwen2.5-7b-instruct模型中，输出得到头部类增强策略及尾部类增强策略，，为第个头部类增强子策略，，，为第个尾部类增强子策略，；

39、s6-5.将头部类增强策略及尾部类增强策略输入到qwen2.5-7b-instruct模型中，输出得到通过校验的类感知最终增强策略。

40、进一步的，步骤s7包括如下步骤：

41、s7-1.构建依次由第一卷积层、第二卷积层、第一bn层、第一relu激活函数、第三卷积层、第四卷积层、第二bn层、第二relu激活函数、第一线性层、第二线性层、gelu激活函数构成的沙盒网络；

42、s7-2.将平衡复合数据集中第张合成图像输入到沙盒网络中，输出得到基准特征组；

43、s7-3.按照类感知最终增强策略使用pytorch中的torchvision.transforms.compose函数对第张合成图像进行变换，得到变换后的合成图像；

44、s7-4.将变换后的合成图像输入到沙盒网络中，输出得到增强特征组。

45、进一步的，步骤s8包括如下步骤：

46、s8-1.通过公式计算得到沙盒损失，式中，为批次大小，取值为32，为高斯核函数，为平衡复合数据集中第张合成图像的基准特征组，为平衡复合数据集中第张合成图像的增强特征组；

47、s8-2.当沙盒损失大于等于时，返回执行步骤s6-步骤s7，为基准阈值；

48、s8-3.使用pytorch中state_dict函数提取resnet-32模型中全连接层权重矩阵，尾部类中第个类别的分类权重向量为，，第个类别的分类权重向量为，，分类权重向量为权重矩阵的第行，分类权重向量为权重矩阵的第行；

49、s8-4.通过公式计算分类权重向量与分类权重向量之间的最小夹角余弦度量；

50、s8-5.通过公式计算得到多维度复合损失函数，式中，、、均为权重系数，为训练时当前轮相对上一轮的交叉熵损失下降量，为合规性奖励值，为训练时当前轮的最小夹角余弦度量与上一轮的最小夹角余弦度量的差值；

51、s8-6.利用adamw优化器使用多维度复合损失函数，训练步骤s6-4中的qwen2.5-7b-instruct模型。

52、本发明的有益效果是：

53、1.解决了合成数据的核心缺陷：通过自适应样本过滤模块同时考虑样本质量和训练价值，筛选出紧凑且高信息量的合成子集，有效避免了低质量样本的干扰；通过模型动态调整增强策略，显式建模并缩小合成与真实数据之间的域偏移。

54、2.实现了极致的数据效率：在 cifar10/100-lt 数据集上仅使用 4.8% 的合成数据（48,000 张图像），在 imagenet-lt 上仅使用 20% 的合成数据，即可达到最优性能，大幅降低了数据生成和训练成本。

55、3.取得了突破性的识别精度：在 cifar10-lt（r=100）上 top-1 准确率达到92.8%，在 cifar100-lt（r=100）上达到 70.2%，在 imagenet-lt 上达到 72.2%（resnet-50backbone），全面超越现有 sota 方法，且在头部、中部和尾部类上实现了均衡的性能提升。

56、4.具备优秀的泛化性和可扩展性：框架与骨干网络无关，可适配 resnet、clip、dinov2 等多种主流视觉模型；增强操作池可根据不同任务灵活扩展，能够快速适配各类长尾识别场景。

57、5.实现了闭环的动态优化：通过模型的前向推理和反向反馈机制，以及强化学习优化，使增强策略能够持续适应分类器的训练状态，形成数据增强与模型训练的良性循环。