一种鲁棒提示调优模型的构建、应用方法和系统

本发明属于人工智能深度学习，具体涉及一种鲁棒提示调优模型的构建、应用方法和系统。

背景技术：

1、clip（contrastive language-image pre-training，对比语言-图像预训练）是近年来在计算机视觉领域取得重大突破的视觉语言预训练模型，其核心思想是通过在共享嵌入空间中对齐图像与文本，实现强大的零样本识别能力。clip包含图像编码器和文本编码器两个冻结的编码器，通过计算图像特征与文本特征之间的余弦相似度（cosinesimilarity）进行分类。softmax是一种归一化指数函数，用于将分类得分logits转换为概率分布。为将预训练clip模型适配到特定下游任务，研究者提出了提示调优（prompttuning）技术——保持预训练模型参数冻结，仅学习少量可学习的文本token（词元），具有参数效率高、计算代价小的优势。

2、然而，提示调优的效果高度依赖于训练数据的质量。在真实应用场景中，训练数据往往不可避免地会受到标签噪声污染。当训练数据存在标签噪声时，提示调优方法面临严峻挑战：可学习提示的灵活性在标签干净时能够捕捉精细的语义差异，但在标签有噪声时却成为一把双刃剑——提示不仅会学习正确的类别语义，还可能“记住”错误标签，从而对噪声标签发生过拟合，失去对真实类别特征的学习能力。

3、针对标签噪声条件下的鲁棒学习问题，现有方法主要分为两类：一是鲁棒损失函数设计，如mae（mean absolute error，平均绝对误差）损失、gce（generalized crossentropy，广义交叉熵）损失等，通过设计特殊损失函数限制错误标注样本的影响，但仅从损失层面处理，无法解决样本选择问题；二是样本选择方法，如nlprompt（一种基于提示的噪声标签学习）等，利用深度网络的记忆效应，通过提示-图像一致性指标将样本划分为干净子集和噪声子集，再对不同子集采用不同训练策略，其中ce（cross entropy，交叉熵）是常用的分类损失函数。

4、上述现有方法普遍存在一个被忽视的关键问题——内在对齐噪声。在冻结clip空间中，图像编码器与文本编码器之间存在固有的模态间隙。在提示调优过程中，提示不仅要学习类别语义，还必须补偿这种系统性的跨模态失配。因此，学习到的提示实际上包含了两部分信息：类别语义信息和对齐偏差信息。当外部标签噪声存在时，这种偏差会被进一步放大，导致提示逐渐偏离真实类别语义。现有方法（如nlprompt等）依赖提示-图像一致性判断样本是否干净，但这些方法默认提示本身是可靠的语义锚点，这一假设忽视了提示在学习过程中会因内在对齐噪声而发生漂移的事实。当提示本身发生漂移时，一致性信号变得不可靠，进而导致错误的样本划分，形成“提示漂移→不可靠划分→加剧漂移”的恶性循环，严重制约了提示调优在噪声条件下的鲁棒性，导致含噪标签下的分类准确率低。

技术实现思路

1、为克服上述现有技术的不足，本发明提出一种鲁棒提示调优模型的构建方法，包括：

2、计算图像分类场景的训练集的共识特征，根据所述共识特征结合预先构建的混合提示池，得到所述训练集的全局概率矩阵；

3、基于所述全局概率矩阵，利用熵正则最优传输算法，得到经过校准的伪标签，采用所述伪标签将所述训练集划分为干净子集和噪声子集；

4、基于所述干净子集和所述噪声子集，采用整体损失函数，对所述混合提示池迭代优化，完成鲁棒提示调优模型的构建；

5、其中，所述训练集包括样本图像和原始标签；所述原始标签包括正确标签和错误标签；所述混合提示池包括所述样本图像对应类别的类别语义参考提示；所述整体损失函数包括交叉熵损失项、平均绝对误差损失项和用于吸收内在对齐噪声的待优化稀疏校正项对应的正则化项。

6、优选的，所述计算图像分类场景的训练集的共识特征，根据所述共识特征结合预先构建的混合提示池，得到所述训练集的全局概率矩阵，包括：

7、基于图像分类场景的训练集中每个样本图像生成的多个增强视图，计算每个样本图像的共识特征；

8、基于每个样本图像的所述共识特征和混合提示池中每个样本图像的类别的语义参考提示，计算每个样本图像与各类别的预测概率；

9、根据所述预测概率，构建全局概率矩阵；

10、其中，所述图像分类场景包括下述的一种或多种：动物识别场景、花卉分类场景、纹理分类场景、动作行为分类场景、视频行为分类场景和食品图像分类场景。

11、优选的，所述基于图像分类场景的训练集中每个样本图像生成的多个增强视图，计算每个样本图像的共识特征，包括：

12、针对图像分类场景的训练集中每个样本图像，生成多个增强视图；

13、采用视觉语言预训练模型中已冻结的图像编码器，提取每个增强视图对应的图像特征；

14、采用众数估计法，将每个样本图像对应的所有增强视图的图像特征，聚合成共识特征；

15、其中，所述视觉语言预训练模型包括已完成预训练的图像编码器和文本编码器；所述增强视图包括下述的一种或多种：随机裁剪视图、水平翻转视图和颜色变换视图。

16、优选的，所述混合提示池的构建如下：

17、针对训练集中样本图像的类别，利用大语言模型，采用统一的描述模板，生成描述视觉属性的多个短句；所述视觉属性包括所述类别与其他类别区分开的视觉线索；

18、采用视觉语言预训练模型中已冻结的文本编码器，对多个短句进行编码，生成多个文本特征，对所述多个文本特征取平均值，得到每个类别的固定语义原型；

19、将每个类别的类别词元和预先得到的共享词元进行拼接后，通过所述视觉语言预训练模型已冻结的文本编码器，得到待优化提示特征；

20、基于所述固定语义原型、待优化提示特征和待优化混合权重，生成每种类别语义参考提示；

21、汇总所有的类别语义参考提示，生成混合提示池；

22、其中，所述共享词元来源于预先设置的共享于所有类别的待优化连续上下文词元。

23、优选的，所述汇总所有类别的语义参考提示，生成混合提示池之后，还包括：

24、采用稀疏过参数化形式，根据两个待优化变量，为所述混合提示池中每个所述类别语义参考提示设置用来吸收内在对齐噪声的待优化稀疏校正项；

25、基于待优化稀疏校正项，生成待优化稀疏校正项矩阵；

26、对所述待优化稀疏校正项矩阵进行正则化，生成待优化稀疏校正项对应的正则化项，用于构建整体损失函数；

27、其中，所述内在对齐噪声为在视觉语言预训练模型中已冻结的文本编码器和图像编码器之间存在的、与类别语义无关的系统性跨模态特征表示偏差；所述系统性跨模态特征表示偏差基于错误标签进行提示调优过程中，会导致提示偏离真实类别语义，发生提示漂移。

28、优选的，所述基于所述全局概率矩阵，利用熵正则最优传输算法，得到经过校准的伪标签，采用所述伪标签将所述训练集划分为干净子集和噪声子集，包括：

29、基于所述全局概率矩阵，利用熵正则最优传输算法在边际约束下，将所述样本图像与所述类别通过全局分配计划进行耦合，生成软分配计划；

30、将所述软分配计划按行进行归一化后，得到每个样本图像的类别后验，根据所述类别后验，生成每个样本图像的伪标签；

31、当所述伪标签和原始标签一致时，将所述伪标签对应的样本图像和原始标签，作为干净样本，否则，将所述伪标签对应的样本图像和原始标签，作为噪声样本；

32、汇总所有的干净样本，生成干净子集，汇总所有的噪声样本，生成噪声子集。

33、优选的，所述对所述干净子集和所述噪声子集进行差异化训练，完成鲁棒提示调优模型的构建，包括：

34、采用交叉熵损失函数，对所述干净子集进行监督训练，得到交叉熵损失项；

35、采用平均绝对误差损失函数，对所述噪声子集进行约束训练，得到平均绝对误差损失项；

36、采用整体损失函数，对所述交叉熵损失项、所述平均绝对误差损失项和所述待优化稀疏校正项对应的正则化项，进行加权求和，计算整体损失；

37、根据所述整体损失，对待优化稀疏校正项和所述混合提示池中类别语义参考提示进行更新，根据更新后的类别语义参考提示和待优化稀疏校正项，进行迭代训练，直到达到预设训练轮数，保留最终的类别语义参考提示，丢弃所述待优化稀疏校正项，完成鲁棒提示调优模型的构建。

38、基于同一发明构思，本发明还提供了一种鲁棒提示调优模型的应用方法，包括：

39、基于图像分类场景的图像，通过鲁棒提示调优模型，得到所述图像在每个类别的概率；

40、根据所述每个类别的概率，确定所述图像所属的类别。

41、其中，所述鲁棒提示调优模型通过上述任一项所述的一种鲁棒提示调优模型的构建方法进行构建。

42、基于同一发明构思，本发明还提供了一种鲁棒提示调优模型的构建系统，包括：全局概率矩阵计算模块、训练集划分模块和鲁棒提示调优模型构建模块；

43、所述全局概率矩阵计算模块，用于计算图像分类场景的训练集的共识特征，根据所述共识特征结合预先构建的混合提示池，得到所述训练集的全局概率矩阵；

44、所述训练集划分模块，用于基于所述全局概率矩阵，利用熵正则最优传输算法，得到经过校准的伪标签，采用所述伪标签将所述训练集划分为干净子集和噪声子集；

45、所述鲁棒提示调优模型构建模块，用于基于所述干净子集和所述噪声子集，采用整体损失函数，对所述混合提示池迭代优化，完成鲁棒提示调优模型的构建；

46、其中，所述训练集包括样本图像和原始标签；所述原始标签包括正确标签和错误标签；所述混合提示池包括所述样本图像对应类别的类别语义参考提示；所述整体损失函数包括交叉熵损失项、平均绝对误差损失项和用于吸收内在对齐噪声的待优化稀疏校正项对应的正则化项。

47、优选的，所述全局概率矩阵计算模块，包括：

48、共识特征计算子模块，用于基于图像分类场景的训练集中每个样本图像生成的多个增强视图，计算每个样本图像的共识特征；

49、预测概率计算子模块，用于基于每个样本图像的所述共识特征和混合提示池中每个样本图像的类别的语义参考提示，计算每个样本图像与各类别的预测概率；

50、全局概率矩阵构建子模块，用于根据所述预测概率，构建全局概率矩阵；

51、其中，所述图像分类场景包括下述的一种或多种：动物识别场景、花卉分类场景、纹理分类场景、动作行为分类场景、视频行为分类场景和食品图像分类场景。

52、优选的，所述共识特征计算子模块，具体用于：

53、针对图像分类场景的训练集中每个样本图像，生成多个增强视图；

54、采用视觉语言预训练模型中已冻结的图像编码器，提取每个增强视图对应的图像特征；

55、采用众数估计法，将每个样本图像对应的所有增强视图的图像特征，聚合成共识特征；

56、其中，所述视觉语言预训练模型包括已完成预训练的图像编码器和文本编码器；所述增强视图包括下述的一种或多种：随机裁剪视图、水平翻转视图和颜色变换视图。

57、优选的，所述系统还包括：混合提示池构建模块，用于：

58、针对训练集中样本图像的类别，利用大语言模型，采用统一的描述模板，生成描述视觉属性的多个短句；所述视觉属性包括所述类别与其他类别区分开的视觉线索；

59、采用视觉语言预训练模型中已冻结的文本编码器，对多个短句进行编码，生成多个文本特征，对所述多个文本特征取平均值，得到每个类别的固定语义原型；

60、将每个类别的类别词元和预先得到的共享词元进行拼接后，通过所述视觉语言预训练模型已冻结的文本编码器，得到待优化提示特征；

61、基于所述固定语义原型、待优化提示特征和待优化混合权重，生成每种类别语义参考提示；

62、汇总所有的类别语义参考提示，生成混合提示池；

63、其中，所述共享词元来源于预先设置的共享于所有类别的待优化连续上下文词元。

64、优选的，所述系统还包括：待优化稀疏校正项对应的正则化项设置模块，用于：

65、采用稀疏过参数化形式，根据两个待优化变量，为所述混合提示池中每个所述类别语义参考提示设置用来吸收内在对齐噪声的待优化稀疏校正项；

66、基于待优化稀疏校正项，生成待优化稀疏校正项矩阵；

67、对所述待优化稀疏校正项矩阵进行正则化，生成待优化稀疏校正项对应的正则化项，用于构建整体损失函数；

68、其中，所述内在对齐噪声为在视觉语言预训练模型中已冻结的文本编码器和图像编码器之间存在的、与类别语义无关的系统性跨模态特征表示偏差；所述系统性跨模态特征表示偏差基于错误标签进行提示调优过程中，会导致提示偏离真实类别语义，发生提示漂移。

69、优选的，所述训练集划分模块，具体用于：

70、基于所述全局概率矩阵，利用熵正则最优传输算法在边际约束下，将所述样本图像与所述类别通过全局分配计划进行耦合，生成软分配计划；

71、将所述软分配计划按行进行归一化后，得到每个样本图像的类别后验，根据所述类别后验，生成每个样本图像的伪标签；

72、当所述伪标签和原始标签一致时，将所述伪标签对应的样本图像和原始标签，作为干净样本，否则，将所述伪标签对应的样本图像和原始标签，作为噪声样本；

73、汇总所有的干净样本，生成干净子集，汇总所有的噪声样本，生成噪声子集。

74、优选的，所述鲁棒提示调优模型构建模块，具体用于：

75、采用交叉熵损失函数，对所述干净子集进行监督训练，得到交叉熵损失项；

76、采用平均绝对误差损失函数，对所述噪声子集进行约束训练，得到平均绝对误差损失项；

77、采用整体损失函数，对所述交叉熵损失项、所述平均绝对误差损失项和所述待优化稀疏校正项对应的正则化项，进行加权求和，计算整体损失；

78、根据所述整体损失，对待优化稀疏校正项和所述混合提示池中类别语义参考提示进行更新，根据更新后的类别语义参考提示和待优化稀疏校正项，进行迭代训练，直到达到预设训练轮数，保留最终的类别语义参考提示，丢弃所述待优化稀疏校正项，完成鲁棒提示调优模型的构建。

79、基于同一发明构思，本发明还提供了一种鲁棒提示调优模型的应用系统，包括：图像类别概率计算模块和图像所属类别确定模块；

80、所述图像类别概率计算模块，用于基于图像分类场景的图像，通过鲁棒提示调优模型，得到所述图像在每个类别的概率；

81、所述图像所属类别确定模块，用于根据所述每个类别的概率，确定所述图像所属的类别。

82、其中，所述鲁棒提示调优模型通过上述任一项所述的一种鲁棒提示调优模型的构建方法进行构建。

83、基于同一发明构思，本发明还提供了一种电子设备，包括：至少一个处理器和存储器；所述存储器和处理器通过总线相连；

84、所述存储器，用于存储一个或多个程序；

85、当所述一个或多个程序被所述至少一个处理器执行时，实现如前所述的一种鲁棒提示调优模型的构建方法。

86、基于同一发明构思，本发明还提供了一种可读存储介质，其上存有计算机程序，上存有执行程序，所述执行程序被执行时，实现如前所述的一种鲁棒提示调优模型的构建方法。

87、与最接近的现有技术相比，本发明具有的有益效果如下：

88、本发明提供了一种鲁棒提示调优模型的构建、应用方法和系统，包括：计算图像分类场景的训练集的共识特征，根据所述共识特征结合预先构建的混合提示池，得到所述训练集的全局概率矩阵；基于所述全局概率矩阵，利用熵正则最优传输算法，得到经过校准的伪标签，采用所述伪标签将所述训练集划分为干净子集和噪声子集；基于所述干净子集和所述噪声子集，采用整体损失函数，对所述混合提示池迭代优化，完成鲁棒提示调优模型的构建；其中，所述训练集包括样本图像和原始标签；所述原始标签包括正确标签和错误标签；所述混合提示池包括所述样本图像对应类别的类别语义参考提示；所述整体损失函数包括交叉熵损失项、平均绝对误差损失项和用于吸收内在对齐噪声的待优化稀疏校正项对应的正则化项；本发明混合提示池作为纯净的类别语义参考提示，在训练集划分阶段用于衡量提示与图像的一致性，同时在训练过程中引入吸收内在对齐噪声的待优化稀疏校正项对应的正则化项，减少内在对齐噪声对类别语义参考提示的污染；两者分工明确，从而使提示不发生偏移，这样训练完成的混合提示池同时适用于样本划分与最终推理，打破“提示漂移-不可靠划分”的恶性循环，提高了提示调优在噪声条件下的鲁棒性，显著提升含噪标签下的分类准确率。