一种基于多尺度语义细粒度嵌入的零样本学习方法、系统

本发明涉及机器学习，具体涉及一种基于多尺度语义细粒度嵌入的零样本学习方法、系统。

背景技术：

1、零样本学习（zero-shot learning）作为机器学习的重要分支，目的在使模型能够识别训练阶段未见过的新类别，这对于解决长尾分布数据、稀有类别识别等实际问题具有重要意义。近年来，随着视觉-语言多模态模型（如clip、align等）的兴起，组合式零样本学习（compositional zero-shot learning）成为研究热点，其核心思想是将复杂概念分解为可组合的基元（如属性和对象的组合），通过学习基元的表征来泛化到新的组合概念，例如在训练阶段学习“红色苹果”和“绿色卡车”的概念，从而要求模型在推理阶段识别出未见类别“红色卡车”或“绿色苹果”的组合。其主流实现方案可概括如下:

2、(1)图像输入图像编码器得到视觉特征；

3、(2)属性-对象组合式文本通过文本提示（如“a photo of red truck”）输入文本编码器映射为文本嵌入特征；

4、(3)两者在共享嵌入空间通过对比损失进行训练；

5、(4)在推理阶段模型通过计算图像特征与所有候选的组合文本特征进行余弦相似度计算完成零样本分类。

6、得益于 clip 等视觉-语言多模态模型的发展，近期的研究通过利用 clip模型探索各类增强方法在组合式零样本学习中取得了显著进展。相关工作有效提升了组合标签与图像特征的对齐效果，让 clip 能在组合式零样本学习任务中发挥良好性能。但不同模态之间的间隙问题让组合式零样本学习任务仍存在一些急需解决的挑战与固有问题。

7、(1)首先，文本侧表征的视觉判别性严重不足，导致跨模态对齐质量低下。 现有方法通常使用文本提示优化后的类别标签或属性名称作为文本输。这种统一的文本表征尺度无法捕捉视觉信息的丰富性和多样性。图像数据包含了纹理、形状、颜色分布、空间关系、光照条件、材质特性等大量细节信息，而简单的文本标签仅提供了抽象的语义概念。这种表征细粒度的巨大差异使得文本特征与视觉特征之间存在显著的信息密度不匹配，严重制约了跨模态对齐的精度。特别是在需要区分细微差别的场景中（如"成熟的果实"与"未成熟的果实"），文本表征缺乏足够的判别性线索，导致模型难以建立准确的语义-视觉映射关系。

8、(2)其次，现有方法缺乏针对不同语义层级的差异化建模机制。 在组合式零样本学习任务中，属性、对象以及它们的组合代表了三个不同的语义层级，它们对视觉信息的需求是存在本质差异的。属性（如"红色"、"圆形"、"光滑"）侧重于局部的、高细粒度的视觉特征，如颜色分布、纹理模式、表面质感等；对象（如"汽车"、"苹果"、"椅子"）更关注整体的、结构性的低细粒度视觉特征，如形状轮廓、空间布局、部件组成等；而组合概念（如"红色汽车"）则需要理解属性在特定对象上下文中的具体视觉表现，涉及到属性与对象之间的组合交互方式。然而，现有技术通常采用统一的特征提取和对齐策略，未能根据不同语义层级的特点进行针对性优化，导致学习到的文本表征在各个层级上无法达到最优的判别能力，进而影响文本与图像之间的对齐，无法缩小模态间隙。

技术实现思路

1、针对上述技术问题，本发明旨在提供一种基于多尺度语义细粒度嵌入的零样本学习方法、系统，为解决上述技术问题，本发明采用以下技术方案来实现：

2、一种基于多尺度语义细粒度嵌入的零样本学习方法，包括以下步骤：

3、步骤1：采用冻结的clip文本编码器处理属性、对象和组合的提示文本；

4、步骤2：对文本细粒度进行初始化提取；

5、步骤3：利用多尺度语义细粒度嵌入和预测输出单元提升传统文本原型三分支架构中语义层级建模能力。

6、可选的，所述步骤1包括以下子步骤：

7、步骤1.1： 传统文本原型三分支模块构建属性、对象、组合三类可学习提示，经clip 文本编码器编码，得到对应层级的文本原型特征。

8、可选的，所述步骤1包括以下子步骤：

9、步骤1.2：在图像侧通过多头交叉注意力解耦模块，将视觉特征拆解为属性特征、对象特征的独立特征，使得属性、对象、组合的视觉表征与文本原型表征精准对齐，解决视觉特征中属性与对象的纠缠问题；

10、在训练过程中，图像与文本原型的跨模态注意力得分会融入相似度计算，优化属性、对象分支的预测概率。

11、可选的，所述步骤1包括以下子步骤：

12、步骤1.3：采用交叉熵损失训练模块，更新提示与解耦模块参数。

13、可选的，所述步骤二包括：

14、在传统文本原型三分支之外，引入三条针对文本原型辅助加强的文本细粒度分支；

15、图像引导的文本细粒度提取模块负责从输入图像中提取特征为后续的语义细粒度学习和文本原型细粒度增强提供信息基础；

16、初始的属性和对象文本细粒度分支与文本原型的属性对象支路相同，采用冻结的clip文本编码器处理属性、对象和组合的提示文本，得到作为后续图像引导的文本细粒度提取模块学习的基础；

17、而文本细粒度分支的组合分支不同于属性和对象文本细粒度分支由编码器编码得到，它是由初始的属性和文本细粒度分支通过初试属性对象文本细粒度融合机制得到初始组合文本细粒度；

18、属性和对象文本细粒度的分支与文本原型同源初始化，而组合文本细粒度由初始属性和对象的文本细粒度通过创新融合机制动态生成；流程如下：

19、首先，对于属性集合a中的每一个属性词（i表示属性词序号，1、2、3......)和对象集合o中的每一个对象词（j表示对象词序号，1、2、3......)，利用预训练的clip文本编码器 （）提取其初始文本细粒度向量：

20、

21、其中d为特征维度；

22、将上述初始向量包装为两组可训练的文本细粒度参数矩阵：

23、

24、并利用所述初始文本特征进行赋值初始化；在随后的训练过程中，矩阵和作为可学习参数将根据图像反馈进行动态更新，逐步吸收视觉模态中的细粒度判别信息；

25、通过引入属性对象文本细粒度融合机制得到组合文本细粒度分支；

26、模型并行计算两条路径；

27、对图像引导的文本细粒度进行增强。

28、可选的，所述步骤三包括：

29、多尺度语义细粒度嵌入和预测输出单元针对属性、对象、组合三个语义层级对视觉信息需求的本质差异，实施差异化残差增强；属性分支侧重于局部高细粒度视觉特征，采用高权重门控进行强增强；

30、对象分支更关注结构稳健性，仅施以低权重门控以抑制图像噪声干扰；组合分支则引入可学习的自适应门控参数，动态平衡组合文本原型和组合语义细粒度的融合比例；

31、最终，增强后的多尺度文本特征与图像分支特征进行对齐预测，提升模型对未见组合的判别精度与泛化能力。

32、可选的，所述通过引入属性对象文本细粒度融合机制得到组合文本细粒度分支的步骤包括：

33、

34、其中（）为属性和对象细粒度在线性拼接投影生成组合特征的基础上引入可学习系数的残差连接机。

35、可选的，所述模型并行计算两条路径的步骤包括：第一条路径将属性与对象特征拼接后通过全连接层，得到基础组合特征；第二条路径将属性与对象特征进行逐元素相加，得到包含属性-对象交互信息的残差项；随后，残差项乘以一个可学习的标量系数，再加回到基础组合特征上，形成最终组合文本细粒度输出。

36、可选的，所述对图像引导的文本细粒度进行增强的步骤包括：采用图像引导的交叉注意力模块，对于每个样本，将图像特征作为查询（query），将三个细粒度文本特征分别作为键（key）和值（value），分别执行交叉注意力计算：

37、

38、其中为标准多头注意力；由此得到的、、是图像引导后的细粒度文本特征，它们既保留了原始文本语义，又融入了当前图像的视觉上下文；

39、最后，将 、、沿通道拼接，通过一个线性投影层融合为最终的图像引导的文本细粒度特征，用于后续的多尺度门控增强。

40、一种基于多尺度语义细粒度嵌入的零样本学习系统，用于执行所述的一种基于多尺度语义细粒度嵌入的零样本学习方法，包括：

41、图像输入单元、文本输入单元、clip特征编码单元、传统文本原型三分支模块、图像引导的文本细粒度提取模块、多尺度语义细粒度嵌入和预测输出单元。

42、本发明具有以下有益效果为：

43、本发明能够在文本学习过程中注入经过图像牵引训练的语义细粒度信息，并针对不同于语义层级设计差异化增强策略，实现对未见组合的高精度识别。

44、通过可学习的文本细粒度矩阵、图像引导的语义细粒度增强以及多尺度语义细粒度嵌入对组合式零样本学习的传统三路径进行改进，模型在保留文本语义先验的同时，有效融合了视觉判别信息，显著提升了属性、对象及组合三个语义层级的特征对齐精度，减小模态差距；最终，该模型能够对未见过的属性-对象组合进行更高精度识别，充分体现了本发明的技术优势。