基于局部分块和原语共享的组合零样本识别方法及系统
本发明涉及多模态学习,尤其涉及基于局部分块和原语共享的组合零样本识别方法及系统。
背景技术:
1、随着clip等视觉-语言预训练模型在图像-文本匹配任务中的广泛应用,组合零样本学习(compositional zero-shot learning, czsl)逐渐成为多模态学习中的重要任务。该任务要求模型利用训练阶段出现过的属性和对象原语,识别训练阶段未出现过的属性-对象新组合,例如“sliced apple”“ripe banana”或“wet dog”。
2、相关技术通常将属性、对象和二者组合构造成文本提示,经文本编码器得到文本原型,再将输入图像经视觉编码器得到全局图像特征,通过全局图像特征与文本原型的相似度进行分类。该范式能够利用预训练模型的跨模态对齐能力,但仍存在以下不足:一是全局图像特征容易忽略颜色、纹理、材质、局部形态等决定属性类别的细粒度区域;二是属性或对象共享的组合之间具有高度相似性,例如“sliced apple”与“sliced orange”共享属性,“sliced apple”与“ripe apple”共享对象,普通交叉熵难以充分拉开这些共享原语困难负样本的判别边界;三是文本原型主要来自语言空间,缺少面向视觉空间的细粒度补充,导致语义相近组合在视觉空间中仍然容易混淆。
3、视觉代理学习通过将属性代理、对象代理以及组合代理引入视觉空间,可以缓解文本原型缺少视觉细节的问题;跨模态联合学习通过同时约束文本原型分支和视觉代理分支,可以减少模态差异。然而,已有视觉代理或文本原型分支多以cls (classificationtoken)全局视觉特征作为主要图像证据,对图像分块词元的局部响应利用不足;同时,对共享属性或共享对象的困难组合缺乏显式挖掘与自适应约束,导致模型在未见组合和相似组合上的泛化能力仍受限制。
技术实现思路
1、为了解决上述技术问题,本发明的目的是提供基于局部分块和原语共享的组合零样本识别方法及系统,能够充分利用局部图像分块证据,进而提高组合零样本识别的精度。
2、本发明所采用的第一技术方案是:基于局部分块和原语共享的组合零样本识别方法,包括以下步骤:
3、构建组合零样本学习数据集,生成各样本对应的属性标签、对象标签与组合标签,构建训练图像;
4、基于训练图像,通过视觉编码器获取视觉特征序列,通过文本编码支路生成属性文本原型、对象文本原型与组合文本原型,并通过clip (contrastive language-imagepre-training)文本编码器输出的文本嵌入初始化属性视觉代理、对象视觉代理和组合视觉代理,分别计算文本原型分支和视觉代理分支在属性、对象及组合层级上的全局匹配分数和局部响应分数,将各分支内对应的全局匹配分数与局部响应分数加权融合并进行归一化,得到增强后的文本原型分支预测概率和视觉代理分支预测概率;
5、基于真实组合标签挖掘共享原语的困难负样本,构建原语共享自适应对比损失;
6、基于增强后的文本原型分支预测概率与增强后的视觉代理分支预测概率构建文本分支总损失、视觉代理分支总损失与kl散度(kullback-leibler divergence)损失,结合原语共享自适应对比损失确定最终组合预测得分,选取得分最高的候选组合作为该图像的最终属性-对象组合识别结果。
7、进一步,所述基于训练图像,通过视觉编码器获取视觉特征序列,通过文本编码支路生成属性文本原型、对象文本原型与组合文本原型,并通过clip文本编码器输出的文本嵌入初始化属性视觉代理、对象视觉代理和组合视觉代理,分别计算文本原型分支和视觉代理分支在属性、对象及组合层级上的全局匹配分数和局部响应分数,将各分支内对应的全局匹配分数与局部响应分数加权融合并进行归一化,得到增强后的文本原型分支预测概率和视觉代理分支预测概率这一步骤,其具体包括:
8、基于视觉-语言预训练模型的视觉分支为编码骨干,在骨干网络的多头注意力层与前馈网络层旁路插入轻量adapter,将训练图像输入至视觉编码器进行编码处理,输出包含cls全局视觉特征与若干图像分块词元的视觉特征序列;
9、构建组合提示、属性提示与对象提示三类软提示模板,将三类提示分别输入至文本编码器,生成属性文本原型集合、对象文本原型集合与组合文本原型集合;
10、构建属性解耦交叉注意力模块和对象解耦交叉注意力模块,将视觉特征序列中的cls全局视觉特征分别作为两个解耦模块的查询向量,将属性文本原型集合和对象文本原型集合分别作为对应解耦模块的键向量和值向量,通过交叉注意力机制得到属性解耦视觉特征和对象解耦视觉特征,分别计算属性解耦视觉特征与属性文本原型、对象解耦视觉特征与对象文本原型,以及cls全局视觉特征与组合文本原型之间的相似度,得到文本原型分支在属性、对象和组合层级上的全局匹配分数;
11、利用属性文本嵌入和对象文本嵌入分别初始化可学习的属性视觉代理和对象视觉代理,并根据属性视觉代理与对象视觉代理生成组合视觉代理,将cls全局视觉特征分别输入属性视觉解耦网络和对象视觉解耦网络,得到属性视觉特征和对象视觉特征,并将cls全局视觉特征作为组合视觉特征,分别计算属性视觉特征与属性视觉代理、对象视觉特征与对象视觉代理,以及组合视觉特征与组合视觉代理之间的相似度,得到视觉代理分支在属性、对象和组合层级上的全局匹配分数;
12、基于局部分块感知分数模块,分别计算文本原型分支的属性匹配分数、对象匹配分数与组合匹配分数以及视觉代理分支的属性匹配分数、对象匹配分数与组合匹配分数的局部响应分数,结合对应的全局匹配分数进行加权融合,得到增强后的文本原型分支预测概率与增强后的视觉代理分支预测概率。
13、进一步,所述基于视觉-语言预训练模型的视觉分支为编码骨干,在骨干网络的多头注意力层与前馈网络层旁路插入轻量adapter,将训练集输入至视觉编码器进行编码处理,输出包含cls全局视觉特征与若干图像分块词元的视觉特征序列这一步骤,其具体包括:
14、选取vit-l/14 (vision transformer large with patch size 14)结构的clip预训练视觉分支作为编码骨干,冻结骨干网络的全部原生参数,在骨干每一层的多头注意力层输出旁路与前馈网络层输出旁路分别插入轻量adapter,构建视觉编码支路;
15、将训练集中的输入图像缩放至预设分辨率后,划分为固定尺寸的图像块,将图像块输入至视觉编码支路进行线性嵌入与位置编码处理,得到视觉输入序列;
16、将视觉输入序列输入带adapter的视觉骨干网络,经多层transformer编码处理后,输出包含全局视觉特征与多个图像分块词元的视觉特征序列。
17、进一步,所述构建组合提示、属性提示与对象提示三类软提示模板,将三类提示分别输入至文本编码器,生成属性文本原型集合、对象文本原型集合与组合文本原型集合这一步骤,其具体包括:
18、针对属性类别、对象类别与组合类别分别设计对应的软提示模板,所述软提示模板包括可学习的前缀词元与固定的描述句式;
19、将各属性类别名称填入属性提示模板,各对象类别名称填入对象提示模板,各组合类别名称填入组合提示模板,生成三类提示文本序列;
20、将三类提示文本序列分别输入至clip预训练文本编码器进行编码,提取对应分类词元 (classification token)的嵌入向量,分别得到属性文本原型集合、对象文本原型集合与组合文本原型集合。
21、进一步,所述构建属性解耦交叉注意力模块和对象解耦交叉注意力模块,将视觉特征序列中的cls全局视觉特征分别作为两个解耦模块的查询向量,将属性文本原型集合和对象文本原型集合分别作为对应解耦模块的键向量和值向量,通过交叉注意力机制得到属性解耦视觉特征和对象解耦视觉特征,分别计算属性解耦视觉特征与属性文本原型、对象解耦视觉特征与对象文本原型,以及cls全局视觉特征与组合文本原型之间的相似度,得到文本原型分支在属性、对象和组合层级上的全局匹配分数这一步骤,其具体包括:
22、构建多头交叉注意力结构的属性解耦交叉注意力模块与对象解耦交叉注意力模块;
23、提取所述视觉特征序列中的cls全局视觉特征,将所述cls全局视觉特征通过属性查询映射层生成属性查询向量,将属性文本原型集合分别通过属性键映射层和属性值映射层生成属性键向量和属性值向量,并将所述属性查询向量、属性键向量和属性值向量输入属性解耦交叉注意力模块,得到属性解耦视觉特征和属性注意力分数;
24、将所述cls全局视觉特征通过对象查询映射层生成对象查询向量,将对象文本原型集合分别通过对象键映射层和对象值映射层生成对象键向量和对象值向量,并将所述对象查询向量、对象键向量和对象值向量输入对象解耦交叉注意力模块,得到对象解耦视觉特征和对象注意力分数;
25、分别计算所述属性解耦视觉特征与属性文本原型集合之间的相似度,以及所述对象解耦视觉特征与对象文本原型集合之间的相似度,并结合对应的属性注意力分数和对象注意力分数,得到属性全局匹配分数和对象全局匹配分数;
26、计算所述cls全局视觉特征与组合文本原型集合之间的相似度,得到组合全局匹配分数,从而得到文本原型分支在属性、对象和组合层级上的全局匹配分数。
27、进一步,所述构建属性视觉代理、对象视觉代理和组合视觉代理,并基于cls全局视觉特征得到视觉代理分支在属性、对象和组合层级上的全局匹配分数这一步骤,其具体包括:
28、利用文本编码器输出的属性文本嵌入和对象文本嵌入,分别初始化可学习的属性视觉代理和对象视觉代理;
29、将属性视觉代理与对象视觉代理在特征维度拼接,并输入至全连接映射层投影至与视觉特征一致的维度,得到组合视觉代理;
30、将cls全局视觉特征分别输入至属性解耦多层感知机(multi-layer perceptron,mlp)模块与对象解耦多层感知机模块,映射得到视觉分支的属性视觉特征与对象视觉特征,并将所述cls全局视觉特征作为组合视觉特征;
31、分别计算视觉代理分支的属性视觉特征与属性视觉代理的相似度、视觉代理分支的对象视觉特征与对象视觉代理的相似度、视觉代理分支的组合视觉特征与组合视觉代理的相似度,得到视觉代理分支在属性、对象和组合层级上的全局匹配分数。
32、进一步,所述基于局部分块感知分数模块,分别计算文本原型分支的属性匹配分数、对象匹配分数与组合匹配分数以及视觉代理分支的属性匹配分数、对象匹配分数与组合匹配分数的局部响应分数,结合对应的全局匹配分数进行加权融合,经温度系数缩放后通过softmax函数归一化,得到增强后的文本原型分支预测概率与增强后的视觉代理分支预测概率这一步骤,其具体包括:
33、分别计算两个分支在属性、对象和组合层级上的图像特征与对应候选表示之间的归一化余弦相似度,并经尺度系数缩放,得到各类别层级的全局匹配分数,其中,属性层级和对象层级采用对应的解耦视觉特征,组合层级采用cls全局视觉特征,文本原型分支的候选表示为文本原型,视觉代理分支的候选表示为视觉代理;
34、分别计算各图像分块词元与两个分支在属性、对象和组合层级上的各候选表示之间的归一化余弦相似度,并经尺度系数缩放,得到每个候选表示对应的局部响应分数;
35、选取局部响应分数最高的top-k个图像分块,对top-k个分块的局部响应分数取均值得到局部分块感知分数;
36、对于文本原型分支和视觉代理分支,分别将属性、对象和组合层级上的全局匹配分数与对应的局部分块感知分数按照预设融合权重进行加权融合,得到各分支在不同类别层级上的局部分块感知增强匹配分数,将文本原型分支和视觉代理分支的增强匹配分数分别经温度系数缩放和softmax函数归一化,得到两个分支在属性、对象和组合层级上的增强后的文本原型分支预测概率与增强后的视觉代理分支预测概率。
37、进一步,所述基于真实组合标签挖掘共享原语的困难负样本,构建原语共享自适应对比损失这一步骤,其具体包括:
38、针对每个训练样本,以真实组合标签为基准,从全部候选组合中筛选出属性相同但对象不同、或对象相同但属性不同的组合,构成共享原语候选负样本集合;
39、获取局部分块感知分数模块输出的各候选组合增强匹配分数作为组合预测得分,从共享原语候选负样本集合内选取得分最高的top-k个样本作为困难负样本;
40、对各困难负样本对应的增强匹配得分进行softmax归一化得到自适应权重,基于真实组合对应的增强匹配得分与困难负样本增强匹配得分,结合共享原语候选负样本集合,采用带间隔的softplus函数计算得到原语共享自适应对比损失。
41、进一步,所述基于增强后的文本原型分支预测概率与增强后的视觉代理分支预测概率构建文本分支总损失、视觉代理分支总损失与kl散度损失,结合原语共享自适应对比损失确定最终组合预测得分,选取得分最高的候选组合作为该图像的最终属性-对象组合识别结果这一步骤,其具体包括:
42、计算文本原型分支的属性预测概率、对象预测概率与组合预测概率的交叉熵损失,按预设权重加权得到文本分支总损失,计算视觉代理分支的属性预测概率、对象预测概率与组合预测概率的交叉熵损失,按预设权重加权得到视觉代理分支总损失;
43、以增强后的文本原型分支预测概率分布为目标分布,计算增强后的视觉代理分支预测概率分布相对于目标分布的kl散度损失;
44、将文本分支总损失、视觉代理分支总损失、kl散度损失与原语共享自适应对比损失按预设权重加权求和得到总损失函数;
45、基于预设融合权重将增强后的文本原型分支预测概率与增强后的视觉代理分支预测概率加权融合,得到基础组合预测概率;
46、将文本原型分支的属性预测概率与对象预测概率以及视觉代理分支的属性预测概率与对象预测概率分别进行相乘,并作为组合语义约束项叠加至基础组合预测概率,得到最终组合预测得分;
47、选取得分最高的候选组合作为该图像的最终属性-对象组合识别结果。
48、本发明所采用的第二技术方案是:基于局部分块和原语共享的组合零样本识别系统,包括:
49、第一模块,用于构建组合零样本学习数据集,生成各样本对应的属性标签、对象标签与组合标签,构建训练图像;
50、第二模块,用于基于训练图像,通过视觉编码器获取视觉特征序列,通过文本编码支路生成属性文本原型、对象文本原型与组合文本原型,并通过clip文本编码器输出的文本嵌入初始化属性视觉代理、对象视觉代理和组合视觉代理,分别计算文本原型分支和视觉代理分支在属性、对象及组合层级上的全局匹配分数和局部响应分数,将各分支内对应的全局匹配分数与局部响应分数加权融合并进行归一化,得到增强后的文本原型分支预测概率和视觉代理分支预测概率;
51、第三模块,用于基于真实组合标签挖掘共享原语的困难负样本,构建原语共享自适应对比损失;
52、第四模块,用于基于增强后的文本原型分支预测概率与增强后的视觉代理分支预测概率构建文本分支总损失、视觉代理分支总损失与kl散度损失,结合原语共享自适应对比损失确定最终组合预测得分,选取得分最高的候选组合作为该图像的最终属性-对象组合识别结果。
53、本发明方法及系统的有益效果是:本发明通过构建组合零样本学习数据集,生成各样本对应的属性标签、对象标签与组合标签,构建训练图像;进一步,基于训练图像,通过视觉编码器获取视觉特征序列,通过文本编码支路生成属性文本原型、对象文本原型与组合文本原型,并通过clip文本编码器输出的文本嵌入初始化属性视觉代理、对象视觉代理和组合视觉代理,分别计算文本原型分支和视觉代理分支在属性、对象及组合层级上的全局匹配分数和局部响应分数,将各分支内对应的全局匹配分数与局部响应分数加权融合并进行归一化,得到增强后的文本原型分支预测概率和视觉代理分支预测概率,直接复用视觉编码器输出的图像分块词元,通过top-k局部响应提取每个候选原型最相关的局部视觉证据,使模型在识别颜色、纹理、材质、状态和局部形态等属性时更加稳定;进而基于真实组合标签挖掘共享原语的困难负样本,构建原语共享自适应对比损失;最后,基于增强后的文本原型分支预测概率与增强后的视觉代理分支预测概率构建文本分支总损失、视觉代理分支总损失与kl散度损失,结合原语共享自适应对比损失确定最终组合预测得分,选取得分最高的候选组合作为该图像的最终属性-对象组合识别结果,同时在视觉代理空间和文本原型空间中引入局部分块感知分数(local patch-aware scoring, lpas),并通过kl散度和原语共享自适应对比训练(primitive-shared adaptive contrastive training, ps-act)共同约束两个分支,使视觉代理获得更细粒度的局部视觉证据,使文本原型获得更稳定的视觉判别反馈,从而降低模态差异。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com