基于视图不变性学习的零样本手绘草图三维模型检索方法与流程
本发明涉及计算机视觉与三维模型检索,更具体的说是涉及一种基于视图不变性学习的零样本手绘草图三维模型检索方法。
背景技术:
1、目前,零样本学习设定的引入进一步增加了检索难度,要求模型能够处理训练阶段从未见过的新类别。现有基于深度学习的手绘草图三维模型检索方法主要从两个方向展开:一是采用孪生网络架构学习共享嵌入空间,设计专门的损失函数增强模态间一致性,或利用跨模态变换技术提升模态对齐能力;二是针对草图表示和三维模型表示分别强化特征学习,包括多尺度卷积神经网络、序列模型、注意力机制、图transformer等方法。
2、但是,现有方法普遍存在以下技术缺陷:第一,多数方法假设所有类别的视图分布是一致的,这一假设在零样本场景下不成立。当面对与训练集视图分布差异较大的新类别时,不同类别的判别性视图分布存在显著差异,例如椅子的侧视图至关重要而手表的正视图才是关键,传统全视图聚合方法不加区分地聚合所有视图,导致模型过度依赖可见类别的特定视图模式,发生严重的泛化崩塌。第二,现有零样本方法高度依赖外部辅助信息如词嵌入等语义特征,其性能受限于外部信息的质量,未能充分利用草图与三维模型自身固有的视觉信息。第三,手绘草图具有高度的稀疏性与抽象性,而三维多视图渲染包含密集的纹理信息,标准视觉transformer的线性图像块嵌入缺乏局部归纳偏置,难以捕获稀疏草图线条中的细粒度几何结构,导致草图与三维视图之间的粒度失配问题在零样本场景下被进一步放大。
3、因此,如何在不依赖外部辅助信息的前提下,克服视图条件域偏移导致的泛化瓶颈,同时有效解决草图稀疏结构与三维密集视图之间的粒度失配问题,是本领域技术人员亟需解决的问题。
技术实现思路
1、鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于视图不变性学习的零样本手绘草图三维模型检索方法。
2、为了实现上述目的,本发明采用如下技术方案:
3、本发明涉及一种基于视图不变性学习的零样本手绘草图三维模型检索方法,包括以下步骤:
4、s1、获取草图图像和三维模型数据库中三维模型的多视图投影图像集。
5、s2、构建包括草图编码器和三维模型编码器的检索网络,其中,草图编码器和三维模型编码器的原图像块嵌入层均被替换为混合patch嵌入模块,混合patch嵌入模块用于将输入图像转换为融合局部几何信息的token嵌入序列。
6、s3、将草图图像样本输入草图编码器,草图编码器通过混合patch嵌入模块和多层transformer编码器,提取草图全局特征向量。
7、s4、将与草图图像样本一一对应的三维模型的多视图投影图像集输入三维模型编码器,通过在多层transformer编码器中的分层视图丢弃机制,对多视图投影图像集中各视图token嵌入序列渐进式提纯,输出视图不变性三维模型特征向量。
8、s5、将草图全局特征向量和视图不变性三维模型特征向量作为训练样本对,利用联合损失函数对检索网络进行端到端训练,联合损失函数包含视觉空间对齐损失和语义空间对齐损失。
9、s6、将待检索草图图像输入训练完成的草图编码器得到待检索草图特征向量,将三维模型数据库中每个三维模型的多视图投影图像输入训练完成的三维模型编码器提取视图不变性特征向量,计算待检索草图特征向量与各三维模型的视图不变性特征向量之间的相似度,按照相似度从高到低的顺序排序,将排序结果作为检索结果输出。
10、优选的,s2中的混合patch嵌入模块对输入图像执行如下操作:
11、将输入图像沿两条并行路径处理:第一条路径为标准视觉transformer图像块嵌入路径,用于将图像分割为图像块并线性投影为第一图像块token嵌入序列,并添加可学习的位置嵌入;第二条路径为卷积路径,由多个卷积层堆叠而成,用于从输入图像中提取局部结构特征图并转换为第二图像块token序列。
12、将第一图像块token嵌入序列与第二图像块token序列执行残差融合,并在融合后的图像块token嵌入序列中加入用于聚合全局信息的cls token,生成融合局部几何信息的token嵌入序列。
13、优选的,s4中,通过在多层transformer编码器中的分层视图丢弃机制,对视图特征集合进行渐进式提纯的过程包括:
14、s41、获取当前阶段所有视图的cls token集合,输入到一个多头自注意力模块中,建模视图间的全局依赖关系,生成上下文增强的视图特征。
15、s42、将上下文增强的视图特征重新注入回原始的特征流中,替换所有视图的clstoken集合,得到携带全局形状上下文的新视图特征集合。
16、s43、通过一个多层感知机,基于新视图特征集合预测每个视图的重要性得分,并通过softmax函数得到选择概率;根据选择概率保留得分最高的前k个视图对应的特征,并利用直通估计器策略将前向传播中的离散top-k硬选择操作与反向传播中的连续概率梯度传递相结合,使梯度能够绕过不可微的视图选择步骤回传至多层感知机,实现端到端训练。
17、s44、在transformer编码器的浅层、中层和深层三个阶段依次执行s41至s43的操作,逐步减少视图数量,最终通过池化操作输出视图不变性三维模型特征向量。
18、优选的,s44中包括:将transformer编码器划分为12层共三个阶段,其中第一阶段包含第1至第4层,第二阶段包含第5至第8层,第三阶段包含第9至第12层。
19、第一阶段结束后,将视图数量由初始值v减少至第一预设数量s1。
20、第二阶段结束后,将视图数量由s1减少至第二预设数量s2。
21、第三阶段结束后,对剩余的s2个视图的特征进行最大池化,得到视图不变性三维模型特征向量。
22、优选的,三维模型编码器对三维模型的各个视图采用权重共享的transformer编码器进行独立特征提取,以保证不同视图之间特征提取方式的一致性。
23、优选的,s5中视觉空间对齐损失采用自适应多类中心损失,为每个类别设置q个可学习中心向量,计算输入特征与可学习中心向量之间的相似度,同时加入类内边界参数用于调节同类别样本与不同类别样本之间的判别间隔,使同类别草图特征和三维模型特征在视觉空间中更加紧凑,并使不同类别特征之间保持分离,引导草图和三维模型在视觉空间的对齐。
24、优选的,s5中语义空间对齐损失由交叉熵损失和三元中心损失组合而成,用于学习共享的判别性语义空间。
25、交叉熵损失用于约束样本类别预测结果,使草图特征和三维模型特征具有类别判别能力;
26、三元中心损失用于约束样本特征与对应类别中心之间的距离小于其与非对应类别中心之间的距离,从而增强跨模态特征的类间分离性。
27、优选的,s4中共享视觉transformer主干网络的transformer编码器由l个相同层堆叠而成,每一层包含用于建模图像块之间的全局依赖关系的多头自注意力模块和用于对注意力输出进行非线性特征变换的前馈网络模块,每个子层前应用层归一化后接残差连接,最终将cls token的输出作为该图像的全局表示。
28、优选的,s5中联合损失函数计算公式为:
29、
30、其中,表示视觉空间对齐损失,表示语义空间对齐损失。
31、视觉空间对齐损失计算公式为:
32、
33、其中,为与第c个类别之间的相似度,且,表示草图特征,表示三维模型特征,为类内边界,为温度参数,每个类别配有个可学习中心向量,表示第i个样本的真实类别标签,q为第q个可学习中心向量的索引,q为每个类别对应的可学习中心向量数量,c为第c个类别标签,t为转置运算,n为小批量样本数量。
34、语义空间对齐损失计算公式为:
35、
36、其中,为交叉熵损失,为三元中心损失,为跨域边界,d为欧氏距离。
37、优选的,s6中计算相似度具体为:计算草图特征与视图不变性三维模型特征库中每个特征之间的余弦相似度。
38、经由上述的技术方案可知,与现有技术相比,本发明的有益效果至少包括:
39、1、在标准vit中引入了卷积操作的平移不变性和局部感受野,有效弥合了稀疏草图与密集视图之间的粒度失配,使得模型能够从草图中提取更精确的几何线索,提升了跨模态特征对齐的基础质量。
40、2、将传统的被动视图聚合转变为主动、可学习、渐进式的视图选择过程。该机制通过视图关系模块消除冗余,利用直通估计器实现端到端的硬选择,并通过分层结构逐步收紧信息瓶颈,迫使模型聚焦于跨类别共享的视图不变性几何本质。这从根本上缓解了视图条件域偏移问题,显著提升了模型在不可见类别上的泛化能力。
41、3、完全基于草图与三维模型自身的视觉信息进行学习,降低了模型对外部知识的依赖,具有更广泛的适用性和更强的鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com