一种大语言模型辅助语义建模的跨模态三维模型检索方法

摘要: 本发明涉及一种大语言模型辅助语义建模的跨模态三维模型检索方法,属于三维模型检索,应用于智能制造、文物保护和智慧教育领域。背景技术:1、随着数字经济的蓬勃发展,传...
一种大语言模型辅助语义建模的跨模态三维模型检索方法

本发明涉及一种大语言模型辅助语义建模的跨模态三维模型检索方法,属于三维模型检索,应用于智能制造、文物保护和智慧教育领域。

背景技术:

1、随着数字经济的蓬勃发展,传统二维平面展示体系已无法满足日益增长的多元化需求,相较于图像、视频和声音等多媒体数据,三维模型及其构建的三维场景能够提供更加丰富的特征信息和更加逼真的立体视觉特性,实现了虚拟世界与现实世界的无缝衔接。三维数字化技术作为数字经济的重要支撑之一,被广泛应用于生物医学、智能交通、智能制造、文物保护和服装制造等众多领域。随着三维模型应用场景的不断拓展,三维建模软件日益成熟,三维模型数据量呈爆发式增长。以普林斯顿大学构建的三维模型数据库为例,其涵盖了三万多个用途各异的三维模型;杭州新迪数字工程系统有限公司三维模型库的数据就多达上百万。面对现实场景中海量的三维数据,如何进行科学高效地管理,充分利用已有数据,实现快速精准的三维模型检索,不仅是学术界长期关注的研究热点,更是工业界在实际应用中亟需解决的关键技术问题。

2、

3、三维模型检索旨在以文本、三维模型或2d图像作为查询,从三维模型数据库中检索出在外观和空间结构上与之相似的三维模型。以2d图像作为查询的跨模态三维模型检索因其能够提供精确的三维模型结构和视觉信息描述,且用户获取2d图像更为便捷,而备受研究学者关注。如基于对抗学习的方法,借助生成对抗网络,在生成器和判别器动态博弈过程中,生成器不断优化生成图像的质量,判别器不断提升判别能力,从而逐步加深模型对2d图像和三维模型潜在关联的理解。基于注意力机制的检索方法,通过构建注意力模型,使模型在处理2d图像时能够自动聚焦于与三维模型关键特征紧密相关的区域,从而准确提取有效特征。多尺度特征融合方法则利用2d图像天然的多尺度信息,融合不同尺度特征,全面描述图像内容,从而与三维模型特征实现准确匹配。跨模态三维模型检索技术有效突破了三维数据获取、传输和处理的局限性,不仅降低了用户使用门槛,还为多领域应用提供了更加便捷和高效的解决方案。如在工业产品制造中,通过2d设计草图快速检索相似的三维模型,加速产品设计与迭代;在医疗辅助诊断过程中,利用医学影像检索相似的三维病理模型,辅助医生进行精准诊断;在数字文物保护中,通过文物照片检索三维数字化模型,助力文物修复与文化传承。此外,该技术也被广泛应用于城市设计规划、智能安全与防控以及游戏与影视制作等多种生产和生活场景。

4、然而,现有的跨模态三维模型检索方法面临以下主要挑战:(1)二维图像、三维模型与文本之间的模态异构差异尚未得到有效解决,影响了跨模态语义关联的准确性;(2)现有方法在零样本场景下表现不佳,当遇到未知类别的三维模型时,由于缺乏足够的训练样本,难以实现有效建模和精准检索;(3)传统方法难以泛化到新的数据集和应用场景,通用性和可扩展性不足。

技术实现思路

1、本发明所要解决的技术问题是提供一种能够有效应对零样本场景、实现跨模态语义对齐的大语言模型辅助语义建模的跨模态三维模型检索方法。

2、本发明采用如下技术方案:

3、本发明大语言模型辅助语义建模的跨模态三维模型检索方法,其特征在于,采用如下步骤:

4、s1、视觉自适应表征学习:借助clip预训练的文本编码器和图像编码器提取二维图像和三维模型的文本特征和视觉特征,并利用大语言模型生成精准文本提示;构建多视图表征增强模块,通过通道注意力机制与相串联的unfold、transformer和fold结构强化局部细节捕捉与全局依赖建模,得到增强的三维表征;

5、s2、跨模态语义一致性建模:构建包括经伪标签筛选优化的跨模态对比损失、跨模态差异损失和鲁棒性分类损失的多约束损失,依靠三类损失协同约束完成文本、二维图像与三维多视图特征语义对齐,整合各损失函数,以构建总目标函数,采用总目标函数对网络执行端到端协同训练;

6、s3、跨模态三维模型检索:给定二维图像作为查询样本,检索出对应的三维模型。

7、进一步地,s1中借助大语言模型生成精准文本提示的步骤具体为:采用命令型提示、疑问型提示、同义句型提示和组词成句型提示向大语言模型输入指令,生成包含三维模型形状、结构信息的描述文本。

8、进一步地,s1中多视图表征增强模块具体包括:利用图像编码器提取三维模型多视图特征,将多视图特征沿着通道维度拼接生成高维特征;引入有效通道注意力机制学习不同通道的重要性权重,增强关键特征通道;使用n×n卷积提取局部特征信息,并通过1×1卷积实现特征通道升维;

9、利用unfold、transformer和fold结构进行全局特征提取,具体地:先将特征图拆分为多个局部区域,并对展开的特征向量进行自注意力操作,捕捉全局依赖关系,再将处理后的特征向量重新组合为特征图;采用跳过连接将输出与原始输入特征进行连接,通过方形卷积融合特征,得到增强的多视图特征,采用如下公式:

10、

11、式中,表示三维模型最终增强多视图特征,表示高维特征,表示特征图,表示1×1卷积运算。

12、进一步地,s2跨模态对比对齐优化的步骤为:

13、s201、采用对比损失函数对齐二维图像与文本特征,强化二者语义一致性;采用如下公式:

14、

15、式中,表示第i类2d图像的真实标签,和分别表示具有提示微调的2d图像第类的文本表示和图像表示;

16、s202、设置固定置信度阈值,若clip模型对三维模型样本预测的最大概率高于该阈值,则保留其伪标签;若低于该阈值,则丢弃该伪标签,确保伪标签可靠性,基于筛选后的高质量伪标签,采用对比损失函数对齐三维模型多视图特征与文本特征,强化三维模型与文本的语义一致性,损失公式如下:

17、

18、式中,是指示函数,表示预测的最大概率,表示第i类三维模型的伪标签,和分别表示具有提示微调的三维模型第类的文本表示和多视图特征表示。

19、进一步地,s2中跨模态差异损失具体为:从实例角度最大化不同模态间互信息,拉近共享空间中跨模态特征距离,减少模态异构差异;公式如下:

20、

21、式中,n表示实例总数;m表示单实例下模态数量;k为同实例内其余模态索引;l为跨实例负样本索引;m为负样本模态索引;表示第i个物体实例、第j种模态的特征向量;表示同一个物体i下其他模态k的正样本特征;表示任意其他物体实例l、任意模态m的负样本特征;为一个温度参数,所述公式将跨模态特征投影到一个公共嵌入空间,使得不同模态的特征在公共空间中更具一致性,帮助模型在面对未知类别时,更好地处理不同模态数据,从而降低因模态差异导致的建模难度。

22、进一步地,s2中鲁棒性分类损失具体为:从完整语义类别约束角度最小化分类预测与标签之间的差异,规避噪声标签带来的分类偏差,强化多模态特征语义一致性;依托端到端协同训练架构学习类别语义边界,精准捕捉跨模态类别语义,并借助大语言模型实现已知类别向全新未知类别的知识迁移,提升零样本下未知类别建模可靠性,采用如下公式:

23、

24、式中,是一个常见的分类器,参数由所有模态共享;n表示实例总数;m表示单实例下模态数量;表示第i个物体实例、第j种模态的特征向量;是第i个物体的第j种模态对应的类别标签。

25、进一步地,总目标函数构建具体为:

26、将图像-文本对比损失、三维模型-文本对比损失、跨模态差异损失以及鲁棒性分类损失进行整合,构建整体网络端到端训练的总体目标函数;采用固定权衡超参对各损失项加权求和,依靠权衡参数和在每一轮反向传播过程中自动制衡四类损失的梯度更新力度,还可根据训练阶段、数据集场景灵活调整各损失权重侧重,平衡各损失项权重,实现多任务协同收敛,避免单一任务主导网络训练;通过多损失协同优化,适配训练全程未出现的全新未知类别,实现未知类别有效建模,提升零样本检索场景下跨模态三维模型检索精度,采用如下公式:

27、

28、式中,和均表示权衡参数,为图像-文本对比损失,为三维模型-文本对比损失、为跨模态差异损失,为鲁棒性分类损失。

29、进一步地,s3中跨模态三维模型检索具体为:分别提取二维图像特征和三维模型特征,采用欧式距离来度量二维图像查询和三维模型特征之间的相似性,计算公式如下:

30、

31、式中,表示提取的2d特征向量,表示提取的3d特征向量。

32、给出一个查询图像,通过计算该查询图像与数据库中的三维模型之间的相似性,可以得到该查询图像对应的三维模型,公式如下:

33、

34、式中,m代表数据库中任意一个三维模型样本;是某个3d模型m对应的多视图。

35、进一步地,所述从实例角度最大化互信息具体为:针对单个物体实例最大化其文本、二维图像、三维模型多视图特征的互信息,在共享空间拉近同一实例多模态正样本特征,拉大不同实例负样本特征距离。

36、本发明采用的技术方案的有益效果如下:

37、1、通过大语言模型辅助跨模态知识迁移,借助大语言模型生成含三维模型形状、结构等关键信息的精准文本提示,完成跨模态知识迁移,构建已知与未知类别知识迁移桥梁,实现已知模态特征向未知类别的精准迁移,突破了零样本场景下未知类别建模的瓶颈;

38、2、通过视觉自适应表征学习搭配多视图表征增强模块,融合通道注意力机制与轻量级transformer,同步强化三维模型多视图的全局结构关联与局部细节捕捉能力,提升三维视觉表征区分度;

39、3、通过跨模态语义一致性建模,学习了文本、二维图像与三维模型的统一表示空间,有效削弱了模态异构差异,实现了未知类别的高精度检索;

40、4、使用伪标签策略筛选高质量训练样本,规避了无标签带来的训练盲目性,提高了模型的可靠性;

41、5、采用多损失协同的端到端训练方式,借助权衡参数动态平衡各损失项权重,确保整套端到端训练网络架构协同优化,提升了整体检索性能。