基于伪标签三元组数据扩充的多模态检索大模型训练方法与流程

摘要: 本发明涉及模型训练,具体涉及基于伪标签三元组数据扩充的多模态检索大模型训练方法。背景技术:1、随着生成式人工智能与多模态学习的飞速发展,跨模态检索技术已从传统的...
基于伪标签三元组数据扩充的多模态检索大模型训练方法与流程

本发明涉及模型训练,具体涉及基于伪标签三元组数据扩充的多模态检索大模型训练方法。

背景技术:

1、随着生成式人工智能与多模态学习的飞速发展,跨模态检索技术已从传统的“文-图”检索进化到“文-图-3d”三模态对齐阶段。在工业领域,实现文字、实拍图片与三维cad模型之间的无缝检索,对于智能制造、数字化仓储及零件管理具有重大的应用价值。

2、在现有技术中,主要存在以下三种技术路径:

3、(1)采用基于预训练空间对齐的扩展方案(如openshape):该方案利用大规模3d数据集(如objaverse),通过将3d形状特征投影至预训练的clip(contrastive language-image pre-training,基于对比文本-图像对的预训练模型)图像/文本特征空间中,实现3d模态与已有图文表征的对齐。其技术实现通常侧重于解决3d几何特征的编码问题,使模型具备零样本(zero-shot)识别能力;

4、(2)三模态特征对齐方案:(如tamm):如图1所示,该方案致力于构建统一的文-图-3d对齐框架,通常包含三个独立的编码器。通过引入三元对比损失(triplet contrastiveloss),在训练过程中显式地缩小同一物体的文本描述、二维工业图像与三维模型在公共向量空间中的距离;

5、(3)基于生成式大模型的跨模态增强方案:该方案基于扩散模型架构,部分方案尝试利用大模型的泛化能力,通过已知的3d模型渲染图来模拟实拍图像,以弥补真实样本的不足。

6、尽管openshape和tamm等方案在通用领域取得了显著进展,但在工业级场景的实际应用中,仍面临严重的性能瓶颈和落地挑战,主要体现在“文-图-3d”高维三元组数据极度匮乏、三元组构建过程中的“伪关联”与质量噪声、静态训练机制缺乏闭环治理等方面。

7、在此背景下,如何构建正向迭代的训练机制,以满足高精度工业零件检索的实战需求成为亟待解决的问题。

技术实现思路

1、本发明提供了一种基于伪标签三元组数据扩充的多模态检索大模型训练方法,以解决现有技术问题之一。

2、第一方面,本发明提供了一种基于伪标签三元组数据扩充的多模态检索大模型训练方法,该方法包括:

3、收集由工业文本描述库及工业文本描述库对应的3d模型组成的二元组数据,提取并融合二元组数据的特征,构建伪标签层次树;

4、收集工业环境下的图像数据,将工业环境下的图像数据关联至伪标签层次树,将二元组数据扩充为由工业文本描述、工业环境下的图像、3d模型组成的伪标签三元组;

5、采用多模态检索大模型对伪标签三元组进行置信度评分,进行样本过滤;

6、利用样本过滤后的样本对多模态检索大模型进行监督微调,采用监督微调后的多模态检索大模型投入到二元组数据扩充为伪标签三元组流程中,形成闭环迭代。

7、本发明通过融合工业文本描述库和3d模型的特征,构建伪标签层次树,为后续跨模态关联提供可解释、可度量的先验锚点,通过将工业环境下的图像的数据关联至伪标签层次树,将稀疏的二元组数据扩充为高质量三元组数据,突破三元组数据匮乏的瓶颈,利用置信度评分进行样本过滤,避免噪声样本干扰,保障模型训练数据质量,对多模态检索大模型进行监督微调,反哺数据扩充,形成模型优化数据、数据驱动模型的正向数据飞轮,实现无需人工干预的闭环自我升级,提高模型性能。

8、在一种可选的实施方式中,提取并融合二元组数据的特征,构建伪标签层次树,包括:

9、采用文本编辑器提取工业文本描述库的语义特征;

10、采用3d拓扑结构编码器提取工业文本描述库对应的3d模型的几何特征;

11、融合语义特征和几何特征,进行层次化聚类;

12、采用hdbscan算法输出的凝聚树将层次化聚类结果构建为伪标签层次树,伪标签层次树的节点代表具有相似几何特征或语义特征的工业组件。

13、本发明通过文本编辑器提取工业文本描述库的语义特征,以捕获工业零件的功能属性等信息,通过3d拓扑结构编码器提取3d模型的几何特征,以深度感知工业零件的物理形态差异,融合语义特征和几何特征,并进行层次化聚类,避免单纯依赖几何相似性或文本语义导致的聚类偏差,通过hdbscan算法构建伪标签层次树,为后续图像关联提供可解释的结构化锚点。

14、在一种可选的实施方式中,将图像数据关联至伪标签层次树,将二元组数据扩充为由工业文本描述、工业环境下的图像、3d模型组成的伪标签三元组,包括:

15、采用图像编码器提取工业环境下图像数据的图像特征,将工业环境下图像数据的图像特征映射到伪标签层次树,计算图像特征和伪标签层次树的节点特征的余弦相似度;

16、以余弦相似度计算结果为依据,将工业环境下图像数据关联至伪标签层次树对应的节点,将二元组数据扩充为伪标签三元组,伪标签三元组由工业文本描述、工业环境下的图像、3d模型组成。

17、本发明通过将工业环境下图像数据的图像特征映射到伪标签层次树,以余弦相似度匹配机制将工业环境下图像数据关联至伪标签层次树对应的节点,将原本孤立的工业环境下图像数据嵌入至跨模态语义关系中,形成伪标签三元组,完成从二元组到三元组的扩充,解决工业场景下数据孤岛难以打通的问题。

18、在一种可选的实施方式中,采用多模态检索大模型对伪标签三元组进行置信度评分,进行样本过滤,包括:

19、采用三元对比损失函数计算伪标签三元组中工业文本描述与工业环境下的图像、工业文本描述与3d模型、工业环境下的图像与3d模型两两模态特征在公共向量空间中的余弦距离之和;

20、将余弦距离之和超出预设距离范围的样本确定为噪声,并剔除噪声。

21、本发明通过三元对比损失函数计算伪标签三元组中两两模态特征在公共向量空间中的余弦距离之和,判定噪声,并剔除噪声,有效剔除因几何相似性干扰、领域鸿沟等因素产生的低质量伪标签,保障数据集的可靠性。

22、在一种可选的实施方式中,利用样本过滤后的样本对多模态检索大模型进行监督微调,包括:

23、将样本过滤后的样本作为多模态检索大模型训练的输入数据,以同一伪标签三元组内互为正样本,以不同伪标签三元组间互为负样本作为监督信息,采用有监督对比学习微调机制,调整多模态检索大模型中文本编码器、图像编码器、3d编码器的网络权重参数,以最小化正样本三元组空间距离,最大化负样本距离为优化目标。

24、本发明通过采用有监督对比学习微调机制对多模态检索大模型进行监督微调,实现跨模态特征空间的自适应对齐,使得模型具备更强的细粒度跨模态辨识能力,为数据飞轮的闭环迭代提供核心驱动力。

25、在一种可选的实施方式中,采用监督微调后的多模态检索大模型投入到二元组数据扩充为伪标签三元组流程中,包括:

26、采用监督微调后的多模态检索大模型对候选伪标签三元组进行样本过滤,将样本过滤后的候选伪标签三元组作为多模态检索大模型下一轮训练的输入数据,对多模态检索大模型进行新一轮监督微调。

27、本发明通过将监督微调后的多模态检索大模型投入伪标签三元组的样本过滤中,以形成正向增强闭环,提升多模态检索大模型能力。

28、第二方面,本发明提供了一种基于伪标签三元组数据扩充的多模态检索大模型训练装置,该装置包括:

29、构建模块,用于收集由工业文本描述库及工业文本描述库对应的3d模型组成的二元组数据,提取并融合二元组数据的特征,构建伪标签层次树;

30、扩充模块,用于收集工业环境下的图像数据,将图像数据关联至伪标签层次树,将二元组数据扩充为由工业文本描述、工业环境下的图像、3d模型组成的伪标签三元组;

31、样本过滤模块,用于采用多模态检索大模型对伪标签三元组进行置信度评分,进行样本过滤;

32、微调模块,用于利用样本过滤后的样本对多模态检索大模型进行监督微调,采用监督微调后的多模态检索大模型投入到二元组数据扩充为伪标签三元组流程中,形成闭环迭代。

33、第三方面,本发明提供了一种电子设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的基于伪标签三元组数据扩充的多模态检索大模型训练方法。

34、第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于伪标签三元组数据扩充的多模态检索大模型训练方法。

35、第五方面,本发明提供了一种计算机程序产品,包括计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于伪标签三元组数据扩充的多模态检索大模型训练方法。