面向多模态属性图学习的解耦图视觉语言模型构建方法

本申请属于计算机，具体涉及一种面向多模态属性图学习的解耦图视觉语言模型构建方法。

背景技术：

1、多模态属性图（multimodal-attributed graph，mag）由节点、边、图拓扑以及与节点关联的多种模态属性组成，因此多模态属性图学习需要同时利用节点的图像、文本等语义信息和节点之间的结构关系，以完成节点分类、链接预测等图学习任务。

2、相关技术中，为利用视觉语言模型（vision-language model，vlm）所具备的图像与文本的预训练跨模态对齐能力，目前基于视觉语言模型的多模态属性图预测方法，通常把目标节点及其邻居节点的图像和文本属性拼接成长提示序列，再输入视觉语言模型进行预测。

3、然而，此类方案直接拼接邻居节点的多模态信息以致计算开销较大，且存在节点内语义纠缠和节点间结构纠缠两类问题以致多模态属性图预测的准确性较低：一方面，图像词元（token）和文本token映射至统一token空间后，共享语义、模态特有细节和噪声信号相互混合，模型难以从目标节点的多模态属性中提取与当前任务直接相关的语义因子；另一方面，不同邻居携带的多种关系模式、冗余信息和任务无关信息在邻域聚合过程中相互混合，模型难以识别真正有用的结构因子。

技术实现思路

1、本申请实施例的目的是提供一种面向多模态属性图学习的解耦图视觉语言模型构建方法，能够解决相关技术中多模态属性图预测的计算开销较大且准确性较低的问题。

2、为了解决上述技术问题，本申请是这样实现的：

3、第一方面，本申请实施例提供了一种面向多模态属性图学习的解耦图视觉语言模型构建方法，该方法包括：

4、构建用于处理多模态属性图所关联图学习任务的解耦图视觉语言模型，所述解耦图视觉语言模型包括多模态编码模块、节点内语义解耦模块、节点间结构解耦模块、lora混合专家模块以及视觉语言模型骨干网络；

5、所述多模态编码模块将所述多模态属性图中待处理图学习任务所关联目标节点及图邻域中各节点的多模态属性，分别编码为统一词元token空间下的多模态token序列；

6、所述节点内语义解耦模块将所述目标节点的多模态token序列处理为潜在语义序列，并基于预先学习的不同潜在语义因子对不同图学习任务的作用关系，从所述潜在语义序列中筛选出所述待处理图学习任务所关联的各个潜在语义因子作为各个任务相关语义因子；

7、所述节点间结构解耦模块利用多个结构视角各自对应的并行图神经网络通道，将所述目标节点及图邻域中各节点的多模态token序列处理为多个结构视角下的结构因子；

8、所述视觉语言模型骨干网络根据所述各个任务相关语义因子，生成输入隐藏状态；

9、所述lora混合专家模块基于混合专家门控机制，自适应选择与所述待处理图学习任务相关联的各个结构因子作为各个任务相关结构因子，并将所述各个任务相关结构因子分别通过相应的lora专家，注入所述视觉语言模型骨干网络对输入隐藏状态的处理过程，其中，不同的lora专家具有与不同结构视角下结构因子对应的独立低秩更新路径；

10、所述视觉语言模型骨干网络根据输入隐藏状态的处理结果，对所述待处理图学习任务生成预测结果。

11、第二方面，本申请实施例提供了一种面向多模态属性图学习的解耦图视觉语言模型，所述模型包括：

12、多模态编码模块，用于将所述多模态属性图中待处理图学习任务所关联目标节点及图邻域中各节点的多模态属性，分别编码为统一词元token空间下的多模态token序列；

13、节点内语义解耦模块，用于将所述目标节点的多模态token序列处理为潜在语义序列，并基于预先学习的不同潜在语义因子对不同图学习任务的作用关系，从所述潜在语义序列中筛选出所述待处理图学习任务所关联的各个潜在语义因子作为各个任务相关语义因子；

14、节点间结构解耦模块，用于利用多个结构视角各自对应的并行图神经网络通道，将所述目标节点及图邻域中各节点的多模态token序列处理为多个结构视角下的结构因子；

15、视觉语言模型骨干网络，用于根据所述各个任务相关语义因子，生成输入隐藏状态；以及根据输入隐藏状态的处理结果，对所述待处理图学习任务生成预测结果；

16、lora混合专家模块，用于基于混合专家门控机制，自适应选择与所述待处理图学习任务相关联的各个结构因子作为各个任务相关结构因子，并将所述各个任务相关结构因子分别通过相应的lora专家，注入所述视觉语言模型骨干网络对输入隐藏状态的处理过程，其中，不同的lora专家具有与不同结构视角下结构因子对应的独立低秩更新路径。

17、第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的面向多模态属性图学习的解耦图视觉语言模型构建方法的步骤。

18、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的面向多模态属性图学习的解耦图视觉语言模型构建方法的步骤。

19、第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的面向多模态属性图学习的解耦图视觉语言模型构建方法。

20、在本申请实施例中，构建了一种面向多模态属性图的解耦图视觉语言模型，其通过节点内语义解耦模块，对目标节点提取任务相关的语义因子以作为视觉语言模型骨干网络的输入；并通过节点间结构解耦模块，对目标节点及图邻域中各节点提取区分结构视角的结构因子，然后基于混合专家门控机制从其中自适应选择任务相关的结构因子，进而利用结构因子感知的lora混合专家模块，将任务相关的结构因子注入所述视觉语言模型骨干网络对输入隐藏状态的处理过程，从而结合任务相关的语义因子与结构因子对待处理图学习任务生成预测结果。由此，本申请可以避免将大量邻居节点的多模态信息直接拼接到视觉语言模型骨干网络的输入序列中，并有效解决节点内语义纠缠和节点间结构纠缠的问题，从而能够在保留视觉语言模型骨干网络的原生图文对齐能力的同时，提高预测准确性并降低计算开销。

1.一种面向多模态属性图学习的解耦图视觉语言模型构建方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述节点内语义解耦模块将所述目标节点的多模态token序列处理为潜在语义序列，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于预先学习的不同潜在语义因子对不同图学习任务的作用关系，从所述潜在语义序列中筛选出所述待处理图学习任务所关联的各个潜在语义因子作为各个任务相关语义因子，包括：

5.根据权利要求1所述的方法，其特征在于，所述多个结构视角下的结构因子通过如下公式确定：

6.根据权利要求1所述的方法，其特征在于，所述lora混合专家模块基于混合专家门控机制，自适应选择与所述待处理图学习任务相关联的各个结构因子作为各个任务相关结构因子，并将所述各个任务相关结构因子分别通过相应的lora专家，注入所述视觉语言模型骨干网络对输入隐藏状态的处理过程，包括：

7.根据权利要求1-6任一所述的方法，其特征在于，所述解耦图视觉语言模型采用如下的两阶段课程训练策略构建得到：

8.根据权利要求7所述的方法，其特征在于，所述语义解耦损失通过如下公式确定：

9.根据权利要求8所述的方法，其特征在于，所述kl散度正则项的权重通过如下公式确定：

10.根据权利要求7所述的方法，其特征在于，所述结构解耦损失通过如下公式确定：