基于时序大模型与知识增强大模型的跨模态协同方法与流程

摘要: 本发明涉及人工智能,具体为基于时序大模型与知识增强大模型的跨模态协同方法。背景技术:1、近年来,随着大模型技术的快速发展,时序大模型与知识增强大模型分别在时序数...
基于时序大模型与知识增强大模型的跨模态协同方法与流程

本发明涉及人工智能,具体为基于时序大模型与知识增强大模型的跨模态协同方法。

背景技术:

1、近年来,随着大模型技术的快速发展,时序大模型与知识增强大模型分别在时序数据分析和知识密集型任务中取得了显著进展。时序大模型通过大规模预训练能够捕捉复杂的时序依赖关系,在预测、异常检测等任务中表现优异;知识增强大模型通过融合外部知识库,提升了模型的可解释性和领域适应性。然而,现有技术在处理复杂的跨模态时序任务时仍存在以下问题:

2、现有知识增强方法多停留在浅层的知识嵌入拼接阶段,将知识图谱嵌入直接与文本嵌入拼接后输入模型,缺乏多层次、多粒度的知识注入策略;结构化知识中的实体关系、属性约束等深层语义信息无法有效传递到时序推理过程中,难以充分发挥领域知识对时序分析的指导作用。

3、现有跨模态融合多采用单一层次的融合方式,要么仅在特征层融合,要么仅在决策层融合,无法从特征提取、语义交互到最终决策的全流程实现双路大模型的协同互补。同时,融合权重通常为预先设定的固定值,无法根据输入数据的模态质量和语义相关性自适应调整,导致在不同场景下的泛化能力较差。

技术实现思路

1、本发明的目的在于提供基于时序大模型与知识增强大模型的跨模态协同方法,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:

3、基于时序大模型与知识增强大模型的跨模态协同方法,包括以下步骤:

4、s1、双路大模型构建:分别构建时序大模型与知识增强大模型,时序大模型用于提取输入时序数据的多粒度时序特征,知识增强大模型用于融合外部知识库的结构化知识与文本语义信息;

5、s2、跨模态动态对齐:建立时序-知识联合表征空间,通过对比学习实现时序特征与知识特征的语义对齐,生成跨模态对齐表征;

6、s3、层次化协同融合:分别在特征层、注意力层、决策层执行多维度融合操作,生成统一的跨模态融合表征;

7、s4、协同推理执行:基于跨模态融合表征构建协同推理引擎,执行下游时序预测、异常检测、智能决策任务,输出最终推理结果。

8、优选地,所述步骤s1、双路大模型构建的具体过程为:

9、s11、构建时序大模型:采用时序transformer架构,引入多尺度时间卷积与位置编码,对输入时序数据进行编码,输出多粒度时序特征张量;

10、s12、构建知识增强大模型:采用知识图谱嵌入与预训练语言模型结合的架构,对外部知识库的实体、关系、属性进行向量化表示,并与文本语义进行融合,输出知识增强语义特征;

11、s13、独立预训练:对时序大模型与知识增强大模型进行独立预训练,分别在大规模时序数据集与知识语料库上完成参数初始化。

12、优选地,所述s11、构建时序大模型的具体过程为:

13、对输入时序数据进行标准化处理,其中为时间步长,为特征维度;

14、采用多尺度时间卷积网络提取不同时间尺度的局部特征,生成多尺度特征图;

15、引入相对位置编码与时间戳编码,为每个时间步注入位置信息与绝对时间信息;

16、通过多层时序transformer编码器进行全局时序依赖建模,输出多粒度时序特征,其中为隐藏层维度;

17、对原始时序特征进行全局平均池化与最大池化融合,得到维度对齐后的时序特征,计算公式为:

18、

19、其中,为池化融合权重,为全局平均池化,为全局最大池化。

20、优选地,所述s12、构建知识增强大模型的具体过程为:

21、构建领域知识图谱,包含实体集合、关系集合、三元组集合;

22、采用transh知识图谱嵌入算法,对实体和关系进行向量化表示,生成实体嵌入矩阵与关系嵌入矩阵,其中为知识嵌入维度;

23、将知识嵌入与预训练语言模型的文本嵌入进行拼接,通过知识感知注意力机制进行融合,输出知识增强语义特征,其中为知识实体数量;

24、对原始知识特征进行实体级注意力加权,得到维度对齐后的知识特征,计算公式为:

25、

26、

27、

28、其中,为第个知识实体的注意力权重,为实体重要性得分,为两层感知机。

29、优选地,所述步骤s2、跨模态动态对齐中,建立时序-知识联合表征空间,通过对比学习实现时序特征与知识特征的语义对齐的过程为:

30、s21、构建跨模态投影网络:分别构建时序投影头与知识投影头,将维度对齐后的时序特征与知识特征映射到统一的联合表征空间,投影后特征维度均为,计算公式为:

31、

32、

33、其中,、为投影权重矩阵,、为偏置项;

34、s22、构造正负样本对:基于时间戳-事件关联规则构造样本对,具体规则为:

35、正样本对:同一时间窗口内的时序特征与该时间窗口内发生的事件对应的知识实体特征;

36、负样本对:同一时间窗口内的时序特征与其他时间窗口内的知识实体特征,以及随机采样的无关知识实体特征,正负样本比例为1:10;

37、s23、设计跨模态对比学习损失函数:最大化正样本对的相似度,最小化负样本对的相似度,跨模态对比学习损失函数计算公式为:

38、

39、其中,为余弦相似度函数,为温度系数,为第个时序特征,为对应的正样本知识特征,为负样本知识特征;

40、s24、引入动态对齐权重:根据模态间的语义相关性自适应调整对齐强度,动态对齐权重的计算公式为:

41、

42、其中,为sigmoid激活函数,为权重矩阵,为偏置项,为时序特征的方差(反映时序数据质量),为知识实体注意力权重的熵(反映知识相关性);

43、s25、生成跨模态对齐表征:

44、

45、

46、

47、实现时序与知识模态的语义统一。

48、优选地,所述步骤s3、层次化协同融合中,分别在特征层、注意力层、决策层执行多维度融合操作的过程为:

49、s31、特征层融合:采用门控融合机制,自适应学习时序特征与知识特征的融合权重,生成特征层融合表征,门控融合机制的计算公式为:

50、

51、其中,为sigmoid激活函数,为可学习权重矩阵,为偏置项,为元素-wise乘法,为融合门控值;

52、s32、注意力层融合:设计跨模态交叉注意力机制,实现时序特征与知识特征的双向注意力交互,生成注意力层融合表征,跨模态交叉注意力机制计算公式:

53、,,

54、

55、,,

56、

57、

58、其中,,,,,,,为查询、键、值投影矩阵,为键的维度;

59、s33、决策层融合:采用集成学习策略,对双路模型的初步预测结果进行加权融合,生成最终决策层输出,计算公式为:

60、,

61、

62、其中,、分别为时序模型和知识模型的任务输出头,为决策融合权重(通过验证集自适应调整)。

63、s34、生成统一跨模态融合表征:将特征层融合表征、注意力层融合表征与决策层融合表征进行拼接,通过线性变换生成最终的统一跨模态融合表征。

64、优选地,所述步骤s4、协同推理执行中,基于跨模态融合表征构建协同推理引擎,执行下游任务的过程为:

65、s41、初步预测:将跨模态融合表征输入任务特定的输出头网络,生成初步预测结果;

66、s42、知识约束正则化:引入基于一阶逻辑的知识约束正则化项,确保预测结果符合领域知识规则,正则化损失计算公式为:

67、

68、其中,为第条知识规则的满足度函数,当预测结果满足规则时,否则;

69、s43、不确定性估计:采用蒙特卡洛dropout方法量化预测结果的置信度,具体为:在推理阶段保持dropout层开启,进行次前向传播,得到预测结果集合,计算预测均值和方差:

70、

71、

72、置信度区间为;

73、s44、知识溯源:基于梯度贡献度方法定位对预测贡献最大的知识实体,贡献度计算公式为:

74、

75、其中,为任务损失函数,为第个知识实体的特征,贡献度越大表示该实体对预测结果的影响越大,输出贡献度排名前3的知识实体作为溯源结果;

76、s45、多任务联合优化:总损失函数为对比学习损失、任务损失与知识约束正则化损失的加权和:

77、

78、其中,、为损失权重,采用adamw优化器进行训练,学习率为1e-4,权重衰减为1e-5,迭代次数为100轮,批量大小为32;

79、s46、输出最终推理结果:包括预测值、置信度区间、可解释性知识溯源信息(贡献度排名前3的知识实体及贡献度值)。

80、基于时序大模型与知识增强大模型的跨模态协同系统,包括:

81、双路大模型构建模块,用于分别构建时序大模型与知识增强大模型,时序大模型用于提取输入时序数据的多粒度时序特征,知识增强大模型用于融合外部知识库的结构化知识与文本语义信息;

82、跨模态动态对齐模块,用于建立时序-知识联合表征空间,通过对比学习实现时序特征与知识特征的语义对齐,生成跨模态对齐表征;

83、层次化协同融合模块,用于分别在特征层、注意力层、决策层执行多维度融合操作,生成统一的跨模态融合表征;

84、所述层次化协同融合模块包括:

85、特征层融合单元,用于采用门控融合机制,自适应学习时序特征与知识特征的融合权重,生成特征层融合表征;

86、注意力层融合单元,用于设计跨模态交叉注意力机制,实现时序特征与知识特征的双向注意力交互,生成注意力层融合表征;

87、决策层融合单元,用于采用集成学习策略,对双路模型的初步预测结果进行加权融合,生成最终决策层输出;

88、协同推理执行模块,用于基于跨模态融合表征构建协同推理引擎,执行下游时序预测、异常检测、智能决策任务,输出最终推理结果;

89、所述协同推理执行模块包括:

90、任务输出头单元,用于将跨模态融合表征输入任务特定的输出头网络,生成初步预测结果;

91、知识约束单元,用于引入知识约束正则化,确保预测结果符合领域知识规则;

92、不确定性估计单元,用于执行不确定性估计,量化预测结果的置信度;

93、结果输出单元,用于输出最终推理结果,包括预测值、置信度区间、可解释性知识溯源信息。

94、优选地,所述双路大模型构建模块包括:

95、时序大模型单元,采用时序transformer架构,引入多尺度时间卷积与位置编码,对输入时序数据进行编码,输出多粒度时序特征张量;

96、知识增强大模型单元,采用知识图谱嵌入与预训练语言模型结合的架构,对外部知识库的实体、关系、属性进行向量化表示,并与文本语义进行融合,输出知识增强语义特征;

97、预训练单元,用于对时序大模型与知识增强大模型进行独立预训练,分别在大规模时序数据集与知识语料库上完成参数初始化。

98、优选地,所述跨模态动态对齐模块包括:

99、联合表征空间构建单元,用于构建跨模态投影网络,分别将时序特征与知识特征映射到统一的联合表征空间;

100、对比学习训练单元,用于设计跨模态对比学习损失函数,最大化正样本对的相似度,最小化负样本对的相似度;

101、动态对齐权重单元,用于引入动态对齐权重,根据模态间的语义相关性自适应调整对齐强度;

102、对齐表征输出单元,用于生成跨模态对齐表征,实现时序与知识模态的语义统一。

103、与现有技术相比,本发明的有益效果是:

104、本发明通过构建双路大模型分别提取多粒度时序特征与知识增强语义特征,充分发挥了时序大模型在时序依赖建模与知识增强大模型在语义理解方面的互补优势;建立时序-知识联合表征空间,采用对比学习方法最大化正样本对的相似度,最小化负样本对的相似度,有效缩小了时序与知识模态之间的特征空间鸿沟,同时引入动态对齐权重能够根据输入数据的模态质量和语义相关性自适应调整对齐强度,提升了跨模态信息交互的准确性。

105、本发明分别在特征层、注意力层、决策层执行多维度融合操作,实现了从特征提取、语义交互到最终决策的全流程协同;特征层采用门控融合自适应学习融合权重,能够根据不同输入动态调整时序与知识特征的贡献比例;注意力层通过跨模态交叉注意力实现双向信息交互,使时序特征能够关注相关的知识实体,知识特征也能够关注对应的时序模式;决策层采用集成学习策略融合双路模型的预测结果,进一步提升了最终输出的稳定性与准确性。

106、本发明引入知识约束正则化项,确保预测结果符合领域知识规则,避免产生违背常识的错误结果;同时执行知识溯源,能够输出对预测贡献最大的知识实体,实现了推理过程的可解释性;此外,通过不确定性估计量化预测结果的置信度,为决策提供了更可靠的依据。

107、本发明采用双路大模型可以独立预训练和更新,跨模态对齐与融合模块可以根据不同任务进行灵活调整,系统适用于时序预测、异常检测、智能决策等多种跨模态时序任务,具有广泛的应用前景。