一种大模型赋能的图卷积网络老化预测模型自动化构建方法与流程

摘要: 本发明涉及老化预测,尤其涉及一种大模型赋能的图卷积网络老化预测模型自动化构建方法。背景技术:1、现有老化预测模型构建过程中,数据实体抽取依赖人工基于原始数据集列...
一种大模型赋能的图卷积网络老化预测模型自动化构建方法与流程

本发明涉及老化预测,尤其涉及一种大模型赋能的图卷积网络老化预测模型自动化构建方法。

背景技术:

1、现有老化预测模型构建过程中,数据实体抽取依赖人工基于原始数据集列名筛选界定,数据实体间关联关系依靠人工结合领域知识推理归纳,人工构建表征实体关联的三元组并开展校验筛选,再基于合格三元组搭建知识图谱。图卷积网络模型训练仅采用原始数据集的数值特征作为输入,模型训练、性能评估及模型优选均依赖人工调整参数、核验效果,模型构建全流程依赖人工操作,未形成自动化构建机制。

2、人工参与实体抽取与关系推理易产生语义认知偏差,三元组生成的合理性与数量无法精准管控,知识图谱构建的前置数据处理环节主观性较强。数值特征与知识图谱结构无法融合输入模型,特征利用形式单一,模型训练评估与优选环节人工介入程度高,流程繁琐且适配性较差。需通过通用大语言模型自动完成数据实体语义分析、关系推理及三元组生成,同时实现知识图谱结构与数值特征融合输入,完成图卷积网络模型的自动化训练、评估与优选,解决传统流程中人工依赖度高、实体关系推理不准、特征融合缺失及模型构建非自动化的问题。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点,而提出的一种大模型赋能的图卷积网络老化预测模型自动化构建方法。

2、为了实现上述目的,本发明采用了如下技术方案:一种大模型赋能的图卷积网络老化预测模型自动化构建方法,包括:

3、获取老化预测相关的原始数据集,所述原始数据集包含多个数据列以及每个数据列对应的列名;

4、依据所述原始数据集的列名,自动抽取全部列名或部分列名,将抽取的每个列名定义为一个数据实体,形成初步数据实体集合;

5、将所述初步数据实体集合输入到预设的通用大语言模型,驱动所述通用大语言模型基于其内部学习到的领域知识,对所述初步数据实体集合中的每个数据实体进行语义分析与关系推理,自动生成描述数据实体之间关联关系的初步三元组集合;

6、对所述初步三元组集合执行验证筛选处理,从所述初步三元组集合中剔除不满足设定合理性条件或超出预设数量约束范围的三元组,得到炼成三元组集合;

7、利用所述炼成三元组集合,以其中包含的数据实体作为节点,以数据实体之间的关系作为连接边,构建知识图谱结构;

8、将所述知识图谱结构与来自所述原始数据集的数值特征结合,输入到图卷积网络模型中,基于预设的超参数配置组合对所述图卷积网络模型进行训练,并进行自动评估与优选,生成优化后的图卷积网络老化预测模型。

9、作为本发明的进一步方案,驱动所述通用大语言模型基于其内部学习到的领域知识,对所述初步数据实体集合中的每个数据实体进行语义分析与关系推理,自动生成描述数据实体之间关联关系的初步三元组集合,包括:

10、在所述通用大语言模型的输入提示中,注入所述初步数据实体集合以及指定实体关系发现任务的指令;

11、引导所述通用大语言模型针对所述初步数据实体集合中的任意两个或多个数据实体,依据其内部学习到的领域知识,推测并描述它们之间存在的物理、化学或统计关联关系;

12、接收所述通用大语言模型输出的自然语言描述,将每一条描述实体间关系的自然语言语句,按照“头实体-关系描述-尾实体”的格式进行结构化解析与转换,生成一个格式统一的三元组,所有生成的三元组汇集构成所述初步三元组集合。

13、作为本发明的进一步方案,对所述初步三元组集合执行验证筛选处理,从所述初步三元组集合中剔除不满足设定合理性条件或超出预设数量约束范围的三元组,得到炼成三元组集合,包括:

14、计算所述初步三元组集合中三元组的总数量;

15、设定与原始数据规模和特征复杂度相关的三元组数量阈值范围,将所述三元组的总数量与所述数量阈值范围进行比较;

16、在所述三元组的总数量超出所述数量阈值范围的上限时,激活所述通用大语言模型对所述初步三元组集合中的每个三元组进行关系重要性评分,依据关系重要性评分的排序结果,移除评分最低的部分三元组,直至剩余三元组数量落入所述数量阈值范围;

17、在所述三元组的总数量低于所述数量阈值范围的下限或在范围内时,激活所述通用大语言模型对所述初步三元组集合进行逻辑合理性检查,移除被所述通用大语言模型判定为存在逻辑矛盾、物理规律不符或与老化预测任务弱相关的三元组。

18、作为本发明的进一步方案,激活所述通用大语言模型对所述初步三元组集合中的每个三元组进行关系重要性评分,依据关系重要性评分的排序结果,移除评分最低的部分三元组,包括:

19、将所述初步三元组集合中的每个三元组分别输入到所述通用大语言模型,并附加评估三元组所描述关系对老化预测任务重要性的指令;

20、接收所述通用大语言模型为每个输入的三元组输出的一个数值形式的重要性评分;

21、将所述初步三元组集合中的所有三元组按照其对应的数值形式的重要性评分从高到低进行排序;

22、从排序后的列表末尾开始,依次移除三元组,并在每次移除后重新计算剩余三元组的数量,当所述剩余三元组的数量首次满足落入所述数量阈值范围的条件时,停止移除操作,此时的剩余三元组构成筛选后的集合;

23、所述通用大语言模型主要用于使用,也可以选用垂域大模型进行三元组抽取筛选。

24、作为本发明的进一步方案,将所述知识图谱结构与来自所述原始数据集的数值特征结合,输入到图卷积网络模型中,包括:

25、从所述原始数据集中提取与所述知识图谱结构中每个节点相对应的数据实体的历史观测数值序列,形成节点原始特征向量;

26、对每个节点的节点原始特征向量进行标准化处理,消除量纲影响,生成节点标准化特征;

27、将每个节点的节点标准化特征作为节点在所述知识图谱结构中的初始特征向量,与描述节点连接关系的所述知识图谱结构一同作为图卷积网络的输入。

28、作为本发明的进一步方案,所述基于预设的超参数配置组合对所述图卷积网络模型进行训练,并进行自动评估与优选,包括:

29、定义一组待评估的图卷积网络超参数配置组合,所述超参数配置组合包括图卷积层维度、图卷积网络深度、激活函数类型以及模型训练学习率;

30、采用所述原始数据集的一部分作为训练数据,另一部分作为验证数据;

31、使用所述训练数据,在每一种图卷积网络超参数配置组合下,独立初始化并训练一个图卷积网络模型实例,每个图卷积网络模型实例以前向传播计算预测值,以预测值与真实值之间的均方误差作为损失函数进行反向传播优化;

32、在训练完成后,使用所述验证数据对每个图卷积网络模型实例进行预测性能评估,记录每个图卷积网络模型实例在所述验证数据上的评估指标数值;

33、比较所有图卷积网络模型实例对应的评估指标数值,选取评估指标数值最优的图卷积网络模型实例所对应的图卷积网络超参数配置组合,作为优选超参数配置,并将图卷积网络模型实例确定为优化后的图卷积网络老化预测模型。

34、作为本发明的进一步方案,使用所述训练数据,在每一种图卷积网络超参数配置组合下,独立初始化并训练一个图卷积网络模型实例,每个图卷积网络模型实例以前向传播计算预测值,以预测值与真实值之间的均方误差作为损失函数进行反向传播优化,包括以下步骤:

35、针对每一种图卷积网络超参数配置组合,初始化一个独立的图卷积网络模型实例,包括根据所述图卷积层维度和图卷积网络深度定义模型的层数与每层神经元数量,并依据所述激活函数类型配置各层的激活函数;

36、从所述知识图谱结构与所述节点标准化特征构成的数据中,加载所述训练数据对应的子图与节点特征;

37、将所述训练数据对应的子图与节点特征输入到初始化的图卷积网络模型实例中;

38、模型实例执行前向传播过程,其每一层的图卷积操作聚合邻居节点特征,并通过激活函数进行非线性变换,最终在输出层计算得到每个节点的老化预测值;

39、将前向传播计算得到的老化预测值与所述训练数据中对应的真实老化标签值进行比较,计算老化预测值与真实老化标签值之间的均方误差作为损失值;

40、利用反向传播算法,根据所述损失值计算模型各层参数的梯度;

41、依据所述模型训练学习率,通过梯度下降优化器更新图卷积网络模型实例中的所有参数;

42、重复执行所述前向传播计算预测值、计算损失值和反向传播更新参数的过程,直到预设的训练迭代次数完成或损失值不再显著下降。

43、作为本发明的进一步方案,所述选取评估指标数值最优的图卷积网络模型实例所对应的图卷积网络超参数配置组合,作为优选超参数配置,并将图卷积网络模型实例确定为优化后的图卷积网络老化预测模型,包括:

44、在完成所有图卷积网络超参数配置组合的评估后,将所有图卷积网络模型实例在所述验证数据上的评估指标数值进行排序;

45、找出评估指标数值最小的图卷积网络模型实例,其对应的图卷积网络超参数配置组合即为所述优选超参数配置;

46、保存具有所述优选超参数配置的图卷积网络模型实例的网络结构与训练完毕的参数权重,保存的模型即为所述优化后的图卷积网络老化预测模型。

47、作为本发明的进一步方案,所述方法在生成优化后的图卷积网络老化预测模型后,还包括全流程迭代优化步骤:

48、不改变所述初步数据实体集合,重新执行从输入所述通用大语言模型生成三元组到构建知识图谱结构,再到训练优化图卷积网络模型的完整流程;

49、在每一次迭代中,由于所述通用大语言模型生成的三元组不同,从而构建出具有不同连接关系的知识图谱结构,基于不同的知识图谱结构训练得到不同的图卷积网络模型候选;

50、设定一个总的迭代次数上限,重复所述完整流程达到所述迭代次数上限;

51、在所有迭代完成后产生的多个图卷积网络模型候选中,选取在独立验证集上预测性能最佳的模型,作为最终确定的大模型赋能的图卷积网络老化预测模型。

52、作为本发明的进一步方案,所述在所有迭代完成后产生的多个图卷积网络模型候选中,选取在独立验证集上预测性能最佳的模型,包括:

53、在整个流程开始前,从所述原始数据集中预先划分出一部分数据作为固定的独立验证集,所述独立验证集不参与任何一次迭代中的模型训练过程;

54、在每一次迭代完成并得到一个图卷积网络模型候选后,立即使用所述固定的独立验证集对所述图卷积网络模型候选进行性能评估,并记录评估结果;

55、当达到设定的迭代次数上限,完成所有迭代后,比较所有记录的评估结果;

56、选取评估结果数值最小的图卷积网络模型候选,作为所述最终确定的大模型赋能的图卷积网络老化预测模型。

57、与现有技术相比,本发明的优点和积极效果在于:

58、将依据原始数据集列名抽取形成的初步数据实体集合输入预设通用大语言模型,依托模型内部领域知识对各数据实体开展语义分析与关系推理,自动生成表征实体关联的初步三元组集合,对初步三元组集合执行验证筛选处理,剔除不符合合理性条件与数量约束的三元组得到炼成三元组集合,可直接完成数据实体关联关系的自动化推导,规避人工语义推理带来的偏差,三元组的生成标准保持统一,不合理及超量三元组被精准筛除,知识图谱构建的前置数据处理环节摆脱人工干预。

59、以炼成三元组集合中的数据实体为节点、实体间关系为连接边构建知识图谱结构,把该知识图谱结构与原始数据集的数值特征相结合输入图卷积网络模型,依据超参数配置组合开展模型训练,同步执行自动评估与优选操作,生成优化后的图卷积网络老化预测模型,实现知识特征与数值特征的联合输入,图卷积网络模型的输入特征维度得到完整补充,模型训练、效果评估与模型筛选流程全程自主完成,无需人工介入调整与筛选,老化预测模型的整体构建流程形成全链路自动化运行模式。