知识增强型迁移模型的构建方法及运维计划生成方法与流程

摘要: 本申请涉及迁移学习,特别是涉及一种知识增强型迁移模型的构建方法及运维计划生成方法。背景技术:1、随着交通、能源、通信等关键基础设施的大规模建设与网络化扩展,沿线...
知识增强型迁移模型的构建方法及运维计划生成方法与流程

本申请涉及迁移学习,特别是涉及一种知识增强型迁移模型的构建方法及运维计划生成方法。

背景技术:

1、随着交通、能源、通信等关键基础设施的大规模建设与网络化扩展,沿线设施的运维管理已成为保障社会生产生活安全与效率的核心环节。随着物联网传感器、视频监控、无人机巡检等数据采集手段的广泛应用,运维领域积累了海量的领域文本数据,包括设备状态记录、故障报修单、维修工单、巡检日志等。利用人工智能技术对这些文本数据进行自动分析与理解,以实现运维计划的智能化生成,已成为业界探索的主流方向。由于自然语言模型在文本分类、信息抽取、自动摘要等任务上表现出优异的处理能力,正被逐步引入上述场景,尝试替代或辅助传统的人工运维决策方式。

2、然而,沿线设施运维领域的专业文本包含大量专业术语和领域特有表达,例如铁路运维领域中的“接触网”“轨道电路”等术语在训练语料中极少出现,训练数据稀缺。自然语言模型的分词器无法正确识别这些术语的边界,词嵌入层也无法将其映射到有意义的语义向量,导致模型在处理运维专业文本时产生错误的语义理解或完全无法理解。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够构建具备专业领域语义理解能力和结构化知识推理能力的知识增强型迁移模型的构建方法及运维计划生成方法。

2、第一方面,本申请提供了一种知识增强型迁移模型的构建方法,包括:

3、获取通用文本数据和目标领域的领域文本数据,并基于所述通用文本数据和所述领域文本数据对预训练的通用自然语言模型进行对抗性领域适应训练,得到跨领域特征编码器;所述跨领域特征编码器用于将所述领域文本数据和所述通用文本数据在语义层面进行对齐;

4、将所述目标领域的领域文本数据输入所述跨领域特征编码器,得到所述领域文本数据对应的文本特征向量;

5、获取所述目标领域的知识图谱,并将所述文本特征向量与所述目标领域的知识图谱中的结构化知识进行融合,得到联合表征;

6、根据所述联合表征,对所述通用自然语言模型进行训练,得到知识增强型迁移模型。

7、第二方面,本申请还提供了一种运维计划生成方法,包括:

8、获取目标设施的运行状态数据;

9、将所述运行状态数据输入知识增强型迁移模型,得到推理结果;所述知识增强型迁移模型是根据如第一方面所述的方法构建的;

10、根据所述推理结果,从预设的运维任务数据库中匹配对应的运维任务,并根据业务规则库中的规则条目对匹配到的运维任务进行编排,生成至少一个候选运维方案;

11、对各所述候选运维方案进行仿真评估,得到各所述候选运维方案各自的评估结果;

12、根据各所述候选运维方案各自的评估结果,从各所述候选运维方案中筛选出目标运维方案。

13、上述知识增强型迁移模型的构建方法及运维计划生成方法,在获取已具备通用语义理解能力的预训练通用自然语言模型的基础上,借助对抗性领域适应训练将通用语义空间与运维领域的专业语义空间进行对齐,从而消除通用语料与专业语料之间的语义鸿沟,使通用自然语言模型能够准确理解运维专业术语和领域特有表达;在此基础上进一步融合目标领域的知识图谱中的结构化知识,使通用自然语言模型在语义理解的基础上获得对结构化知识的推理能力,再经由多任务迁移学习进行微调,构建出具备运维领域专业语义理解能力和结构化知识推理能力的知识增强型迁移模型,减小了通用语料与运维专业语料之间的语义鸿沟,使通用自然语言模型能够准确理解运维领域的专业术语和领域特有表达。

14、此外,上述知识增强型迁移模型的构建方法及运维计划生成方法以知识增强型迁移模型为推理模型,在获取目标设施的运行状态数据后,利用知识增强型迁移模型已在训练阶段习得的跨领域语义对齐能力与结构化知识推理能力,对运行状态数据进行端到端的语义理解与知识推理,从而将非结构化的状态文本或传感器描述自动转化为结构化的推理结果;在此基础上,进一步将推理结果与运维任务数据库及业务规则库相结合,通过匹配相关运维任务并结合任务执行顺序规则和资源搭配规则进行运维计划的编排,提升了沿线设施运维计划制定的智能化水平和响应速度。

1.一种知识增强型迁移模型的构建方法,其特征在于,包括:

2.根据权利要求1所述的知识增强型迁移模型的构建方法,其特征在于,根据所述通用文本数据和所述领域文本数据对预训练的通用自然语言模型进行对抗性领域适应训练,得到跨领域特征编码器,包括:

3.根据权利要求1所述的知识增强型迁移模型的构建方法,其特征在于,将所述文本特征向量与所述目标领域的知识图谱中的结构化知识进行融合,得到联合表征,包括:

4.根据权利要求1所述的知识增强型迁移模型的构建方法,其特征在于,根据所述联合表征,对所述通用自然语言模型进行训练,得到知识增强型迁移模型,包括:

5.根据权利要求4所述的知识增强型迁移模型的构建方法,其特征在于,所述多个任务包括关系分类任务、实体链接任务和序列生成任务;所述联合表征包含所述目标领域的知识图谱中与所述文本特征向量相关联的候选实体的信息,以及各所述候选实体之间的关联关系的信息;

6.根据权利要求5所述的方法,其特征在于,根据所述知识图谱对所述初始预测结果进行修正,得到各所述任务各自对应的修正后预测结果,包括:

7.一种运维计划生成方法,其特征在于,包括:

8.根据权利要求7所述的运维计划生成方法,其特征在于,将所述运行状态数据输入知识增强型迁移模型,得到推理结果,包括:

9.根据权利要求7所述的运维计划生成方法,其特征在于,根据业务规则库中的规则条目对匹配到的运维任务进行编排,生成至少一个候选运维方案,包括:

10.根据权利要求9所述的运维计划生成方法,其特征在于,对各所述候选运维方案进行仿真评估,得到各所述候选运维方案各自的评估结果,包括: