一种基于本体论和RoBERTa模型的航空领域元模型推荐方法与流程

本技术涉及到人工智能，尤其涉及到一种基于本体论和roberta模型的航空领域元模型推荐方法。

背景技术：

1、本体论（英文单词：ontology）是西方哲学中研究存在本质的分支学科，与认识论相对应。在信息科学领域，该术语指代规范化的领域知识描述体系，通过定义概念、属性及关系构建结构化知识框架。人工智能领域将其视为共享概念模型的形式化说明系统，用于符号化人类知识以便于计算机能够理解知识。本体论的核心作用包括统一术语体系、实现语义网络连接及促进知识结构化表达。其构建需完成概念关系确立与形式化工具应用两个步骤。在标准数字化领域，本体被用于明确标准概念定义、属性内容及概念关系规则，构建多维度语义网络。

2、roberta是由facebook ai研究院在bert基础上提出的一种优化方案。它的核心思想是通过更彻底、更优化的训练策略，将bert的潜力充分挖掘出来。roberta模型基于更大的训练数据集与更长的训练时间确保模型学习更加充分。该模型采用动态掩码技术，对输入的数据随机生成掩码，增强了模型的泛化能力，并通过在大量无标签的原始文本上进行自监督学习来获得语言理解能力。

3、领域元模型可以通俗地理解为“定义模型的模型”。它不直接描述业务本身，而是描述如何为某个特定领域建立模型的一套规则和语言。领域元模型提供统一语言，确保领域内的所有专家、开发人员、产品经理对核心概念的理解一致，消除沟通歧义。在建模过程中，为该领域内创建模型提供规范，保证所有模型都遵循统一的语义和规则，从而提高模型的质量和一致性。在模型驱动开发中，通过定义领域元模型自动生成代码、配置文件或开发工具，大幅提升软件开发效率。

4、随着现代软件系统的复杂程度越来越高，在软件开发过程中模型驱动工程为提升软件质量和降低维护成本提供了巨大的便利。而模型驱动工程落地过程中，需要可靠的辅助建模工具提供支撑。在建模过程中，建模人员必须严格遵循专业领域统一规范，完整、准确地定义所有领域概念，由于跨专业、跨学科等问题导致建模过程对技术人员来说难度极高。此外在建模过程中，仍然需要投入巨大人力手工补全模型规则，这也将导致企业需要增加大量成本投入，难度系数也大幅增长。因此，急需设计一种高效、精准的辅助建模方法来快速帮助模型驱动工程落地。

5、当前，已存在面向航空领域元模型自动补全场景概念来帮助建模的技术方案，第一种是通过构建逻辑驱动的规则引擎，利用模型转换机制，针对局部模型输出推荐结果；第二种则是通过从航空领域文本数据中抽取领域知识，通过预训练词嵌入到模型中来完成自动推荐功能。上述两种方案均存在局限性，第一种方案需要投入大量人力进行定制模型转换逻辑，依赖逻辑推理引擎才能运行，实现较为复杂，难度系数高。第二种方案需要提前储备航空领域的知识资源，精准定位，但这类资源在获取过程中实效性、准确性、版本控制均存在不确定因素，抽取过程也极为繁琐。

技术实现思路

1、本技术提供了一种基于本体论（ontology）和roberta（robustly optimized bertapproach）模型的航空领域元模型推荐方法，用以解决现有技术中推荐精度低、依赖人工规则、无法适应复杂动态语义环境的技术难题。

2、第一方面，提供了一种基于本体论和roberta模型的航空领域元模型推荐方法，包括以下步骤：

3、获取航空领域本体文件和航空领域元模型资源文件；

4、将xml格式的元模型文件通过树状文本序列化算法转换为文本序列，所述树状序列化算法将元模型的层级结构、元素类型和依赖关系映射为包含特殊标记的类自然语言序列；

5、将文本序列划分为训练集和测试集；

6、对训练集进行文本归一化，并利用航空领域本体词典对分词器进行增强，执行本体增强分词；

7、构建roberta模型，将航空领域本体的概念集扩展至模型词表；定义并最小化总损失函数；

8、接收待处理的元模型上下文序列，在指定位置插入掩码标记，输入训练好的roberta模型，获取模型输出的掩码位置概率分布，生成按置信度降序排列的候选推荐列表。

9、在上述技术方案中，通过获取航空领域本体文件和航空领域元模型资源文件；将xml格式的元模型文件通过树状文本序列化算法转换为文本序列，所述树状序列化算法将元模型的层级结构、元素类型和依赖关系映射为包含特殊标记的类自然语言序列；将文本序列划分为训练集和测试集；对训练集进行文本归一化，并利用航空领域本体词典对分词器进行增强，执行本体增强分词；构建roberta模型，将航空领域本体的概念集扩展至模型词表；定义并最小化总损失函数；接收待处理的元模型上下文序列，在指定位置插入掩码标记，输入训练好的roberta模型，获取模型输出的掩码位置概率分布，生成按置信度降序排列的候选推荐列表；解决了现有技术中推荐精度低、依赖人工规则、无法适应复杂动态语义环境的技术难题。

10、在一个具体可实施方案中，还包括：

11、利用测试集评估推荐列表的准确性，计算top-k命中率和平均倒数排名指标。

12、在一个具体可实施方案中，所述总损失函数由动态掩码语言模型损失 lmlm 和本体语义一致性约束损失lonto 加权构成，其中，

13、，其中 λ 为权重系数。

14、在一个具体可实施方案中，所述树状文本序列化算法遵循如下规则：

15、使用包括 [class]、[property]、[relation]、[source]、[target] 的特殊标记来界定元模型的不同组成单元；

16、类的属性列表封装在 [properties] 与标记之间；

17、关系的定义包含源类和目标类的显式声明。

18、在一个具体可实施方案中，采用基于语义混淆的掩码采样策略，该策略根据航空领域本体中概念的重要性权重w(c) 来确定掩码位置；所述重要性权重w(c) 的计算公式为：

19、；

20、其中，freq(c) 是概念c在本体中的出现频率，depth(c) 是概念在分类树中的深度，deg(c) 是概念与其他节点的连接度，α，β，γ为预设的调节系数。

21、在一个具体可实施方案中，所述本体语义一致性约束损失 lonto采用对比学习框架，其计算过程包括：

22、从航空领域本体中提取具有直接关联关系的概念对作为正样本对 (ci，cj)；

23、随机采样无关联的概念对作为负样本对；

24、将roberta模型输出的 [cls] token向量通过一个语义投影头映射到语义空间，得到向量z；

25、利用归一化温度标定的交叉熵损失计算正样本对之间的相似性损失，促使正样本对在向量空间中靠近，负样本对远离。

26、在一个具体可实施方案中，正样本对的关联关系包括本体的 subclassof、haspart、公理定义的关系。

27、在一个具体可实施方案中，模型输入表示由token嵌入、段嵌入和位置嵌入三部分向量求和构成，其中，

28、所述段嵌入用于区分输入的序列是来源于元模型文本还是本体公理文本，以实现多源信息的融合。

29、在一个具体可实施方案中，推荐推理还包括一个后过滤步骤，利用航空领域本体的公理集对模型生成的候选推荐列表进行逻辑校验，剔除不符合本体约束的候选词，以提升推荐的领域合规性。

30、第二方面，提供了一种基于本体论和roberta模型的航空领域元模型推荐系统，包括：

31、数据准备模块，用于获取航空领域本体文件和航空领域元模型资源文件；

32、格式转换模块，用于将xml格式的元模型文件通过树状文本序列化算法转换为文本序列，所述树状序列化算法将元模型的层级结构、元素类型和依赖关系映射为包含特殊标记的类自然语言序列；

33、数据分类模块，用于将文本序列划分为训练集和测试集；

34、数据处理模块，用于对训练集进行文本归一化，并利用航空领域本体词典对分词器进行增强，执行本体增强分词；

35、模型训练模块，用于构建roberta模型，将航空领域本体的概念集扩展至模型词表；定义并最小化总损失函数；

36、推荐推理模块，用于接收待处理的元模型上下文序列，在指定位置插入掩码标记，输入训练好的roberta模型，获取模型输出的掩码位置概率分布，生成按置信度降序排列的候选推荐列表；

37、有效性验证模块，用于利用测试集评估推荐列表的准确性，计算top-k命中率和平均倒数排名指标。

38、在上述技术方案中，通过获取航空领域本体文件和航空领域元模型资源文件；将xml格式的元模型文件通过树状文本序列化算法转换为文本序列，所述树状序列化算法将元模型的层级结构、元素类型和依赖关系映射为包含特殊标记的类自然语言序列；将文本序列划分为训练集和测试集；对训练集进行文本归一化，并利用航空领域本体词典对分词器进行增强，执行本体增强分词；构建roberta模型，将航空领域本体的概念集扩展至模型词表；定义并最小化总损失函数；接收待处理的元模型上下文序列，在指定位置插入掩码标记，输入训练好的roberta模型，获取模型输出的掩码位置概率分布，生成按置信度降序排列的候选推荐列表；解决了现有技术中推荐精度低、依赖人工规则、无法适应复杂动态语义环境的技术难题。