一种林草多模态知识图谱关系感知补全方法

本发明涉及知识图谱，更具体地说，本发明涉及一种林草多模态知识图谱关系感知补全方法。

背景技术：

1、林草资源管理涉及遥感影像、无人机影像、地面照片、样地调查记录、病虫害监测记录、调查报告和业务台账等多源数据。上述数据分别反映林班、小班、草地斑块、物种、病虫害、监测站点及治理措施的空间分布、外观特征、属性状态和业务过程，具有来源分散、数据结构异构、更新频率不同以及实体标识不统一等特点。为实现跨来源数据的关联检索和缺失信息推断，通常将林草实体及其关系组织为知识图谱，并利用知识图谱补全模型预测尚未记录的关联事实。

2、现有知识图谱补全方法主要包括基于三元组嵌入的表示学习方法、基于图神经网络的邻域聚合方法，以及引入图像或文本特征的多模态补全方法。现有表示学习方法通常采用相对固定的关系建模方式，面对“位于”“分布于”“受害于”“监测于”和“适宜采取”等方向性、对称性及组合特征不同的林草关系时，难以充分刻画关系类型对邻接事实选择的约束。图神经网络方法虽能够聚合邻域信息，但在多层传播过程中，不同邻接事实的重要性可能发生较大波动，关系语义和实体差异也可能随传播层数增加而逐步弱化。

3、现有多模态补全方法还常将结构、图像和文本特征在传播前直接拼接或采用统一参数处理，使各类数据在其自身关系上下文尚未充分形成时即发生混合，难以保留结构连接、视觉外观和文本语义的差异。另一方面，不同林草实体的影像清晰度、文本完整性和结构邻域密度并不一致，采用固定权重或仅按视图整体分配标量权重时，难以针对实体表示的不同特征维度调整各视图贡献，可能使信息不足的视图干扰候选事实评分。

4、本领域急需一种能够充分刻画不同林草关系的语义差异、保持结构信息、图像信息和文本信息的异构特征，并根据各视图的信息差异调节其融合贡献，以支持缺失头实体或缺失尾实体候选排序的林草多模态知识图谱关系感知补全方法。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明提供一种林草多模态知识图谱关系感知补全方法，通过在同一图拓扑下构建结构视图、图像视图和文本视图，分别形成多算子统一关系消息并进行三元组注意力传播和层间注意力传递，在各视图独立传播完成后实施逐维门控融合，并利用complex解码器完成候选实体排序，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种林草多模态知识图谱关系感知补全方法，包括如下步骤：

4、步骤一、获取由林草实体、关系和有序三元组构成的共享林草多模态知识图谱，基于同一图拓扑建立结构视图、图像视图和文本视图，分别以独立编码参数生成初始实体表示并配置独立关系嵌入；

5、步骤二、针对各视图的邻接有序三元组，生成平移差分、逐元素三元交互、旋转组合和循环相关关系消息分量，将各分量拼接并变换为统一关系消息；

6、步骤三、依据头实体表示、关系表示和尾实体表示确定三元组注意力权重，自第二传播层起，将当前层注意力权重与前一层同一邻接有序三元组的组合注意力权重按层间传递系数组合，按组合权重聚合统一关系消息并结合残差表示，更新各视图实体表示；

7、步骤四、在各视图分别完成传播后，由各视图实体表示生成逐维门值，对同一特征维度的门值进行跨视图归一化，并据此逐维加权得到融合实体表示；

8、步骤五、将融合实体表示转换为复数实体表示，与复数关系表示输入同一complex解码器，对候选头实体或尾实体评分排序。

9、作为本发明进一步方案，所述结构视图以可学习实体嵌入作为初始实体表示；所述图像视图将从林草实体对应影像数据中提取的图像特征经图像投影层映射为初始实体表示；所述文本视图将从林草实体对应文本数据中提取的文本特征经文本投影层映射为初始实体表示；三个视图的初始实体表示维度相同，并分别采用独立的关系嵌入和关系传播参数。

10、作为本发明进一步方案，所述平移差分关系消息分量由邻接有序三元组的尾实体表示减去头实体表示获得；所述逐元素三元交互关系消息分量由头实体表示、关系表示和尾实体表示按对应维度相乘获得；所述旋转组合关系消息分量由头实体表示按照关系表示对应的旋转参数进行旋转获得；所述循环相关关系消息分量由头实体表示与关系表示进行循环相关运算获得。

11、作为本发明进一步方案，四个关系消息分量分别与实体表示具有相同维度，并经拼接形成拼接消息，所述拼接消息经参数映射形成与实体表示同维的统一关系消息；将头实体表示、关系表示和尾实体表示组成三元组联合表示，将所述三元组联合表示映射为标量注意力分数，并在同一待更新实体对应的邻接有序三元组集合内对所述标量注意力分数进行归一化，形成所述三元组注意力权重。

12、作为本发明进一步方案，所述层间传递系数的取值范围为零至一；第一传播层按照该传播层确定的三元组注意力权重聚合统一关系消息；自第二传播层起，将当前传播层的三元组注意力权重与前一传播层的组合注意力权重按照所述层间传递系数组合，并按照所得组合注意力权重聚合统一关系消息；将聚合结果与当前传播层输入的实体表示经残差映射所得的残差表示结合，形成更新后的实体表示。

13、作为本发明进一步方案，结构视图、图像视图和文本视图分别根据传播完成后的实体表示生成与实体表示同维的门值向量；针对每一特征维度，在三个视图之间对相应门值进行归一化；将各视图实体表示与对应的归一化门值按特征维度相乘，并将三个视图的相乘结果相加，形成所述融合实体表示。

14、作为本发明进一步方案，将所述融合实体表示转换为由实部和虚部构成的复数实体表示，所述复数关系表示由对应关系的实部和虚部构成；所述complex解码器根据复数头实体表示、复数关系表示和复数尾实体表示形成候选实体对应的三元组评分，并通过目标关系对应的逆关系将缺失头实体预测转换为缺失尾实体预测。

15、作为本发明进一步方案，相邻传播层的注意力权重按照相同的邻接有序三元组索引对应组合，所述注意力权重的层间传递仅在同一视图的相邻传播层之间进行；结构视图、图像视图和文本视图分别完成各自的全部传播层后，将各自的最终实体表示输入逐维门控融合。

16、一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序。

17、本发明一种林草多模态知识图谱关系感知补全方法的技术效果和优点：

18、本发明通过在共享图拓扑下分别保持结构视图、图像视图和文本视图的独立关系传播，使各类信息在形成对应关系上下文后再进行融合，减少异构特征过早混合造成的语义干扰。

19、本发明针对同一邻接有序三元组形成多种互补关系消息，并依据头实体、关系和尾实体的联合表示确定注意力权重，能够增强不同关系语义对邻接事实选择的约束。

20、本发明层间组合注意力保持同一邻接事实在相邻传播层中的权重连续性，降低多层传播中邻域选择的无序波动；逐维归一化门值能够根据各视图传播后的实体表示，在不同特征维度上调节结构、图像和文本信息的贡献，提升融合表示对模态差异的适应能力；融合表示经同一complex解码器统一评分，有利于形成方向明确且可比较的候选实体排序，为林草资源关联信息补充、业务核验和知识图谱持续更新提供技术支持。