一种遥感影像目标知识图谱构建方法及装置与流程

1.本发明涉及一种遥感影像目标知识图谱构建方法及装置，属于遥感影像数据处理技术领域。


背景技术：

2.遥感影像目标分类与识别是高分辨率对地观测系统和自动目标识别系统的信息提取和处理的重要组成部分，是遥感领域的研究热点和难点，在智能交通、智慧城市、目标动态监测与定位等应用中起到了非常重要的作用。遥感影像目标分类与识别致力于提高算法处理的精度、智能化水平、实时性和处理效率。随着遥感影像训练数据集的深入研究，影像目标识别的准确率和识别效率得到了大幅提高。
3.然而，遥感影像目标识别与遥感影像认知之间存在语义鸿沟问题。遥感影像的目标识别与分类本质上是利用机器学习、深度学习等方法实现对遥感影像的感知，例如基于带标注的遥感影像数据集训练出的深度学习模型快速识别出目标影像中的“飞机”、“舰船”等目标分类，但由于相关目标语义信息的缺失，若要实现对遥感影像目标的进一步“认知”则非常困难。
4.遥感影像知识主要用来填补图像低层信息的语义缺失问题，相关领域的研究人员围绕遥感影像知识的概念、分类和应用进行了大量的研究。对遥感影像知识，不同的应用有不同的认识，例如：李胜(李胜.2018.联合领域知识和深度学习的城市地表覆盖变化检测方法.武汉：武汉大学)将遥感影像知识分为影像知识、地理学知识和变化图斑先验知识；闫鹏飞(闫鹏飞.2018.知识约束的高空间分辨率遥感影像分割方法研究.北京：中国地质大学(北京).)针对遥感影像分割问题，将遥感影像分割中的知识约束分为内部知识约束和外部知识约束；孙家波(孙家波.2014.基于知识的高分辨率遥感影像耕地自动提取技术研究.北京：中国农业大学.)综合考虑低、中、高三种空间分辨率的遥感影像，将相关的知识分为：地物波谱知识、地物纹理知识和地物几何形状知识等。顾海燕等(顾海燕.2015.遥感影像地理本体建模驱动的对象分类技术.武汉：武汉大学.)将地理实体知识体系分为四类：地理知识、遥感影像特征、影像对象特征和专家知识。知识语义等在遥感领域的研究与应用，大致可分为三类：
5.(1)基于知识的遥感影像分割
6.基于知识的遥感影像分割，核心是基于语义网络实现地物种类之间的层次关系描述，利用外部知识和内部知识的约束实现遥感影像分类(张建廷等，2016；李胜，2018；闫鹏飞，2018(张建廷等.2016.语义网络引导的遥感图像分类.遥感信息,31(01):38-42.李胜.2018.联合领域知识和深度学习的城市地表覆盖变化检测方法.武汉：武汉大学.闫鹏飞.2018.知识约束的高空间分辨率遥感影像分割方法研究.北京：中国地质大学(北京).)，然后进行知识获取、表达、推理和积累，用于诸如耕地等类型(孙家波.2014.基于知识的高分辨率遥感影像耕地自动提取技术研究.北京：中国农业大学.)的自动提取。
7.(2)基于知识的遥感影像目标识别
8.基于知识的遥感目标识别主要是通过利用目标的几何特征、地物属性、上下文等相关知识，识别影像中的相关目标。例如：利用先验知识，经过推理分析及模型构建，进行遥感图像港口目标识别(柴宏磊.2015.基于知识的遥感图像港口目标识别.成都：电子科技大学.)；基于启发规则，利用目标先验知识对遥感影像桥梁信息进行了识别(mandal d p,等.1996.analysis of irs imagery for detecting man-made objects with a multivalued recognition system.ieee transactions on systems,man,and cybernetics-part a:systems and humans,26(2):241-247)；根据道路的图像特征变化特点和空间关系，通过匹配滤波的方式，提取遥感图像中的道路目标(haverkamp d s.2002.extracting straight road structure in urban environments using ikonos satellite imagery.optical engineering,41(9):2107-2111.)。
9.(3)遥感信息知识图谱认知计算
10.遥感信息知识图谱的构建目的是构建精细化、定量化、智能化、综合化相结合的遥感信息解译模型，实现智能化的遥感信息提取与智能计算。遥感信息图谱目标是构建“像元-基元-目标-格局”为一体的遥感信息图谱计算方法。基于遥感信息图谱，参考视觉认知流程，可用于遥感数据的自动解译；谢榕等构建了一种基于fca-概念格的知识语义模型(谢榕等.2017.遥感卫星特定领域大规模知识图谱构建关键技术.无线电工程,47(4):1-6.)。最新的研究中，已经注意到“信息图谱”与“知识图谱”两层关联与结合应用(骆剑承等.2020.地理图斑智能计算及模式挖掘方法研究.地球信息科学学报,22(1):57-75.)。
11.综上，遥感知识在遥感影像分类、目标识别、遥感影像智能认知等方面的应用越来越广泛。
12.知识图谱是当前人工智能领域发展非常迅速的技术，其核心是构建大规模的语义网，弥补人类感知与认知层面之间的“语义鸿沟”，在自然语言问答、机器翻译、产品推荐、知识挖掘等领域开始崭露头角。知识图谱的相关技术为填补遥感影像认知的语义鸿沟提供了借鉴。知识图谱(knowledge graph)是从最初的语义网络(semantic net)发展而来，已经成为人工智能领域的一项重要的技术基础。知识图谱的本质是一种语义网，其中图的节点代表实体(entity)或者概念(concept)，而图的边代表实体/概念之间的各种语义关系。通过知识图谱对于海量信息的链接，可以迅速根据关键词和相邻关系，查找到一系列的信息，大大提升了人工检索的效率，其核心是结构化的语义知识库。知识图谱以结构化的形式描述客观世界中概念、实体及其关系，将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。
13.遥感影像目标知识图谱继承自google提出的知识图谱的概念，其与遥感信息图谱虽字面相近，内涵却不同。遥感信息图谱继承自陈述彭先生提出的地学信息图谱，通过对“谱”信息反演以及地表精细空间结构“图”信息的对象化提取和多尺度表达，建立遥感像元波谱与集合结构的相互转换关系，真正构建定量化、智能化、精细化相结合的“图谱”合一遥感空间认知模型。
14.目前的遥感影像目标知识图谱是多模态知识图谱(熊回香等.2019.跨媒体知识图谱构建中多模态数据语义相关性研究.情报理论与实践,42(02):13-18 24；yuxin peng等.2017.cross-media analysis and reasoning:advances and directions.frontiers of information technology&electronic engineering,18(01):44-58.)，如图1所示，通过深
度学习、自然语言处理、遥感目标识别等智能感知手段，对遥感影像、百科知识、目标等多模态知识的抽取、关联，结构化地描述遥感影像目标的概念、实体、属性及其相互关系，使得概念、实体间相互联结，形成影像目标语义网。虽然给出了遥感影像目标知识图谱的概念和需求，但是目前缺乏对遥感影像目标知识图谱构建的具体手段。


技术实现要素：

15.本发明的目的是提供一种遥感影像目标知识图谱构建方法及装置，以解决目前遥感影像目标识别中存在的语义属性信息缺失的问题。
16.本发明为解决上述技术问题而提供了一种遥感影像目标知识图谱构建方法，该构建方法包括以下步骤：
17.1)获取遥感影像目标数据，包括遥感影元数据信息、遥感影像内容信息、遥感影像目标产品信息和目标百科类信息；
18.2)基于待检测实体和对应本体概念之间的相似度对获取的遥感影像目标进行目标实体抽取；
19.3)对得到的目标实体按照预定义模式进行关系抽取，确定各目标实体之间的关系；
20.4)根据识别出的影像目标实体和抽取的目标实体之间的关系，通过遥感影像目标实体与已有知识库中实体的相似度选择相应的目标实体，实现遥感影像目标实体的链接。
21.本发明还提供了一种遥感影像目标知识图谱构建装置，该装置包括处理器和存储器，所述处理器执行由所述存储器存储的计算机程序，以实现如上述本发明的遥感影像目标知识图谱构建方法。
22.本发明针对遥感影像目标不同的数据类型，分别构建了遥感影像目标知识抽取模型，然后基于待检测实体和对应本体概念之间的相似度对获取的遥感影像目标进行目标实体抽取；再对得到的目标实体按照预定义模式进行关系抽取，最后基于遥感影像目标实体与已有知识库中实体的相似度选择相应的目标实体，实现遥感影像目标实体的链接。因此，本发明实现影像判别的目标信息与知识图谱语义网的链接，丰富遥感影像目标的语义信息，为进一步的大规模目标关联分析提供支撑。
23.进一步地，为了快速、准确地确定目标实体，所述步骤2)中的目标实体抽取过程如下：
24.a.根据本体待搜索概念，定位所有的概念c(i)，并列入实体集合中，并定义指代字符集referset：{refer1,refer2,refer3....}和采取的最大容许的前缀字符数t
k
；
25.b.增加所述实体集合中前缀字符数，更新实体集合为：若实体新增字符与原有字符编码不同，则认为为实体名称；
26.c.遍历实体集合判断，若实体首字符或首两字符为指代词{re|re∈referset}，删除该实体；记删除实体个数为d1，更新实体集合为：并统计该集合中实体名称出现的数量；
27.d.循环执行步骤b和c，直至达到最大容许的前缀字符数t
k
，统计出现频率最多的实体，该实体即为所抽取的目标实体。
28.进一步地，为了准确、全面得到两个目标实体之间的关系，所述步骤3)的关系抽取过程如下：
29.a.将得到的所有目标实体进行两两组合，得到目标实体的二元组集；
30.b.遍历目标实体的二元组集，对二元组集中各组合进行本体的概念与实体间预定义关系的比对，确定二元组集中各组合的关系；
31.c.遍历所确定的关系，消除其中的零匹配关系，消除后的关系即为二元组集中对应组合的关系，以得到目标实体间的关系。
32.进一步地，所述步骤4)中遥感影像目标实体链接的实现过程如下：
33.将目标实体的距离作为相似度特征，计算目标实体与已有知识库中的候选实体的相似度特征，为每个相似度特征赋权值形成加权特征值，以加权特征值最大对应的候选实体作为目标实体的最佳匹配实体，实现目标实体与已有知识库的链接。
34.进一步地，为了准确确定相似度的权值，每个相似度特征的权值是通过选择地理知识库作为训练集，并抽取其中链接信息充分的实体集l＝{<m
i
，e
i
>}作为训练数据，使用logistic回归模型计算得到。
35.进一步地，所述目标实体距离特征的计算方法如下：
36.根据地理信息系统(gis)或地图数据获取目标实体的地理坐标，根据目标实体的影像元数据获取像影子块的坐标范围，对其进行重心化得到对应的影像坐标，并将其转换到地理坐标系下，目标实体的地理坐标与转换后的地理坐标下影像坐标之间的距离即为目标实体距离特征。
附图说明
37.图1是现有遥感影像多模态知识图谱关联示意图；
38.图2是本发明遥感影像目标知识图谱示例图；
39.图3是本发明遥感影像目标知识图谱构建方法的流程图；
40.图4是本发明方法实施例中遥感影像目标知识关联示意图；
41.图5是本发明方法实施例中遥感影像目标本体及关系示意图；
42.图6是本发明方法实施例中目标知识抽取流程示意图；
43.图7是本发明方法实施例中采用prot
é
g
é
软件构建本体样例结果示意图；
44.图8是本发明方法实施例中非结构化文本数据的识别结果示意图；
45.图9是本发明方法实施例中目标-图像信息三元组示意图；
46.图10是本发明方法实施例中目标实体知识补全示意图；
47.图11是本发明方法实施例中候选实体列表进行排序结果示意图
48.图12是本发明方法实施例中遥感影像目标实体与地理知识库链接示意图；
49.图13是本发明方法实施例中建立的影像目标实体与遥感影像关联示意图。
具体实施方式
50.下面结合附图对本发明的具体实施方式作进一步地说明。
51.控制方法的实施例
52.遥感影像目标知识可采用资源描述框架(resource description framework，rdf)表示为三元组形式，即“<s(主语)，p(谓语)，o(宾语)>”，形成由“点－边”组成的大规模有向图。其中点表示遥感影像目标概念、目标实体及属性值，边表示概念与概念之间的关系、概念与实体的关系、实体与实体之间的关系、实体与属性的关系、属性与属性值的关系。举例说明，如图2所示，实体与概念的关系：<洛阳电视塔，实例，电视塔>；概念与概念之间的关系：<电视塔，子类，通信设施>；实体与属性的关系：<洛阳热电厂，地形情况，平坦开阔>。
53.本发明将知识图谱与遥感影像目标判读相结合，围绕遥感影像目标知识图谱构建展开研究，基于遥感影像元数据信息、目标信息、地理知识等多源数据，通过知识抽取和知识链接，以实现影像判别的目标信息与知识图谱语义网的链接，其具体流程如图3所示。构建遥感影像目标知识图谱分为模式层和数据层构建两个核心内容，其中，模式层构建主要包括遥感影像目标本体与概念集的构建；数据层构建主要是对目标实例对象具体数据的抽取。下面结合具体的实例遥感影像目标知识图谱的构建过程进行详细说明。
54.1.获取遥感影像目标数据，包括遥感影元数据信息、遥感影像内容信息、遥感影像目标产品信息和目标百科类信息。
55.影像产品主要包括以下几个要素：1)经纠正后的原始影像；2)影像子块(patch)；3)影像元数据信息(metadata)；4)基于影像提取出的特征数据集；5)目标信息描述文件；6)影像子块的语义标签；7)影像范围内覆盖的影像目标本体。遥感影像目标知识表示即将影像产品相关的概念、实体、属性等7个要素的知识，形式化表示为计算机能够识别的形式。
56.(1)遥感影像元数据信息：存储形式为元数据描述文件，格式化较好，一般以xml或txt格式存储，主要包括轨道号、行号、影像描述、传感器类型、卫星类型、影像来源、经纬度坐标等信息。
57.(2)遥感影像内容信息：遥感影像内容通过各类智能分割算法、目标检测算法可得到影像的内容标签数据，如目标检测算法得到的飞机、港口等分类标签。
58.(3)遥感影像目标产品信息：目标产品数据是经过人工核对后的产品，通常不仅确定了目标类型，还确定了具体的目标属性。
59.(4)目标百科类信息：百科类信息记录了相对比较完善的目标属性信息，有助于更全面掌握目标信息。
60.2.对遥感影像进行影像目标知识进行实体识别。
61.影像目标实体识别，主要是针对不同的数据来源，对结构化、非结构化和半结构化数据(如遥感影像的元数据信息、基础的地理信息数据等)构建不同的实体抽取器，实现目标实体的抽取，如图6所示。
62.其中元数据信息、目标产品信息和百科类信息结构化较好，属于影像产品重要的目标成果，通过目标实体关联，可从语义层面关联目标属性。遥感影像内容信息，通过目标分类标签可以与遥感影像目标图谱的模式(概念)层关联，如图4所示。
63.依据遥感影像目标知识分类，主要基于遥感影像地理本体和目标本体，按照分类法构建遥感影像目标本体模型。
64.(1)定义概念集on_concept:{c}
65.on_concept:{c}定义为：{c1：影像特征，c2：对象特征，c3：地理本体，c4：目标本
体，c5：百科知识本体}。
66.①
遥感影像特征本体包括：专题特征、传感器类型、分辨率、位置、光谱、图层特征等；
67.②
遥感影像对象特征本体包括：几何特征、对象分类、位置特征、纹理特征、场景特征、专题指数等；
68.③
地理本体包括：城市、公路、河流、湖泊、建筑物、气象等；
69.④
目标本体包括：交通设施、经济设施、人工设施、社会人文、自然要素、信息设施等；
70.⑤
百科类知识本体包括：地理、文化、生活、人物、体育等；
71.(2)定义本体中的关系on_relationship：
72.{r}＝{r(c1,c2),r(c2,c5),r(c2,c6),r(c6,c7)}，其中：
①
r(c1,c2)为原始影像和影像子块的从属关系“隶属”；
②
r(c2,c6)为影像子块和语义标签之间的关系“标签语义”；
③
r(c2,c5)为影像子块和目标标注文件之间的关系“文件标注”；
④
r(c6,c7)为语义标签和影像目标概念的关系“关联”。这里只定义五类本体之间的语义关系，各类本体间的关系仍采用自身领域内的本体关系。
73.得到遥感影像目标本体结构如图5所示，可以看出从遥感影像出发，链接到目标本体的三条可能的链路：
①
遥感影像本体
→
对象特征
→
地理本体
→
目标本体；
②
遥感影像本体
→
对象特征
→
目标本体；
③
遥感影像本体
→
影像特征
→
开放链接知识
→
目标本体。
74.遥感影像目标实体识别的核心是计算待检测实体和对应本体概念之间的相似度，主要依赖两个关键规则：
75.(1)概念名称和目标实体名称的相似性规则
76.本体概念和目标实体的相似规则决定了实体如何定位。这种规则多为“包含规则”，包含规则定义为：
[0077][0078]
其中，i表示实体，c(i)表示其对应的概念类别，string()表示取字符串的操作，包含规则广泛存在于本体概念和实例当中，因为对于同类别的命名实体而言，区分唯一性的方式通常是增加字符。例如概念“机场”，实例为“新郑机场”，概念“机场”的字符串是实例“新郑机场”字符串的一部分。
[0079]
(2)概念名称与目标实体名称的相异性规则
[0080]
本体概念名称与目标实体的相异性规则决定了实体如何确定边界。在实际语料中，除了明确包含规则，还需要明确概念名称相比于实体名称缺少的语义成分及其位置，即概念名称与目标实体的相异性规则，通过对大量语料进行分析，命名实体与概念名称的相异性规则主要为前缀规则，可定义为：
[0081][0082]
其中，prefixentity(k)表示在概念名称之前存在有k个字符的前缀实体名称。对于大多数概念而言，1≤k≤t
k
，t
k
表示采取的最大容许的前缀字符数，由于一般取15≤t
k
≤
20。
[0083]
基于包含规则与前缀规则进行实体识别的步骤如下：
[0084]
①
据本体待搜索概念，定位所有的概念c(i)，列入集合
[0085][0086]
②
定义指代字符集referset：{refer1，refer2，refer3....}与t
k
；
[0087]
②
缀字符数量k自增1，更新实体集合为：
[0088][0089]
若实体新增字符与原有字符编码不同，则认为为实体名称。
[0090]
④
遍历集合判断，若实体首字符或首两字符为指代词{re|re∈referset}，删除该实体；记删除实体个数为d1，更新集合为：
[0091][0092]
⑤
统计该集合中实体名称出现的数量：
[0093][0094]
对于1≤k≤t
k
，循环执行步骤
②
～步骤
⑤
；
[0095]
⑥
统计出现频率最多的实体：
[0096][0097]
其中t表示在第t次迭代后产生的实体名称。
[0098]
3.基于预定义模型对识别出的目标实体进行关系抽取。
[0099]
目标实体之间的关系，主要基于两个实体提及之间的谓词确定，若实体间关系在数据中显式的展现，如<为....提供>，表示两实体之间存在<供应关系>。若实体之间的关系在数据中隐式的展现，则需要调出谓词的所有语义序列，求解最佳语义。
[0100]
遥感影像目标本体中的实体关系抽取属于限定域关系抽取的范畴。在限定域关系抽取中，由于关系是预定义的，采用启发式规则自动构建标注语料，进行训练。设当前本体中定义的关系集合为{r1，r2....ri...r
n
}(1≤i≤n)，实际语料中，每种关系r
i
会出现r
i
种表现形式，其集合记为基于前后实体与预定义模式的抽取方法，其实现流程为：
[0101]
①
利用实体检测模块，对于一段遥感影像目标描述进行检测，返回实体列表：
[0102]
{e1，e2...e
i
....e
n
}，1≤i≤n
ꢀꢀ
(8)
[0103]
②
将{e1，e2...ei....e
n
}中的所有实体进行组合。得到二元组集：
[0104]
{(e1，e2)...(e
i
，e
j
)，....(e
n-1
，e
n
)}，1≤i＜j≤n
ꢀꢀ
(9)
[0105]
③
遍历二元组集合，对比本体的概念实体间预定义关系，找到组关系；
[0106]
④
遍历上述关系，消除零匹配(记为z个)，得到关系组合：
[0107][0108]
⑤
组合二元组实体与关系，生成三元组
[0109][0110]
其中，表示与e
r
配对的实体。
[0111]
4.根据识别出的影像目标实体和抽取的目标实体之间的关系进行影像目标实体链接。
[0112]
影像目标的实体链接核心是计算遥感影像目标实体与已有知识库中实体的相似度，并基于相似度选择相应的目标实体，实现遥感影像与目标实体的链接。本实例采用多个特征基于logistic回归模型实现，针对遥感影像目标具有地理位置的特点，添加目标的距离作为模型的特征，首先建立实体提及与候选实体的映射集合，然后计算所有实体的特征值来评估实体之间的相似度。
[0113]
此方法的核心是计算实体m和候选实体e∈e
m
两者之间的加权特征值f，计算公式如下：
[0114]
f＝ω1×
f1(m，e) ω2×
f2(m，e) ω3×
f3(m，e) ... ω
n
×
f
n
(m，e)
ꢀꢀ
(12)
[0115]
候选实体匹配集合中，根据以上公式计算得出加权特征值最高的实体会成为实体m的最终匹配对。其中，ω为各个特征值的权值，f1、f2、f3、f4分别表示实体存在性、属性相关性、主题相关性和距离相关性特征，是通过相似度特征抽取得到的，不同的相似度特征通过模型从训练语料里学习得到。
[0116]
候选实体匹配集合中，根据以上公式计算得出加权特征值最高的实体会成为实体m的最终匹配对。具体方法是选择地理知识库作为训练集，并抽取其中链接信息充分(也就是存在链接数量较多)的实体集l＝{<m
i
，e
i
>}作为训练数据，然后使用logistic回归模型进行各个特征值的权值计算。对于实体m和对应的候选实体e，各个特征值的权值ω需满足以下关系：
[0117]
ω
·
(f(m，e
*
)-f(m，e))＞0，(e∈e
m
，e≠e
*
)
ꢀꢀ
(13)
[0118]
其中ω＝<ω1，ω2，ω3，...，ω
n
>，f＝<f1，f2，f3，...，f
n
>。
[0119]
对于实体e1和实体e2链向实体m的概率可以使用sigmoid函数来进行计算，其计算公式如下：
[0120][0121]
若s(m，e1)＞s(m，e2)，则p((e1＞e2)＝true)＞0.5，反之则p((e1＞e2)＝true)＜0.5。最终权值的确定可由极大似然估计和logistic回归模型完成，然后再将权值ω代入求解加权特征值，从而发现和预测新的实体链接。
[0122]
建立候选实体匹配集合之后需要进行最佳匹配的实体选取，本文采取的方法的主要步骤：首先，定义4个相似度特征值(f1-f4)来表示实体m和候选实体e两者之间的语义关联程度，从而选出语义相似度最大的实体；然后，为每个特征值赋权值形成加权特征值f(使得4个特征值更好地协同表示语义相似度)；最后，计算f的大小并选择最大值作为最佳匹配。其算法原理如下：
[0123]
①
输入待链接实体m与它的候选集e<m
i
，e
i
>；
[0124]
②
初始化阈值，对于所有实体指称m
i
∈m和候选实体e
i
∈e计算特征值(f1-f4)；
[0125]
③
执行logistic模型计算权值：
[0126]
f＝ω1×
f1(m，e) ω2×
f2(m，e) ω3×
f3(m，e) ω4×
f4(m，e)
[0127]
③
选出f的最大值及其对应的e
i
；
[0128]
④
如果f的最大值大于初始阈值，则将e
*
←
e
i
；
[0129]
⑤
计算结束，输出f以及最佳匹配实体。
[0130]
当候选实体匹配集合中的所有实体的加权特征值f计算完成后，在候选实体匹配集合中增加加权特征值项形成新的候选集合如下：
[0131]
m1＝{<e
11
，f
11
>，<e
11
，f
11
>，
…
，<p
1p
，f
1p
>}
[0132]
根据f值的大小对候选集合进行排序，即将候选集合改写为：
[0133]
m1＝{<e
1i
，f
max
>，
…
，<e
1j
，f
1min
>}
[0134]
最后选取f值最大所对应的实体作为最终的最佳匹配实体，即发现了具有关联关系的实体并建立相应的实体链接<m1，e
1i
>。
[0135]
目标实体的距离特征计算方法如下：利用gis或地图数据获取目标地理坐标，利用影像元数据获取影像子块的坐标范围并重心化，经过坐标转换后进行比对，计算其欧氏距离或街区距离，判断其相似性。其方法流程如下：
[0136]
①
构建名称字段映射m：
[0137]
{m(f
e
，f
d
)|f
e
→
f
d
，f
e
∈entitylist，f
d
∈gisdatabase}
ꢀꢀ
(15)
[0138]
其中，entitylist表示实体列表，f
e
表示实体名称。该映射指定待处理实体所在的gis数据库字段。
[0139]
②
取出实体地理坐标：
[0140][0141]
③
取出影像子块坐标并重心化：
[0142][0143]
其中，x
i
和y
i
表示子块边界点坐标，1≤i≤n。
[0144]
④
坐标转换，将目标实体的准确定位点坐标转换为影像坐标gil(x.y)，其中：{gil(x.y)|gil(x.y)～spattialreference_image}，“～”表示服从空间参考。
[0145]
⑤
判断目标是否在影像子块范围内，缩小搜索空间为：
[0146]
patchset：{p1，p2…
p
k
…
p
p
}，1≤k≤p
ꢀꢀ
(18)
[0147]
⑥
计算目标与影像子块重心之间的欧氏距离：
[0148][0149]
⑥
取出距离最小的影像子块作为匹配：
[0150]
min{d1，d2，
…
d
k
…
d
p
}
→
p
min
，1≤k，min≤p
ꢀꢀ
(20)
[0151]
5.采用owl语言对遥感影像目标进行知识表示
[0152]
知识表示指把领域内的事实、经验和知识进行形式化(formalization)，便于计算机接受和操作。知识表示方法必须能够适应知识获取的各类知识的表示，用一种统一的、简
单而直观的逻辑来组织知识，并便于机器对知识的检索和利用。对地理知识的形式化表示研究，经历了从谓词逻辑、本体语言、描述逻辑到知识框架的发展，出现了利用rdf、rdfs和owl语言描述地理知识的相关研究，是互联网时代背景下地理语义网的知识表示。本发明采用owl知识表示框架实现对遥感影像目标知识图谱的知识表示。owl网络本体语言(ontology web language)由w3c推荐，是面向网络的rdf重要描述语言，也是本体构建的有力工具。在owl描述语言中，存在三类基本信息，分别为个体(individual)、属性(property)、类(class)。每一类基本信息在描述层次结构以及指定实体关系、性质方面均有预定义的功能函数f。
[0153]
(1)类(class)：类表示概念的集合，owl使用形式化的方法描述类中成员的条件。一个类的定义由两部分组成：引入或引用一个名称，以及一个限制表。rdf：about属性为本体提供名称或引用。类别概念之间的关系有：相同(equi-valentto)、子类(subclassof)、实例(instances)、相异(disjointwith)以及子类和父类之间存在产生公理(generalclassaxioms)，子类属性可以传递。
[0154]
(2)属性(property)：属性拥有定义域(domain)和值域(ranges)。其中，定义域表示“具备当前属性的对象列表”，值域表示“该属性的可取值范围”。owl语言中，将属性划分为两类：对象属性(object-properties)和数据属性(data-properties)。其中，对象属性主要用来描述对象的动态信息，用以描述不同对象属性之间的关系，例如“a与b相交”。此时“相交”就是a的一个对象属性，其定义域为a，值域是“与a相交的所有实体列表”。数据属性则主要用来描述对象的静态信息，例如“a拥有的x物品数量”，这里“x物品数量”就是一个“数据属性”，其定义域为a，值域为通用数据类型xsd:number。每一个owl语言中，使用<owl:topobjectproperties>表示第一层属性，使用<subpropertyof>表示子属性、相同(equivalentto)、相异(disjointwith)表示属性之间的关系。(3)个体(individual)：即实例，实例的描述包括实体所属类型(types)、实例具备的属性断言(property assertions)。实体之间的关系包括不同(differentindividals)、相同(sameindividualas等)。此外，owl语言中，<owl:thing rdf:id/>表示具体的实体，<rdf:type rdf:resource＝"#"/>来关联实体及其所属的类。
[0155]
装置实施例
[0156]
本实施例提出的装置，包括处理器、存储器，存储器中存储有可在处理器上运行的计算机程序，处理器在执行计算机程序时实现上述方法实施例的方法。
[0157]
也就是说，以上方法实施例中的方法应理解可由计算机程序指令实现遥感影像目标知识图谱构建方法。可提供这些计算机程序指令到处理器，使得通过处理器执行这些指令产生用于实现上述方法流程所指定的功能。
[0158]
本实施例所指的处理器是指微处理器mcu或可编程逻辑器件fpga等的处理装置；
[0159]
本实施例所指的存储器包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。例如：利用电能方式存储信息的各式存储器，ram、rom等；利用磁能方式存储信息的的各式存储器，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、u盘；利用光学方式存储信息的各式存储器，cd或dvd。当然，还有其他方式的存储器，例如量子存储器、石墨烯存储器等等。
[0160]
通过上述存储器、处理器以及计算机程序构成的装置，在计算机中由处理器执行
相应的程序指令来实现，处理器可以搭载各种操作系统，如windows操作系统、linux系统、android、ios系统等。
[0161]
作为其他实施方式，装置还可以包括显示器，显示器用于将建立的知识图谱展示出来，以供工作人员参考。
[0162]
为全面评价本发明提出的遥感影像目标知识图谱构建方法及装置，下面通过具体的实验数据对本发明开展实验，对本发明的可行性进行评价。
[0163]
本实验所选用的实验数据包括：(1)遥感影像产品作为基础数据，经过目标识别检测后附带有语义标签；(2)影像目标数据：200个带有属性信息的影像目标实验数据；(3)地理知识图谱：包含8000万个实体，1.2亿关系。实验平台：开发平台为windows 10，开发语言采用python 3.7，开发工具采用jetbrains pycharm。
[0164]
(1)遥感影像目标知识抽取结果实验
[0165]
以“洛阳热电厂”、“洛阳北火车站”、“洛阳电视塔”目标数据为例，分属于目标本体中的经济设施、交通设施和信息设施三种类别，依据目标分类体系及其属性，利用prot
é
g
é
软件构建本体模型结果如图7所示。
[0166]
针对非结构化文本数据，利用相似度方法实现实体识别，识别结果如图8所示。通过预定义模型实现关系识别，主要识别出<洛阳电视塔位于洛阳>；<洛阳电视塔位于洛浦公园>；<洛阳电视塔属于建筑设施>等三元组实体关系。
[0167]
针对目标的元数据文件，文件结构化描述如表1所示，利用d2r方法，实现结构化文本到目标三元组的知识抽取，抽取结果如图9所示。
[0168]
表1
[0169][0170]
三元组以owl语言表示(局部)如下，为建立实体与遥感影像的关联链接，owl语言描述通过存储影像路径实现关联。
[0171]
<洛阳北火车站rdf:id＝"洛阳北火车站">
[0172]
<所在国家rdf:resource＝"#中国"/>
[0173]
<rdf:type rdf:resource＝"#交通设施"/>
[0174]
<周围环境rdf:resource＝"#地处平原，平坦开阔"/>
[0175]
<战略价值rdf:resource＝"#中"/>
[0176]
<客流量rdf:resource＝"#200000"/>
[0177]
<图像存储路径rdf:resource＝"#
…
/
…
/lypowerfactorypatch.tif"
[0178]
</洛阳北火车站>
[0179]
(2)遥感影像目标实体链接实验
[0180]
①
知识库中已有目标实体的属性信息补全。采用200个目标实体作为实验，补充了已有的目标实体的相关知识。如图10所示，地理知识库中已有“洛阳火车站”这一实体，其相关属性信息来自百度百科，带框部分为遥感影像目标知识补充的部分属性信息。
[0181]
②
遥感影像目标实体与已有知识库的链接。如图12所示，左侧部分为新增补的遥感影像目标实体数据，“实体-属性”关系是基于目标产品数据进行知识抽取的结果。通过实体链接与原有的地理知识库通过实体之间的关系实现链接。通过一级知识拓展，可得到“洛阳”地理实体的相关信息，通过二级拓展，可得到相应的“洛阳东站”、“洛阳站”等目标信息。
[0182]
以遥感影像目标“洛阳电视塔”(实体id为200)为例，通过与已有知识库中的实体进行匹配，得到实体链接的候选对，通过特征值生成特征向量，根据特征向量形成候选实体列表，利用listnet排序算法得到实体列表的排序得分对候选实体列表进行排序，排序结果如图11所示(第二列为候选实体id)，选取得分第1的所对应候选实体为链接实体。
[0183]
③
遥感影像目标与遥感影像的关联。通过目标实体搜索，知识库中的目标实体与遥感影像链接可视化如图13左上角所示，每个目标实体关联的遥感影像在节点中显示；右侧为通过目标实体的关联查询，得到遥感影像在全球三维环境中的可视化映射。
[0184]
基于带标注的遥感影像、目标实体、已有知识库进行的实验，实现了基于影像元数据的知识抽取，通过实体链接将遥感目标知识与已有知识库链接，验证了本发明的可行性。
[0185]
本发明针对遥感影像目标不同的数据类型，首先构建了遥感影像目标知识抽取模型，然后基于相似度的目标实体识别和预定义模式的关系抽取；最后基于顾及距离特征logistic模型对影像目标实体进行链接，实现遥感影像目标知识与百科知识库的知识链接。