互联网航天情报自动提取与结构化方法及相关设备与流程
本发明涉及航空航天技术、人工智能、自然语言处理与知识图谱交叉,尤其涉及一种互联网航天情报自动提取与结构化方法及相关设备。
背景技术:
1、当前全球航天资讯来源分散、数据量庞大、文本非结构化程度高,依靠人工整理效率低、时效性差、标准化程度不足,无法满足多星任务规划、态势感知等工程化系统的数据需求。
2、现有技术中,为解决上述问题,通常采用通用网络爬虫从互联网抓取航天资讯,并利用通用自然语言处理模型对文本进行信息提取。这些方法试图通过自动化手段降低人工成本,提高数据获取速度。
3、然而,现有技术仍然存在以下缺陷:第一,通用网络爬虫未针对航天领域进行优化,抓取结果中包含大量与航天无关的噪声信息,清洗困难,且无法对时间格式、专业术语进行归一化。第二,通用自然语言处理模型对卫星、轨道、载荷、发射场、任务编号等专业实体识别精度低,易出现歧义,无法准确抽取实体间的复杂关系、属性及动态事件。第三,抽取结果碎片化,无法形成实体-关系-属性的结构化知识,难以支撑工程化系统的直接使用。第四,抽取的航天器名称、代号和编号无法与系统内部的空间目标唯一标识自动关联,导致情报数据难以对接轨道计算、碰撞预警、任务规划等工程模块。第五,缺乏统一的航天知识融合与更新机制,无法构建动态、可推理、可检索的知识库,使得情报数据无法持续演进并为上层应用提供高时效性支撑。
技术实现思路
1、本发明旨在解决现有技术的不足,具体提供了一种互联网航天情报自动提取与结构化方法及相关设备,具体如下:
2、1)第一方面,本发明提供一种互联网航天情报自动提取与结构化方法,具体技术方案如下:
3、对多源航天情报进行定向采集并进行处理,得到处理后的情报文本;
4、利用预建立的航天专业词典,对处理后的情报文本中的航天领域术语进行归一化处理,得到标准化文本;
5、利用经航天领域数据微调的大模型,从标准化文本中得到抽取信息;
6、将抽取信息中的航天器名称、代号和编号与预存的空间目标唯一标识集合进行匹配,并根据匹配结果进行实体消歧和关联,得到关联有至少一个空间目标唯一标识的抽取信息;
7、根据关联有至少一个空间目标唯一标识的抽取信息生成实体-关系-实体三元组和实体-属性-值三元组,对所有三元组进行时序化、归一化和去重处理,将处理后的三元组存入图数据库,形成动态更新的航天知识图谱;
8、基于航天知识图谱提供标准化查询接口,标准化查询接口支持按照空间目标唯一标识、任务编号、时间和区域在航天知识图谱中进行检索,输出结构化知识库。
9、本发明提供的一种互联网航天情报自动提取与结构化方法的有益效果如下:
10、通过对多源航天情报进行定向采集与处理,能够得到处理后的情报文本,有效克服通用网络爬虫带来的信息噪声大、清洗困难的问题。利用预建立的航天专业词典对处理后的情报文本中的航天领域术语进行归一化处理,获得标准化文本,消除了术语别名、缩写和外文译名的歧义,提升了后续抽取的准确性。利用经航天领域数据微调的大模型从标准化文本中执行命名实体识别、关系抽取、属性抽取及事件抽取,得到抽取信息,解决了通用自然语言处理模型对专业实体识别精度低、易出现歧义的缺陷,实现了实体、关系、属性、事件的高精度智能抽取。将抽取信息中的航天器名称、代号和编号与预存的空间目标唯一标识集合进行匹配,并根据匹配结果进行实体消歧和关联,得到关联有至少一个空间目标唯一标识的抽取信息,实现了抽取结果与空间目标唯一标识的自动关联,可以直接对接轨道计算、碰撞预警、任务规划等工程系统。根据关联后的抽取信息生成实体-关系-实体三元组和实体-属性-值三元组,进行时序化、归一化和去重处理后存入图数据库,形成动态更新的航天知识图谱,克服了抽取信息碎片化以及缺乏统一知识融合与更新机制的不足。基于该航天知识图谱提供标准化查询接口,支持按照空间目标唯一标识、任务编号、时间和区域进行检索并输出结构化知识库,为多星任务规划、态势感知等上层系统提供了高时效性、高质量、可检索的数据支撑。
11、在上述方案的基础上,本发明的一种互联网航天情报自动提取与结构化方法还可以做如下改进。
12、进一步,对多源航天情报进行定向采集并进行处理,得到处理后的情报文本,包括:对多源航天情报进行定向爬取,并对爬取结果执行网页去噪、正文提取、数据去重以及时间归一化处理,将处理后的结果作为处理后的情报文本。
13、采用上述进一步方案的有益效果是:通过对多源航天情报进行定向爬取,并针对爬取结果执行网页去噪、正文提取、数据去重以及时间归一化处理,得到处理后的情报文本,能够有效减少与航天领域无关的噪声信息,精准提取网页中的核心正文内容,避免同一情报的重复存储,并将不同来源的多种日期时间格式统一为标准格式。这一处理流程显著提升了原始情报的清洁度、完整性和一致性,降低了后续文本清洗的难度,为利用预建立的航天专业词典进行归一化处理以及经航天领域数据微调的大模型进行智能抽取提供了高质量的数据基础,从而提高了整个情报自动化处理流程的效率和可靠性。
14、进一步,利用预建立的航天专业词典,对处理后的情报文本中的航天领域术语进行归一化处理,得到标准化文本,包括:利用预先建立的航天专业词典,对处理后的情报文本中的卫星代号、轨道类型、载荷、发射场以及机构简称进行归一化处理,统一各个航天领域术语的别名、缩写以及外文译名,将归一化处理后的文本作为标准化文本。
15、采用上述进一步方案的有益效果是:利用预先建立的航天专业词典,对处理后的情报文本中的卫星代号、轨道类型、载荷、发射场以及机构简称进行归一化处理,统一各个航天领域术语的别名、缩写以及外文译名,将归一化处理后的文本作为标准化文本,能够有效消除同一航天实体在不同情报来源中的多种写法歧义,使卫星代号、轨道类型、载荷名称、发射场名称及机构简称均转换为统一的预定义标准名称。这一处理大幅提升了文本中航天领域术语的一致性和规范性,降低了后续经航天领域数据微调的大模型进行命名实体识别、关系抽取、属性抽取及事件抽取时的语义混淆风险,从而提高了智能抽取的精度和召回率,为生成高质量的结构化抽取信息奠定了坚实基础。
16、进一步,利用经航天领域数据微调的大模型,从标准化文本中得到抽取信息,包括:利用经航天领域数据微调的大模型,对标准化文本执行命名实体识别、关系抽取、属性抽取以及事件抽取,得到抽取信息,抽取信息包括识别出的实体、抽取出的关系、抽取出的属性以及抽取出的事件。
17、采用上述进一步方案的有益效果是:利用经航天领域数据微调的大模型对标准化文本执行命名实体识别、关系抽取、属性抽取以及事件抽取,得到包含识别出的实体、抽取出的关系、抽取出的属性以及抽取出的事件的抽取信息,能够准确识别卫星、轨道、载荷、发射场、任务编号等航天专业实体,精准抽取实体间的搭载、发射、隶属等关系,以及轨道高度、倾角、质量等属性,并识别发射、入轨、变轨等动态事件。这一处理克服了通用自然语言处理模型在航天领域识别精度低、易产生歧义的缺陷,将非结构化的标准化文本转化为包含丰富语义关联的结构化抽取信息,为后续空间目标唯一标识映射、实体消歧与关联以及知识图谱构建提供了高质量的数据输入。
18、进一步,将抽取信息中的航天器名称、代号和编号与预存的空间目标唯一标识集合进行匹配,并根据匹配结果进行实体消歧和关联,得到关联有至少一个空间目标唯一标识的抽取信息,包括:将抽取信息中的航天器名称、代号和编号分别与预存的空间目标唯一标识集合中的各条目进行相似度匹配,根据匹配结果确定与航天器名称、代号和编号对应的候选空间目标唯一标识,当存在多个候选标识时,利用抽取信息中的上下文信息进行实体消歧以选定至少一个空间目标唯一标识,并将选定的至少一个空间目标唯一标识与抽取信息进行关联,得到关联有至少一个空间目标唯一标识的抽取信息。
19、采用上述进一步方案的有益效果是:通过将抽取信息中的航天器名称、代号和编号与预存的空间目标唯一标识集合进行相似度匹配,确定候选空间目标唯一标识,并在存在多个候选标识时利用抽取信息中的上下文信息进行实体消歧以选定唯一标识,最终将选定的空间目标唯一标识与抽取信息进行关联,得到关联有至少一个空间目标唯一标识的抽取信息,能够自动建立情报文本中的航天器与系统内部唯一标识之间的准确对应关系。这一处理有效解决了抽取信息无法与空间目标唯一标识自动关联的缺陷,消除了名称歧义,使情报数据中的实体、关系、属性及事件均附带明确的空间目标唯一标识,从而可直接对接轨道计算、碰撞预警、任务规划等工程应用系统,打通了情报数据与工程系统之间的数据链路。
20、进一步,基于航天知识图谱提供标准化查询接口,输出结构化知识库,包括:通过标准化查询接口接收按照空间目标唯一标识、任务编号、时间或区域中至少一种条件输入的查询请求,在航天知识图谱中检索与查询请求匹配的三元组,并将检索到的三元组以结构化数据格式输出,将输出的数据作为结构化知识库。
21、采用上述进一步方案的有益效果是:通过标准化查询接口接收按照空间目标唯一标识、任务编号、时间或区域中至少一种条件输入的查询请求,在航天知识图谱中检索与查询请求匹配的三元组,并将检索到的三元组以结构化数据格式输出为结构化知识库,能够为上层应用系统提供灵活、高效的数据访问方式。用户可以根据单一条件或组合条件快速定位所需的航天情报,例如查询特定空间目标唯一标识关联的所有实体、关系和属性,或按任务编号获取发射事件,或按时间区间筛选最新情报,或按区域检索发射场及相关任务。结构化数据格式的输出使检索结果可直接被多星任务规划、态势感知、碰撞预警等工程系统解析和加载,大幅降低了数据对接成本,提升了情报服务响应速度和易用性。
22、进一步,根据关联有至少一个空间目标唯一标识的抽取信息生成实体-关系-实体三元组和实体-属性-值三元组,包括:从关联有至少一个空间目标唯一标识的抽取信息中提取出各个航天实体以及各个航天实体之间的关系,将每一条关系及其关联的两个航天实体组合为一个实体-关系-实体三元组,并从关联有至少一个空间目标唯一标识的抽取信息中提取出各个航天实体及其对应的属性值,将每一个属性及其对应的航天实体和属性值组合为一个实体-属性-值三元组。
23、采用上述进一步方案的有益效果是:通过从关联有至少一个空间目标唯一标识的抽取信息中提取各个航天实体及其关系,将每一条关系及其关联的两个航天实体组合为实体-关系-实体三元组,同时提取各个航天实体及其对应的属性值,将每一个属性及其对应的航天实体和属性值组合为实体-属性-值三元组,能够将原本碎片化的抽取信息转化为标准化的三元组知识表示结构。实体-关系-实体三元组清晰表达了航天实体之间的语义连接,实体-属性-值三元组准确描述了每个航天实体的固有特征。这一转换过程为后续的时序化、归一化和去重处理提供了统一的数据格式,也为将三元组存入图数据库构建动态更新的航天知识图谱奠定了结构化基础,确保了知识表示的一致性和可计算性。
24、进一步,将处理后的三元组存入图数据库,形成动态更新的航天知识图谱,包括:将处理后的三元组按照主语和谓语构建图数据库中的节点和边,每个空间目标唯一标识对应一个节点,每个实体-关系-实体三元组中的关系作为连接两个节点的有向边,每个实体-属性-值三元组中的属性作为节点的属性键值对存储,在图数据库中建立时间索引以支持时序查询,每次存入新三元组时对已有节点和边进行增量更新,形成动态更新的航天知识图谱。
25、采用上述进一步方案的有益效果是:通过将处理后的三元组按照主语和谓语构建图数据库中的节点和边,每个空间目标唯一标识对应一个节点,每个实体-关系-实体三元组中的关系作为连接两个节点的有向边,每个实体-属性-值三元组中的属性作为节点的属性键值对存储,能够在图数据库中直观地表达航天实体间的复杂关联和属性特征。建立时间索引支持了按照采集时间标签进行高效时序查询,满足对情报时效性的检索需求。每次存入新三元组时对已有节点和边进行增量更新,避免了全量重建带来的性能开销,使航天知识图谱能够持续、实时地融合最新情报数据。这一处理形成了动态更新的航天知识图谱,保证了知识的时效性、一致性和可扩展性,为上层标准化查询接口提供了快速、灵活的知识检索能力。
26、进一步,对所有三元组进行时序化、归一化和去重处理,包括:为每个三元组添加采集时间标签以实现时序化,将添加时间标签后的三元组中具有相同属性类型但不同单位或不同表达形式的属性值按照预设标准转换为统一量纲和统一格式以实现归一化,将归一化后的三元组中主语、谓语、宾语以及时间标签均相同的重复三元组删除仅保留一个副本以实现去重。
27、采用上述进一步方案的有益效果是:通过为每个三元组添加采集时间标签实现时序化,使每条知识都带有明确的时间维度,支持按照时间顺序追溯情报演变。将添加时间标签后的三元组中具有相同属性类型但不同单位或不同表达形式的属性值按照预设标准转换为统一量纲和统一格式,消除了不同来源数据在单位、数值表达上的差异,确保同一属性值在同一基准上可比。将归一化后的三元组中主语、谓语、宾语以及时间标签均相同的重复三元组删除仅保留一个副本,有效剔除了冗余数据,避免了存储浪费和查询歧义。这一系列处理提升了三元组的数据质量、一致性和紧凑性,为后续构建图数据库并形成动态更新的航天知识图谱提供了干净、规范、无重复的输入数据。
28、进一步,形成动态更新的航天知识图谱之后,还包括:按照预设的时间周期重复执行对多源航天情报进行定向采集并进行处理、利用预建立的航天专业词典进行归一化处理、利用经航天领域数据微调的大模型得到抽取信息、将抽取信息中的航天器名称、代号和编号进行匹配及实体消歧和关联、生成三元组并对所有三元组进行时序化归一化和去重处理、以及将处理后的三元组存入图数据库的步骤,将新存入的三元组与已存储的三元组进行融合,实现对航天知识图谱的增量更新。
29、采用上述进一步方案的有益效果是:通过按照预设的时间周期重复执行从多源航天情报定向采集到将处理后的三元组存入图数据库的完整流程,并将新存入的三元组与已存储的三元组进行融合,实现了对航天知识图谱的增量更新。这一处理确保了知识图谱能够定期、自动地获取互联网上最新发布的航天情报,无需人工触发或全量重建。增量更新仅处理新产生的三元组,大幅降低了每次更新的计算资源和时间成本。新存入的三元组与已存储的三元组融合时,保留了历史版本并补充了最新属性与关系,保证了知识图谱的连续性、一致性和时效性。由此形成的动态更新机制,使航天知识图谱始终与快速变化的航天资讯保持同步,为上层应用系统提供了持续、可靠的知识服务。
30、2)第二方面,本发明还提供一种互联网航天情报自动提取与结构化系统,具体技术方案如下:
31、包括数据采集处理模块、归一化处理模块、抽取模块、匹配关联模块、知识图谱获取模块和输出模块;
32、数据采集处理模块用于:对多源航天情报进行定向采集并进行处理,得到处理后的情报文本;
33、归一化处理模块用于:利用预建立的航天专业词典,对处理后的情报文本中的航天领域术语进行归一化处理,得到标准化文本;
34、抽取模块用于:利用经航天领域数据微调的大模型,从标准化文本中得到抽取信息;
35、匹配关联模块用于:将抽取信息中的航天器名称、代号和编号与预存的空间目标唯一标识集合进行匹配,并根据匹配结果进行实体消歧和关联,得到关联有至少一个空间目标唯一标识的抽取信息;
36、知识图谱获取模块用于:根据关联有至少一个空间目标唯一标识的抽取信息生成实体-关系-实体三元组和实体-属性-值三元组,对所有三元组进行时序化、归一化和去重处理,将处理后的三元组存入图数据库,形成动态更新的航天知识图谱;
37、输出模块用于:基于航天知识图谱提供标准化查询接口,标准化查询接口支持按照空间目标唯一标识、任务编号、时间和区域在航天知识图谱中进行检索,输出结构化知识库。
38、3)第三方面,本发明还提供一种电子设备,电子设备包括处理器,处理器与存储器耦合,存储器中存储有至少一条计算机程序,至少一条计算机程序由处理器加载并执行,以使电子设备实现上述任一项互联网航天情报自动提取与结构化方法。
39、4)第四方面,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述任一项互联网航天情报自动提取与结构化方法。
40、需要说明的是,本发明的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果,可以参见上述对第一方面及其对应的可能的实现方式的技术效果,此处不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com