一种时空数据检索方法及系统
本发明涉及数据检索,尤其是涉及一种时空数据检索方法及系统。
背景技术:
1、在gis(geographic information system,地理信息系统)空间分析和统计、遥感观测和地图制图等领域,高效的时空数据检索是一项重要的前提任务。通过时空条件和约束检索查询各类遥感影像和矢量数据,可为后续工作流奠定数据基础。目前,时空数据检索主要有以下几种方法:
2、(1)基于结构化查询语言的直接检索方法
3、这类方法需针对不同数据库编写特定的查询语句:针对搭载postgis扩展的关系型数据库postgresql,需编写包含st_intersects、st_geomfromtext等空间函数的sql语句实现空间范围检索;针对搜索引擎elasticsearch,需采用类json风格的esql语言构建时空过滤条件;针对图数据库neo4j,则需使用cypher语言定义节点与关系的时空约束逻辑。这类方法检索精度较高,但对使用者的专业能力要求严苛,需熟练掌握不同数据库的查询语法及空间数据模型。
4、(2)基于数据库上层api(application programming interface,应用程序编程接口)的代码开发检索方法
5、该类方法通过调用数据库厂商或第三方开发的应用程序接口(api),编写python、java等编程语言代码实现数据检索。开发者需根据api文档规范配置数据连接参数、构建时空查询参数体,再通过接口请求获取返回数据。例如,利用psycopg2库调用postgresql的api接口,或利用elasticsearch-py库对接elasticsearch引擎。这类方法灵活性较强,但存在开发门槛高、周期长的问题,且检索逻辑的调整需要重新修改代码,难以适配科学考察场景下快速、多变的检索需求。
6、(3)基于可视化操作界面的检索方法
7、该类方法依托arcgis、qgis等专业gis软件,通过可视化界面的菜单、按钮等组件完成检索操作。用户可通过拖拽图层、绘制空间范围、设置时间筛选条件等可视化交互方式,实现时空数据的筛选与提取。这类方法降低了部分语法学习门槛,但仍要求使用者熟悉gis软件的操作逻辑和空间数据组织方式,且软件的专业功能模块较为复杂,普通科考人员需要经过系统培训才能熟练使用。
8、综上,现有时空数据检索方法普遍存在专业依赖强、操作门槛高的问题,非专业人员难以高效参与复杂时空检索任务,难以适配科学考察等场景下的大众化使用需求。与此同时,现有技术方案大多聚焦于数据检索环节,缺乏与检索结果相适配的高效发布与地图样式配置能力,检索得到的时空数据无法快速转化为直观的可视化成果,难以直接辅助科考现场的决策工作。
9、为降低检索门槛,已有现有技术尝试引入大模型技术。例如,选用大语言模型,基于用户搜索日志和人地事物组织标签构建提示词工程模板,利用标注数据集对大模型进行微调;将目标区域划分为地理空间网格,每个网格赋予唯一网格编码;解析用户输入的自然语言,基于微调后的大模型识别空间、时间、业务属性三类约束,生成sql语句并叠加空间过滤条件,输出检索结果。
10、然而,该现有技术方案仍存在以下缺陷:
11、第一,场景适配性单一,难以满足科考领域特殊需求。该技术方案围绕基层治理、智慧城市场景设计,业务时空数据库仅覆盖人口、组织、设施等城市相关数据,未考虑科考场景的特殊数据类型,例如野外监测站点数据、生态环境动态数据等。同时,其地理空间网格划分精度和编码规则针对城市区域设计,无法适配高原、荒漠、海洋等复杂地理环境的检索需求。
12、第二,模型微调成本高,迭代效率低。该技术方案采用基于标注数据集的全量微调方式优化大语言模型,需要大量人工标注的时空检索问题和提示词模板,不仅标注成本高、周期长,而且当新增数据类别或检索需求时,需要重新进行全量微调,无法实现模型的轻量化、快速迭代。
13、第三,缺乏时空数据在线发布能力,可视化效果与交互性不足。该技术方案的检索结果仅支持基础的地图展示,未实现矢量、栅格等多类型时空数据的标准化在线发布能力,不兼容wms、wfs等主流地理信息服务协议,无法与第三方gis平台或前端可视化系统进行高效对接。
14、因此,研发一种能够降低操作门槛、兼具高效检索与专业可视化能力的时空数据处理方法或系统,成为当前科学考察领域的迫切技术需求,也是大数据资源服务、数据库和云数据库服务等互联网数据服务领域提升数据价值的关键环节。
技术实现思路
1、本发明的目的是提供一种基于科考智能体的时空数据检索方法及系统,旨在通过融合多级行政区划语义与空间几何的数据库、双层存储架构、mcp(model-centricprocessing,以模型为中心的处理)服务及自适应地图发布服务的协同设计,在科学考察场景下实现自然语言驱动的时空数据高效检索与自动化可视化,为大数据资源服务提供关键技术支撑,显著降低非专业用户的操作门槛,提升时空数据检索的精准度与可视化效率。
2、为解决上述问题,本发明的第一方面提供了一种时空数据检索方法,该方法包括以下步骤:s1:构建融合多级行政区划语义与空间几何的数据库,所述数据库关联存储行政单元的空间几何信息与其对应的语义嵌入向量、原始地名字段;s2:构建时空数据双层存储,所述双层存储中设有数据产品表和数据实例表,所述数据产品表用于存储数据产品的元信息,所述数据实例表用于存储数据实例的物理信息;s3:基于大语言模型构建智能体,所述智能体解析用户自然语言指令,生成包括目标地名、目标数据名称和时间范围的结构化查询参数;s4:构建时空数据检索mcp服务,所述mcp服务用于根据目标地名确定目标空间几何体,根据目标数据名称和时间范围筛选出候选数据实例,并对所述候选数据实例执行数据裁剪,得到裁剪后数据;s5:构建地图发布服务,所述地图发布服务用于根据裁剪后数据的数据路径、数据类型及元信息,动态创建地图图层并配置对应的地图样式,完成地图服务注册,得到地图链接;s6:所述智能体调用所述时空数据检索mcp服务获取所述裁剪后数据,调用所述地图发布服务获取所述地图链接,并将所述地图链接与自然语言回复进行合成,输出交互式地图。
3、本发明通过融合多级行政区划语义与空间几何的数据库、双层存储架构及mcp服务的协同设计,将传统时空数据检索中依赖专业查询语言或固定操作界面的检索模式,转变为基于自然语言交互的智能检索模式,能够实现从地名到空间几何体的语义映射、从数据名称到数据实例的智能筛选以及自适应数据裁剪的完整流程;同时,配合自适应地图发布服务,将检索结果自动转化为可视化地图,在一次检索流程中共同构建了一种非专业人员无需掌握gis专业知识即可高效完成复杂时空检索与可视化任务的新型方法,从根本上解决了传统方法专业依赖强、操作门槛高、可视化能力不足的技术问题,显著提升了时空数据检索的易用性、精准度与可视化效率,可为数据库和云数据库服务提供高效的时空数据检索能力。
4、进一步地,所述构建融合多级行政区划语义与空间几何的数据库,包括:获取国家级行政区划数据,涵盖省、市、县三级行政单元;对每一行政单元,生成包括地名简称、全称及上级行政区名称的结构化文本描述;采用嵌入模型将所述结构化文本描述转换为所述语义嵌入向量;将所述行政单元的空间几何信息、所述语义嵌入向量及所述原始地名字段关联存储。
5、进一步地,所述数据产品的元信息包括产品标识、数据名称、数据类型、采集机构、分辨率、数据名称的嵌入向量;所述数据实例的物理信息包括实例标识、所属产品标识、数据路径、存储类型、存储路径、时间范围及空间边界;在所述数据实例表上对所述时间范围和空间边界字段联合创建通用搜索树索引。
6、进一步地,所述基于大语言模型构建智能体,包括:所述智能体采用规划者-执行者架构,包括规划者模块、执行者模块和合成模块;所述规划者模块用于解析用户自然语言指令,识别其中的地理实体、数据需求及时空约束,生成包括目标地名、目标数据名称和时间范围的结构化查询参数;所述执行者模块用于调用所述时空数据检索mcp服务获得裁剪后数据,调用所述地图发布服务获得地图链接;所述合成模块用于将所述地图链接、数据摘要、关键统计信息注入大语言模型上下文,生成自然语言回复并嵌入交互式地图。
7、进一步地,所述根据目标地名确定目标空间几何体包括:使用所述嵌入模型,将目标地名转换为地名嵌入向量;计算所述地名嵌入向量与数据库中各地名嵌入向量的余弦相似度;计算目标地名与数据库地名的字符级文本相似度;采用加权融合策略生成混合相似度,选取混合相似度最大的行政单元,并将其对应的空间几何体作为目标空间几何体。
8、进一步地,所述混合相似度通过下式计算得出:混合相似度=a×余弦相似度+b×文本相似度其中,a表示余弦相似度的权重参数,b表示文本相似度的权重参数。
9、进一步地,所述根据目标数据名称和时间范围筛选出候选数据实例包括:使用所述嵌入模型,将目标数据名称转换为数据名称嵌入向量;计算所述数据名称嵌入向量与所述数据产品表中各数据名称嵌入向量的余弦相似度,筛选出相似度排名靠前的多个数据产品;将所述多个数据产品与所述数据实例表进行关联,并过滤掉时间范围不覆盖请求时间段的记录;选择数据名称相似度最高且时空覆盖完整的单一数据实例作为候选数据实例。
10、进一步地,所述对所述候选数据实例执行数据裁剪包括:若所述候选数据实例为矢量数据,则构造结构化查询语言,使用空间相交函数,以所述目标空间几何体为基准进行空间裁剪,并返回交集要素;若所述候选数据实例为栅格数据,则读取对应的栅格数据文件,将所述目标空间几何体栅格化为布尔掩膜,应用所述布尔掩膜进行像素级裁剪。
11、进一步地,所述地图发布服务包括:对矢量数据,同时发布web地图服务和web要素服务,并根据几何类型加载预设样式模板;对栅格数据,发布web地图服务并预生成多级地图切片缓存,并根据数值类型生成可视化样式:若为连续型栅格数据,统计有效像素的最小值、最大值、中位数,构建线性色带;若为分类型栅格数据,统计唯一像素值分布,为每类分配唯一颜色代码,生成离散色表。并将所述预设样式模板或可视化样式绑定至图层,完成地图服务注册。
12、根据本发明的另一个方面,还提供了一种时空数据检索系统,该系统包括:数据库构建模块,用于构建融合多级行政区划语义与空间几何的数据库,所述数据库关联存储行政单元的空间几何信息与其对应的语义嵌入向量、原始地名字段;双层存储构建模块,用于构建时空数据双层存储,所述双层存储中设有数据产品表和数据实例表,所述数据产品表用于存储数据产品的元信息,所述数据实例表用于存储数据实例的物理信息;mcp服务单元,用于实现时空数据检索mcp服务,所述mcp服务单元包括:映射模块、数据筛选模块和裁剪模块,其中,所述映射模块,用于根据目标地名确定目标空间几何体;所述数据筛选模块,用于根据目标数据名称和时间范围筛选出候选数据实例;所述裁剪模块,用于对所述候选数据实例执行数据裁剪,得到裁剪后数据;地图发布服务单元,用于实现地图发布服务,根据裁剪后数据的数据路径、数据类型及元信息动态创建地图图层并配置对应的地图样式,完成地图服务注册,得到地图链接;智能体单元,基于大语言模型构建,用于解析用户自然语言指令,生成包括目标地名、目标数据名称和时间范围的结构化查询参数,调用所述mcp服务单元获取所述裁剪后数据,调用所述地图发布服务单元获取所述地图链接,并将所述地图链接与自然语言回复进行合成,输出交互式地图。
13、本发明通过数据库构建模块、双层存储构建模块、mcp服务单元及地图发布服务单元的协同系统架构,将传统时空数据检索系统中依赖人工编写查询语句或操作复杂界面的工作模式,转变为基于自然语言交互的全自动化智能处理流程;其中,数据库构建模块建立融合多级行政区划语义与空间几何的关联存储,双层存储构建模块设有数据产品表和数据实例表并建立时空联合索引,mcp服务单元依次完成地名-空间映射、数据实例筛选及自适应数据裁剪,地图发布服务单元将裁剪结果自动配置地图样式并完成服务注册;同时,配合采用规划者-执行者架构的智能体单元,对用户自然语言指令进行解析、调度与服务调用,共同构建了一种无需人工编码或专业软件操作即可实现端到端时空数据检索与可视化的新型系统,从根本上解决了传统系统专业依赖强、操作门槛高、检索与可视化环节脱节的技术问题,显著提升了系统的易用性、响应效率与集成化程度。
14、进一步地,所述数据库构建模块具体用于:获取国家级行政区划数据,涵盖省、市、县三级行政单元;对每一行政单元,生成包括地名简称、全称及上级行政区名称的结构化文本描述;采用嵌入模型将所述结构化文本描述转换为所述语义嵌入向量;将所述行政单元的空间几何信息、所述语义嵌入向量及所述原始地名字段关联存储。
15、进一步地,在所述双层存储构建模块中:所述数据产品的元信息包括产品标识、数据名称、数据类型、采集机构、分辨率、数据名称的嵌入向量;所述数据实例的物理信息包括实例标识、所属产品标识、数据路径、存储类型、存储路径、时间范围及空间边界;所述数据实例表上对所述时间范围和空间边界字段联合创建有通用搜索树索引。
16、进一步地,所述映射模块具体用于:使用所述嵌入模型,将目标地名转换为地名嵌入向量;计算所述地名嵌入向量与数据库中各地名嵌入向量的余弦相似度;计算目标地名与数据库地名的字符级文本相似度;采用加权融合策略生成混合相似度,选取混合相似度最大的行政单元,并将其对应的空间几何体作为目标空间几何体。
17、进一步地,所述混合相似度通过下式计算得出:混合相似度=a×余弦相似度+b×文本相似度其中,a表示余弦相似度的权重参数,b表示文本相似度的权重参数。
18、进一步地,所述数据筛选模块具体用于:使用所述嵌入模型,将目标数据名称转换为数据名称嵌入向量;计算所述数据名称嵌入向量与所述数据产品表中各数据名称嵌入向量的余弦相似度,筛选出相似度排名靠前的多个数据产品;将所述多个数据产品与所述数据实例表进行关联,并过滤掉时间范围不覆盖请求时间段的记录;选择数据名称相似度最高且时空覆盖完整的单一数据实例作为候选数据实例。
19、进一步地,所述裁剪模块具体用于:若所述候选数据实例为矢量数据,则构造结构化查询语言,使用空间相交函数,以所述目标空间几何体为基准进行空间裁剪,并返回交集要素;若所述候选数据实例为栅格数据,则读取对应的栅格数据文件,将所述目标空间几何体栅格化为布尔掩膜,应用所述布尔掩膜进行像素级裁剪。
20、进一步地,所述地图发布服务单元具体用于:对矢量数据,同时发布web地图服务和web要素服务,并根据几何类型加载预设样式模板;对栅格数据,发布web地图服务并预生成多级地图切片缓存,并根据数值类型生成可视化样式:若为连续型栅格数据,统计有效像素的最小值、最大值、中位数,构建线性色带;若为分类型栅格数据,统计唯一像素值分布,为每类分配唯一颜色代码,生成离散色表;并将所述预设样式模板或可视化样式绑定至图层,完成地图服务注册。
21、进一步地,所述智能体单元采用规划者-执行者架构,包括:规划者模块,用于解析用户自然语言指令,识别其中的地理实体、数据需求及时空约束,生成包括目标地名、目标数据名称和时间范围的结构化查询参数;执行者模块,用于调用所述mcp服务单元获得裁剪后数据,调用所述地图发布服务单元获得地图链接;合成模块,用于将所述地图链接、数据摘要、关键统计信息注入大语言模型上下文,生成自然语言回复并嵌入交互式地图。
22、本发明的上述技术方案具有如下有益的技术效果:
23、1.降低操作门槛,提升易用性:本发明通过构建科考智能体,将传统依赖专业结构化查询语言或复杂gis软件操作的检索模式,转变为基于自然语言交互的智能化检索模式。非专业人员无需掌握sql语法、空间数据模型或gis软件操作,只需输入自然语言指令即可完成复杂时空数据检索,显著降低了科学考察等场景下的大众化使用门槛。
24、2.提升检索精准度与效率:本发明采用混合相似度策略(余弦相似度+字符级文本相似度)进行地名-空间映射,同时利用语义嵌入向量进行数据名称匹配,有效解决了地名重名、简称、模糊表达等带来的匹配歧义问题;通过数据产品表与数据实例表的双层存储结构,并联合创建时间范围与空间边界的通用搜索树索引,在时空查询过程中能够同时利用时间和空间两个维度的约束,尽早排除大多数不可能命中的数据记录,显著提升了检索效率。
25、3.实现自适应数据裁剪,满足复杂地理环境需求:本发明针对矢量数据和栅格数据分别采用差异化的裁剪策略。对于矢量数据,通过构造空间查询语句并调用空间相交函数进行精确空间裁剪;对于栅格数据,通过读取对应的栅格数据文件、将目标空间几何体栅格化为布尔掩膜并进行像素级裁剪。这种自适应裁剪方式能够有效适配高原、荒漠、海洋等复杂地理环境的时空数据检索需求,克服了传统基于城市设计的网格编码方案在科考场景中的局限性。
26、4.实现检索结果自动化可视化,增强决策支持能力:本发明构建自适应地图发布服务,能够根据数据类型(矢量/栅格)和数值特征(连续型/分类型)自动发布web地图服务与web要素服务、生成多级切片缓存,并动态配置地图样式(如连续型栅格构建线性色带、分类型栅格生成离散色表),将检索得到的时空数据快速转化为直观的交互式地图,有效解决了传统技术方案中检索与可视化环节脱节的问题,为科考现场决策提供了直接的可视化支撑。
27、5.降低大模型部署成本,实现轻量化迭代:本发明无需对大规模语言模型进行全量微调,而是通过构建科考智能体(规划者-执行者架构),结合语义嵌入和混合相似度匹配,直接实现自然语言到结构化查询参数的转换。相比现有技术中需要大量人工标注数据集进行全量微调的方案,本发明大幅降低了模型部署和迭代成本,当新增数据类别或检索需求时,无需重新训练模型,具有良好的可扩展性和适应性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com