一种基于参数模板的多源遥感影像自动化采集与发布方法与流程
本文件涉及遥感影像处理,尤其涉及一种基于参数模板的多源遥感影像自动化采集与发布方法。
背景技术:
1、随着对地观测技术的快速发展,遥感数据获取途径日益多样化,遥感数据呈现出多源、多尺度、结构复杂、格式多样、体量大等特点,遥感领域已进入大数据时代。不同卫星平台和传感器所获取的遥感影像在空间参考、分辨率、波段设置、色彩特征等方面存在显著差异,如何将这些多源异构的遥感影像高效地采集、处理并发布为可供web端调用的标准化服务,成为地理信息行业亟需解决的技术难题。
2、目前,遥感影像的采集与发布流程通常涉及多个相互独立的环节。在采集阶段,业务人员需要针对不同的数据源、不同的目标区域和不同的时间窗口,分别编写相应的下载脚本或配置采集参数,这一过程高度依赖人工操作,不仅效率低下,而且容易因参数配置错误导致数据采集失败或采集到不符合质量要求的数据。在处理阶段,不同来源的遥感影像投影坐标系各异,需要逐一进行投影转换、像素对齐和色彩校正,传统的处理方式往往采用零散的脚本或工具链串联完成,缺乏统一的标准化处理流水线,处理结果的一致性和可复现性难以保证。在发布阶段,处理完成的影像需要生成瓦片金字塔并对外提供服务,高频访问区域和临时访问区域采用相同的切片策略,导致存储资源浪费或响应速度不佳。此外,整个采集、处理到发布的链条中缺乏统一的审计与追溯机制,当某个环节出现问题时,难以快速定位原因并复现处理过程。
3、已有研究尝试通过自动化技术提升遥感影像处理效率,例如利用gdal等开源图形库实现影像预处理、裁剪、配准、增强和切片等功能的自动化。然而,这些方案多聚焦于单一环节的自动化,未能将业务参数定义、采集执行、标准化处理和发布服务整合为一条完整的自动化链路,也缺乏对参数模板化管理和全流程审计追溯的系统性设计。因此,如何在保证多源遥感影像处理质量的前提下,实现从参数定义到服务发布的全链路自动化,并确保整个过程可追溯、可复现、可回滚,成为本领域技术人员急需解决的技术问题。
技术实现思路
1、本说明书一个或多个实施例提供了一种基于参数模板的多源遥感影像自动化采集与发布方法,包括:
2、获取用户输入的业务参数,根据所述业务参数生成结构化的参数模板,并对所述参数模板进行版本固化存储;
3、读取所述参数模板,实例化生成采集任务,所述采集任务包含任务标识id、参数快照和状态标识;
4、根据所述采集任务执行多源遥感影像的自动化采集,获取原始影像数据;
5、对所述原始影像数据执行标准化处理,生成标准化的影像瓦片;
6、发布所述影像瓦片,并提供前端交互接口。
7、进一步地,所述获取用户输入的业务参数,根据所述业务参数生成结构化的参数模板,并对所述参数模板进行版本固化存储具体为:
8、获取用户输入的目标区域aoi、时间窗口、数据源类型、云量阈值、分辨率约束和并发策略;
9、将获取的所述业务参数序列化为json或yaml格式的所述参数模板;
10、记录所述参数模板的模板版本号、创建人信息和审批人信息,将记录后的所述参数模板进行固化存储。
11、进一步地,所述读取所述参数模板,实例化生成采集任务,所述采集任务包含任务标识id、参数快照和状态标识具体为:
12、读取所述参数模板后,为所述采集任务分配所述任务标识id并生成所述参数快照,同时为所述采集任务设置状态标识,所述状态标识用于标记所述采集任务的任务执行状态,所述任务执行状态包括待执行、执行中、已完成和失败。
13、进一步地,所述根据所述采集任务执行多源遥感影像的自动化采集,获取原始影像数据包括:
14、根据所述参数快照构建下载请求,采用多线程并发执行下载;
15、下载过程中,基于http range协议执行断点续传,记录已下载字节偏移量,并在网络恢复后从所述已下载字节偏移量处继续下载;
16、监测网络状态,当检测到http状态码429或网络超时时,触发指数退避重试策略,重新发起下载请求;
17、下载完成后,对已下载的所述原始影像数据执行完整性校验,若校验失败则将对应的所述原始影像数据标记为脏数据,并触发降级流程;
18、进一步地,所述指数退避重试策略具体为:设定初始等待时间为1秒,每次重试的等待时间按照2倍递增,并设定最大重试次数为5次。
19、进一步地,所述对所述原始影像数据执行标准化处理,生成标准化的影像瓦片包括:
20、读取所述原始影像数据的空间参考信息,判断所述原始影像数据的投影是否为web墨卡托投影,若否,则利用gdal库将所述原始影像数据重投影至web墨卡托坐标系;
21、将重投影后的不同来源的影像像素网格进行对齐处理,使各影像在相同分辨率下的像素边界一致;
22、对像素网格对齐后的影像执行色彩波段归一化处理,统一各影像的色带映射规则;
23、对色彩波段归一化处理后的影像执行云量检测、空洞检测和异常值检测,根据检测结果将不达标产品按预设策略执行降级处理或标记为不可用状态;
24、将检测通过及降级处理后的影像构建多级金字塔,基于所述多级金字塔生成xyz格式或tms格式的所述影像瓦片,并将生成的所述影像瓦片按照/zoom/x/y目录结构存储至对象存储。
25、进一步地,所述发布所述影像瓦片,并提供前端交互接口包括:
26、将所述影像瓦片与所述影像瓦片的元数据关联存储,所述元数据包括影像来源、采集时间、投影信息和分辨率;
27、构建restful接口,通过所述restful接口接收前端发送的缩放级别和坐标范围参数,并根据所述参数向所述前端返回对应的所述影像瓦片;
28、识别访问频率高于预设阈值的目标区域aoi,对所述目标区域aoi执行预切片处理,对访问频率低于或等于所述预设阈值的临时目标区域aoi执行按需实时切片处理。
29、进一步地,所述方法还包括:
30、在所述采集任务执行完成后,生成审计报告,所述审计报告包含所述任务标识id、参数快照、执行时间、执行状态、产出文件路径和质量指标;
31、将所述审计报告与对应的文件对象、元数据和版本信息绑定存储,并支持按所述任务标识id、时间范围和目标区域aoi维度执行检索回溯
32、本说明书一个或多个实施例提供了一种基于参数模板的多源遥感影像自动化采集与发布系统,包括:
33、模版生成模块:用于获取用户输入的业务参数,根据所述业务参数生成结构化的参数模板,并对所述参数模板进行版本固化存储;
34、任务生成模块:用于读取所述参数模板,实例化生成采集任务,所述采集任务包含任务标识id、参数快照和状态标识;
35、影像采集模块:用于根据所述采集任务执行多源遥感影像的自动化采集,获取原始影像数据;
36、影像处理模块:用于对所述原始影像数据执行标准化处理,生成标准化的影像瓦片;
37、影像发布模块:用于发布所述影像瓦片,并提供前端交互接口。
38、本说明书一个或多个实施例提供了一种电子设备,包括:
39、处理器;以及,
40、被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器实现上述基于参数模板的多源遥感影像自动化采集与发布方法的步骤。
41、本说明书一个或多个实施例提供了一种存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被执行时实现上述基于参数模板的多源遥感影像自动化采集与发布方法的步骤。
42、采用本发明实施例,通过将业务参数封装为可复用的结构化参数模板,将业务规则的定义与采集执行的工程化过程相分离,实现了采集任务的参数化驱动;整个采集与发布过程具备良好的可追溯性和可复现性;有效提升了采集过程在复杂网络环境下的失败可恢复性;确保了多源影像在空间参考、像素边界和色彩特征上的一致性;对高频访问区域预切片、对临时区域按需切片,在保证响应速度的同时控制了存储成本;将业务参数与工程化处理相结合,形成自动化链路,大幅提升了多源遥感影像从数据获取到服务发布的效率与可靠性。
43、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com