一种卫星数据的智能处理方法与流程

本发明涉及电数字数据处理，具体涉及一种卫星数据的智能处理方法。

背景技术：

1、当前地面处理海量卫星数据的主流方案可分为两类：

2、单体文件串行处理：将卫星下传的整个数据文件（通常为数百gb甚至tb级）作为一个完整的处理单元。处理时，由一台高性能服务器或工作站顺序加载整个文件至内存，依次执行0级处理、辐射定标、几何校正、大气校正等一系列算法流程，最终生成产品。整个处理过程在单一计算节点上完成。

3、通用分布式框架粗暴分块：为利用集群资源，部分系统会采用通用分布式计算框架（如hadoop、spark）。其通常采用简单的“按固定字节大小切分”或“按行分块”的方式，将大文件物理切割成多个大小均等的分片，然后分发到不同计算节点上进行相同的算法处理。处理完成后，再将分片结果简单合并。

4、上述现有技术方案存在以下固有缺陷：

5、处理时效性差：串行方案处理一个超大文件耗时极长，完全依赖单机性能，无法满足灾害应急、军事侦察等高时效性应用需求。

6、资源利用率低且不均衡：串行方案无法利用现代数据中心的海量并行计算资源，导致集群中多数节点闲置。粗暴分块方案虽启用了多节点，但因其分块方式与卫星数据的内部逻辑结构（如地理连续性、波段关联性、景单元完整性）严重脱节，可能导致单个完整地物目标被切割到不同分片，使后续处理算法失效或产生错误，实际可行性低。

7、系统鲁棒性弱：在串行处理中，任一环节失败都导致整个任务重做，成本高昂。粗暴分块方案中，节点失败虽可重启，但因分块缺乏逻辑语义，重试和结果聚合逻辑复杂。

8、流程僵化，缺乏灵活性：无法根据数据内容（如优先处理特定重点区域）或动态资源状况进行智能调度。当只需处理数据中的一小部分感兴趣区域时，仍需处理整个文件，造成计算资源的巨大浪费。

9、i/o成为瓶颈：无论是单机加载整个大文件，还是多节点并发读取物理分片，都对共享存储系统造成巨大的随机或顺序i/o压力，拖慢整体处理流程。

10、因此，需要一种可高效均衡处理卫星数据的智能处理方法。

技术实现思路

1、本发明是为了解决卫星数据处理时效性差、资源利用率低且不均衡、系统鲁棒性弱、流程僵化、缺乏灵活性以及i/o成为瓶颈的问题，提供一种卫星数据的智能处理方法，将巨型任务分解为大量可并行处理的子任务，充分利用集群算力，将产品生产时间从“小时/天级”缩短至“分钟/小时级”，满足高时效性应用需求；根据数据内容逻辑和集群实时负载进行动态任务调度，避免了节点闲置或过载，使计算、存储、网络资源得到最大化、均衡化的利用；单个节点故障仅影响少数子任务，系统可自动将其重新调度至健康节点，实现了高效的容错处理。支持基于地理区域、光谱特征等维度的精细化处理，可轻松实现“重点区域优先处理”等灵活业务需求；基于领域知识的逻辑拆分，确保了每个子任务处理的数据在物理或逻辑上是完整的（如一个完整的地市、一个完整的景），避免了粗暴分块可能导致的地理错误或信息缺失，从机制上保障了最终产品的质量；各节点按需读取大文件的特定部分，变集中式大流量顺序i/o为分布式小流量随机i/o，显著降低了存储系统的单点压力，提升了整体数据吞吐能力。

2、本发明提供一种卫星数据的智能处理方法，包括以下步骤：

3、s1、对原始卫星数据进行数据特征解析得到输入数据解析结果，根据输入数据解析结果、用户指定的处理目标和分布式处理节点集群的实时集群资源状态进行原始卫星数据的逻辑拆分决策，生成可并行处理的多个子任务对应的任务描述符；

4、s2、持续监控并计算分布式处理节点集群中每个节点的实时健康状态与资源利用率，将子任务的任务描述符动态均衡地分配给空闲或低负载的节点；

5、s3、节点接收分配的任务描述符后根据任务描述符中的逻辑索引通过文件访问接口读取原始卫星数据中自身负责的数据块，无需等待整个子任务文件传输或进行物理切割；

6、s4、节点根据硬件参数信息得出能够支持处理的最大数据量，以最大数据量为基准将数据块根据卫星类别进行分景处理得到数据单元；节点对数据单元进行二进制读取，对光学数据进行图像增强和/或对sar数据提取卫星数据文件并进行原始数据的定位后得到中间结果文件；

7、s5、对整个分布式处理节点集群中所有运行中的子任务进行全生命周期监控，实时收集状态，当检测到任务失败时自动触发重试机制，将失败任务重新放入调度队列并分配至其他健康节点执行；

8、s6、所有子任务成功完成后，依据任务生成时记录的逻辑与地理索引将分布在各个节点输出的中间结果文件进行聚合，对于光学数据，聚合时进行像素级的地理镶嵌与色彩均衡；对于sar数据，聚合时进行相位拼接与一致性校正；最后对聚合后的最终产品进行质量检查并生成处理报告。

9、本发明所述的一种卫星数据的智能处理方法，作为优选方式，步骤s1中，数据特征解析模块提取原始卫星数据中光学数据的地理范围、投影、波段数与波长、成像时间，解析原始卫星数据中sar数据的成像模式、极化方式、轨道参数以及原始数据文件的组织格式，成像模式为条带或扫描或聚束；

10、自适应任务规划引擎进行逻辑拆分决策，自适应任务规划引擎中集成面向光学与sar数据的领域知识库，领域知识库包括多种预定义的拆分规则，拆分规则为以下任意一种或多种：按地理网格拆分、行政区划拆分、光谱子集拆分、距离向/方位向分块；

11、任务描述符中包括数据索引和处理参数。

12、本发明所述的一种卫星数据的智能处理方法，作为优选方式，步骤s1中，逻辑拆分的方法包括以下步骤：

13、s11、进行运行环境的重置，清除多余的数据缓存；

14、s12、以二进制读取模式访问原始卫星数据并进行解码、提取出任务标志；

15、s13、将任务标志与内建的策略映射表进行匹配查询，锁定拆分规则后进入主处理循环；

16、s14、主处理循环通过缓冲区流式读取源文件的后续内容，并依据所选策略实时检测数据流的拆分边界；当满足预定义的边界判定条件时即刻将当前缓冲数据封装为一个完整的子文件，并写入存储系统，子文件的命名遵循标准化范式，此迭代过程持续进行，直至源文件数据流终止；

17、s15、全部逻辑拆分完成后，释放所有文件句柄并生成清单文档。

18、本发明所述的一种卫星数据的智能处理方法，作为优选方式，步骤s13中，拆分规则为：基于固定尺寸的数据块划分和/或依据分隔符的逻辑分段和/或遵循文件内部嵌入数据长度字段的动态切分；分隔符为协议头或标记符或换行序列；

19、步骤s14中，边界判定条件包括：缓冲区达到既定容量、识别到完整的分隔符序列或计算出预设的数据单元数目；

20、步骤s15中，清单文档以结构化格式记录所有子文件的元数据，包括文件名、字节大小、校验码及在原始文件中的逻辑次序。

21、本发明所述的一种卫星数据的智能处理方法，作为优选方式，步骤s2中，基于队列和资源感知的调度算法进行子任务分配，队列和资源感知的调度算法为最小负载优先或数据本地性优先。

22、本发明所述的一种卫星数据的智能处理方法，作为优选方式，步骤s4中，根据时序与固定幅宽对光学、多光谱传感器获取的光学数据进行分景处理；

23、根据成像物理约束对sar数据进行分景处理，然后对每一个分割文件进行定位计算得到每个文件的四个角点坐标，将四个角点分别对应的俯仰角和滚动角进行坐标转换得到四角点经纬度。

24、本发明所述的一种卫星数据的智能处理方法，作为优选方式，步骤s4包括以下步骤：

25、s41、读取节点的硬件参数信息再结合后续将要执行的算法计算量，综合评估出能够支持处理的最大数据量，以最大数据量为基准将数据块根据类别进行分景处理得到数据单元；

26、s42、节点对数据单元进行二进制读取，并依据预设的数据协议格式，提取出关键工作参数，关键工作参数包括卫星类型、位置、速度、姿态等信息；

27、s43、进行分景操作，对光学数据，以时序与固定幅宽为基准，依据获取的时间序列和卫星轨道参数，结合预设的全球场景参考网格系统，将连续数据流切割为具有独立时间标识与完整空间覆盖的景，景与景之间在地理上无缝或仅存在为保障全球连续覆盖而预设的有限系统性重叠；

28、对于sar数据，以成像物理约束为基准，沿方位向分景时引入具有时间长度的重叠观测区，重叠观测区的长度由传感器参数与成像模式计算得出以满足合成孔径时间的最低要求；

29、s44、对于光学数据的分景文件分别进行图像增强；

30、对于每一个sar数据的分景文件进行定位计算得到每个文件的四个角点坐标，根据卫星在星体坐标系中的坐标和四角点对应姿态角得到卫星在轨道坐标系中的坐标，再通过坐标转换得到分景文件sar数据解析结果。

31、本发明所述的一种卫星数据的智能处理方法，作为优选方式，步骤s43中，合成孔径时间为：

32、；

33、其中，0.886λr/la为方位向波束宽度在地面的投影，在斜视角不为0的情况下，在方位向上该投影长度需乘以系数。

34、本发明所述的一种卫星数据的智能处理方法，作为优选方式，步骤s44中，sar数据的分景文件的处理方法包括以下步骤：

35、从分景后数据文件中读取卫星位置和卫星姿态，分别为卫星平台的偏航角、俯仰角和滚动角；

36、根据卫星波位信息得到卫星方位波束宽度和俯仰波束宽度，分景后数据文件对应的四个角点姿态角分别为：

37、；

38、根据和四个角点姿态角得到卫星在轨道坐标系中坐标，进行坐标转换：

39、；

40、其中

41、；

42、然后将卫星坐标进行轨道坐标系到惯性坐标系到地固坐标系的转换得到卫星地固坐标系坐标；

43、根据星体坐标系、轨道坐标系、惯性坐标系和固定坐标系的转换关系得到四个角点对应的波束指向的地固系向量，直线方程为：

44、；

45、其中，卫星位置已知，t为时间；

46、将直线方程与地球方程联立求解并取距离最近值得到卫星波束指向与地球交点在地固坐标系上的位置，再将地固系的位置转换为大地坐标经纬度得到分景文件sar数据解析结果。

47、本发明所述的一种卫星数据的智能处理方法，作为优选方式，卫星数据的智能处理方法所使用的架构部署在地面数据接收站与标准产品生产系统之间，包括自上而下设置的智能解析与规划层、动态调度与执行层和聚合与管控层；

48、智能解析与规划层包括用于数据特征解析的数据特征解析模块和用于逻辑拆分决策的自适应任务规划引擎；

49、动态调度与执行层包括作为动态调度中心的任务分发与负载均衡器和由多个具备独立计算、存储能力的物理或虚拟机构成的分布式处理节点集群；

50、聚合与管控层包括用于进行子任务监控的任务状态监控器和用于进行中间结果文件聚合及质量检查的结果聚合与质量管理器。

51、本发明提供了卫星数据在地面进行数据处理的流程、针对大数据智能拆分的智能处理系统架构、文件拆分时的相关处理算法和根据相关卫星姿态进行定位的算法。

52、本发明具有以下优点：

53、（1）本发明极大的提升处理效率与时效性：将巨型任务分解为大量可并行处理的子任务，充分利用集群算力，将产品生产时间从“小时/天级”缩短至“分钟/小时级”，满足高时效性应用需求。

54、（2）本发明实现了智能资源利用与负载均衡：根据数据内容逻辑和集群实时负载进行动态任务调度，避免了节点闲置或过载，使计算、存储、网络资源得到最大化、均衡化的利用。

55、（3）本发明增强了系统鲁棒性与灵活性：单个节点故障仅影响少数子任务，系统可自动将其重新调度至健康节点，实现了高效的容错处理。支持基于地理区域、光谱特征等维度的精细化处理，可轻松实现“重点区域优先处理”等灵活业务需求。

56、（4）本发明可保证处理逻辑的正确性与产品质量：基于领域知识的逻辑拆分，确保了每个子任务处理的数据在物理或逻辑上是完整的（如一个完整的地市、一个完整的景），避免了粗暴分块可能导致的地理错误或信息缺失，从机制上保障了最终产品的质量。

57、（5）本发明有效缓解了i/o瓶颈：各节点按需读取大文件的特定部分，变集中式大流量顺序i/o为分布式小流量随机i/o，显著降低了存储系统的单点压力，提升了整体数据吞吐能力。