一种全国尺度网格化分区的遥感影像容错分布式切片方法与流程

本发明属于遥感影像，具体而言，涉及一种全国尺度网格化分区的遥感影像容错分布式切片方法。

背景技术：

1、遥感影像分布式切片是全国尺度地理信息处理的基础环节，现有技术通常采用固定网格划分与静态任务队列调度，配合批量检查点或全量快照实现基本容错。在平原等地形均匀区域，上述方法因影像信息量分布均匀而尚能维持各节点负载的相对平衡，但当处理范围扩展至山地、高原、丘陵等地形复杂区域时，不同网格单元的影像纹理密度与信息量差异极大，静态分配策略无法感知这种差异，导致高纹理网格在少数节点上积压而其余节点长期空闲，整体吞吐率随节点数增加而下降。与此同时，现有全量快照容错方案在超大幅面影像处理中存储开销极高，节点故障后的恢复时间随影像规模线性增长，在多节点并发故障场景下恢复延迟进一步放大。也就是说，现有技术中存在全国尺度遥感影像分布式切片任务在地形复杂区域因静态任务分配与缺乏容错机制导致节点负载失衡且故障后无法高效恢复的技术问题。

技术实现思路

1、有鉴于此，本发明提供一种全国尺度网格化分区的遥感影像容错分布式切片方法，能够解决现有技术中存在全国尺度遥感影像分布式切片任务在地形复杂区域因静态任务分配与缺乏容错机制导致节点负载失衡且故障后无法高效恢复的技术问题。

2、本发明是这样实现的：本发明提供一种全国尺度网格化分区的遥感影像容错分布式切片方法，包括以下步骤：

3、依据全国行政区划与地形高程数据，构建多级空间网格索引，按熵值预评估模型对每个网格单元的影像信息量进行预评分，并据此确定任务粒度；

4、基于地形自适应状态空间切片模型提取各网格影像的多尺度特征，融合小波包分解与熵阈值筛选，输出各网格的特征权重图；

5、依据特征权重图，通过自适应负载分配函数计算各分布式节点的任务粒度值，将高纹理网格细分为更小切片，并经工作窃取式负载迁移机制调度至空闲节点；

6、采用流式分块读取策略与内存映射文件技术对各切片进行并行读取，以循环缓冲队列动态淘汰冷数据，配合零拷贝直接内存访问降低带宽消耗；

7、执行切片处理过程中，启动增量检查点机制，记录关键中间状态的哈希指纹与元数据，结合谱系追踪技术在节点故障时重放计算流图；

8、在影像金字塔各级聚合前，依据地形自适应状态空间切片模型输出的特征权重图自适应调整高斯低通滤波器截止频率，并采用兰索斯重采样核执行逐级降采样，生成最终多尺度切片结果。

9、其中，所述熵值预评估模型，具体是对每个网格单元的影像计算香农熵值与局部梯度强度，两者加权求和得到信息量预评分，加权系数通过在代表性实验区多次迭代实验并分析评分与后续计算耗时的相关性获取，具体取值以使预评分与计算耗时的皮尔逊相关系数最大为准。

10、其中，所述多级空间网格索引的构建，具体是以全国行政区划为一级分区边界，在每个一级分区内按地形高程起伏度再细分为二级网格，二级网格尺寸由切片处理吞吐量与节点内存占用的平衡点确定。

11、其中，所述自适应负载分配函数，具体是设网格单元的信息量预评分为、节点空闲队列长度为，计算任务粒度调节值，按与高阈值及低阈值的大小关系分别执行细分、默认粒度或合并调度，与的具体值通过在不同地形区的多轮负载均衡实验中记录节点队列长度方差最小时的参数值确定。

12、其中，所述工作窃取式负载迁移机制，具体是各节点实时上报队列长度至调度中心，当某节点队列长度低于全局均值减去一个标准差时，从队列最长节点中迁移若干切片任务，迁移粒度为被窃取节点当前队列长度的迁移比例值，具体比例由迁移延迟与负载均衡效果的综合评估确定。

13、其中，所述流式分块读取策略与内存映射文件技术，具体是将大尺寸瓦片按处理窗口划分为若干块，仅将当前处理窗口及其8邻域范围内的数据映射至内存，处理完成后立即释放映射，循环缓冲队列的容量由内存峰值占用与缓存命中率的权衡确定。

14、其中，所述增量检查点机制，具体是在每完成一个切片处理单元后，仅记录该切片处理结果的哈希指纹、输入数据的存储地址指针及处理参数元数据，而非保存完整中间结果，哈希算法采用sha-256或等效安全哈希算法。

15、其中，所述谱系追踪技术，具体是在调度系统中维护每个切片任务的计算流图，记录其输入数据来源、处理算子序列及参数，当节点故障导致部分切片丢失时，依据流图从最近检查点重放计算，利用算子的幂等性保证重复执行不影响最终结果正确性。

16、其中，所述高斯低通滤波器截止频率的自适应调整，具体是以特征权重图中对应区域的权重均值作为调制因子，权重高的区域截止频率设定在较高频率档位，权重低的区域截止频率设定在较低频率档位，具体映射关系由金字塔各层目视质量评估与混叠伪影检测结果确定。

17、其中，所述地形自适应状态空间切片模型由递归状态空间主干分支、轴向分离注意力并联分支、小波包分解多尺度特征提取模块与门控融合单元四部分构成，所述门控融合单元的门控信号由两分支特征各自的标准差比值经sigmoid函数计算得到。

18、其中，所述递归状态空间主干分支沿纬度、经度与光谱三个维度分别维护独立的三维隐状态张量，位置自适应线性状态转移矩阵由数字高程模型的局部坡度与坡向经正弦余弦编码生成调制向量，与可学习基础转移矩阵逐元素相乘得到。

19、其中，所述轴向分离注意力并联分支将特征图分别沿水平轴与垂直轴展开为一维序列，仅在下采样后的低分辨率特征图上计算自注意力，两轴向输出通过张量乘积重构为二维特征图，查询、键、值投影三者共享同一组参数。

20、其中，所述小波包分解多尺度特征提取模块对输入切片执行三层小波包分解，生成八个频带子带图像，以能量占比归一化值为权重计算自适应熵阈值，熵值低于阈值的子带系数经软阈值函数向零收缩，重构过程中嵌入可学习滤波器系数替代固定小波基。

21、其中，所述地形自适应状态空间切片模型还设有切片粒度调节函数，以当前批次切片的信息量预评分均值、节点队列长度均值与当前验证集损失联合计算综合调节指数，按与高阈值及低阈值的大小关系动态调整轴向注意力分支的查询键值投影维度。

22、其中，熵值预评估模型中加权系数的权重比值范围为0.4∼0.6；二级网格尺寸范围为0.1°至1.0°经纬度的范围为1.5至3.0，的范围为0.3至0.8；迁移粒度为被窃取节点当前队列长度的20%至40%；循环缓冲队列的容量范围为3至8个处理窗口；权重高的区域截止频率范围为奈奎斯特频率的0.6至0.8倍，权重低的区域为0.3至0.5倍；兰索斯重采样核的支撑范围取2或3个像素的范围为0.6至1.2，的范围为0.1至0.4。

23、本发明通过构建地形自适应状态空间切片模型提取各网格影像的多尺度特征权重图，以自适应负载分配函数与工作窃取式负载迁移机制将高纹理网格动态细分并调度至空闲节点，同时以增量检查点与谱系追踪技术替代全量快照实现轻量容错恢复，解决了全国尺度遥感影像分布式切片在地形复杂区域因静态任务分配与容错机制缺失导致负载失衡且故障恢复低效的技术问题。本发明的地形自适应状态空间切片模型通过递归状态空间主干分支对地形高程的动态感知，准确区分不同地形区域的信息量差异，使任务粒度划分边界与地物空间分布边界趋于吻合，从根本上消除静态分配导致的负载失衡。增量检查点仅记录哈希指纹与元数据而非完整中间结果，结合谱系追踪的计算流图重放机制，将故障恢复开销从全量数据规模降低至单切片粒度，使多节点并发故障场景下的恢复延迟不再随影像规模线性增长。综上所述，本发明解决了背景技术中提到的全国尺度遥感影像分布式切片任务在地形复杂区域因静态任务分配与缺乏容错机制导致节点负载失衡且故障后无法高效恢复的技术问题。