基于超像素云边协同的高分辨率遥感影像处理方法与流程
本发明公开基于超像素云边协同的高分辨率遥感影像处理方法,属于遥感影像处理。
背景技术:
1、随着对地观测技术的飞速发展,高分辨率遥感影像的数据量正呈指数级增长。这些数据广泛应用于数字城市、环境监测、灾害评估和农业普查等领域。然而,传统的遥感影像处理方法在处理tb乃至pb级的海量数据时,面临计算效率与存储i/o两方面的瓶颈。首先,计算效率瓶颈突出,单体影像尺寸巨大,常规的单机串行处理模式耗时极长,难以满足应急响应与实时分析的需求。其次,存储与i/o瓶颈显著,将海量数据集中存储于单一数据中心并在处理时进行整体调用,不仅对网络带宽提出了较高要求,也造成了大量的i/o等待时间,使得高性能计算资源的实际利用率低下。
2、现有技术通常采用简单的规则分块(如均匀网格划分)结合分布式计算框架(如hadoop、spark)进行处理。然而,这种方法存在固有缺陷:规则分块无视影像内容的内在关联,极易割裂完整的地物目标(如一条道路、一片农田),导致后续的特征提取、目标识别等处理任务精度下降。同时,现有的云边协同计算模式在任务调度上多采用静态或简单的轮询策略,未能充分考虑边缘节点算力的异构性、动态性以及网络状态的波动,无法实现计算任务与计算资源之间的最优匹配,使得整体处理效能大打折扣。此外,现有方法缺乏对多时相数据协同分析的原生支持,也未能实现计算任务与存储位置的深度绑定,存在大量冗余数据迁移。
3、因此,本领域迫切需要一种能够理解影像内容、感知地物特征,支持时序分析,并能在分布式环境下进行智能、高效协同与存算一体化的新方法,以从根本上提升海量遥感影像处理的自动化水平与执行效率。
技术实现思路
1、本发明的目的在于提供基于超像素云边协同的高分辨率遥感影像处理方法,以解决现有技术中,高分辨率遥感影像在云边协同处理中因计算量大、传输延迟高及边缘资源受限所导致的实时性与解译精度不足的问题。
2、基于超像素云边协同的高分辨率遥感影像处理方法,包括:
3、s1、获取待处理遥感影像数据进行数据预处理,构建多尺度深度特征提取网络提取光谱特征、纹理特征和时序变化特征,并在通道维度上进行拼接,通过门控融合单元进行自适应加权和降维,得到每个像素点的最终融合特征向量;
4、s2、基于最终融合特征向量,在遥感影像上均匀设置聚类中心,基于聚类中心计算自适应步长构建搜索范围,利用自适应距离度量公式,计算搜索范围内像素与聚类中心的综合距离,迭代更新聚类中心直至收敛,得到超像素分割结果,为每个超像素块分配唯一标识符,并构建超像素块之间的邻接关系图;
5、s3、将遥感影像处理流程解耦为原子子任务,基于邻接关系图构建任务依赖图,云端服务器获取各边缘节点的状态信息并构建状态向量,根据状态向量选择边缘节点和模型版本执行任务,执行任务后计算奖励值并更新决策模型参数,基于云端服务器存储和边缘节点存储建立缓存机制;
6、s4、基于云端服务器存储和边缘节点存储,建立分布式存储池,分布式存储池中每个超像素块对应一个数据容器,采用分布式哈希表存储数据容器的元数据,调度决策优先选择已缓存任务所需数据的边缘节点执行任务,边缘节点完成任务后输出处理结果,根据唯一标识符和邻接关系图拼接所有边缘节点的处理结果,得到最终成果图。
7、s1包括,s1.1、数据预处理包括辐射定标、大气校正、几何精校正和多时相配准,得到标准化数据立方体;
8、s1包括,s1.2、构建多尺度深度特征提取网络,以预训练的resnet-transformer混合网络作为骨干层,提取光谱特征、纹理特征和时序变化特征;
9、将深层卷积层的输出作为光谱特征;
10、基于浅层特征图计算灰度共生矩阵,并从中提取对比度和熵:
11、;
12、;
13、式中,为灰度共生矩阵中坐标为的概率值;
14、将和合并为纹理特征
15、计算各像素点在光谱指数上的时间序列方差,作为时序变化特征:
16、;
17、式中,为位于坐标的像素点在不同时相的某一光谱指数值所构成序列的方差,为当前像素在第个时相的指数值;
18、s1包括,s1.3、将、和在通道维度上进行拼接,并通过门控融合单元进行自适应加权和降维,生成每个像素点的最终融合特征向量:
19、;
20、式中,为通道拼接操作。
21、s2包括,s2.1、在遥感影像上均匀设置个聚类中心,赋予每个聚类中心唯一标签,将每个聚类中心的中心点作为特征向量:
22、;
23、式中,为cielab颜色空间值,为像素坐标,是归一化的时序标识,为的索引;
24、s2包括,s2.2、构建初始步长:
25、;
26、式中,为总像素数;
27、基于计算自适应步长:
28、;
29、式中,为以当前聚类中心为中心的局部区域的影像熵,为全局最大熵,为由任务解析器给出的当前区域预期处理任务的重要性权重标量值,为控制影像内容复杂度对分块粒度的影响强度的调节系数,为控制任务需求对分块粒度的影响强度的调节系数。
30、s2包括,s2.3、以聚类中心的中心点为圆心,以为半径,构建像素搜索范围,利用自适应距离度量公式,计算搜索范围内像素与聚类中心的综合距离:
31、;
32、式中,为像素与在cielab颜色空间中的欧氏距离,为像素与在坐标空间中的欧氏距离,为之间的余弦距离,为像素与在时序维度上的绝对差,为颜色距离的归一化权重,为特征距离的归一化权重,为时序距离的归一化权重。
33、s2包括,s2.4、重复步骤s2.2和s2.3,计算每个像素与所有聚类中心的值,然后选择最小的聚类中心的,作为当前像素的标签,并重新计算聚类中心的位置,直至聚类中心收敛达到最大迭代次数;
34、s2包括,s2.5、根据每个像素分配的,得到初步的超像素分割结果,采用强制连通后处理方法对初步分割结果进行最小化处理,采用数学形态学算子去除孤立噪声与不完整边界,得到最终的超像素块;为每个超像素块分配全局唯一标识符,并构建增强的邻接关系图,顶点为每一个超像素块,边为超像素块之间的空间相邻关系,属性记录每条边连接的两个超像素块在特征空间的相似度以及时序上的关联性。
35、s3包括,s3.1、将遥感影像的处理流程解耦为原子子任务,并基于构建有向无环的任务依赖图,每个任务被描述为:
36、;
37、式中,为第个原子子任务,为原子子任务索引,,为任务需要执行的算法类型标识符,为任务执行所需的输入数据存储地址,为任务的加权优先级,为任务的前驱任务集合;
38、s3包括,s3.2、设数据处理系统由一个云端服务器和个边缘节点构成,每个决策时刻,云端服务器收集所有边缘节点的状态信息,构建状态向量:
39、;
40、式中,为各边缘节点cpu和内存利用率集合,为各边缘节点可用内存集合,为网络带宽集合,为各边缘节点任务队列长度集合,为边缘节点能耗状态集合,为各边缘节点本地缓存的数据块版本标识集合;
41、云端服务器基于当前的表,输出动作:
42、;
43、式中,为选定的边缘节点编号,为选定的轻量化模型版本编号;
44、表为二维数据表,行对应,列对应,每个元素的值为在下执行的累积奖励期望值;
45、执行后计算奖励函数:
46、;
47、式中,为任务在所选节点上使用选定模型版本的预估完成时间,为若不持有任务所需数据块所需的数据传输时间,为任务在节点上执行的能耗估计值,为选用特定轻量化模型版本相比基准模型带来的精度增益估计值,、、、为权重系数,为指示函数,当任务所需数据已在的本地缓存中时取值为1,否则为0。
48、s3包括,s3.3、采用q-learning算法更新值:
49、;
50、式中,为学习率,为折扣因子,为在下一状态下所有可能动作中最大的值;
51、s3包括,s3.4、建立三级缓存机制,包括边缘节点本地内存l1、边缘节点本地固态存储l2和云存储l3;
52、基于划分上游任务和下游任务,统计历史任务执行序列得到上游任务完成后,各下游任务的调度概率;当前上游任务即将完成时,将调度概率最大的数据块,从l3或l2加载到l1。
53、s4包括,s4.1、基于l2和l3建立分布式存储池,分布式存储池中每个超像素块对应一个数据容器,容器内部字段包括数据头、像素数据、中间结果和操作标识符集合;
54、s4包括,s4.2、采用分布式哈希表技术管理数据索引,将元数据分散存储在各边缘节点,元数据为:
55、;
56、式中,为存储当前容器副本的边缘节点编号列表,为当前容器的历史访问频率,为容器数据大小,为用于数据完整性校验的校验和,为容器头部的拷贝;
57、s4包括,s4.3、调度决策遵循数据亲和性原则,数据亲和性原则为优先将任务分配至已缓存当前任务所需数据容器的边缘节点;
58、在任务执行过程中,边缘节点计算中间状态作为快照,写入当前超像素块的数据容器中的中间结果字段。
59、s4包括,s4.4、周期性扫描各数据容器的元数据,设置频率阈值,大于频率阈值的为热点数据,小于等于频率阈值的为冷数据;
60、对热点数据,在边缘节点的l2缓存中增强副本数量,当l2不足时存储至l1;
61、对冷数据,进行压缩归档,减少副本数量;
62、具有高时空关联性的超像素块容器,在物理存储上连续存放或合并为单个归档文件,高时空关联性为中记录的属于同一地物不同时相的关联关系。
63、s4包括,s4.5、所有边缘节点完成各自超像素块的任务后,将处理结果写回对应的数据容器中;
64、根据和,按照超像素块的排列顺序,依次读取数据容器的处理结果,并调用数据容器内置的拼接操作符,将所有容器的输出结果拼接为最终成果图。
65、相对比现有技术,本发明具有以下有益效果:本发明通过引入多时相特征融合的智能分块、基于联邦调度的云边协同推理以及存算一体化的数据容器,将传统的规则分块方式改进为时空语义感知的自适应分块方式,并通过存算紧耦合设计降低了数据迁移开销,提升了海量遥感影像处理的精度、效率与鲁棒性,可满足从实时分析到长期监测的广泛应用需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com