森林区域分区调制的遥感图像生成式超分辨率方法与流程
本发明涉及遥感图像处理,具体涉及森林区域分区调制的遥感图像生成式超分辨率方法。
背景技术:
1、现有与本发明较接近的技术方案主要包括扩散先验图像恢复方法、纹理感知遥感扩散超分辨率方法和空间特征调制超分辨率方法。
2、hypir类扩散先验图像恢复方法利用预训练扩散模型中已经学习到的生成先验构建图像恢复网络。基本做法是使用预训练扩散模型的参数初始化图像恢复模型,使模型具备自然图像生成能力;然后通过对抗训练对恢复模型进行微调,使恢复模型能够从低质量图像直接恢复出高质量图像。推理阶段不再采用传统扩散模型的多步迭代采样,而是通过单次前向传播完成图像恢复,并可以通过文本提示、纹理丰富度参数、生成性与保真度调节参数对恢复结果的视觉风格和纹理强弱进行控制。
3、hypir类扩散先验图像恢复方法主要面向通用图像恢复任务,对纹理的控制通常是全局性的。森林区域内部包含密集林冠、稀疏林冠、林缘边界、阴影混合区域等不同子区域,不同子区域对纹理恢复的需求不同。全局纹理控制难以显式区分森林子区域,可能出现密集林冠纹理不足、稀疏林冠纹理过强、阴影混合区域生成伪纹理和森林边界纹理外溢。
4、texadiff类纹理感知遥感扩散超分辨率方法从遥感图像中估计相对纹理密度图,用于表示图像不同区域的纹理丰富程度;然后将纹理密度图作为扩散模型的空间条件、损失函数的加权依据或扩散采样过程的调整依据,使不同纹理区域获得不同程度的生成式恢复。纹理密度图主要描述通用纹理强弱,未针对森林区域的树冠纹理退化状态进行专门建模。森林遥感图像中的树冠纹理还与森林区域掩膜、林冠密度、树冠颗粒度、局部熵、阴影混合情况以及森林边界位置有关,仅依靠通用纹理密度图难以区分密集林冠、稀疏林冠、林缘边界和非森林区域,也难以专门抑制树冠纹理向道路、水体、建筑或裸地区域扩散。
5、sftgan类空间特征调制超分辨率方法利用语义分割图作为空间先验指导图像超分辨率重建,先获得输入图像对应的语义分割概率图,再由空间特征变换模块生成空间自适应的仿射调制参数,利用仿射调制参数对超分辨率网络的中间特征进行调制。语义分割图主要表达不同语义类别之间的差异,难以表达同一森林类别内部的细粒度纹理退化差异,也缺少针对森林边界纹理外溢的约束机制。
技术实现思路
1、本发明的目的在于提供森林区域分区调制的遥感图像生成式超分辨率方法,解决了现有通用生成式超分辨率方法无法显式区分森林区域内部不同子区域、无法采用差异化纹理恢复策略以及森林边界容易发生纹理外溢的技术问题。
2、为解决上述技术问题,本发明所采用的技术方案是:
3、森林区域分区调制的遥感图像生成式超分辨率方法,包括:
4、获取低分辨率rgb遥感影像并进行归一化和基础上采样,得到归一化后的低分辨率遥感影像和初步上采样图像;
5、对归一化后的低分辨率遥感影像进行森林区域识别和掩膜后处理,得到后处理后的森林区域掩膜;
6、根据初步上采样图像提取局部方差、小波高频能量、gabor多方向响应、局部熵和纹理残差,并结合后处理后的森林区域掩膜生成树冠纹理退化程度图;
7、从后处理后的森林区域掩膜提取森林边界并进行距离变换,得到森林边界距离图;
8、根据后处理后的森林区域掩膜、树冠纹理退化程度图和森林边界距离图生成森林分区图;
9、将树冠纹理退化程度图和森林分区图调整至生成式超分辨率网络的中间特征尺度,生成空间自适应调制参数并调制中间特征和注意力权重;
10、训练阶段获取与低分辨率rgb遥感影像对应的真实高分辨率遥感影像,计算森林纹理一致性损失和森林边界纹理外溢抑制损失并更新生成式超分辨率网络的网络参数,得到训练完成的生成式超分辨率网络;
11、推理阶段将低分辨率rgb遥感影像、树冠纹理退化程度图、森林分区图和森林边界距离图输入训练完成的生成式超分辨率网络,输出高分辨率遥感影像。
12、作为本发明的一个优选技术方案,归一化包括从低分辨率rgb遥感影像的像素值中减去rgb通道均值,再除以rgb通道标准差;森林区域概率图由森林区域识别网络根据归一化后的低分辨率遥感影像生成,或者将绿色通道值的2倍减去红色通道值和蓝色通道值,得到绿色增强指数,并由森林区域识别网络根据归一化后的低分辨率遥感影像和绿色增强指数生成森林区域概率图;对森林区域概率图进行平滑滤波、孔洞填充、小区域去除和边界细化中的至少一种处理,得到后处理后的森林区域掩膜;基础上采样采用双三次插值、轻量级超分辨率网络或生成式超分辨率网络的浅层初步输出。
13、作为本发明的一个优选技术方案,局部方差的提取包括:以目标像素位置为中心确定局部窗口,计算局部窗口内每个像素值与局部窗口内像素均值之差的平方,对全部平方值求和后除以局部窗口内像素数量,得到目标像素位置的局部方差特征;小波高频能量的提取包括:对初步上采样图像进行小波分解,将小波分解后的水平高频子带、垂直高频子带和对角高频子带在相同位置的模值相加,得到对应位置的小波高频能量。
14、作为本发明的一个优选技术方案,gabor多方向响应的提取包括:利用预设方向集合内各方向的gabor滤波器分别与初步上采样图像进行卷积,从相同位置对应的卷积响应模值中选取最大值,得到对应位置的gabor多方向响应;局部熵的提取包括:确定局部窗口内各灰度或颜色区间的概率,分别计算每个概率与对应概率对数的乘积,对全部乘积求和并取负值,得到局部熵;纹理残差的提取包括:分别对初步上采样图像和基础上采样图像进行高频提取,计算相同位置的高频响应之差的模值,得到纹理残差;所述基础上采样图像通过对所述低分辨率rgb遥感影像进行双三次插值上采样获得。
15、作为本发明的一个优选技术方案,树冠纹理退化程度图的生成包括:分别为局部方差特征、小波高频能量、gabor多方向响应、局部熵和纹理残差设置对应权重,对局部方差特征、小波高频能量、gabor多方向响应、局部熵和纹理残差进行加权求和,将加权求和结果与后处理后的森林区域掩膜逐位置相乘并进行归一化,得到树冠纹理退化程度图;对应权重通过人工设定或训练自动学习获得。
16、作为本发明的一个优选技术方案,森林边界距离图的生成包括:从后处理后的森林区域掩膜提取森林边界图,针对每个像素位置计算像素位置到森林边界图中各森林边界像素的欧氏距离,并从全部欧氏距离中选取最小值,得到对应像素位置的森林边界距离;按照非森林区域、林缘边界区域、密集林冠区域、常规或稀疏林冠区域以及低纹理森林或阴影混合区域的顺序进行判定,生成森林分区图。
17、作为本发明的一个优选技术方案,将树冠纹理退化程度图和森林分区图调整至生成式超分辨率网络各中间特征层的中间特征尺度;分区调制参数生成模块根据调整到相同中间特征尺度的树冠纹理退化程度图和森林分区图生成缩放调制参数和偏置调制参数;将缩放调制参数与对应中间特征逐元素相乘,再与偏置调制参数相加,得到经过分区调制的中间特征。
18、作为本发明的一个优选技术方案,查询矩阵和键矩阵分别由对应中间特征通过查询映射和键映射得到;将查询矩阵与键矩阵的转置矩阵相乘,并根据注意力头维度对相乘结果进行缩放,得到注意力logits;注意力偏置生成模块根据调整到相同中间特征尺度的树冠纹理退化程度图和森林分区图生成注意力偏置;将注意力logits与注意力偏置相加后进行归一化指数运算,得到调制后的注意力权重。
19、作为本发明的一个优选技术方案,森林纹理一致性损失包括森林区域高频一致性损失和经过权重调节的森林区域纹理统计一致性损失;森林区域高频一致性损失根据高分辨率尺度下的森林区域掩膜内高分辨率遥感影像与真实高分辨率遥感影像之间的高频响应差异获得;森林区域纹理统计一致性损失根据高分辨率尺度下的森林区域掩膜内高分辨率遥感影像与真实高分辨率遥感影像之间的多尺度纹理特征的gram矩阵差异获得;通过膨胀操作与腐蚀操作的差分生成高分辨率尺度下的森林边界邻域带,将高分辨率尺度下的非森林区域掩膜与森林边界邻域带逐元素相乘,得到非森林侧边界区域;森林边界纹理外溢抑制损失根据非森林侧边界区域内高分辨率遥感影像的高频响应获得。
20、作为本发明的一个优选技术方案,推理阶段设置森林纹理增强强度参数,将森林纹理增强强度参数与树冠纹理退化程度图逐位置相乘,得到调节后的树冠纹理退化程度图;将低分辨率rgb遥感影像、调节后的树冠纹理退化程度图、森林分区图和森林边界距离图输入训练完成的生成式超分辨率网络,生成指定森林纹理增强强度下的高分辨率遥感影像。
21、与现有技术相比,本发明具有以下有益效果:
22、本发明通过后处理后的森林区域掩膜限定树冠纹理退化程度图的作用范围,并综合局部方差、小波高频能量、gabor多方向响应、局部熵和纹理残差表征森林区域内部不同位置的树冠纹理恢复需求,避免了现有全局纹理控制无法区分森林子区域的问题,提升了森林区域纹理恢复的针对性。根据后处理后的森林区域掩膜、树冠纹理退化程度图和森林边界距离图进行森林区域分区,能够区分密集林冠区域、常规或稀疏林冠区域、林缘边界区域、低纹理森林或阴影混合区域和非森林区域,使不同森林子区域采用差异化纹理恢复策略,降低了阴影混合区域生成伪纹理和森林边界纹理外溢的风险。
23、本发明根据树冠纹理退化程度图和森林分区图对生成式超分辨率网络的中间特征和注意力权重进行空间自适应调制,使生成式超分辨率网络在密集林冠区域增强高频纹理通道,在常规或稀疏林冠区域降低生成强度,在林缘边界区域抑制跨区域纹理传播,在非森林区域减少树冠纹理生成,提升了超分辨率重建的精度和空间一致性。在训练阶段引入森林纹理一致性损失和森林边界纹理外溢抑制损失,森林纹理一致性损失约束森林区域内的高频响应和纹理统计,森林边界纹理外溢抑制损失约束非森林侧边界区域的高频响应,增强了森林区域内部树冠纹理并减少了树冠纹理向道路、水体、建筑和裸地区域的外溢。通过归一化处理、绿色增强指数辅助森林区域识别、森林区域概率图的平滑滤波、孔洞填充、小区域去除和边界细化,降低了噪声干扰,提高了森林区域掩膜的准确性和稳定性。通过设置森林纹理增强强度参数调节树冠纹理退化程度图,实现了推理阶段森林区域纹理恢复强度的灵活控制,满足了不同应用场景下对纹理恢复程度的需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com