支持任意模态缺失推理的遥感多模态表征与解译方法与流程
本发明涉及多模态深度学习与遥感图像处理,具体涉及支持任意模态缺失推理的遥感多模态表征与解译方法。
背景技术:
1、现有遥感多模态解译技术方案通常采用数据层多模态拼接、多分支网络特征层融合或基于注意力的特征交互学习等技术架构。不同传感器能够提供互补信息,光学影像提供光谱和纹理特征,合成孔径雷达影像提供全天候结构散射信息,数字高程模型和气象数据提供地形和气候条件先验。多模态任务大多要求训练和推理时的输入组合保持一致,训练时使用多模态数据,推理时也需要相同数量的模态数据。实际生产中出现某些模态数据缺失时,常采用补零、均值填充、插值重采样、生成式重建或重新训练模型。
2、多模态特征融合方法聚焦于减小异构模态特征之间的语义鸿沟。基于分布一致性约束的遥感多模态多空间泛函映射方法分别在欧式空间和复数空间提取光学图像和合成孔径雷达图像的模态本质特征,通过泛函约束将两个空间内的特征映射到同一低维特征空间,并对映射后特征的相似度进行一致性约束。门控交叉注意力融合的遥感多模态目标检测方法先通过边缘感知特征增强强化各模态边缘信息,再利用双向交叉注意力机制实现双模态信息交互与重构,随后通过门控加权融合机制对不同模态特征实施动态加权融合。基于双层优选的无参嵌入遥感多模态图像融合方法通过无参嵌入方式动态生成卷积核以适应不同空间分辨率,结合语义持续关注模块实现红外与可见光特征融合,并采用双层优化蒸馏框架平衡融合质量与推理效率。
3、多尺度统一编码方法关注不同分辨率遥感数据的统一表征。基于连续尺度特征网络的遥感多模态图像分类方法构建边缘纹理增强的连续尺度空间模块,通过高斯模糊和下采样生成全色图像与多光谱图像的连续尺度表示,再通过双分支三维卷积网络提取多尺度特征。多尺度统一编码表示方案通过尺度自适应patch编码、跨数据集自监督训练和联合嵌入预测架构,使一个模型处理多分辨率、多尺度、多传感器和多数据集的遥感输入。
4、多模态预训练与统一表征方法通过自监督学习学习多模态融合表征。自监督模态融合方案利用地理对齐的遥感多模态数据,通过模态专属编码器、模态融合网络、跨模态对比目标以及重建目标学习融合表征。基于混合专家机制的遥感多模态推理方法构建混合专家增强的地理空间感知视觉语言基础模型,通过混合专家层的稀疏激活机制适配不同任务需求,并结合双阶段训练策略平衡感知任务与推理任务性能。
5、多模态样本生成与数据增强方法通过生成技术补充多模态训练数据。基于地理信息条件扩散模型的多模态样本生成方法将地理信息作为条件,通过联合输入模块和数据嵌合模块构建地理信息条件扩散模型,生成多样化的多模态训练样本。多模态普适认知与任务适配方法关注多模态模型的任务泛化与自适应推理。基于遥感多模态数据的普适认知架构构建方法通过认知先验嵌入、强化认知外展、统一任务建模和具身认知模型选取,构建支持视觉提示与文本提示的普适认知架构,实现多任务场景下的模型选择与超参数寻优。
6、现有模型通常按照训练时的固定模态组合进行推理,缺少任一模态时需要通过补零、插值、均值填充或生成式重建构造伪输入,容易把不存在的观测作为有效观测。仅将不同分辨率数据编码后采样到相同大小,不能解决低质量token、局部无效观测和不同分辨率token语义粒度不一致导致的融合冲突。普通注意力机制使缺失模态占位值或低质量token参与归一化,注意力权重容易被无效特征分散。多模态预训练和缺模态推理之间缺少一致性约束,完整模态条件下学习到的语义结构难以迁移到单模态或部分模态。不同下游任务需要从统一特征表示中读取不同粒度的语义信息,解码阶段难以保证选取适配任务的粒度特征。现有方法缺少将质量评分、有效性掩码、缺模态训练、掩码注意力、完整视图与缺失视图一致性以及缺失模态多任务推理结合的完整技术架构。
技术实现思路
1、本发明的目的在于提供支持任意模态缺失推理的遥感多模态表征与解译方法,解决了现有多模态遥感解译方法在模态缺失时必须依赖补全或生成式重建构造伪输入,且缺失占位值易干扰融合表征导致语义结构难以从完整模态向部分模态迁移的技术问题。
2、为解决上述技术问题,本发明所采用的技术方案是:
3、支持任意模态缺失推理的遥感多模态表征与解译方法,包括:
4、将多源遥感观测数据、空间参考和分辨率信息、时间集合或时序窗口、统一空间网格、模态质量评分、多级有效性掩码和任务标签组织为结构化样本,多级有效性掩码包括模态级有效性、时间级有效性和token级有效性;
5、利用与各候选模态对应的模态专属编码器提取特征,并通过统一维度投影函数生成叠加模态标识编码、空间位置与网格编码、时间或物候编码和分辨率编码的统一token序列;
6、在训练阶段依据所述模态质量评分和有效覆盖比例构造完整视图与缺失视图,对所述缺失视图执行模态级失活、时间级失活和token级失活;
7、以所述统一token序列为输入,通过缺模态感知交叉注意力在注意力归一化前屏蔽无效连接,并按照所述模态质量评分、有效覆盖比例和任务相关性进行质量门控动态加权,获得统一特征表示;
8、利用跨模态token对齐损失和所述完整视图与所述缺失视图的视图一致性损失约束进行联合优化;
9、在推理阶段依据实际可用模态集合、模态质量阈值、有效覆盖阈值和任务类型动态选择所述模态专属编码器、融合方式和任务头,输出任务结果以及置信度图层或质量评价图层。
10、作为本发明的一个优选技术方案,所述结构化样本包含任一样本在可用模态下的观测数据、空间参考和分辨率信息、时间集合或时序窗口、统一空间网格、模态质量评分、有效性掩码以及所述样本所对应各任务的监督标签或伪标签,不同样本的可用模态集合和任务集合随实际数据情况变化;所述有效性掩码由模态级有效性、时间级有效性和token级有效性按时间维度和token维度广播后进行逐元素乘法得到;所述模态质量评分由与模态类型相关的质量评价函数根据云影比例、噪声强度、空间覆盖率、配准残差和数据时效性综合计算得出,评分取值范围为0到1,数值越大表示所述模态的数据质量越高。
11、作为本发明的一个优选技术方案,各模态专属编码器的输出经统一维度投影函数映射至相同维度后,再叠加模态标识编码、基于所述统一空间网格和空间参考信息生成的空间位置与网格编码、基于时间集合或时序窗口生成的时间或物候编码以及基于空间参考信息生成的分辨率编码,由此得到所述模态下的统一特征表示;所述统一token序列由所述统一特征表示分解得到的多个token向量组成,各token向量维度相同,token数量随模态和样本而变化;跨分辨率网格到token的映射通过预设的映射函数实现,所述映射函数将统一空间网格中的任一网格位置映射为特定模态下的一个token索引,对应token的取值由模态专属编码器在所述网格位置所对应的模态邻域内的输出经池化操作得到,所述池化操作选自均值池化、最大池化、质量加权池化或注意力池化。
12、作为本发明的一个优选技术方案,训练阶段对同一样本分别构造完整视图和缺失视图,训练失活概率通过以下方式确定:将1减去模态质量评分所得的差值乘以质量敏感系数,将1减去平均有效比例所得的差值乘以有效覆盖敏感系数,将上述两个乘积与基础失活概率相加,并将相加结果限制在预设的训练失活概率下限和训练失活概率上限之间;其中,所述平均有效比例根据所述有效性掩码计算得到;所述缺失视图通过缺失视图生成算子对所述完整视图进行处理生成,处理过程同时引入所述训练失活概率、时间级有效性和token 级有效性,以执行模态级失活、时间级失活和 token 级失活;所述完整视图与所述缺失视图共享相同的任务标签。
13、作为本发明的一个优选技术方案,所述缺模态感知交叉注意力按下式计算:
14、
15、式中,、、分别由所述统一token序列经线性变换得到的查询、键和值;为注意力头维度;为由所述有效性掩码生成的有效性掩码偏置,在连接有效时取0,在连接无效时取足够大的负数,取,使得无效连接经softmax后的权重近似为0;为由模态质量评分或 token 质量评分生成的质量偏置项,可用于在 softmax 前调整不同连接的注意力得分;为融合后的注意力输出。
16、作为本发明的一个优选技术方案,质量门控权重按下式计算:
17、
18、式中,表示质量门控权重;表示模态m的质量门控评分函数,为可学习函数或基于规则的函数;表示模态m有效性掩码的平均有效覆盖率;表示模态m与当前任务之间的相关性评分;r表示求和遍历的模态索引;、、分别为样本i在模态m下的质量评分、平均有效覆盖率和任务相关性评分;、、分别为样本i在模态r下的质量评分、平均有效覆盖率和任务相关性评分;表示当前参与融合的有效模态集合;
19、融合后的统一特征表示为:将各有效模态经所述缺模态感知交叉注意力处理后的输出特征,与各自对应的质量门控权重进行加权求和;所述有效模态集合由模态质量阈值和有效覆盖阈值共同确定;当仅存在单个有效模态时,融合过程退化为单模态自注意力或单模态token聚合。
20、作为本发明的一个优选技术方案,所述跨模态 token 对齐损失通过计算同一地理区域或同一地块在不同模态下 token 表示的相似度,并以不同区域、不同地块或不同类别的 token 作为负样本,采用对比学习策略构建,并引入温度系数控制分布平滑程度;采用所述视图一致性损失对所述完整视图与所述缺失视图进行一致性约束,所述视图一致性损失由两部分加权构成:第一部分为停止梯度传播的完整视图任务输出与缺失视图任务输出之间的距离度量,所述距离度量采用 kl 散度、均方误差、dice 距离或任务相关的距离函数;第二部分为完整视图的统一特征表示与缺失视图的统一特征表示之间的平方二范数,并通过预设的权重系数调节两部分贡献。
21、作为本发明的一个优选技术方案,多任务联合损失为各任务的监督损失按任务权重加权求和后,再与所述跨模态token对齐损失、视图一致性损失、可选的重建损失以及可选的边界损失分别乘以相应权重系数后相加得到;当任务为分类任务时,监督损失采用交叉熵损失或多标签损失;当任务为语义分割任务时,监督损失采用像素级交叉熵损失、dice损失或边界损失;当任务为变化检测任务时,监督损失采用基于时相差分的监督损失。作为本发明的一个优选技术方案,所述统一特征表示与各任务头解耦;对于任一任务,所述任务的任务输出由对应的任务头根据所述统一特征表示、推理阶段的有效模态与有效token掩码集合以及所述任务特定的输出约束生成;其中,分类任务头读取全局token或cls token进行分类;语义分割任务头读取局部token并上采样至目标网格;目标检测或实例分割任务头读取对象级候选token;变化检测任务头读取不同时相的token差分或时序融合token进行变化判断。
22、作为本发明的一个优选技术方案,推理阶段的有效模态集合由同时满足以下条件的模态构成:所述模态的模态质量评分不小于预设的模态质量阈值,且所述模态的平均有效覆盖率不小于预设的有效覆盖阈值;推理路径通过动态路径选择函数根据所述有效模态集合、任务类型、各模态的模态质量评分和有效性掩码进行决策,输出的推理路径包含需加载的模态专属编码器、融合层配置、是否启用单模态退化路径、以及需调用的任务头;置信度或质量评价图层由置信度计算函数根据任务头输出结果、所述有效模态集合、各模态的模态质量评分和有效性掩码计算得到,所述置信度或质量评价图层综合输出概率熵、可用模态数量、模态质量评分、有效token比例以及不同任务头之间的一致性指标,用于标识预测结果中的低可信区域。
23、与现有技术相比,本发明具有以下有益效果:
24、本发明从多级掩码、注意力屏蔽、质量驱动融合、一致性优化及动态推理多个维度进行系统性创新,解决了现有多模态遥感解译方法在模态缺失时依赖补全、融合易受无效信息干扰、语义结构难以迁移等关键问题。通过将模态质量评分与多级有效性掩码组织为结构化样本,并生成统一token序列,在训练阶段依据质量评分构造缺失视图进行模态级、时间级和token级失活训练,使模型在数据层面即模拟各类缺失形态,提升了模型对任意模态组合的适应能力。
25、融合阶段采用缺模态感知交叉注意力,在注意力归一化前利用有效性掩码生成的偏置屏蔽无效连接,配合质量门控依据模态质量评分、有效覆盖比例和任务相关性动态调节各模态贡献,有效抑制了缺失占位或低质量数据对融合表征的干扰,增强了特征融合的鲁棒性。优化阶段引入跨模态token对齐损失与完整和缺失视图间的一致性损失进行联合约束,使得在完整模态条件下学习到的语义结构能有效迁移至少量或单模态输入场景,减少了因模态组合变化导致的语义漂移。
26、在推理阶段,依据实际可用模态集合动态选择编码路径和任务头,无需对缺失模态进行补零或生成式补全,提升了在非固定输入条件下的解译效率与灵活性。通过将跨分辨率网格到token的映射与池化操作相结合,细粒度保留了高分辨率模态的细节信息与低分辨率模态的上下文语义,避免了强制统一采样带来的信息损失。质量门控评分函数的规则化设计,以显式方式综合质量、有效性和任务相关性,进一步提升了融合权重的可解释性与计算效率。统一特征表示与多任务头解耦的架构,使分类、分割、检测及变化检测任务能按需读取不同粒度的token特征,提升了统一表征框架对多下游任务的泛化能力。同时,推理阶段输出的置信度或质量评价图层,能够标识预测结果中的低可信区域,为后续人工复核或数据补采提供了可靠依据,增强了整体解译结果的可用性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com