一种跨模态条件路由多专家低秩适配的遥感图文检索方法

本发明涉及计算机视觉与人工智能，尤其涉及一种跨模态条件路由多专家低秩适配的遥感图文检索方法。

背景技术：

1、遥感图文检索是遥感智能理解领域的重要任务，其目标是根据文本描述检索匹配的遥感图像，或根据遥感图像检索相应文本。与自然图像相比，遥感图像具有拍摄视角多样、尺度变化大、背景复杂、类别间差异小以及目标语义表达抽象等特点，使得图文跨模态语义对齐更加困难。此外，遥感图文检索中普遍存在一对多、语义模糊和标注噪声等问题，对检索模型的鲁棒性和泛化能力提出了更高要求。

2、目前，通常基于视觉-语言预训练模型并引入低秩适配方法进行参数高效微调，通过冻结预训练图像编码器和文本编码器的主体参数，仅在部分线性映射层中注入固定结构的低秩适配模块，并最终在全局嵌入层通过对比学习实现图文特征对齐。然而，现有低秩适配方法大多将适配器视为独立的模态内模块，缺乏利用图像-文本互补信息显式引导适配器选择与参数聚合的条件化机制，因而不能利用跨模态信息在适配层面的条件化作用以提升细粒度对齐能力，使得细粒度对齐能力较差。由于遥感图文数据中普遍存在一幅图像对应多种合理描述、文本描述仅覆盖局部目标以及标注噪声等问题，现有方法在训练过程中面对高歧义样本时难以维持稳定的梯度更新方向，使得模型收敛后对困难样本的匹配置信度估计失准，检索结果一致性较差，影响检索鲁棒性。此外，现有方法仅在最终嵌入层进行跨模态对齐，缺少对中间层语义分布的双向约束，致使局部判别信号在网络传递过程中衰减，难以支撑复杂场景下细粒度语义的稳定检索，导致对复杂场景和长尾语义的泛化能力不足。

技术实现思路

1、本发明实施例的目的是提供一种跨模态条件路由多专家低秩适配的遥感图文检索方法，解决现有技术的细粒度对齐能力较差，影响检索鲁棒性，以及对复杂场景和长尾语义的泛化能力不足的问题。

2、为解决上述技术问题，本发明实施例提供如下技术方案：

3、本发明第一方面提供一种跨模态条件路由多专家低秩适配的遥感图文检索方法，方法包括：

4、获取遥感图文检索数据集，遥感图文检索数据集包括图像数据和文本数据；

5、构建遥感图文检索模型，遥感图文检索模型包括视觉编码器、文本编码器和路由器网络，视觉编码器和文本编码器的线性层中均注入有多专家低秩适配模块，多专家低秩适配模块包括多个并行的低秩适配专家，各低秩适配专家用于对相应的线性层产生低秩修正量；

6、将图像数据和文本数据输入视觉编码器和文本编码器，以分别提取图像全局特征和文本全局特征；根据图像全局特征和文本全局特征构造跨模态条件向量；将跨模态条件向量输入路由器网络，得到各低秩适配专家的选择权重；根据选择权重对各低秩适配专家的低秩修正量进行加权聚合，得到聚合增量，聚合增量用于调制线性层的输出；

7、利用总损失通过反向传播更新多专家低秩适配模块的参数和路由器网络的参数，保持视觉编码器和文本编码器的主体参数冻结，得到训练好的遥感图文检索模型；总损失包括全局对比损失、整体不确定性损失和整体对称蒸馏匹配损失；

8、将待检索的遥感图像和候选文本输入训练好的遥感图文检索模型，以输出与待检索的遥感图像匹配的文本描述，或输出与待检索的候选文本匹配的遥感图像。

9、本发明第二方面提供一种跨模态条件路由多专家低秩适配的遥感图文检索装置，装置包括：

10、获取模块，用于获取遥感图文检索数据集，遥感图文检索数据集包括图像数据和文本数据；

11、构建模块，用于构建遥感图文检索模型，遥感图文检索模型包括视觉编码器、文本编码器和路由器网络，视觉编码器和文本编码器的线性层中均注入有多专家低秩适配模块，多专家低秩适配模块包括多个并行的低秩适配专家，各低秩适配专家用于对相应的线性层产生低秩修正量；

12、提取和加权聚合模块，用于将图像数据和文本数据输入视觉编码器和文本编码器，以分别提取图像全局特征和文本全局特征；根据图像全局特征和文本全局特征构造跨模态条件向量；将跨模态条件向量输入路由器网络，得到各低秩适配专家的选择权重；根据选择权重对各低秩适配专家的低秩修正量进行加权聚合，得到聚合增量，聚合增量用于调制线性层的输出；

13、更新模块，用于利用总损失通过反向传播更新多专家低秩适配模块的参数和路由器网络的参数，保持视觉编码器和文本编码器的主体参数冻结，得到训练好的遥感图文检索模型；总损失包括全局对比损失、整体不确定性损失和整体对称蒸馏匹配损失；

14、图文检索模块，用于将待检索的遥感图像和候选文本输入训练好的遥感图文检索模型，以输出与待检索的遥感图像匹配的文本描述，或输出与待检索的候选文本匹配的遥感图像。

15、本申请第三方面提供一种计算机可读存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述第一方面或第一方面任一种可选的实施例的跨模态条件路由多专家低秩适配的遥感图文检索方法。

16、相较于现有技术，本发明提供的跨模态条件路由多专家低秩适配的遥感图文检索方法，获取遥感图文检索数据集，遥感图文检索数据集包括图像数据和文本数据；构建遥感图文检索模型，遥感图文检索模型包括视觉编码器、文本编码器和路由器网络，视觉编码器和文本编码器的线性层中均注入有多专家低秩适配模块，多专家低秩适配模块包括多个并行的低秩适配专家，各低秩适配专家用于对相应的线性层产生低秩修正量；将图像数据和文本数据输入视觉编码器和文本编码器，以分别提取图像全局特征和文本全局特征；根据图像全局特征和文本全局特征构造跨模态条件向量；将跨模态条件向量输入路由器网络，得到各低秩适配专家的选择权重；根据选择权重对各低秩适配专家的低秩修正量进行加权聚合，得到聚合增量，聚合增量用于调制线性层的输出；利用总损失通过反向传播更新多专家低秩适配模块的参数和路由器网络的参数，保持视觉编码器和文本编码器的主体参数冻结，得到训练好的遥感图文检索模型；总损失包括全局对比损失、整体不确定性损失和整体对称蒸馏匹配损失；将待检索的遥感图像和候选文本输入训练好的遥感图文检索模型，以输出与待检索的遥感图像匹配的文本描述，或输出与待检索的候选文本匹配的遥感图像。通过跨模态条件向量驱动路由器网络为不同图文样本动态分配各低秩适配专家的选择权重，并将加权聚合后的聚合增量用于调制线性层的输出，使得遥感图文检索模型能够依据图文样本的跨模态语义差异进行自适应的参数选择和特征调制，从而有效提升了细粒度对齐能力。通过整体不确定性损失对高不确定样本在总损失中的权重进行自适应降低，抑制了歧义样本和噪声样本对梯度更新的干扰，从而有效提升了检索鲁棒性。通过整体对称蒸馏匹配损失对视觉编码器和文本编码器的中间层特征进行双向语义分布的一致性约束，使得局部判别信号在网络传递过程中得以保持，从而有效提升了对复杂场景和长尾语义的泛化能力。

1.一种跨模态条件路由多专家低秩适配的遥感图文检索方法，其特征在于，包括：

2.根据权利要求1所述的跨模态条件路由多专家低秩适配的遥感图文检索方法，其特征在于，在获取遥感图文检索数据集之后，所述方法还包括：

3.根据权利要求1所述的跨模态条件路由多专家低秩适配的遥感图文检索方法，其特征在于，所述将所述跨模态条件向量输入所述路由器网络，得到各低秩适配专家的选择权重，包括：

4.根据权利要求1所述的跨模态条件路由多专家低秩适配的遥感图文检索方法，其特征在于，所述根据所述选择权重对所述各低秩适配专家的低秩修正量进行加权聚合，得到聚合增量，包括：

5.根据权利要求1所述的跨模态条件路由多专家低秩适配的遥感图文检索方法，其特征在于，所述聚合增量的表达式为：

6.根据权利要求1所述的跨模态条件路由多专家低秩适配的遥感图文检索方法，其特征在于，所述整体不确定性损失的形成过程包括：

7.根据权利要求1所述的跨模态条件路由多专家低秩适配的遥感图文检索方法，其特征在于，所述整体对称蒸馏匹配损失的形成过程包括：

8.根据权利要求1所述的跨模态条件路由多专家低秩适配的遥感图文检索方法，其特征在于，所述总损失的表达式为：

9.一种跨模态条件路由多专家低秩适配的遥感图文检索装置，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序，其中，在程序运行时控制所述存储介质所在设备执行如权利要求1至8中任一项所述的跨模态条件路由多专家低秩适配的遥感图文检索方法。