一种基于最优传输引导模态补偿的跨模态迁移学习方法
本公开实施例涉及人工智能与迁移学习，尤其涉及一种基于最优传输引导模态补偿的跨模态迁移学习方法。
背景技术：
1、随着人工智能技术和视觉基础模型的快速发展，基于大规模数据预训练得到的视觉模型已广泛应用于图像分类、目标检测、语义分割、遥感解译、变化检测以及智能感知等任务中。现有视觉基础模型主要基于大规模rgb自然图像进行预训练，能够学习较为丰富的纹理、结构、空间关系以及高层语义信息，并可通过迁移学习方式应用于新的数据和下游任务。
2、然而，在实际应用过程中，待处理数据并不局限于rgb图像，还包括合成孔径雷达图像、红外图像、多光谱图像以及高光谱图像等非rgb模态数据。不同模态在成像机理、通道组成、信号统计特性、局部纹理结构以及空间响应关系等方面存在明显差异。当直接将基于rgb图像预训练得到的视觉基础模型迁移至非rgb目标模态时，源模态中学习到的知识并非全部能够直接适用于目标模态，容易出现部分知识可以有效复用、部分知识因模态差异产生负迁移的问题。
3、现有跨模态迁移方法通常通过输入映射、参数微调、适配器、提示学习以及特征分布对齐等方式，使目标模态数据适配到源模态预训练模型的特征空间。该类方法能够在一定程度上缓解输入形式和特征分布差异，但多数方法缺乏对不同层级、不同空间位置源知识可迁移程度的显式判断。当源知识与当前目标模态局部表征匹配程度较高时，过度调整容易破坏已有通用知识；当两者差异较大时，直接保留源模态表征又难以充分适应目标模态。
4、此外，现有部分方法采用混合专家和动态路由机制处理不同模态之间的差异，但专家调用通常直接由输入特征学习得到，缺少一个能够反映”源知识是否适合保留、当前区域需要多强补偿”的明确控制量。因此，源知识保留程度、模态补偿强度和具体补偿方式之间容易相互耦合，使跨模态迁移过程缺乏清晰的选择性控制。
5、同时，目标模态数据通常存在人工标注成本较高的问题，大量目标模态样本处于无标签状态。现有伪标签方法主要依据单次任务预测结果及其置信度筛选无标签样本，对形成该预测的跨模态迁移过程是否稳定关注不足。当某一无标签样本具有较高预测置信度，但其源知识可迁移状态对轻微输入扰动较为敏感时，该预测结果仍可能存在较大不确定性，进而造成伪标签错误累积。
6、综上所述，现有跨模态迁移学习方法仍存在以下不足：
7、第一，缺乏对源模态预训练知识可迁移程度的显式评估，难以同时确定源知识应保留多少以及目标模态需要多强补偿；第二，源知识保留程度、模态补偿强度与具体补偿方式之间缺少统一的选择性控制，容易出现过度适配或适配不足；第三，在目标模态标注样本有限的情况下，伪标签筛选主要依赖任务预测结果，缺乏对跨模态迁移过程稳定性的联合判断。
8、因此，有必要改善上述相关技术方案中存在的一个或者多个问题。
9、需要注意的是，本部分旨在为权利要求书中陈述的本公开的技术方案提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
技术实现思路
1、本公开实施例的目的在于提供一种基于最优传输引导模态补偿的跨模态迁移学习方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
2、根据本公开实施例，提供一种基于最优传输引导模态补偿的跨模态迁移学习方法，包括：
3、步骤s1：获取源模态基础模型、源知识参考以及目标模态样本，对目标模态样本进行输入映射，并在源模态基础模型的多个特征层提取目标模态基础表征；其中，目标模态样本包括目标模态带标签样本和目标模态无标签样本；
4、步骤s2：建立源知识与目标模态表征之间的最优传输关系，计算token级的源知识可迁移权重；
5、步骤s3：根据源知识可迁移权重，确定每个token对应的模态补偿强度，并对目标模态基础表征进行选择性补偿，得到目标模态迁移表征；
6、步骤s4：基于目标模态迁移表征，利用目标模态无标签样本，根据最优传输匹配关系构造模态补偿目标，并结合源知识保持约束和目标结构保持约束训练跨模态迁移单元；
7、步骤s5：利用目标模态带标签样本，在保持源模态基础模型和源知识参考固定的条件下，对跨模态迁移单元进行任务引导校准，并训练任务预测模块，得到初始目标模态任务模型；
8、步骤s6：利用目标模态无标签样本构造多视图，分别评估每个视图的任务预测可靠度和源知识迁移稳定度，并根据二者联合确定伪标签可靠度，筛选出高置信伪标签样本；
9、步骤s7：利用高置信伪标签样本扩展训练集，迭代更新初始目标模态任务模型的任务预测模块直至收敛，得到最终目标模态迁移学习模型。
10、进一步地，步骤s1具体包括：
11、获取基于rgb图像预训练得到的源模态基础模型和源模态参考样本；
12、将源模态参考样本输入源模态基础模型，在不同特征层提取源模态表征，并采用k-means聚类得到各特征层的源知识原型；
13、根据各特征层的源知识原型构建多层级源知识原型库，并作为源知识参考；
14、获取目标模态带标签样本和目标模态无标签样本；
15、构建由通道线性投影和特征归一化组成的目标模态输入映射单元；
16、利用目标模态输入映射单元对目标模态带标签样本和目标模态无标签样本进行映射后，利用参数固定的源模态基础模型提取多层级的目标模态基础表征。
17、进一步地，步骤s2具体包括：
18、对于每个特征层，根据源知识原型与目标模态token表征之间的特征距离构建跨模态传输代价矩阵；
19、对源知识原型和目标模态token设置边缘分布，采用sinkhorn迭代求解熵正则最优传输问题，得到跨模态最优传输矩阵；
20、根据跨模态最优传输矩阵中每个目标模态token对应的传输权重分布，计算该token的局部平均传输代价和归一化传输熵；
21、综合局部平均传输代价和归一化传输熵，得到该token的源知识可迁移权重，并进一步确定对应的模态补偿强度。
22、进一步地，步骤s3具体包括：
23、构建模态条件编码单元，根据目标模态标识生成模态条件表示；
24、设置多个模态补偿专家，包括分布校准专家、纹理结构专家和上下文关系专家，分别用于补偿不同成像模态之间的特征统计分布差异、局部结构差异和长距离依赖关系差异；
25、根据模态条件表示、目标模态基础表征的全局特征以及平均源知识可迁移程度，通过模态路由单元生成各模态补偿专家的调用权重；
26、根据各专家的调用权重融合各专家产生的补偿残差，得到综合模态补偿残差；
27、根据token级的模态补偿强度，对综合模态补偿残差进行选择性注入，得到目标模态迁移表征。
28、进一步地，分布校准专家根据模态条件表示生成对应特征层上的通道尺度参数和偏移参数，并对经层归一化后的目标模态表征进行仿射变换，得到分布校准残差；纹理结构专家将目标模态token表征恢复为二维特征图，通过多尺度深度卷积提取局部结构信息，得到纹理结构补偿残差；上下文关系专家根据目标模态token表征生成查询矩阵、键矩阵和值矩阵，计算token间的上下文关系权重并进行全局信息聚合，得到上下文关系补偿残差。
29、进一步地，步骤s4具体包括：
30、根据跨模态最优传输矩阵中归一化的匹配权重和对应的源知识原型，计算每个目标模态token的源知识补偿目标；
31、根据模态补偿强度和归一化传输熵计算有效补偿权重，并构建最优传输引导的模态补偿损失，模态补偿损失用于缩小目标模态迁移表征与源知识补偿目标之间的距离；
32、根据源知识可迁移权重构建源知识保持损失，源知识保持损失约束可迁移权重较高的token在补偿前后的表征变化程度；
33、根据模态补偿前后目标模态token之间的相对关系构建目标结构保持损失；
34、根据各模态补偿专家在训练批次中的平均调用比例构建专家均衡损失；
35、将模态补偿损失、源知识保持损失、目标结构保持损失和专家均衡损失加权求和，作为跨模态迁移单元的训练总损失。
36、进一步地，步骤s6具体包括：
37、对同一目标模态无标签样本施加不同的数据增强，形成两个增强视图；
38、将两个增强视图分别输入当前目标模态任务模型，得到对应的任务预测概率分布；
39、根据两个增强视图的平均预测分布计算预测置信度，并根据两个预测分布之间的jensen-shannon散度计算预测稳定性，联合预测置信度和预测稳定性得到任务预测可靠度；
40、将两个增强视图分别输入跨模态迁移单元，得到各自的源知识可迁移权重向量，计算两个源知识可迁移权重向量之间的差异，并根据差异得到源知识迁移稳定度；
41、将任务预测可靠度和源知识迁移稳定度联合得到伪标签可靠度，当伪标签可靠度超过预设阈值时，将当前目标模态无标签样本确定为高置信伪标签样本。
42、进一步地，两个源知识可迁移权重向量之间的差异为各特征层上token级源知识可迁移权重向量的一范数差异的加权和，源知识迁移稳定度与差异成反相关关系。
43、进一步地，步骤s7具体包括：
44、利用高置信伪标签样本扩展训练集，迭代更新任务预测模块，具体包括：
45、将当前迭代阶段筛选得到的高置信伪标签样本加入目标模态任务训练样本集；
46、根据伪标签可靠度对伪标签监督损失进行加权，与真实标签监督损失共同构成当前阶段的任务训练损失；
47、在保持源模态基础模型和经任务引导校准后的跨模态迁移单元参数固定的条件下，仅更新任务预测模块；
48、完成当前阶段训练后，利用更新后的任务预测模块重新预测剩余无标签样本并执行高置信伪标签筛选，重复迭代直至满足预设停止条件。
49、本公开的实施例提供的技术方案可以包括以下有益效果：
50、本公开的实施例中，通过上述方法，第一方面，该方法利用最优传输建立rgb源知识原型与目标模态局部表征之间的匹配关系，并将传输代价和传输确定性转换为token级源知识可迁移权重。该权重同时决定源知识保留程度和模态补偿强度，使跨模态迁移由统一适配转变为针对不同位置的选择性迁移，从而降低负迁移风险。
51、第二方面，该方法构建最优传输引导的差异化模态补偿机制，通过分布校准、纹理结构和上下文关系三个结构明确的专家产生不同类型的补偿残差，并由模态路由确定补偿方式，由最优传输产生的补偿强度确定残差注入程度，从而避免专家路由与补偿强度混为同一控制过程。
52、第三方面，该方法利用最优传输匹配关系构造源知识补偿目标，使低可迁移且匹配关系明确的目标表征获得确定的调整方向，并通过源知识保持约束减少对高可迁移知识的过度修改，通过目标结构保持和专家均衡约束维持目标模态结构及专家协同，从而为模态补偿专家提供明确的优化目标，提高差异化模态补偿的有效性。在此基础上，利用少量真实标签对目标模态表征迁移单元进行任务引导校准，使经无标签预适配得到的迁移表征进一步适配具体下游任务。
53、第四方面，该方法从任务预测可靠性和源知识迁移稳定性两个层面筛选高置信伪标签。相比仅依据单次预测置信度的伪标签方法，该方法进一步判断形成预测的跨模态迁移状态在轻微输入扰动下是否稳定，并利用伪标签可靠度对后续任务训练进行加权，从而减少错误伪标签的累积。