用于遥感跨域目标检测模型的训练方法、装置及检测方法
本技术涉及遥感图像检测，具体涉及一种用于遥感跨域目标检测模型的训练方法、装置及检测方法。
背景技术：
1、遥感目标检测模型在跨域部署时性能显著下降，其核心瓶颈在于：遥感图像中道路、水面、建筑等背景区域占据绝大多数像素，而飞机、船舶、车辆等前景目标极为稀疏，导致无标注目标域上的对齐损失被背景统计信息所主导，前景目标间的语义关系结构难以有效迁移。
2、为缓解此问题，相关技术路线包括区域级域对齐、检测知识蒸馏、冻结基础模型特征复用、语义分割域自适应以及前景感知加权对齐等方案。这些方案虽能从不同角度引导模型关注前景区域或迁移教师网络知识，但其蒸馏或对齐对象仍集中于单点特征、区域响应或像素级预测，致使在目标域无标注训练中，前景目标间的语义关系结构迁移不足，目标域检测精度提升受限。
技术实现思路
1、本技术提供一种用于遥感跨域目标检测模型的训练方法、装置及检测方法，用于解决在目标域无标注训练中，前景目标间的语义关系结构迁移不足，目标域检测精度提升受限的问题。
2、为达到上述目的，本技术实施例公开了如下技术方案：
3、第一方面，本技术实施例提供了一种用于遥感跨域目标检测模型的训练方法，包括以下步骤：
4、获取无标注的目标域遥感图像；
5、将目标域遥感图像输入教师模型，得到教师空间token特征；
6、将目标域遥感图像输入学生检测模型，得到学生空间token特征；
7、对教师空间token特征和学生空间token特征进行空间布局对齐，使对应空间位置的空间token一一对应；
8、根据空间布局对齐后的教师空间token特征中所有空间位置token两两之间的相似度，确定目标域遥感图像对应的教师相似度矩阵；
9、根据空间布局对齐后的学生空间token特征中所有空间位置token两两之间的相似度，确定目标域遥感图像对应的学生相似度矩阵；
10、分别对教师相似度矩阵和学生相似度矩阵逐元素施加阶数为大于1的正奇数阶多项式核，得到教师核矩阵和学生核矩阵；
11、根据学生核矩阵与教师核矩阵之间的差异，确定关系蒸馏损失；
12、根据目标损失更新学生检测模型的参数，其中，目标损失包括关系蒸馏损失。
13、在第一方面一些可能的实施方式中，根据学生核矩阵与教师核矩阵之间的差异，确定关系蒸馏损失的步骤包括：
14、确定学生核矩阵与教师核矩阵之间的关系差距；
15、根据关系差距生成动态权重；
16、根据动态权重、学生核矩阵和教师核矩阵，确定关系蒸馏损失。
17、在第一方面一些可能的实施方式中，确定学生核矩阵与教师核矩阵之间的关系差距的步骤包括：
18、将学生核矩阵和教师核矩阵分别向量化，得到学生核向量和教师核向量；
19、根据学生核向量和教师核向量确定核关系余弦相似度；
20、根据核关系余弦相似度确定关系差距。
21、在第一方面一些可能的实施方式中，核关系余弦相似度按下式确定：
22、
23、式中，为第个目标域遥感图像样本对应的核关系余弦相似度；为第个样本对应的学生核矩阵；为第个样本对应的教师核矩阵；表示向量化；表示l2范数。
24、在第一方面一些可能的实施方式中，向量化仅使用学生核矩阵和教师核矩阵的非对角线元素或上三角非对角线元素进行。
25、在第一方面一些可能的实施方式中，关系差距按下式确定：
26、
27、式中，为第个目标域遥感图像样本对应的关系差距；表示将核关系余弦相似度裁剪至区间。
28、在第一方面一些可能的实施方式中，动态权重按下式确定：
29、
30、式中，为第个目标域遥感图像样本对应的动态权重；为关系差距；为动态权重指数。
31、在第一方面一些可能的实施方式中，根据动态权重、学生核矩阵和教师核矩阵，确定关系蒸馏损失的步骤包括：
32、根据学生核矩阵和教师核矩阵，确定基础核关系差异项；
33、根据各目标域遥感图像样本对应的动态权重和基础核关系差异项，确定关系蒸馏损失。
34、在第一方面一些可能的实施方式中，基础核关系差异项按下式确定：
35、
36、式中，为第个目标域遥感图像样本对应的学生核矩阵；为第个目标域遥感图像样本对应的教师核矩阵；为第个目标域遥感图像样本对应的基础核关系差异项；表示停止梯度操作；表示frobenius范数；为单张目标域遥感图像的空间token数。
37、在第一方面一些可能的实施方式中，关系蒸馏损失按下式确定：
38、
39、式中，为第个目标域遥感图像样本对应的动态权重；为关系蒸馏损失；为批内目标域遥感图像样本数；为第个目标域遥感图像样本对应的基础核关系差异项。
40、在第一方面一些可能的实施方式中，动态权重在参与关系蒸馏损失的计算时，经停止梯度处理，作为关系蒸馏损失的调节系数使用。
41、在第一方面一些可能的实施方式中，分别对教师相似度矩阵和学生相似度矩阵逐元素施加阶数为大于1的正奇数阶多项式核的步骤包括：
42、对教师相似度矩阵和学生相似度矩阵中每一对空间位置token的相似度值，分别执行正奇数阶幂变换，以超线性放大高相似前景token对的相似关系、抑制低相似背景token对的相似关系，并保留负相关关系的符号。
43、在第一方面一些可能的实施方式中，正奇数阶幂变换按下式确定：
44、
45、式中，和分别为学生核矩阵和教师核矩阵中第个空间位置token与第个空间位置token对应元素；和分别为学生相似度矩阵和教师相似度矩阵中第个空间位置token与第个空间位置token之间的相似度；为正奇数阶多项式核的阶数，为大于1的正奇数。
46、在第一方面一些可能的实施方式中，正奇数阶多项式核的阶数取值为3。
47、在第一方面一些可能的实施方式中，目标域遥感图像经固定弱增强处理后输入教师模型和学生检测模型；其中，固定弱增强处理包括确定性缩放、填充、裁剪和归一化，且不采用随机强几何变换，不执行会改变空间token对应关系的大角度旋转、随机透视或cutmix操作。
48、在第一方面一些可能的实施方式中，教师模型的参数在训练过程中保持冻结；其中，采用在线提取方式或离线预提取方式获取教师空间token特征；当采用在线提取方式时，将目标域固定弱增强视图输入教师模型进行前向传播，得到初始教师token特征，对初始教师token特征执行停止梯度处理，以停止梯度处理后的初始教师token特征作为教师空间token特征；
49、当采用离线预提取方式时，读取预先存储的目标域遥感图像的教师token特征，作为教师空间token特征，其中，预先存储的教师token特征为训练前通过教师模型对目标域遥感图像提取并存储的特征。
50、在第一方面一些可能的实施方式中，根据空间布局对齐后的教师空间token特征中所有空间位置token两两之间的相似度，确定目标域遥感图像对应的教师相似度矩阵的步骤包括：
51、将教师空间token特征展平为教师token序列；
52、将教师token序列减去所属图像内所有空间位置token的空间均值，并进行l2归一化，得到归一化后的教师token序列；
53、根据归一化后的教师token序列中所有空间位置token两两之间的相似度，确定目标域遥感图像对应的教师相似度矩阵。
54、在第一方面一些可能的实施方式中，教师token序列按下式确定：
55、
56、式中，为归一化后的教师token序列；为空间布局对齐后的教师空间token特征；表示展平操作；；表示l2归一化。
57、在第一方面一些可能的实施方式中，根据空间布局对齐后的学生空间token特征中所有空间位置token两两之间的相似度，确定目标域遥感图像对应的学生相似度矩阵的步骤包括：
58、将学生空间token特征展平为学生token序列；
59、将学生token序列减去所属图像内所有空间位置token的空间均值，并进行l2归一化，得到归一化后的学生token序列；
60、根据归一化后的学生token序列中所有空间位置token两两之间的相似度，确定目标域遥感图像对应的学生相似度矩阵。
61、在第一方面一些可能的实施方式中，归一化后的学生token序列按下式确定：
62、
63、式中，为归一化后的学生token序列；为空间布局对齐后的学生空间token特征；表示展平操作；；表示l2归一化。
64、在第一方面一些可能的实施方式中，当教师空间token特征与学生空间token特征的空间尺寸不同时，空间布局对齐通过双线性插值、区域平均池化或token采样中的至少一种方式实现。
65、在第一方面一些可能的实施方式中，目标损失还包括检测监督损失和域适应损失，检测监督损失和域适应损失通过以下步骤确定：
66、获取带有标注的源域遥感图像，源域遥感图像包含检测框标注和类别标注；
67、将源域遥感图像输入学生检测模型，得到源域检测预测结果；
68、根据源域检测预测结果与源域遥感图像的标注，确定检测监督损失；
69、将学生检测模型从源域遥感图像提取的源域特征以及从目标域遥感图像提取的目标域特征，经域判别器确定域适应损失。
70、在第一方面一些可能的实施方式中，目标损失按下式确定：
71、；
72、式中，为目标损失；为检测监督损失；为域适应损失权重；为域适应损失；为关系蒸馏损失权重；为关系蒸馏损失。
73、第二方面，本技术实施例提供了一种用于遥感跨域目标检测模型的训练装置，包括：
74、图像获取模块，用于获取无标注的目标域遥感图像；
75、教师特征提取模块，用于将目标域遥感图像输入教师模型，得到教师空间token特征；
76、学生特征提取模块，用于将目标域遥感图像输入学生检测模型，得到学生空间token特征；
77、空间对齐模块，用于对教师空间token特征和学生空间token特征进行空间布局对齐，使对应空间位置的空间token一一对应；
78、第一矩阵确定模块，用于根据空间布局对齐后的教师空间token特征中所有空间位置token两两之间的相似度，确定目标域遥感图像对应的教师相似度矩阵；
79、第二矩阵确定模块，用于根据空间布局对齐后的学生空间token特征中所有空间位置token两两之间的相似度，确定目标域遥感图像对应的学生相似度矩阵；
80、核矩阵确定模块，用于分别对教师相似度矩阵和学生相似度矩阵逐元素施加阶数为大于1的正奇数阶多项式核，得到教师核矩阵和学生核矩阵；
81、蒸馏损失确定模块，用于根据学生核矩阵与教师核矩阵之间的差异，确定关系蒸馏损失；
82、参数更新模块，用于根据目标损失更新学生检测模型的参数，其中，目标损失包括关系蒸馏损失。
83、第三方面，本技术实施例提供了一种跨域遥感图像检测方法，包括以下步骤：
84、获取待检测遥感图像；
85、将所述待检测遥感图像输入学生检测模型，得到目标检测结果；其中，所述学生检测模型是根据第一方面中任一项实施方式所述的训练方法训练得到的。
86、在第三方面的一些实施方式中，在推理阶段中，仅保留学生检测模型的主路径进行目标检测。教师模型、学生弱增强分支以及token展平与归一化操作、成对相似矩阵计算、多项式核矩阵计算、关系差距与动态权重计算和关系蒸馏损失计算均不在推理阶段执行。
87、第四方面，本技术实施例提供了一种电子设备，包括：
88、一个或多个处理装置；
89、存储装置，其上存储有一个或多个程序；
90、当一个或多个程序被一个或多个处理装置执行，使得一个或多个处理装置实现上述第一方面或第三方面中任一项实施方式所述的方法。
91、第五方面，本技术实施例提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序被处理装置执行时实现上述第一方面或第三方面中任一项实施方式所述的方法。
92、本技术实施例第一方面至第五方面中提供的一个或多个技术方案，至少具有如下技术效果：
93、1、通过将教师空间token特征和学生空间token特征分别转换为图像内空间位置token两两之间的相似度矩阵，并对教师相似度矩阵和学生相似度矩阵逐元素施加阶数大于1的正奇数阶多项式核，可以利用多项式核的超线性响应特性，使语义相近的前景空间token之间原本较高的相似度在核矩阵中保持较大响应，而使弱相关的背景空间token之间或前景与背景空间token之间原本接近零的相似度被快速压低。
94、在此基础上，根据学生核矩阵与教师核矩阵之间的差异确定关系蒸馏损失，可以使高相似前景空间token对之间的关系差异在关系蒸馏损失中占据主导贡献，从而可使低相似背景空间token对之间的关系差异在损失中被有效抑制。如此一来，背景统计不再主导对齐损失，前景空间token之间的语义关系结构得以优先迁移到学生检测模型，从而在目标域无标注的条件下解决背景统计对对齐损失的主导作用所导致的前景语义关系结构迁移不足的问题。
95、2、通过确定学生核矩阵与教师核矩阵之间的关系差距，并根据关系差距生成动态权重，再根据动态权重确定关系蒸馏损失，可以使关系蒸馏损失的强度与学生检测模型对教师模型关系结构的当前恢复程度形成正相关。当训练早期学生核矩阵与教师核矩阵的关系差距较大时，动态权重相应增大，关系蒸馏损失提供较强的结构迁移约束；当训练后期学生核矩阵逐渐趋近教师核矩阵、关系差距减小时，动态权重自动减小，关系蒸馏损失的约束强度随之降低。如此一来，可以在训练早期增强前景语义关系结构的迁移，在训练后期自动减弱蒸馏约束，减少关系蒸馏损失对检测主任务分类和定位优化的干扰。
96、3、通过对目标域遥感图像执行固定弱增强处理后分别输入教师模型和学生检测模型，可以使教师模型和学生检测模型处理空间内容相同且布局一致的目标域固定弱增强视图。在此基础上，学生检测模型通过学生弱增强分支提取学生空间token特征，利用学生弱增强分支与学生检测模型共享特征提取参数的特点，可以使关系蒸馏梯度在训练阶段经学生弱增强分支反向传播至学生检测模型的共享参数，无需额外引入独立的学生辅助模型。如此一来，可以避免将学生弱增强分支视为与教师模型和学生检测模型并列的可训练网络。
97、4、通过使教师模型的参数在训练过程中保持冻结，并采用在线提取后停止梯度处理的方式或离线预提取的方式获取教师空间token特征，可以确保教师模型不受目标域训练过程中学生检测模型参数更新的影响且不会被目标域早期预测噪声污染，从而使其提取的教师空间token特征能够提供较稳定的语义关系结构。由此，教师模型可以始终为目标域无标注样本提供稳定的外部结构锚点，降低前景语义关系结构迁移对目标域检测器自身预测质量的依赖。
98、5、通过使推理阶段中，不执行教师模型、学生弱增强分支以及token展平与归一化操作、成对相似矩阵计算、多项式核矩阵计算、关系差距与动态权重计算以及关系蒸馏损失计算，仅保留学生检测模型的主路径进行目标检测，可使部署阶段不产生额外计算开销，且不增加模型结构复杂度。