一种基于自监督深度学习与多模态融合的海洋磁图匹配导航方法及系统

本技术属于地磁导航、惯性导航、深度学习、磁场测量领域，具体涉及一种基于自监督深度学习与多模态融合的海洋磁图匹配导航方法及系统。

背景技术：

1、随着海洋无人平台、舰船自主航行以及水下机器人等装备的快速发展，高精度自主导航技术成为保障海洋装备长期自主运行的重要基础。目前，全球卫星导航系统（globalnavigation satellite system，gnss）能够提供较高精度的位置服务，但在远海、复杂海况以及受到遮挡、干扰等情况下，卫星导航信号容易受到限制，难以满足海洋装备全天候、高可靠自主导航需求。

2、因此，利用地球物理场信息进行辅助导航逐渐成为自主导航领域的重要研究方向。其中，地磁场具有全球覆盖、无需外部信号源以及不易受到人为干扰等特点，基于地磁信息的导航方法成为一种具有应用潜力的自主导航技术。

3、传统地磁匹配方法通常利用磁场强度、磁场梯度等人工设计物理特征，通过相关匹配、概率估计、滤波优化等方式实现实时测量数据与预先建立磁地图之间的位置匹配。上述方法具有物理意义明确、实现过程简单等优点，但仍存在不足：传统方法通常依赖人工设计磁场特征，特征表达能力有限。当受到海洋环境磁场变化、传感器测量噪声、载体姿态变化以及局部磁异常等因素影响时，人工特征难以准确描述复杂磁场空间分布规律，容易导致匹配精度下降。

4、近年来，随着深度学习技术的发展，部分研究开始利用卷积神经网络（convolutional neural network，cnn）、循环神经网络（recurrent neural network，rnn）、长短期记忆网络（long short-term memory，lstm）以及transformer等深度模型对地磁时间序列进行特征学习。相比传统人工特征方法，深度学习方法能够通过多层非线性映射自动提取数据中的高维特征，在一定程度上提高了复杂环境下地磁匹配的适应能力。

5、然而，现有基于深度学习的地磁导航方法仍存在以下问题：

6、（1）多数方法主要针对单一地磁数据进行建模，未充分考虑地磁观测信息与载体运动状态之间的关联关系，难以同时利用磁场空间约束和运动连续性约束。

7、（2）现有深度融合方法通常依据数据驱动方式计算不同模态之间的关联权重，缺少地磁场物理特性的约束，无法根据磁场空间变化程度动态调整不同区域信息的重要性。

8、惯性测量单元（inertial measurement unit，imu）能够连续提供载体的加速度、角速度以及姿态变化信息，不依赖外部环境，因此被广泛应用于自主导航系统中。然而，imu导航过程中需要通过积分方式获得速度和位置，其测量误差会随着时间累积，产生明显的累计漂移问题。

9、因此，将地磁信息与imu信息进行融合，可以利用地磁场空间分布特征对惯性导航误差进行约束，提高系统长期运行稳定性。目前已有部分研究采用地磁与imu融合方法进行组合导航，但多数方法仍基于扩展卡尔曼滤波（extended kalman filter，ekf）等传统滤波框架，其融合过程通常依赖预设运动模型以及人工设置的噪声参数。由于实际导航过程中传感器状态会随着时间变化，例如imu累计漂移逐渐增大、磁场环境发生变化，固定融合参数难以实时反映不同传感器当前可靠程度，导致融合效果受到限制。

10、综上，现有技术主要存在以下不足：

11、（1）人工设计磁场特征难以充分表达复杂海洋环境中的磁场空间变化规律；

12、（2）现有深度融合方法缺少地磁物理信息约束，无法利用磁场梯度动态调整跨模态关联关系；

13、（3）传统地磁-imu融合方法难以感知imu累计漂移状态，无法根据传感器可靠性动态调整融合比例；

14、（4）现有磁地图匹配方法对于噪声、磁异常以及长期导航过程中的误差累积问题适应能力不足。

15、（5）不同地理区域的磁场空间分布可能具有相似性，容易产生误匹配。

16、（6）现有深度磁图匹配模型的训练依赖一定规模的实际航行数据，海洋环境下大规模航行数据及高精度参考轨迹获取成本较高，限制了训练样本规模及深度模型的工程应用。

技术实现思路

1、针对上述问题，本技术提出一种基于自监督深度学习与多模态融合的海洋磁图匹配导航方法及系统，通过构建地磁信息与imu信息的多模态深度特征表示，实现地磁空间特征与载体运动信息的协同融合；并且，利用预先获取的海洋磁地图自动生成自监督训练样本，降低深度匹配模型训练对大规模真实航行轨迹及高精度位置标签的依赖。

2、本技术提出了一种基于自监督深度学习与多模态融合的海洋磁图匹配导航方法，包括：

3、步骤s1：获取实时导航数据，包括地磁测量数据和惯性信息，执行步骤s2a和步骤s2b；

4、步骤s2a：将地磁测量数据输入训练好的磁编码器，输出地磁高维特征；将惯性信息输入训练好的imu编码器，输出惯性高维特征；采用磁场梯度调制交叉注意力机制，利用磁场梯度信息对交叉注意力权重进行动态调制，在建立地磁信息与惯性信息关联关系的同时，引入磁场空间变化特性的物理约束；在完成交叉注意力融合后，采用漂移感知门控融合方法，结合imu累计漂移状态，自适应调整地磁特征和惯性特征在融合过程中的贡献比例；随后，对融合后的序列特征进行注意力池化，生成能够综合反映地磁空间信息和载体运动状态的查询嵌入；

5、步骤s2b：基于当前匹配时间窗口起始时刻的已知状态以及该时间窗口内连续采集的惯性测量数据进行惯性导航积分，对航行器的姿态、速度和位置状态进行连续递推，获得当前匹配时间窗口内各采样时刻的惯性导航位置估计，形成航行器的粗略惯性轨迹；在获得粗略惯性轨迹后，结合imu累计漂移评估结果自适应确定候选轨迹搜索区域；在所述候选轨迹搜索区域内，以粗略惯性轨迹为运动先验进行离散生成，构建多条满足已知起始状态约束、惯性运动趋势约束以及轨迹连续性约束的候选轨迹，形成候选轨迹集合；针对生成的每一条候选轨迹，根据该候选轨迹在海洋磁地图中的空间位置，从预先构建的海洋磁地图中提取覆盖该候选轨迹及其邻域的局部磁地图区域，建立候选轨迹与局部磁地图区域之间的一一对应关系；将各候选轨迹对应的局部磁地图，输入训练好的convnext网络进行深度空间特征提取，获得局部磁地图的深度特征图；通过全局平均池化对深度特征图的空间特征进行聚合，通过线性映射及归一化处理，得到与查询嵌入处于统一特征空间的地图嵌入；

6、步骤s3：将当前匹配时间窗口内实时导航数据对应的查询嵌入分别与各候选轨迹对应的地图嵌入进行相似度计算，获得实时地磁-惯性融合特征与各候选轨迹对应磁场空间分布特征之间的深度特征相似度；选取相似度最大的候选轨迹作为最优匹配轨迹，并将所述最优匹配轨迹在当前匹配时间窗口终止时刻对应的空间位置作为航行器当前的磁图匹配导航位置估计结果。

7、作为上述方法的一种改进，所述步骤s2a中输入训练好的磁编码器的地磁测量数据表示为：

8、；

9、其中，表示地磁测量数据；为位置编码矩阵，采用正弦余弦形式：

10、；

11、；

12、其中，

pos=0, 1, ...,

n-1为位置索引，表示当前数据点在时间窗口序列中的位置序号，为时间窗口长度；

i=0, 1, ...,为维度索引，表示特征向量中的第

i个维度，

d表示特征向量维度数量；

13、为地磁特征嵌入，表示为：

14、；

15、其中，为地磁特征映射矩阵；为梯度特征映射矩阵；和为偏置参数；为第个采样点的磁场梯度；为根据相邻采样时刻的imu惯性积分结果估计得到的航行器位移距离，为防止分母为零的常数；为采用固定的时间窗口构建的地磁序列；为采样时刻的地磁观测量，、、分别表示载体坐标系下三个方向的磁场分量，上标

t表示向量转置。

16、作为上述方法的一种改进，所述步骤s2a中输入训练好的imu编码器的惯性信息，表示为：

17、；

18、其中，表示惯性信息；表示时间位置编码；表示惯性特征嵌入，为惯性特征映射矩阵，为偏置参数，为长度为

n的惯性序列，为载体运动状态信息，，，表示载体坐标系下三个方向的加速度，，，表示载体坐标系下三个方向的角速度，上标

t表示向量转置。

19、作为上述方法的一种改进，所述步骤s2a中imu累计漂移状态，表示为：

20、；

21、其中，表示第时刻的imu累积漂移指标；表示矩阵的迹；表示误差状态向量的协方差矩阵；误差状态向量，表示位置误差，表示速度误差，表示姿态误差，表示加速度计零偏误差，表示陀螺仪零偏误差，上标

t表示向量转置。

22、作为上述方法的一种改进，所述步骤s2a中采用磁场梯度调制交叉注意力机制，利用磁场梯度信息对交叉注意力权重进行动态调制，包括：

23、以地磁特征作为查询信息，以惯性特征作为键和值，计算惯性信息引导的地磁交叉注意力；对交叉模态相关性矩阵按行执行softmax归一化，得到惯性信息对各地磁时刻的注意力权重；根据注意力权重对惯性值特征进行加权求和，得到由惯性运动信息调制后的地磁特征；

24、以惯性特征作为查询，以地磁特征作为键和值，计算反向交叉注意力；对交叉模态相关性矩阵按行执行softmax归一化，得到地磁信息对各惯性时刻的注意力权重；根据注意力权重对地磁值特征进行加权求和，得到由地磁信息增强后的惯性特征；

25、采用多头交叉注意力计算，不同注意力头分别学习磁场幅值变化、磁场梯度、姿态变化、角速度变化及加速度变化之间的相关特征；

26、将交叉注意力输出与原始模态特征进行残差连接，得到初步增强特征；将初步增强特征输入训练好的前馈神经网络，输出双向交叉增强特征。

27、作为上述方法的一种改进，所述步骤s2b中结合imu累计漂移评估结果自适应确定候选轨迹搜索区域，表示为：

28、；

29、其中，为候选轨迹搜索区域；表示位置坐标；为磁地图覆盖的地理区域；表示粗略惯性轨迹中第

k个位置；为时间窗口长度；为矩阵的2范数；为当前匹配时间窗口对应的候选轨迹最大空间偏移范围，表示为：

30、；

31、其中，为预设的基础搜索半径；为搜索范围调节系数；为时间权重系数；为当前匹配时间窗口对应的imu累计漂移指标。

32、作为上述方法的一种改进，还包括基于磁地图的自监督训练过程，具体包括：

33、在预先构建的海洋磁地图覆盖范围内随机选取虚拟起始位置，并按照预设的航行速度、航向及运动变化范围生成满足运动连续性约束的虚拟轨迹：

34、；

35、其中，表示虚拟轨迹序号，表示第条虚拟轨迹在第个采样时刻的位置坐标，表示

x轴坐标，表示

y轴坐标，上标

t表示向量转置；通过改变虚拟起始位置、初始航向、航行速度及运动状态变化参数，从同一海洋磁地图中生成多个不同的虚拟航行轨迹；

36、对于第条虚拟轨迹，根据各虚拟轨迹点在海洋磁地图中的空间坐标，对磁地图进行插值采样，得到相应的合成地磁观测序列；

37、根据虚拟航行轨迹中相邻位置随时间的变化关系计算速度：

38、；

39、其中，表示相邻位置的时间差；

40、进一步计算运动加速度：

41、；

42、根据轨迹运动方向计算航向角：

43、；

44、根据相邻时刻航向变化计算角速度：

45、；

46、根据虚拟轨迹及预设航行器运动状态模型生成对应的姿态、速度和加速度状态，并结合重力模型、imu测量模型以及预设传感器误差模型，构造三轴加速度和三轴角速度组成的合成imu惯性测量序列；

47、对于虚拟轨迹，从预构建海洋磁地图中提取覆盖该虚拟轨迹及其邻域的磁地图区域作为正样本地图块；

48、将和构造为正样本对；

49、从其他空间位置的虚拟轨迹对应磁地图区域中选取作为负样本地图块，从而形成负样本对，为每个正样本对应的负样本数量；

50、将合成地磁观测序列和合成imu惯性测量序列按照步骤s2a的步骤进行地磁和惯性特征提取与融合，获得归一化查询嵌入；将正样本磁地图区域以及负样本磁地图区域，分别输入convnext网络，得到对应的归一化地图嵌入；

51、采用对比学习损失函数：

52、；

53、；

54、其中，为一个训练批次中的样本数量，为温度系数，为正样本相似度，为第个负样本相似度；

55、通过最小化，使同时；

56、训练过程中，根据所述对比学习损失函数值，通过反向传播对方法中各模型参数进行联合优化。

57、本技术还提供一种基于自监督深度学习与多模态融合的海洋磁图匹配导航系统，用于实现上述方法，包括：

58、获取信息模块，用于获取实时导航数据，包括地磁测量数据和惯性信息；

59、获取查询嵌入模块，用于将地磁测量数据输入训练好的磁编码器，输出地磁高维特征；将惯性信息输入训练好的imu编码器，输出惯性高维特征；采用磁场梯度调制交叉注意力机制，利用磁场梯度信息对交叉注意力权重进行动态调制，在建立地磁信息与惯性信息关联关系的同时，引入磁场空间变化特性的物理约束；在完成交叉注意力融合后，采用漂移感知门控融合方法，结合imu累计漂移状态，自适应调整地磁特征和惯性特征在融合过程中的贡献比例；随后，对融合后的序列特征进行注意力池化，生成能够综合反映地磁空间信息和载体运动状态的查询嵌入；

60、获取地图嵌入模块，用于基于当前匹配时间窗口起始时刻的已知状态以及该时间窗口内连续采集的惯性测量数据进行惯性导航积分，对航行器的姿态、速度和位置状态进行连续递推，获得当前匹配时间窗口内各采样时刻的惯性导航位置估计，形成航行器的粗略惯性轨迹；在获得粗略惯性轨迹后，结合imu累计漂移评估结果自适应确定候选轨迹搜索区域；在所述候选轨迹搜索区域内，以粗略惯性轨迹为运动先验进行离散生成，构建多条满足已知起始状态约束、惯性运动趋势约束以及轨迹连续性约束的候选轨迹，形成候选轨迹集合；针对生成的每一条候选轨迹，根据该候选轨迹在海洋磁地图中的空间位置，从预先构建的海洋磁地图中提取覆盖该候选轨迹及其邻域的局部磁地图区域，建立候选轨迹与局部磁地图区域之间的一一对应关系；将各候选轨迹对应的局部磁地图，输入训练好的convnext网络进行深度空间特征提取，获得局部磁地图的深度特征图；通过全局平均池化对深度特征图的空间特征进行聚合，通过线性映射及归一化处理，得到与查询嵌入处于统一特征空间的地图嵌入；和

61、估计导航位置模块，用于将当前匹配时间窗口内实时导航数据对应的查询嵌入分别与各候选轨迹对应的地图嵌入进行相似度计算，获得实时地磁-惯性融合特征与各候选轨迹对应磁场空间分布特征之间的深度特征相似度；选取相似度最大的候选轨迹作为最优匹配轨迹，并将所述最优匹配轨迹在当前匹配时间窗口终止时刻对应的空间位置作为航行器当前的磁图匹配导航位置估计结果。

62、与现有技术相比，本技术的优势在于：

63、1、本技术采用基于深度学习的地磁时序特征编码方法，对实时采集的地磁观测数据进行高维特征提取，并引入磁场梯度信息描述地磁场空间变化规律，将原始地磁观测信息与磁场梯度信息共同用于地磁特征表示，因此能够同时利用地磁场幅值信息及其空间变化特征，减少传统方法依赖人工设计磁场特征所造成的特征表达能力不足问题，提高复杂磁场环境下地磁信息的特征表征能力。

64、2、本技术采用基于磁场梯度动态调制的交叉注意力机制，在建立地磁信息与惯性信息跨模态关联关系的过程中，引入由磁场梯度信息构造的调制矩阵，使交叉注意力权重不仅取决于地磁特征与惯性特征之间的相关关系，同时受到磁场空间变化程度的约束，因此能够增强磁场变化明显区域的信息贡献，降低磁场平缓区域中辨识性较弱信息对跨模态融合过程的影响，并提高地磁信息与惯性运动信息之间的关联表达能力。

65、3、本技术在门控融合阶段引入imu累计漂移指标，将当前惯性导航误差状态引入地磁信息与惯性信息的融合过程，使门控网络能够根据imu累计漂移程度自适应调整两种模态信息的贡献比例。当imu累计漂移较小时，提高惯性运动信息的贡献，以充分利用其短时间内连续、稳定的运动约束能力；当imu累计漂移增大时，提高地磁空间约束信息的贡献，从而减小长期惯性积分误差累积对磁图匹配结果的影响，提高长期导航过程中的稳定性。

66、4、本技术利用当前匹配时间窗口起始时刻的已知状态以及时间窗口内连续采集的imu惯性测量数据，通过惯性导航积分对航行器的运动状态进行连续递推，获得当前匹配时间窗口内的粗略惯性轨迹，并根据imu累计漂移程度自适应确定粗略惯性轨迹周围的候选轨迹搜索范围，在所述搜索范围内以粗略惯性轨迹为运动先验生成多条满足已知起始状态约束、惯性运动趋势约束以及轨迹连续性约束的候选轨迹，因此能够充分利用imu提供的连续运动信息对后续磁图匹配的轨迹搜索空间进行约束。当imu累计漂移较小时，采用较小的候选轨迹搜索范围；当imu累计漂移增大时，相应扩大候选轨迹搜索范围，从而在适应惯性积分误差累积变化的同时，减少偏离航行器实际运动趋势的无效候选轨迹，缩小后续磁图匹配的搜索空间，提高候选轨迹生成的合理性及磁图匹配效率。

67、5、本技术针对生成的各候选轨迹，从预先构建的海洋磁地图中分别提取覆盖候选轨迹及其邻域的磁地图区域，并利用convnext网络提取各候选轨迹对应磁地图区域的深度空间特征，经全局平均池化、特征映射和归一化处理得到相应的地图嵌入；将当前匹配时间窗口内实时地磁-惯性融合特征生成的查询嵌入与各候选轨迹对应的地图嵌入映射至统一特征空间，通过余弦相似度计算实时观测特征与各候选轨迹对应磁场空间分布特征之间的深度特征相似度，并选取相似度最大的候选轨迹作为最优匹配轨迹，将所述最优匹配轨迹在当前匹配时间窗口终止时刻对应的空间位置作为导航位置估计结果，因此能够避免仅依赖单一位置或局部原始磁场数值进行直接匹配，充分利用整个匹配时间窗口内连续地磁-惯性观测特征与候选轨迹对应磁场空间分布特征之间的整体关联关系，增强不同候选轨迹之间的辨识能力，降低不同地理区域存在相似局部磁场分布时产生误匹配的概率，从而提高复杂海洋环境下磁图匹配导航的鲁棒性和定位精度。

68、6、本技术采用基于海洋磁地图的自监督训练方法，在模型训练阶段利用预先构建的海洋磁地图自动生成满足航行器运动连续性约束的虚拟轨迹，沿虚拟轨迹从磁地图中采样生成合成地磁观测序列，并结合虚拟轨迹及预设航行器运动状态模型生成对应的合成imu惯性测量序列，同时提取覆盖虚拟轨迹及其邻域的磁地图区域，利用同一虚拟轨迹建立合成地磁-imu时序观测与对应磁地图区域之间的空间对应关系，从而自动构建正负训练样本；进一步采用跨模态对比学习对地磁特征提取网络、惯性特征提取网络、跨模态融合网络以及磁地图特征提取网络进行联合训练，使同一虚拟轨迹对应的地磁-imu时序特征与磁地图空间特征在统一特征空间中相互接近，不同轨迹对应的特征相互分离。因此，能够利用已有海洋磁地图自动构建较大规模训练样本，降低深度磁图匹配模型训练对大规模真实航行轨迹及高精度位置标签的依赖，减少海洋环境下实际航行数据采集和标注成本，并提高深度磁图匹配模型训练的工程可实施性。