一种基于流匹配双流世界模型的无人机自主导航方法

本发明属于无人机自主导航、深度学习与生成式世界模型，尤其涉及一种基于流匹配双流世界模型的无人机自主导航方法。

背景技术：

1、随着人工智能、边缘计算、多模态感知和低空智能装备技术的发展，多旋翼无人机凭借体积小、机动性强、部署灵活等特点，已广泛应用于低空巡检、灾害救援、仓储巡航、室内搜索和复杂地形穿越等任务。上述场景通常具有障碍物密集、空间结构复杂、环境先验不足、机载算力受限等特点，对无人机的实时感知、运动预测、轨迹规划和控制执行能力提出了较高要求。因此，如何使无人机根据深度视觉和自身状态快速生成安全、平滑且可执行的导航轨迹，是无人机自主导航领域的重要问题。

2、现有无人机自主导航方法主要包括传统模块化方法和基于学习的方法。传统模块化方法通常将任务划分为感知建图、状态估计、轨迹规划和控制跟踪等模块。系统利用深度相机、激光雷达或视觉惯性里程计等传感器构建局部地图或环境距离场，再基于搜索、采样或优化方法生成避障轨迹，最后通过模型预测控制、微分平坦性控制或几何控制器实现轨迹跟踪。该类方法可解释性较强，能够显式处理碰撞约束、动力学约束和平滑性约束。

3、然而，传统模块化方法也存在局限。建图、规划与控制模块通常串行执行，模块间信息传递会引入延迟，在高速飞行或障碍物密集场景中容易降低响应速度。局部地图或距离场依赖传感器视野和状态估计精度，当深度图存在噪声、遮挡或运动模糊时，误差可能在后续规划与控制模块中逐级累积。此外，基于优化的局部规划方法需要在安全性、平滑性、动态可行性和实时性之间权衡，在未知复杂环境中可能出现局部最优、轨迹抖动或频繁重规划等问题。

4、基于学习的方法试图利用神经网络直接从深度图像、无人机状态和目标信息中学习导航策略或轨迹生成策略。该类方法可通过模仿学习、强化学习或自监督学习在仿真环境中获取训练数据，并在推理阶段以较低延迟输出控制指令或参考轨迹。与传统模块化方法相比，学习式方法减少了人工设计的中间环节，在复杂障碍环境中具有较强适应性和潜在实时性优势。

5、但是，现有学习式导航方法仍面临若干问题。部分方法仅根据当前观测直接输出短时控制量或离散航点，缺乏对未来局部环境演化的显式建模，难以预判由遮挡、视野变化和无人机自身运动引起的后续风险。直接预测离散航点的方法还需要网络同时学习位置、速度、加速度和急动度等高阶轨迹量，容易产生高频振荡，难以保证初始状态处的连续性和动力学可跟踪性。在连续重规划场景中，若每次推理均独立生成轨迹，而不利用上一时刻轨迹信息，相邻规划结果可能不一致，影响下游控制器平滑跟踪。

6、近年来，世界模型技术为自主系统提供了新的建模思路。世界模型通过学习环境的潜在表示和未来状态演化规律，使智能体能够在潜在空间中进行预测、规划或决策。与此同时，流匹配等生成式建模方法能够学习从噪声分布到数据分布的连续变换，为视觉潜变量和动作变量生成提供了有效手段。但无人机导航任务不仅需要预测未来视觉观测，还需要生成满足动力学约束的连续轨迹；仅进行视觉预测难以直接输出可执行动作，仅进行动作预测又无法充分利用未来环境结构信息。因此，有必要提出一种融合深度图像、飞行状态、目标约束、速度指令和历史轨迹信息，并联合建模未来深度观测与连续飞行轨迹的无人机自主导航系统。

技术实现思路

1、为解决上述问题，本发明提供一种基于流匹配双流世界模型的无人机自主导航方法，能够融合无人机深度图像、飞行状态、目标状态、速度指令及历史轨迹信息，在统一的机体系坐标下联合建模未来局部环境与未来飞行轨迹，从而生成安全、平滑且可供控制器跟踪的导航轨迹，提高无人机在复杂障碍环境中的自主导航能力。

2、一种基于流匹配双流世界模型的无人机自主导航方法，应用于包括输入获取与预处理模块、视觉特征提取模块、动作编码器、双流混合transformer融合模块、视频解码器、动作解码器的无人机自主导航系统；

3、所述输入获取与预处理模块用于在无人机在线导航过程中获取当前环境深度观测信息、无人机飞行状态、目标状态、期望速度指令以及上一规划周期生成的历史轨迹信息；

4、所述视觉特征提取模块用于将当前环境深度观测信息降维并编码为视频潜变量表示，再将视频潜变量表示转换为具有时空结构的视频特征序列；

5、所述动作编码器用于将无人机飞行状态、目标状态、期望速度指令以及上一时刻生成的历史轨迹信息分别编码为具有统一特征维度的动作特征序列；

6、所述双流混合transformer融合模块用于根据共享注意力机制对视频特征序列和动作特征序列进行融合处理，实现视觉信息与动作信息的跨模态交互，然后输出无人机的未来深度预测结果以及基于bernstein多项式表示的未来连续飞行轨迹；

7、所述视频解码器用于将未来深度预测结果恢复为未来深度图像序列；同时，所述动作解码器用于对基于bernstein多项式表示的未来连续飞行轨迹进行解析，得到无人机未来一段时间内的位置、速度、加速度以及急动度序列，实现无人机自主导航。

8、进一步地，在训练阶段，所述视觉特征提取模块包括视觉编码器和视频token提取器，其中，视觉编码器将当前环境深度观测信息降维并编码为视频潜变量表示的方法为：

9、假设训练阶段的环境深度观测信息表示为：

10、

11、其中，表示实数，b表示训练批次大小，9表示当前训练阶段的环境深度观测信息包含的深度图像观测帧数，且第0帧为当前时刻深度图像观测帧，其余帧为未来预测深度图像观测帧，为深度图像观测帧的尺寸；

12、将当前训练阶段的环境深度观测信息压缩至低维视频潜空间，得到视频潜变量：

13、

14、其中，表示压缩操作，48表示视频潜变量通道维度，3表示时间维度压缩后的视频潜变量长度，表示空间维度压缩后的视频潜变量尺寸；

15、视频token提取器将视频潜变量表示转换为具有时空结构的视频特征序列的方法为：

16、通过三维卷积对视频潜变量进行通道映射，得到维度由48维映射至512维特征空间的视频潜变量：

17、

18、其中，为三维卷积操作；

19、将视频潜变量按照时间维度和空间维度进行展开，形成视频特征序列：

20、

21、其中，，~分别为表征视频潜变量中对应时间上和对应空间区域内的局部环境特征。

22、进一步地，所述动作编码器用于将无人机飞行状态、目标状态、期望速度指令以及上一时刻生成的历史轨迹信息分别编码为具有统一特征维度的动作特征序列的方法为：

23、采用多层感知机对由无人机飞行状态、目标状态、期望速度指令以及上一时刻生成的历史轨迹信息组成的状态目标向量进行特征映射，得到动作特征空间中的表示：

24、

25、其中，表示多层感知机操作，；

26、通过时间编码的方式对期望速度指令进行编码，得到速度特征；

27、采用多层感知机对速度特征进行特征映射，得到速度指令特征：

28、

29、采用多层感知机对上一时刻生成的历史轨迹信息进行特征映射，得到历史轨迹特征：

30、

31、将规划的无人机飞行轨迹的8个控制点划分为由无人机的初始位置、初始速度和初始加速度解析确定的固定控制点和5个带噪的自由控制点，并将当前时刻带噪的5个自由控制点集合表示为：

32、

33、其中，~为自由控制点；

34、采用多层感知机分别对各自由控制点进行特征映射，得到各自由控制点的控制特征：

35、

36、将、、~、以及额外引入的4个可学习寄存器特征整合为token序列：

37、

38、将token序列叠加用于描述不同自由控制点的控制特征在轨迹生成过程中的相对排列关系的正弦位置编码，得到最终的动作特征序列。

39、进一步地，所述双流混合transformer融合模块由n层多模态混合层级联得到，且每一层多模态混合层均划分为视频分支和动作分支，其中，任意一层多模态混合层的融合处理过程如下：

40、当前多模态混合层的视频分支根据接收到的视频特征输入生成视频查询向量、视频键向量和视频值向量，同时动作分支根据动作特征输入生成动作查询向量、动作键向量和动作值向量；其中，若当前多模态混合层为第一层，则视频特征输入为视频特征序列，动作特征输入为动作特征序列；若当前多模态混合层不是第一层，其视频特征输入为上一层多模态混合层对自身接收到的视频特征输入进行联合注意力拆分、输出映射、门控残差连接及前馈网络处理后得到的视频token输出部分，同时，其动作特征输入为上一层多模态混合层对自身接收到的动作特征输入进行经联合注意力拆分、输出映射、门控残差连接及前馈网络处理后得到的动作token输出部分；

41、将视频分支和动作分支产生的查询向量、键向量和值向量分别进行拼接，得到融合查询向量、融合键向量和融合值向量如下：

42、

43、

44、

45、采用融合查询向量、融合键向量和融合值向量进行多头注意力计算，得到联合注意力特征；

46、根据视频分支和动作分支产生的查询向量、键向量和值向量在融合查询向量、融合键向量和融合值向量中的原始排列顺序将联合注意力特征拆分为视频token输出部分、动作token输出部分；

47、将最后一层多模态混合层输出的视频token输出部分、动作token输出部分分别进行输出映射、残差连接以及前馈网络处理后，输入到视频解码器和动作解码器，以预测未来视频潜变量速度场和berstein自由控制点速度场，再经过流匹配积分得到对应的未来深度预测结果以及基于bernstein多项式表示的未来连续飞行轨迹。

48、进一步地，若当前多模态混合层为第一层，视频查询向量、视频键向量和视频值向量的获取方法为：

49、采用视频分支的qkv投影矩阵将视频特征序列映射至注意力空间，得到视频时空特征；

50、将视频时空特征沿通道维度依次划分为初始视频查询向量、初始视频键向量和初始视频值向量；

51、按照时空位置索引分别对初始视频查询向量、初始视频键向量进行三维旋转位置编码后，得到最终的视频查询向量、视频键向量，而视频值向量等于初始视频值向量。

52、进一步地，若当前多模态混合层为第一层，动作查询向量、动作键向量和动作值向量的获取方法为：

53、采用动作分支的qkv投影矩阵将动作特征序列映射至注意力空间，得到动作qkv投影特征；

54、将动作qkv投影特征沿通道维度依次划分为初始动作查询向量、初始动作键向量和初始动作值向量；

55、按照时空位置索引分别对初始动作查询向量、初始动作键向量进行均方根归一化后，得到最终的动作查询向量、动作键向量，而动作值向量等于初始动作值向量。

56、进一步地，采用融合查询向量、融合键向量和融合值向量进行多头注意力计算，得到联合注意力特征的方法为：

57、

58、其中，为单个注意力头中查询向量和键向量的特征维度，为归一化函数，为转置。

59、进一步地，所述未来连续飞行轨迹采用7阶bernstein多项式来表示，且未来连续飞行轨迹表示为：

60、

61、其中，为第个bernstein控制点，为7阶bernstein基函数，为7阶bernstein基函数的自变量，后五个控制点为动作解码器根据动作token序列预测自由控制点速度场，并经流匹配数值积分和反归一化处理后得到的自由控制点，前三个控制点为由无人机当前初始位置、初始速度和初始加速度解析确定的固定控制点，其计算方法如下：

62、

63、

64、

65、其中，分别为当前机体系下的位置、速度和加速度，t为未来连续飞行轨迹的时间覆盖范围。

66、有益效果：

67、1、本发明提供一种基于流匹配双流世界模型的无人机自主导航方法，首先采集无人机飞行过程中的多模态训练数据，随后，将环境视觉信息映射至潜在空间，通过视频生成特征序列学习未来环境变化规律；同时，将无人机状态信息和轨迹条件映射至动作空间，通过动作生成特征序列学习连续轨迹生成过程；在上述两个生成特征序列之间，通过双流混合transformer融合模块实现视觉信息与动作信息的交互，使未来环境预测能够为轨迹生成提供空间约束，同时轨迹生成过程能够为未来环境预测提供运动约束；最终，系统输出未来深度预测结果以及基于bernstein多项式表示的连续飞行轨迹，并进一步解析得到位置、速度、加速度以及急动度序列，将其发送至无人机下游轨迹控制模块，实现无人机自主导航。

68、2、本发明提供一种基于流匹配双流世界模型的无人机自主导航方法，通过双流世界模型同时建模未来深度观测和未来飞行轨迹，使无人机在生成动作时能够利用未来局部环境结构信息；通过bernstein多项式对轨迹进行参数化，减少直接预测离散航点带来的高频振荡，并保证初始位置、速度和加速度连续；通过历史轨迹条件提高连续重规划过程中的轨迹一致性；通过流匹配生成机制提高高维视频潜变量和轨迹控制点的建模能力，从而增强复杂障碍环境下无人机自主导航的实时性、平滑性和可靠性。