融合地理导航与视觉语义导航的无人机导航方法及系统

本发明涉及无人机自主导航领域，具体涉及一种融合地理导航与视觉语义导航的无人机导航方法及系统。

背景技术：

1、现有无人机通常具备较强的三维机动能力，可用于环境巡检、航拍、目标观察、场地探索等任务。相比地面机器人，无人机能够跨越部分地形障碍，从高空或多视角接近目标，因此在室外开放环境、校园园区、建筑群、体育场馆、道路巡检等场景中具有较高应用价值。

2、但是，现有无人机系统在智能化和易用性方面仍存在以下不足。

3、第一，多数无人机仍依赖人工遥控器或专业操控终端。用户需要掌握飞行控制、视角调整、避障、安全距离控制等操作技能，普通用户难以直接通过自然语言表达任务意图。例如，用户希望无人机“带我去羽毛球场”“看看场地是否有人”“跟着我拍一段视频”时，现有系统通常无法直接理解该复合意图并自主完成任务。

4、第二，现有自主功能多为单点功能，缺少跨任务的统一规划能力。一些无人机可以实现定点巡航、目标检测、自动跟随或简单避障，但这些功能通常相互独立，不能根据用户任务自动拆解流程、选择功能模块并连续执行。例如，“先飞到羽毛球场，判断是否空闲，再返回用户身边并指引用户前往”这一任务同时涉及地点识别、远距离导航、视觉问答、返回用户、对用户进行引导等多个步骤，传统系统需要人工分阶段操作。

5、第三，现有导航方案往往难以同时覆盖远距离语义地点导航和近距离视觉目标导航。远距离导航通常依赖 gps 航点、预设航线或离线地图，适合“到达某个地标附近”；近距离导航则依赖视觉检测、深度感知或目标跟踪，适合“飞到树前方”“靠近门口”“对准某个人”等局部任务。两类导航在数据表示、路径规划和控制目标上差异较大，现有系统通常缺少统一的语言接口和切换机制。

6、第四，现有无人机问答、拍摄、跟踪等上层应用缺少与飞行任务的闭环结合。视觉问答系统可以回答图像问题，跟踪系统可以跟随目标，手势识别系统可以调整视角，但这些能力如果没有统一的任务规划器和执行反馈机制，就难以组成可靠的任务链；当某一步失败时，也缺少根据失败原因和历史执行信息进行重规划的能力。

7、因此，现有技术尚不能充分满足普通用户在真实场景中通过自然交互方式驱动无人机完成复杂、多步骤、场景感知型任务的需求。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明的第一个目的在于提出一种融合地理导航与视觉语义导航的无人机导航方法，包括以下步骤：

3、s1，获取导航指令，并将所述导航指令解析为地理目标和局部视觉语义目标；

4、s2，根据所述地理目标进行地理空间导航，使无人机到达候选切换点；

5、s3，当满足预设的切换条件时，从地理空间导航切换至视觉语义导航；

6、s4，根据所述局部视觉语义目标确定二维目标点，并将所述二维目标点转换为统一世界坐标系中的三维目标点，生成局部飞行轨迹。

7、在本发明的一个实施例中，所述将所述导航指令解析为地理目标和局部视觉语义目标的方法为：

8、从所述导航指令中提取地标标识、目标对象类别和空间关系，并采用结构化数据表示所述地理目标和所述局部视觉语义目标；

9、所述结构化数据表示还包括期望观察方向、目标安全距离、飞行高度及任务结束条件。

10、在本发明的一个实施例中，所述s2包括：

11、查询地理地标图和占据地图，确定至少一个候选切换点，并在所述占据地图中生成从无人机当前位置至所述候选切换点的全局路径；

12、生成全局路径的方法为：采用a*算法计算关键航点，并采用局部轨迹规划器生成满足障碍物约束和无人机动力学约束的平滑轨迹。

13、在本发明的一个实施例中，所述预设的切换条件是基于模式切换评分h确定的，所述模式切换评分为：

14、，

15、其中，表示目标可见性，表示视觉语义识别置信度，表示遮挡或飞行风险，至表示权重；

16、当模式切换评分h连续多个图像帧高于切换阈值时切换至视觉语义导航，当模式切换评分h低于回退阈值时回退至地理空间导航，所述切换阈值大于回退阈值。

17、在本发明的一个实施例中，所述根据所述局部视觉语义目标确定二维目标点包括：

18、将机载相机采集的图像与所述局部视觉语义目标输入视觉语义模型，由所述视觉语义模型输出二维目标点、目标区域、目标边界或目标掩码。

19、在本发明的一个实施例中，所述将所述二维目标点转换为统一世界坐标系中的三维目标点的方法为：

20、获取所述二维目标点对应的深度d，根据相机内参矩阵k将所述二维目标点(u,v)转换为相机坐标系中的三维点，三维点的表达式为：

21、；

22、根据相机相对于无人机机体坐标系的外参变换和无人机机体相对于世界坐标系的实时位姿变换，将所述相机坐标系中的三维点转换为世界坐标系中的三维目标点，其中：。

23、在本发明的一个实施例中，当所述二维目标点对应的深度无效或位于物体边界时，采用目标邻域有效深度的中值、目标区域的深度聚类结果或不同观察视角下的多帧三角测量结果获得替代深度。

24、在本发明的一个实施例中，还包括：

25、持续监测目标检测状态、视觉语义置信度、深度有效性、三维目标点合法性、轨迹生成状态和飞行执行状态，当检测到异常时执行对应的恢复策略；

26、所述恢复策略包括：

27、当目标暂时遮挡或置信度下降时，减速或悬停并调整偏航角或相机俯仰角重新观察；

28、当当前观察位置无法识别目标时，选择另一候选切换点并重新执行地理空间导航；当视觉目标持续不可见或三维目标无法生成时，回退至地理空间导航状态；

29、当深度无效时，使用邻域深度、多视角观测或其他深度传感器补充深度；当检测到定位漂移时，根据已知地标的视觉观测结果修正无人机位姿或三维目标点；

30、当局部轨迹不可行时，重新选择三维目标点、调整安全距离或执行局部重规划。

31、为达上述目的，本发明第二方面实施例提出了一种融合地理空间导航与视觉语义导航的无人机自主导航系统，包括：

32、指令解析模块，用于获取导航指令，并将所述导航指令解析为地理目标和局部视觉语义目标；

33、地理导航模块，用于根据所述地理目标进行地理空间导航，使无人机到达候选切换点；

34、模式切换模块，用于当满足预设的切换条件时，从地理空间导航切换至视觉语义导航；

35、视觉轨迹生成模块，用于根据所述局部视觉语义目标确定二维目标点，并将所述二维目标点转换为统一世界坐标系中的三维目标点，生成局部飞行轨迹。

36、为达上述目的，本发明第三方面实施例提出了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，实现如第一方面实施例所述的方法。

37、本发明实施例的方法、系统及存储介质，本发明借助大语言模型任务规划器将用户自然语言、语音指令转换为结构化 api 序列，支撑无人机执行多步骤复合型任务；结合知识库检索历史规划、地标描述、gps 坐标及联网信息，有效抑制大语言模型幻觉，增强任务规划与场景的适配性；融合远距离地理知识导航与近距离视觉语义导航，让无人机既可识别地名、地标，又能够依托视觉语义在局部场景实现目标精准定位；依托标准化工具工厂与技能库，实现手势控制、目标跟踪、搜索问答、智能拍摄等功能的统一调度与功能持续拓展；搭配执行反馈与失败重规划机制，提升无人机应对动态环境、定位偏差、目标遮挡及任务变更场景下的运行鲁棒性；同时支持手机、语音、手势等多元化自然交互手段，降低无人机操作门槛，便于非专业用户开展各类复杂空中辅助任务。

38、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。