基于图像语义与语言指令的无人机集群水文协同测绘方法

本发明涉及水利水文监测，具体涉及一种基于图像语义与语言指令的无人机集群水文协同测绘方法。

背景技术：

1、近年来，随着低空经济的快速发展和水利信息化建设的深入推进，无人机集群在水域监测与水文测绘领域展现出广阔的应用前景。传统的航空遥感与卫星遥感手段在时效性、分辨率和灵活性方面存在固有局限，而地面人工测量方式效率低、覆盖范围有限，难以满足数字孪生流域建设与水文应急监测对高精度、高时效空间数据的需求。

2、无人机集群凭借其机动灵活、成本可控、可并行作业等优势，已成为水域水文监测的重要手段。然而，当前无人机集群在水域测绘中的应用仍面临以下突出问题：

3、第一，测绘任务规划过度依赖人工经验。无人机集群的编队队形选择、航迹规划、传感器配置等任务规划环节严重依赖飞手和水文测绘专家的个人经验。不同操作人员制定的测绘方案差异显著，且专家经验难以系统化沉淀和复用，导致测绘任务的规划效率和质量参差不齐。

4、第二，水域图像的场景理解与任务指令生成之间存在语义鸿沟。传统方法通常将水域图像作为测绘参考而非决策依据，由人工从图像中提取环境信息后再手动转化为飞行任务指令。这一过程不仅耗时费力，还容易因人为疏忽导致信息遗漏或误判，降低了测绘任务的精准性和可靠性。

5、第三，无人机集群的协同建图与三维重建效率亟待提升。现有技术中，多无人机采集的测绘数据通常需回传至地面站进行集中处理，数据量大、传输带宽要求高，难以实现实时或近实时的三维场景构建。同时，各无人机之间缺乏有效的信息共享与协同建图机制，导致数据冗余和重建精度受限。

6、文献一《基于北斗导航的无人机河湖巡查路径规划方法及系统》（专利cn121876995a）提出了一种基于北斗导航的无人机河湖巡查路径规划方法，通过获取无人机实时位置信息与预设关键监测点信息进行匹配，在需要调整时采集环境感知数据并构建安全飞行区域，计算满足数据采集要求的临时监测点并构建优化巡查路径，有效解决了传统巡查中无法灵活调整路线、效率低且易遗漏重要监测点的问题。然而，该方法主要解决航迹动态调整问题，未涉及从图像语义理解到多机协同任务生成的全流程自动化，也未实现集群协同建图与三维重建的深度融合。

7、文献二《面向空海协同的异构多智能体协同slam方法和系统》（专利cn118500381a）提出了一种面向空海协同的异构多智能体协同slam方法，通过无人机与无人艇协同，各无人平台独立估计初步位姿并提取关键帧与地图点发送至后端服务器，经闭环检测与全局优化后生成共定位因子回传各平台，实现因子图优化的第二阶段位姿估计与局部地图更新，提升了多智能体在大规模场景中的协同定位精度。然而，该方法聚焦于定位与建图的底层技术，依赖预定义的协同策略，无法根据水域图像的语义特征自适应调整测绘方案，更缺乏将专家知识直接融入任务生成流程的机制。

8、文献三《基于国产高分辨率卫星影像的城市水体自动提取研究》（城市勘测，2024年第2期，第88-92页）选用国产高分辨率卫星（吉林一号）影像，针对城市复杂环境下建筑物阴影及细小水体导致的误提和漏提问题，选用同时具备分类能力及像素定位能力的深度学习模型（u-net），通过制作城市水体样本并迭代训练，实现了上海嘉定城区范围水体的自动快速精确提取，在一定程度上解决了城市水体的提取难题。然而，该方法仅停留在卫星遥感图像的语义解译层面，未将感知结果与无人机集群的自主任务规划进行有效衔接，难以直接应用于实际水域测绘作业流程。

9、综上所述，现有技术方法存在以下不足：一是水域图像的语义理解与无人机集群任务规划之间缺乏端到端的自动化衔接；二是飞手和水文专家的隐性经验缺乏系统化的数字化沉淀与复用机制；三是无人机集群在测绘过程中的协同建图与三维重建效率不高，难以实现实时高保真场景构建。

技术实现思路

1、本发明所要解决的技术问题是：克服现有技术的不足之处，通过视觉基础模型驱动的结构化感知、专家知识约束的任务生成与分布式高斯泼溅建图的协同工作，实现从用户拍摄的水域图像到无人机集群测绘任务执行与三维重建的全流程自动化。

2、为了解决上述问题，本发明采用如下技术方案：

3、本发明提出一种基于图像语义与语言指令的无人机集群水文协同测绘方法，包括以下步骤：

4、s1、构建水域图像与测绘任务指令专家库，采集典型水域场景的多模态图像样本，整理飞手及水文专家的作业经验，形成覆盖编队策略、航迹规划与传感器配置的结构化任务模板库；

5、s2、建立基于视觉基础模型与大语言模型协同的水域环境结构化描述与任务转换方法，利用具备零样本泛化能力的视觉基础模型对输入水域图像进行语义分割，输出结构化水域环境描述；以大语言模型为推理引擎，将所述结构化水域环境描述与所述专家库进行动态匹配，生成无人机集群任务指令；建立以最小化测绘盲区与最大化重建精度为目标、以集群通信带宽与单机能耗为约束的协同任务分配模型，优化变量为集群内各无人机的航迹点、编队队形与扫描负载；

6、s3、在无人机集群分布式高斯泼溅协同建图框架下，求解所述协同测绘任务，各无人机通过视觉惯性里程计估计自身位姿，机间共享关键帧特征与局部高斯参数，执行闭环检测与相对位姿解算；基于分布式位姿图优化统一多机坐标系，通过子图融合构建全局水域三维场景。

7、优选地，步骤s1中所述构建水域图像与测绘任务指令专家库的具体步骤如下：

8、采集典型水文场景的多模态图像样本，所述典型水域场景包括河道、湖泊、水库、湿地及河口海岸类型，所述多模态图像样本包括可见光图像、多光谱图像及深度图像；

9、整理飞手及水文专家的作业经验，所述作业经验包括编队队形选择准则、航迹规划策略、传感器参数配置方案及典型场景避障策略；

10、将所述多模态图像样本与作业经验进行结构化编码，形成覆盖编队策略、航迹规划与传感器配置的结构化任务模板库；

11、通过领域专家评审对所述专家库进行质量评估与迭代更新。

12、优选地，步骤s2中，视觉基础模型为具备零样本泛化能力的视觉基础模型，包括sam或clip，用于对输入水域图像进行深度感知与语义分割。

13、优选地，步骤s2中，结构化水域环境描述至少包含水域边界坐标序列、障碍物位置与类型、水深区域分类、地物类别标注及场景置信度评分，所述标准格式为json或结构化文本格式。

14、优选地，步骤s2中，以大语言模型为推理引擎将结构化环境描述与专家库进行动态匹配，具体步骤如下：

15、将所述结构化水域环境描述编码为查询向量，将所述专家库中各任务模板编码为键向量集合,其中n为专家库中任务模板的总数量。

16、计算所述查询向量与各键向量的匹配得分，其中为余弦相似度函数，i为任务模板索引，得分越高表示当前水域环境与对应任务模板的匹配程度越高；

17、选取匹配得分最高的任务模板作为基础方案，并由大语言模型根据所述结构化水域环境描述中的具体参数对所述基础方案进行参数填充与适配，生成可执行无人机集群任务指令。

18、优选地，步骤s2中，所述协同任务分配模型的目标函数具体如公式（1）所示：

19、（1）；

20、公式（1）中，为综合优化目标函数；为测绘覆盖率目标，定义为已扫描区域面积与目标水域总面积之比；为三维重建精度目标，定义为高斯泼溅模型渲染误差的倒数归一化值；为通信带宽惩罚项，用于约束机间通信负载；、为权重系数；为第i架无人机在时刻t的三维航迹点坐标；为第i架无人机在时刻t的编队队形索引；为第i架无人机在时刻t的扫描负载分配比例，表示该机承担的总测绘任务份额。

21、所述协同任务分配模型的约束条件包括：

22、机间通信带宽约束：

23、（2）；

24、单机能耗约束：

25、（3）；

26、其中，为参与测绘任务的无人机集群总数；为与第i架无人机保持通信链路的邻域无人机索引集合；为时刻无人机与之间的通信带宽，为集群总可用带宽，为推进功率函数，为传感器工作功率，为通信功率函数，为第架无人机电池容量，为第i架无人机在时刻t的飞行速度，为时刻t第i架无人机与所有邻域无人机之间的通信带宽总消耗量。

27、优选地，步骤s3中所述无人机集群分布式高斯泼溅协同建图的具体步骤如下：

28、s3.1、设定协同建图参数，包括机间通信频段与带宽、关键帧共享频率、高斯子图融合阈值、分布式位姿图优化最大迭代次数及闭环检测匹配阈值；

29、s3.2、初始化各无人机的本地高斯泼溅模型，各机独立运行视觉惯性里程计，估计本地相机位姿序列；

30、s3.3、各无人机从本地关键帧中提取特征描述子，并通过机间通信链路广播至邻域无人机；

31、s3.4、各无人机接收邻域无人机的特征描述子，与本地关键帧进行匹配，执行机间闭环检测；

32、s3.5、若检测到机间闭环，计算相对位姿变换矩阵，其中表示三维空间中的刚体变换群，并将该闭环约束加入本地位姿图；

33、s3.6、运行分布式位姿图优化算法，各机异步更新本地位姿图，消除累积漂移，实现多机坐标系统一；

34、s3.7、各机将优化后的高斯子图发送至中心融合节点或通过点对点方式交换；

35、s3.8、中心融合节点或指定领航无人机接收所有高斯子图，执行子图融合与重叠区域去重，生成全局水域高斯泼溅三维模型；

36、s3.9、判断重建精度是否满足预设阈值，若满足则输出最终模型；否则，标记欠重建区域，引导无人机集群执行补充扫描，跳转至步骤s3.2。

37、优选地，步骤s3.6中，所述分布式位姿图优化算法的目标函数具体如公式（4）所示：

38、（4）；

39、公式（4）中，为节点和的待优化位姿；为边的测量变换，来自里程计约束或闭环约束；为到的对数映射；为测量协方差矩阵。

40、优选地，步骤s3.8中，所述子图融合与重叠区域去重具体如下：

41、将所有高斯子图中的高斯元通过优化后的全局位姿变换到统一的世界坐标系；

42、对变换后的高斯元集合建立空间索引，采用八叉树或kd树结构加速最近邻搜索；

43、对空间位置邻近的高斯元，若两个高斯元的空间距离小于预设融合阈值，则执行融合操作：融合后的高斯元中心位置按不透明度加权平均计算，融合后的不透明度取两者最大值，融合后的协方差矩阵取协方差较小者；

44、输出无冗余的全局高斯泼溅三维模型。

45、优选地，所述方法还包括持续学习机制：系统生成的测绘方案经领域专家审核后，采纳的方案进入正样本库，修正的方案进入修正样本库；两类数据定期用于模型的增量训练，正样本库用于强化模型的正确行为，修正样本库用于纠正模型的错误倾向，使系统的测绘能力随使用时间增长而持续提升。

46、本发明采用上述技术方案，具有以下有益效果：

47、1.通过视觉基础模型驱动的结构化感知，实现了对水域图像的深度语义理解，避免了传统cnn-lstm方法在特征提取和语义生成过程中的信息损失，显著提升了水域环境描述的准确性和结构化程度；

48、2.通过专家知识约束的任务生成机制，将资深飞手和水文专家的隐性经验转化为可复用的数字资产，有效解决了传统方法中测绘任务规划过度依赖人工经验的问题，降低了测绘任务规划的门槛；

49、3.通过分布式高斯泼溅协同建图框架，实现了无人机集群在飞行过程中的实时位姿估计、机间信息共享与全局三维场景构建，大幅提升了水域测绘的效率和重建质量；

50、4.通过“专家库构建-图像理解-任务规划-集群协同-实时重建”的端到端流程，实现了从用户拍摄图像到三维水文模型生成的全流程自动化，尤其适用于数字孪生流域建设与低空水文应急监测场景。