一种多无人机目标检测方法及系统

本发明涉及无人机协同目标检测，具体地，涉及一种多无人机目标检测方法及系统。

背景技术：

1、无人机载计算机系统中部署人工智能模型以实现目标检测，已成为灾害救援、农业植保、环保监测等领域的重要技术手段。深度学习模型通常由多层神经网络结构组成，前向推理需要大量的计算和内存资源。无人机受尺寸和成本限制，机载电源功率和嵌入式计算能力受到严重制约，导致高精度复杂模型难以直接部署在低成本无人机上。

2、若在每架无人机上单独部署高性能计算机以承载复杂模型，单机成本急剧上升，在大规模集群部署中经济上不可承受；且单架高性能无人机一旦发生故障退出集群，整个检测任务即告失败。

3、将数据传回地面云端处理虽可解决机载算力不足的问题，但存在通信延迟高、带宽受限的缺陷，适用于实时性要求低的场景而不适用于对响应时间敏感的检测任务。

4、现有技术一cn116805195b提出了一种基于模型分割的无人机群协同推理方法和系统，在各无人机上部署结构相同的深度学习模型，将模型按层切分为多个子任务分配至不同无人机执行，实现模型分割式并行推理。该方案各无人机部署同一模型，不具备模型层面的多样性，且子任务间的中间激活值传输对通信带宽要求较高。

5、现有技术二cn115562341a提出了一种基于协同推理的无人机视觉目标检测在线联邦学习系统，通过将单无人机难以执行的高精度复杂模型拆分为多个子模型并分配给各个无人机节点，在进行图像推理时各个无人机协同推理模块按顺序对子模型进行推理，最后通过联邦学习将各无人机本地训练的模型参数聚合为全局模型。该方案中各无人机模型结构相同，需进行多轮参数上传与下发，依赖稳定网络连接，中途如果有无人机退出推理会影响整体推理效果。

6、现有技术三cn118247639a提出了一种面向无人集群的轻量多视点协同图像识别方法，采用头节点-叶节点架构，各叶节点使用相同的轻量模型提取特征，依赖头节点集中处理。

7、综上所述，现有技术在多无人机协同检测领域存在以下不足：（1）同构模型部署导致多机推理结果高度相关，缺乏通过模型多样性实现互补纠错的能力；（2）参数级或特征级协同通信开销大，难以适应弱通信环境；（3）依赖单一中心节点，单点故障即可导致全系统失效；（4）数据链路协议未针对多机集成推理的元数据传输需求进行适配。

技术实现思路

1、本发明针对现有技术中多无人机协同目标检测存在的上述不足，提供一种多无人机目标检测方法及系统。

2、本发明的主要目的在于：以m架无人机各自搭载的m个异构轻量模型构成物理分布的基学习器集合，通过定制通信帧结构和集成融合策略，在融合节点实现决策级融合，使集群整体识别精度逼近甚至达到复杂深度学习模型的水平。

3、为实现上述发明目的，本发明提供了一种多无人机目标检测方法，所述方法包括：

4、在m架无人机中的每一架无人机上分别部署一个轻量级深度学习模型，且任意两架所述无人机上部署的所述轻量级深度学习模型结构互不相同，其中，m≥3；

5、各所述无人机利用机载传感器采集目标区域的观测数据；

6、各所述无人机通过本机部署的所述轻量级深度学习模型对所述观测数据独立执行本地推理，获得包含目标类别标签和置信度分数向量的局部识别结果；

7、将所述局部识别结果封装为标准化推理帧，所述标准化推理帧至少包含：模型标识符字段、目标类别标签字段、置信度分数向量字段和推理时间戳字段；

8、将各所述无人机的所述标准化推理帧通过数据链路传输至融合节点；

9、在所述融合节点处，利用预设的集成学习策略对来自m架所述无人机的所述标准化推理帧进行决策级融合，获得最终协同识别结果。

10、其中，现有技术中各无人机部署相同模型导致推理结果高度相关，缺乏模型多样性；且现有技术的协同推理需要传输中间激活值或模型参数，通信开销大，为解决该问题，本发明在m架无人机上分别部署结构互不相同的轻量级深度学习模型；各无人机独立进行本地推理获得局部识别结果；将结果封装为含模型标识符、类别标签、置信度分数向量和时间戳的标准化推理帧；通过数据链路传输至融合节点进行决策级融合。通过模型异构性实现基学习器多样性，为集成融合提供基础；决策级融合仅传输最终结果而非中间特征，通信开销大幅降低；m≥3保证了投票融合的有效性。

11、可选的，所述在m架无人机中的每一架无人机上分别部署一个轻量级深度学习模型，具体包括：

12、从l个候选异构模型中选取m个模型，l≥3，l个候选异构模型为：c1，c2，...，cl，选取方法包括：

13、将所述l个候选异构模型分别在预设的独立验证集上进行推理，保存各候选异构模型对每一验证样本的预测类别标签和/或预测置信度分数向量；

14、针对任意两个候选异构模型，根据所述和在所述独立验证集上的预测结果计算多样性度量值dij，构建l×l的对称多样性矩阵d，其中，表示与之间的多样性度量值；

15、以最大化集合s的平均成对多样性f(s)为目标函数，从所述l个候选异构模型中选取m个候选异构模型构成集合s，其中：

16、；

17、将选取的所述m个候选异构模型分别一一对应地部署至所述m架无人机。

18、其中，本方法通过从l个候选异构模型中，通过在独立验证集上的推理结果计算两两模型间的多样性度量值，构建l×l对称多样性矩阵d；以最大化平均成对多样性为目标函数，选取m个模型构成集合s，本发明能够确保选出的m个模型在决策上具有最大多样性（即错误模式不相关），使得集成融合后的精度提升效果最优，在更小的m值下即可满足预设准确度阈值要求。

19、可选的，在执行所述将各所述无人机的所述标准化推理帧通过数据链路传输至融合节点的步骤之前，所述方法还包括：实时监测各通信链路状态获得监测结果，根据监测结果在中心化模式和自组织模式之间确定所述融合节点的运行位置和所述标准化推理帧的路由路径；

20、在所述中心化模式下，所述融合节点运行于控制中心，各所述标准化推理帧通过星型拓扑汇聚至所述控制中心进行集中融合；

21、在所述自组织模式下，所述融合节点运行于通过分布式选举从在线无人机中产生的代理融合节点，各所述标准化推理帧通过mesh拓扑转发至所述代理融合节点。

22、其中，本方法在执行传输步骤之前实时监测各通信链路状态，根据监测结果在中心化模式（融合节点运行于控制中心，星型拓扑汇聚）和自组织模式（融合节点运行于分布式选举产生的代理融合节点，mesh拓扑转发）之间确定融合节点的运行位置和路由路径，控制中心可达时享受集中融合的高精度；控制中心不可达时仍能通过自组织模式维持集群内部协同检测，实现全场景可用。

23、可选的，当所述控制中心的通信链路质量低于预设切换阈值时，从所述中心化模式自动切换至所述自组织模式；当所述通信链路质量恢复至高于所述预设切换阈值并持续预设数量个推理周期后，自动切回所述中心化模式。通过上述方式可避免因链路质量瞬时波动导致的频繁切换，确保系统稳定性和切换可靠性。

24、可选的，所述集成学习策略为多数投票法、加权置信度融合法和stacking融合法中的任意一种；

25、所述加权置信度融合法中，第i个轻量级深度学习模型的权重由该轻量级深度学习模型的离线验证准确率和该轻量级深度学习模型所在无人机的实时通信链路质量联合确定：

26、；

27、其中，为第j个轻量级深度学习模型的离线验证准确率，为第j个轻量级深度学习模型所在无人机的实时通信链路质量；，为该链路上的丢包率。

28、其中，融合权重同时考虑了模型的固有性能和实时通信环境，低链路质量的模型被自动赋予较低权重，确保弱信道环境下融合精度仍能保持较高水平。

29、可选的，所述融合节点在时间内接收来自n架无人机的标准化推理帧，其中，t为无人机消息回传间隔，n ≤ m；

30、所述融合节点对所述n架无人机的标准化推理帧进行决策级融合，将融合结果以及参与融合的无人机数量n和无人机标识列表发送至最终决策输出模块；

31、所述最终决策输出模块在内持续观测n是否小于m，其中，若n < m，则重新调整所述m架无人机上部署的轻量级深度学习模型及所述m的数值。

32、其中，部分无人机因故障或通信中断退出后，集群检测置信度下降但系统无法及时感知和恢复。为解决该问题，本方法融合节点在时间窗口内统计实际接收到的n架无人机推理帧；最终决策输出模块在内持续观测n是否小于m；若n < m则重新调整部署的轻量级深度学习模型及数量m。使得本发明的技术方案具备容错自愈能力，能够自动感知无人机退出并动态调整模型部署，维持集群检测置信度。

33、可选的，所述方法在执行本地推理之前还包括图像预处理：根据预设的所述轻量级深度学习模型的输入维度，将所述机载传感器采集的原始图像转换为满足所述输入维度的图片；所述转换包括空间几何变换和通道处理。通过上述方式确保各异构模型能够正确处理传感器输入数据，使不同架构的模型能够在统一的输入格式下进行推理，保障了异构模型部署的可行性。

34、可选的，所述机载传感器包括红外传感器、雷达传感器和光电传感器中的至少一种。其中，本方法能够根据无人机搭载的传感器类型，为其部署适配的轻量级深度学习模型——红外传感器优选mobilenet系列、squeezenet、imagenet；雷达传感器优选ghostnet、shufflenet系列；光电传感器优选ghostnet、efficientnet系列、mobilenet、shufflenet，实现了传感器特性与模型架构的优化匹配，充分发挥各模型在对应数据类型上的优势，提升单机推理精度，进而提升整体集成融合效果。

35、可选的，所述方法还包括：将所述最终协同识别结果封装为标准化决策帧并分发至各所述无人机，所述标准化决策帧至少包含：目标类别标签字段、最终置信度分数字段、融合策略标识字段、融合时间戳字段、参与融合的无人机标识列表字段；所述标准化决策帧与所述标准化推理帧通过类型字段区分。通过上述方式，各无人机获得全局态势感知信息，实现局部推理→全局融合→反馈分发的完整协同闭环；类型字段区分使无人机能正确识别和处理不同类型的帧数据。

36、本发明还提供了一种多无人机目标检测系统，所述系统包括：

37、异构模型部署模块，配置为在m架无人机中的每一架无人机上分别部署一个轻量级深度学习模型，且任意两架所述无人机上部署的所述轻量级深度学习模型结构互不相同，其中m≥3，各所述轻量级深度学习模型具有相同的输出类别数和不同的网络架构，构成集成学习的基学习器集合；

38、本地推理模块，设置于各所述无人机上，配置为利用机载传感器采集目标区域的观测数据，通过本机部署的所述轻量级深度学习模型对所述观测数据独立执行本地推理，获得包含目标类别标签和置信度分数向量的局部识别结果；

39、定制帧结构数据链路模块，配置为将所述局部识别结果封装为标准化推理帧，所述标准化推理帧至少包含：模型标识符字段、目标类别标签字段、置信度分数向量字段和推理时间戳字段，并将各所述无人机的所述标准化推理帧通过数据链路传输至融合节点；

40、集成学习融合引擎模块，部署于所述融合节点，配置为利用预设的集成学习策略对来自m架所述无人机的所述标准化推理帧进行决策级融合，获得最终协同识别结果；

41、双模网络拓扑管理模块，配置为实时监测各通信链路状态，在中心化模式和自组织模式之间自动切换所述融合节点的运行位置和所述标准化推理帧的路由路径；

42、最终决策输出模块，配置为将所述集成学习融合引擎模块输出的所述最终协同识别结果分发至各所述无人机，更新各无人机的态势感知信息。

43、优选的，各所述轻量级深度学习模型具有相同的输入维度。

44、本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

45、（1）本发明以模型异构性替代模型复杂度，降低单机硬件门槛。通过部署结构各异的轻量模型并利用集成学习融合，在每架无人机仅需低算力嵌入式计算平台的前提下，使集群整体识别精度达到复杂模型水平，避免了单机部署高性能计算机带来的成本急剧上升问题。

46、（2）本发明决策级融合通信开销小，适应弱网环境。仅需传输各模型的最终推理结果（类别标签和置信度分数），而非现有技术中的中间激活值或现有技术中的模型参数，通信数据量大幅降低。

47、（3）本发明集成学习机制提供天然冗余抗毁能力。由于各无人机部署不同模型，部分无人机被击落或故障时，剩余无人机的异构模型仍能通过集成融合维持可用识别精度，而非像现有技术那样单点故障即全系统失效。

48、（4）双模拓扑保障全场景可用。中心化+自组织双模网络设计确保在控制中心可达时享受集中融合的高精度，在控制中心不可达时仍可通过自组织模式维持集群内部协同检测。

49、（5）部署即用，无需在线训练。各异构模型在部署前离线训练完成，部署后仅需前向推理与决策融合，无在线训练开销，避免了现有技术中联邦学习多轮参数上传下发的通信负担。