一种露天矿区多智能体协同个性化联邦目标检测方法及系统

本发明属于计算机视觉与联邦学习，具体是一种露天矿区多智能体协同个性化联邦目标检测方法及系统。

背景技术：

1、露天矿区目标检测通常采用固定监控设备、路侧设备、车载设备或无人机采集图像，并利用yolo、fasterr-cnn、fcos、detr或rt-detr等目标检测模型识别矿用车辆、工程设备、作业人员和障碍物。集中式训练需要汇集各矿区的原始图像和标注；联邦训练使各矿区视觉智能体在本地训练并向服务器上传模型更新，从而减少原始数据的跨主体传输。

2、露天矿区视觉数据不仅存在标签分布差异和目标尺度差异，还存在由摄像机型号、安装高度、视角、曝光方式、天气、光照、粉尘和能见度导致的特征分布差异。单一全局模型通常难以同时适应全部矿区视觉智能体；而仅由各矿区视觉智能体利用有限本地数据训练个性化模型，又可能出现类别覆盖不足、稀有环境样本缺失和个性化参数过拟合等问题。

3、现有个性化联邦学习通常以标签分布、样本数量或模型梯度表征矿区视觉智能体差异，天气、光照、粉尘和能见度多被作为图像增强或质量因素，而非协作关系和参数迁移范围的决策变量。本技术将这些环境信息与区域、设备、类别、质量和版本信息共同编码，用于辅助源端矿区视觉智能体筛选和共享更新门控。

4、直接组合矿区视觉智能体协作、参数分层和本地验证仍面临参数语义不对齐、环境稀缺价值与数据质量风险相冲突、服务器相似度不能保证本地正效用、敏感参数融合削弱本地特征以及异步知识过期等障碍。

技术实现思路

1、本发明为了解决在各矿区原始图像和标注保留于本地的条件下，如何使数据有限的目标矿区视觉智能体从其他矿区视觉智能体获得有帮助且可控的个性化模型知识，并通过本地验证决定是否采用；同时使共享参数继续通过区域、设备和环境上下文相关的质量门控进行全局聚合，提供一种露天矿区多智能体协同个性化联邦目标检测方法及系统。

2、本发明采取以下技术方案：一种露天矿区多智能体协同个性化联邦目标检测方法，基于多个部署于本地计算节点的矿区视觉智能体与至少一个部署于联邦学习服务器的联邦协调智能体协同执行；

3、目标检测模型的参数划分为共享参数、可迁移个性化参数子集与专属个性化参数子集；

4、所述方法设置逻辑相互分离的个性化协同通道与共享参数聚合通道，具体包括：

5、各矿区视觉智能体采集本地露天矿区图像数据与环境元数据，编码生成包括功能区域、设备属性、天气、光照、粉尘、能见度、类别分布及数据质量的矿区视觉智能体状态描述向量；固定共享参数的权重保持不变，基于本地训练集更新个性化参数，得到本地独立候选参数；

6、通过个性化协同通道执行个性化知识迁移：源端矿区视觉智能体提取可迁移个性化参数的参数差分，生成包含参数迁移掩码、上下文摘要及版本信息的个性化知识包并上传至联邦协调智能体；

7、联邦协调智能体根据目标端矿区视觉智能体的状态描述向量预筛选出辅助源端矿区视觉智能体，向目标端矿区视觉智能体下发对应辅助源端矿区视觉智能体的个性化知识包；

8、目标端矿区视觉智能体对候选个性化知识包进行参数语义映射并生成目标侧迁移掩码，经本地效用验证筛选正效用知识包，执行受约束协同再训练得到协同辅助候选参数；

9、通过接受门控对比本地独立候选与协同辅助候选的本地验证性能，确定本轮最终个性化参数；

10、通过共享参数聚合通道执行全局参数更新：各矿区视觉智能体固定个性化参数，更新共享参数副本并生成共享参数差分，经本地上传门控后上传至联邦协调智能体；

11、联邦协调智能体生成目标部署上下文，经服务器质量门控筛选后对共享参数差分进行加权聚合，生成新一轮全局共享参数并下发；

12、组合全局共享参数与本地个性化参数执行目标检测部署，并将部署性能反馈至后续训练轮次。

13、在一些实施例中，所述环境元数据与图像数据按时间戳对齐；各矿区视觉智能体根据当前矿区视觉智能体状态描述向量与在先矿区视觉智能体状态描述向量计算上下文漂移量，用于调整本地个性化训练强度、共享参数更新学习率及模型平滑写入系数。

14、在一些实施例中，所述可迁移个性化参数子集与专属个性化参数子集的划分依据包括模型结构与参数版本相容性、参数对应类别通道重叠度、参数与区域/环境适配的关联度及参数训练敏感度；

15、所述可迁移个性化参数子集包括重叠类别对应的检测头分支参数、环境适配器参数中的一种或多种；所述专属个性化参数子集包括本地归一化统计量、专属类别检测头参数、本地视角校准参数中的一种或多种。

16、在一些实施例中，所述个性化知识包中的参数差分经范数裁剪、量化或低秩压缩处理，且个性化知识包不包含原始图像数据、原始标注数据及专属个性化参数；

17、所述预筛选通过加权计算上下文适配度、类别重叠度、模型相容性、知识包质量及矿区视觉智能体可靠性得到适配分数，选取高分矿区视觉智能体作为辅助源端矿区视觉智能体。

18、在一些实施例中，所述本地效用验证通过将候选知识包的参数差分临时施加于本地独立候选参数得到试验参数，在本地验证集上计算损失变化得到效用值，效用值大于零即为正效用知识包；

19、受约束协同再训练中外部知识的参考权重由本地数据稀缺度与正效用知识包的综合效用值共同确定，本地数据越稀缺且正效用越高，外部知识的参考权重越大。

20、在一些实施例中，所述受约束协同再训练采用联合损失函数，包括本地目标检测任务损失、本地模型保持约束项及仅在迁移掩码限定范围内生效的协同参考约束项；

21、所述参数迁移掩码用于限定允许迁移的参数层、通道或类别分支，目标端矿区视觉智能体将全部正效用知识包的迁移掩码按协同权重合成联合掩码，限定协同参考约束的作用范围。

22、在一些实施例中，所述接受门控的触发条件包括参数版本差在允许范围内、参与协同的候选知识包均通过参数语义映射、协同辅助候选的验证性能相对本地基线达到预设增益阈值；

23、门控通过时采用平滑写入方式更新个性化参数，未通过时保留本地独立候选参数或回滚至历史稳定版本，并对对应候选知识包来源设置冷却期。

24、在一些实施例中，所述本地上传门控的判定条件包括共享更新本地性能增益、矿区视觉智能体可靠性、参数版本一致性及参数差分异常范数，各项判定条件均满足对应预设阈值时，共享参数差分通过本地上传门控；

25、所述服务器质量门控的判定条件包括共享更新性能增益、更新方向一致性、与目标部署上下文的相关性、矿区视觉智能体可靠性及版本差，各项判定条件均满足对应预设阈值时，共享参数差分通过服务器质量门控；未通过门控的共享更新不参与本轮聚合。

26、在一些实施例中，目标端矿区视觉智能体生成目标侧迁移掩码的步骤包括： 依次校验候选知识包与本地模型的模型结构相容性、参数版本相容性、张量维度相容性与参数功能语义相容性；仅对全部校验通过的参数组，结合类别语义匹配度、参数敏感度与上下文适配度计算迁移权重，生成目标侧迁移掩码；无法建立语义映射的参数组对应掩码置零，不参与知识迁移。

27、一种露天矿区多智能体协同个性化联邦目标检测系统，包括多个矿区视觉智能体与至少一个联邦协调智能体，系统设置逻辑相互分离的个性化协同通道与共享参数聚合通道，用于所述的露天矿区多智能体协同个性化联邦目标检测方法；

28、所述矿区视觉智能体部署于露天矿区本地计算节点，用于本地数据预处理、状态编码、模型训练、知识包生成、本地效用验证及部署推理；

29、所述联邦协调智能体部署于联邦学习服务器，用于知识包管理、辅助源端矿区视觉智能体预筛选、共享参数门控聚合及版本管理。

30、与现有技术相比，本发明具有以下有益效果：

31、原始图像数据与标注数据全程留存于矿区本地节点，仅传输参数差分、结构化知识包等非原始数据，从根源避免跨矿区数据汇集带来的隐私泄露与数据主权风险，满足露天矿区数据不出域的安全合规要求。

32、通过三级参数划分机制，共享参数沉淀跨矿区通用视觉表征，个性化参数适配本地场景特征；既解决了传统全局联邦模型在异构矿区场景下的性能折中问题，又弥补了单矿区本地数据不足、稀有场景训练不充分的短板，整体检测精度显著优于常规联邦学习方案。

33、采用“服务器上下文预筛选+本地效用验证”两级筛选机制，搭配参数迁移掩码、接受门控与版本回滚策略，仅保留对本地有正向增益的外部知识，大幅降低场景差异带来的负迁移风险；协同过程可控、可回溯，避免外部知识破坏本地已有的稳定检测效果。

34、将露天矿区特有的功能区域、设备属性、粉尘浓度、能见度、光照条件等环境特征纳入协同决策逻辑，相比仅依据类别分布、模型距离筛选的通用联邦方案，辅助节点匹配度更高，知识迁移效率更优，更适配矿区复杂多变的作业环境。

35、个性化协同通道与共享参数聚合通道逻辑分离，更新规则互不干扰；结合状态记忆记录，可根据环境漂移、数据稀缺程度自动调整训练强度与协同策略；无有效协同节点或通信异常时，可自动退化为纯本地训练模式，保障检测业务连续稳定运行。