低空边缘块级可学习权重联邦聚合方法
本发明属于联邦学习、人工智能模型聚合及通信受限边缘智能,具体涉及一种面向通信受限非独立同分布场景的块级可学习权重联邦聚合方法。本发明尤其适用于低空无人机集群巡检与应急搜救中的边缘视觉模型协同训练场景,例如电力线路巡检、森林火情巡查、道路灾害勘察和灾后人员搜救等需要多架无人机协同感知但无线链路受限的任务。
背景技术:
1、在低空无人机集群巡检与应急搜救任务中,多架无人机通常分别搭载可见光相机、红外相机或其他机载传感器,在不同飞行区域、不同高度和不同视角下采集巡检图像、灾害图像或搜救图像,并在机载边缘计算单元上进行目标识别、异常检测或场景分类模型训练。由于原始图像数据可能包含地理位置、基础设施状态、人员活动轨迹等敏感信息,且受任务实时性和链路条件限制,直接将所有原始数据集中上传至服务器并不适合实际部署。
2、联邦学习能够使无人机在不上传原始图像数据的情况下共同训练模型。服务器端或地面边缘节点在每轮通信中下发全局模型,无人机基于本地采集的数据完成本地训练后上传模型参数或模型更新量,服务器端再对多架无人机上传的模型更新进行聚合,从而形成面向低空任务环境的全局视觉模型。
3、然而,低空无人机集群数据具有显著非独立同分布特征。不同无人机的飞行高度、航向角、俯仰角、摄像头焦距、任务区域、天气光照和遮挡情况不同,使得各无人机采集的数据在目标尺度、纹理细节、背景分布和类别比例上存在明显差异。例如,低空近距离飞行无人机更容易采集到目标边缘、纹理和局部缺陷信息,高空巡航无人机更容易采集到大范围道路结构、灾害区域边界或烟雾扩散形态,夜间或烟雾环境下的无人机则更有利于学习低照度和弱纹理条件下的鲁棒特征。
4、传统联邦平均算法通常依据无人机样本数量为每个无人机分配单一全局聚合权重,并对完整模型进行整体聚合。该方式默认同一无人机在所有模型层和所有参数子空间中的贡献比例一致,难以刻画不同无人机在低层视觉纹理特征、中层目标结构特征和高层任务语义特征上的差异化贡献,容易在强 non-iid 条件下引起聚合方向偏移、收敛震荡或模型泛化能力不足。
5、同时,无人机与地面站、车载边缘节点或临时指挥中心之间的无线通信链路易受飞行距离、遮挡、地形、天气和电量约束影响,频繁上传完整模型会消耗较多带宽和能量。现有模型压缩、稀疏化或随机块传输方法虽可降低通信量,但往往只关注传输大小,不能同时判断哪些参数块对当前全局模型更有价值,也不能区分不同无人机在不同参数块上的贡献能力。因此,在低空无人机集群巡检与应急搜救这种强 non-iid 且通信受限的场景中,更加强调通信高效性与性能高效性,因此本发明提出一种能够同时进行参数块级高价值更新选择和块级无人机端贡献学习的高效联邦聚合方法。
技术实现思路
1、本发明的目的,在于提供低空边缘块级可学习权重联邦聚合方法,以解决低空无人机集群巡检、灾害勘察与应急搜救任务中传统联邦平均算法在强数据异构条件下聚合不稳定、不同无人机端在不同模型子空间中的贡献难以区分以及完整模型上传通信开销较高的问题。
2、从必要性角度看,本发明所解决的不是单纯减少上传参数量的问题,而是低空无人机集群在强 non-iid、弱连接和边缘算力受限同时存在时的联邦聚合失配问题。传统fedavg 假定同一无人机端在所有模型层中的贡献比例一致,难以处理不同飞行高度、视角、传感器和任务区域造成的特征子空间差异;普通模型压缩或随机块传输虽然减少通信量,但无法保证有限带宽优先传输对当前全局模型最有价值的更新;仅按更新范数选择块又无法判断不同无人机端在同一参数块上的贡献比例。因此,需要采用块级可学习权重联邦聚合方法。
3、为了达成上述目的,本发明的解决方案是:低空边缘块级可学习权重联邦聚合方法,应用于包括服务器端、多个无人机端以及低空视觉数据的联邦学习系统中;其中,服务器端为地面站、车载边缘节点或应急指挥中心,无人机端为执行巡检、灾害勘察或搜救任务的低空无人机,低空视觉数据包括巡检图像、灾害图像、搜救图像、红外图像或脱敏航拍样本。所述方法包括如下步骤: 所述方法的核心必要性在于:服务器端先把模型划分为语义一致、索引可对齐的参数块,使通信预算比例能够作用到可比较的模型子空间;无人机端再根据单位参数量更新强度选择上传块,使有限链路优先用于高价值更新;服务器端最后在实际上传集合内学习块级无人机端权重,使每个参数块根据代理数据集上的贡献自适应聚合。步骤1,服务器端初始化全局模型参数,并根据全局模型参数的张量结构、逻辑层位置和连续索引区间生成统一的 chunk-wise 参数块划分规则;
4、步骤2,服务器端确定当前通信轮次参与训练的无人机端集合,并将全局模型参数以及参数块划分规则发送至所述参与无人机端;
5、步骤3,无人机端基于本地低空视觉数据对全局模型进行本地训练,得到本地模型参数,并按照参数块划分规则形成多个参数块更新量;
6、步骤4,无人机端根据各参数块更新量的更新范数密度和预设通信预算比例选择待上传参数块集合,并仅上传被选择参数块对应的更新量;
7、步骤5,服务器端接收各无人机端上传的参数块更新量,构造或调用代理数据集,并针对每个参数块学习实际上传该参数块的无人机端聚合权重;
8、步骤6,服务器端根据所述无人机聚合权重,对同一参数块位置上的多个无人机端更新量进行块级聚合,得到对应参数块的全局更新量;
9、步骤7,服务器端将各参数块的全局更新量填充回全局模型的原始张量位置,得到更新后的全局模型参数;
10、步骤8,服务器端将更新后的全局模型参数发送至参与下一通信轮次的无人机端;
11、步骤9,重复执行步骤2至步骤8,直至达到预设通信轮次、模型收敛或满足预设停止条件。
12、上述步骤共同限定了参数块选择、实际上传集合内权重学习、未上传块保持和周期性全量同步的协同过程;在该过程中,通信预算比例仅用于约束高价值参数块筛选;实际上传集合用于限定第 轮第 个参数块的权重归一化范围;代理数据集用于评价并学习该集合内各无人机端的相对贡献。
13、本发明公式中主要变量的含义如表1所示。
14、表1 主要公式变量释义表
15、
16、
17、
18、上述步骤的改进点在于:步骤1将模型按张量连续索引划分为可比较的参数块,使通信预算比例能够按实际上传参数量占全局模型参数总量的比例进行控制;步骤4按更新范数密度选择上传对象,相较随机块传输优先上传单位通信量贡献更高的参数块;步骤5和步骤6仅在实际上传集合内学习并归一化块级聚合权重,相较传统联邦平均的单一客户端权重,能够表达不同无人机端在不同模型子空间中的差异化贡献;步骤7和步骤9通过未上传块保持及周期性全量同步,保证全局模型结构完整并降低部分参数块长期缺失带来的退化风险。
19、上述步骤1的具体内容是:服务器端对于全局模型中的任一参数张量,按照该参数张量的逻辑层位置、张量形状以及展平后的连续索引区间将其划分为 个参数块;其中, 表示参数张量编号, 表示张量内参数块序号, 表示第 个参数张量中的第个参数块:
20、当参数张量 的参数量大于预设参数量阈值 时,服务器端将其划分为多个连续 chunk 参数块;当参数张量 的参数量不大于预设参数量阈值 时,服务器端将其整体作为一个参数块。每个参数块由张量名称、起始索引、终止索引、原始张量形状和逻辑层位置共同标识。
21、上述步骤2具体内容是:在第 轮通信中,服务器端从 个无人机中选择参与训练的无人机集合 ,其中 表示当前轮次实际参与本地训练和模型更新上传的无人机集合,满足:
22、
23、其中, 表示参与比例。服务器端向集合 中的无人机发送当前全局模型参数以及统一的参数块划分规则。式中,表示集合的基数,表示向上取整。
24、上述步骤3具体内容是:无人机基于本地数据集 对接收到的全局模型参数wt进行本地训练,得到本地模型参数 ,并对第 个参数块计算更新量:
25、
26、其中, 表示无人机 本地训练后的第 个参数块, 表示第 轮通信开始时服务器端全局模型的第 个参数块。同一参数块在不同无人机之间具有相同索引和张量形状,不同参数块之间允许具有不同维度。
27、上述更新范数密度评分用于在通信预算比例约束内按单位参数量更新强度选择参数块,使无人机端上传内容与当前模型变化幅度相匹配,并避免随机参数块上传只降低通信量而无法区分更新价值的问题。
28、上述步骤4具体内容是:无人机 对第 个参数块计算更新范数密度评分:
29、
30、其中, 表示二范数, 表示第 个参数块的参数量, 为平滑常数。无人机端在通信预算比例约束下选择待上传参数块集合; 表示全局模型的参数块总数,的含义与表1中一致,所述集合满足:
31、
32、上述步骤5具体内容是:服务器端基于代理数据集 学习各参数块对应的无人机端级聚合权重。代理数据集 由公共无标签样本集合 与无人机端软标签蒸馏结果构成;为第 个公共无标签样本,为第 个无人机端在温度系数 下生成的软标签,为该无人机端的本地样本量, 为代理数据集样本数, 为融合得到的代理标签:
33、
34、服务器端将第 个参数块实际上传的无人机端集合定义为:
35、
36、其中, 为参数块上传指示变量。当无人机 上传第 个参数块时 ,否则。服务器端为每个参数块和无人机端设置未归一化可学习权重参数,其中表示实际上传集合 中的求和索引;服务器端仅在该集合内执行 归一化,得到:
37、
38、
39、该归一化方式用于避免先对全部参与无人机进行 后再乘以上传指示变量所造成的有效聚合步长缩小问题。为便于数值说明,以下省略参数块编号和通信轮次上标,以 λi 表示简化后的聚合权重,以 表示简化后的上传指示变量。例如 后权重为 [0.1,0.3,0.6],而上传指示变量为 [1,0,1] 时,若直接相乘得到 [0.1,0,0.6],其权重和为 0.7,会使聚合更新量被额外缩小。本发明在实际上传集合内重新归一化,使有效权重和保持为 1。式中,表示向量逐元素乘法。
40、
41、
42、上述步骤6具体内容是:服务器端采用更新量聚合方式对第 个参数块进行聚合,得到全局块更新量:
43、
44、并根据聚合更新稳定系数 更新全局模型中对应参数块:
45、
46、其中, 仅作用于聚合更新量,而不直接缩放模型参数本体。
47、通过仅在实际上传集合内进行归一化,同一参数块的有效聚合权重和保持为1,避免全部参与无人机端统一归一化后再乘以上传指示变量所造成的权重质量丢失和有效聚合步长缩小。
48、上述步骤7具体内容是:服务器端按照参数块划分规则中的张量名称、起始索引和终止索引,将各参数块的全局更新量填充回全局模型原始张量位置;对于当前通信轮次未被上传的参数块,服务器端保持上一轮全局模型中对应参数值不变,以保证全局模型结构完整。
49、上述步骤8具体内容是:服务器端将更新后的全局模型参数发送至参与下一通信轮次的无人机端,无人机端接收后替换本地保存的全局模型参数,并继续使用服务器端统一生成的参数块划分规则。
50、上述步骤9具体内容是:服务器端重复执行步骤2至步骤8,直至达到最大通信轮次,或相邻通信轮次的模型评价指标变化满足下式;其中,为第 轮的评价指标,为相应评价指标的变化阈值:
51、
52、当 取模型精度时, 取精度变化阈值 ;当 取代理损失时, 取代理损失变化阈值 。
53、与现有技术相比,本发明具有如下有益效果:第一,通过 chunk-wise 参数块划分,使通信预算比例能够按照实际上传参数量占全局模型参数总量的比例进行控制,适应低空无人机弱连接、低带宽和电量受限的上传条件;第二,通过在实际上传集合 内学习块级无人机聚合权重,使不同无人机在不同模型子空间中具有差异化贡献;第三,通过更新范数密度选择待上传参数块,在较低通信比例下优先上传高价值模型更新;第四,通过对上传集合内权重重新归一化,避免直接 后乘 mask 造成有效聚合步长小于预设步长的问题,从而提升强 non-iid 场景下的聚合稳定性。尤其需要说明的是,本发明的优势来自块划分、块选择、块级权重学习和周期性全量同步的协同作用,而不是其中任一单独环节;该协同作用使方法既能降低上传量,又能避免低空视觉 non-iid 条件下的整体权重失真。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com