面向异构工业厂区的能耗预测联邦迁移学习方法及系统

摘要: 本发明涉及工业能耗管理、联邦学习和迁移学习的,尤其涉及一种面向异构工业厂区的能耗预测联邦迁移学习方法及系统。背景技术:1、工业厂区能耗预测在需求侧管理、能效优化...
面向异构工业厂区的能耗预测联邦迁移学习方法及系统

本发明涉及工业能耗管理、联邦学习和迁移学习的,尤其涉及一种面向异构工业厂区的能耗预测联邦迁移学习方法及系统。

背景技术:

1、工业厂区能耗预测在需求侧管理、能效优化调度、碳排放核算及用能风险预警等应用场景中具有基础性地位。在集团化企业或工业园区中,通常分布有多个工业厂区。各厂区在长期生产运营过程中分别积累了与能耗直接相关的生产负荷、设备状态、环境条件及电气量测等多类数据。合理联合利用多个厂区所积累的数据资源,有助于提升能耗预测模型的泛化能力与预测精度。

2、然而,在工程实际中,各工业厂区的运行数据往往涉及生产工艺细节、设备负荷状态及经营管理信息等敏感内容,受数据安全要求、商业秘密保护及法律法规的合规约束,难以被集中汇聚至统一的数据平台。若仅依托单一厂区的本地数据训练预测模型,则易受历史样本规模有限、生产工况覆盖不全等因素限制,导致模型泛化能力不足。尤其是对于新建或完成改造的厂区,由于历史数据积累匮乏,还存在冷启动建模困难的问题。

3、联邦学习可在原始数据不出本地的约束下实现跨参与方的协同建模。然而,传统联邦平均方法通常要求各参与方具有一致的模型结构,且输入特征空间相互对齐。当不同工业厂区的量测点数量、特征维度及物理含义等存在差异时,直接应用传统联邦平均难以实现有效的参数共享。与此同时,受工艺类型、生产计划、环境条件及设备状态差异的影响,不同厂区间的能耗数据分布存在显著差异,容易诱发客户端漂移现象,进而造成全局模型与实际工况失配。

4、基于上述背景,亟需提出一种能够同时应对特征空间异构与数据分布异构的联邦迁移学习方法,使其在保证各厂区原始数据不出域的前提下,实现跨厂区能耗预测知识的有效迁移,并支持数据稀缺的新建厂区实现快速建模,以满足实际部署需求。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。

2、本发明的目的在于提供一种面向异构工业厂区的能耗预测联邦迁移学习方法及系统,通过本地特征适配、共享骨干网络联邦训练、表征充分统计量聚合和本地个性化预测,使特征维度、量测点配置及数据分布不同的工业厂区能够在不汇集原始能耗数据的条件下进行协同建模,并为跨厂区模型复用和新工业厂区冷启动提供共享参数基础。

3、具体的,本发明提供如下技术方案:面向异构工业厂区的能耗预测联邦迁移学习方法,应用于联邦学习系统,所述联邦学习系统包括中心服务器以及分布于m个工业厂区的边缘计算节点,m为大于或等于2的整数,各工业厂区分别部署有对应的边缘计算节点并保有本地能耗数据;所述方法包括:s1、各工业厂区分别构建能耗预测模型,所述能耗预测模型包括顺次连接的本地特征适配器、共享骨干网络和本地个性化预测头;所述本地特征适配器用于将本工业厂区的本地能耗特征映射为统一维度的共享表征,所述共享骨干网络用于依据所述共享表征生成隐层表征,所述本地个性化预测头用于依据所述隐层表征输出能耗预测值;其中,所述本地特征适配器和所述本地个性化预测头为厂区私有模块,所述共享骨干网络在各工业厂区之间联邦共享;s2、所述中心服务器确定本轮参与厂区集合并向各本轮参与厂区下发共享骨干网络参数;在已形成轮后全局表征均值和轮后全局表征协方差的通信轮中,还向各本轮参与厂区下发所述全局表征均值和所述全局表征协方差;s3、各本轮参与厂区基于本地能耗数据执行本地训练,以更新本地特征适配器、共享骨干网络本地副本和本地个性化预测头;本地训练的目标函数包括能耗预测损失项,并在接收到所述全局表征均值和所述全局表征协方差时还包括表征分布对齐项,用于约束训练小批量的表征均值及表征协方差与所述全局表征均值及所述全局表征协方差之间的差异;s4、完成本地训练后,各本轮参与厂区利用更新后的模型,对经去重后的有效样本窗口集合中的每一有效样本窗口分别执行一次前向计算,得到轮后有效表征数量ni、第一阶充分统计量si和第二阶充分统计量qi,并向所述中心服务器上传共享骨干网络本地副本或其相对本轮下发参数的参数更新量,以及所述ni、si和qi;其中,本地原始数据、本地特征适配器参数、本地个性化预测头参数及训练小批量的表征统计量均不予上传;s5、所述中心服务器聚合各本轮参与厂区上传的共享骨干网络本地副本或参数更新量,并分别聚合所述ni、si和qi,依据聚合结果计算更新后的共享骨干网络参数、全局表征均值和全局表征协方差;其中,按照μg=s1/s0计算全局表征均值、按照计算全局表征协方差,s0、s1和s2分别为各参与厂区ni、si和qi的聚合和,并对所述全局表征协方差执行对称化处理、将负特征值截断为零后再重构;s6、所述中心服务器判断是否满足预设终止条件;若不满足,则将更新后的共享骨干网络参数、全局表征均值和全局表征协方差下发至下一轮参与厂区并重复执行s3至s5;若满足,则得到各工业厂区训练完成的能耗预测模型;s7、各工业厂区利用训练完成的能耗预测模型输出本工业厂区在未来一个或多个时间间隔的能耗预测值,并提供给厂区用能管理系统以生成负荷预警信息、需量控制参数或用能调度输入。

4、具体的,各边缘计算节点分别维护与本厂区对应的本地特征字典;所述本地特征适配器为逐时间步共享参数的映射网络,按照所述本地特征字典接收每个时间步可获得的本地能耗特征向量,并将特征维度、量测点集合或特征物理含义不同的本地能耗特征映射为相同维度的共享表征,而无需在不同工业厂区之间建立原始特征字段的一一对应关系。

5、具体的,所述中心服务器将初始全局表征均值设置为与隐层表征维度相同的零向量,将初始全局表征协方差设置为对应阶数的单位矩阵,二者仅作为尚未形成轮后统计量时的占位初值;首轮本地训练不启用表征分布对齐,自首轮聚合形成轮后全局表征均值和轮后全局表征协方差后的下一通信轮起启用。

6、具体的,所述本地训练的目标函数还包括近端正则项,所述近端正则项根据所述共享骨干网络本地副本与本轮实际下发的共享骨干网络参数之间的差异确定;在全局聚合模式下,所述本轮实际下发的参数为全局共享骨干网络参数,在个性化聚合模式下为面向对应工业厂区生成的个性化共享骨干网络参数。

7、具体的,所述中心服务器按照各本轮参与厂区的轮后有效表征数量确定共享骨干网络聚合权重;当上传共享骨干网络本地副本时,按所述聚合权重对各本地副本加权求和;当上传参数更新量时,按所述聚合权重对各参数更新量加权求和并将所得结果施加于本轮下发的参数。

8、具体的,在个性化聚合模式下,所述中心服务器将任一需要获得个性化共享骨干网络参数的工业厂区确定为目标工业厂区,获取其最近一次携带通信轮次标识的有效轮后统计量,并根据所述目标工业厂区与各候选厂区的表征均值距离和表征协方差距离确定表征相似度;依据所述表征相似度和各候选厂区的轮后有效表征数量确定归一化权重,据此对共享骨干网络本地副本加权聚合,以生成面向所述目标工业厂区的个性化共享骨干网络参数,且所述归一化权重不用于全局充分统计量的聚合。

9、具体的,在厂区级差分隐私的全局安全聚合模式下,各本轮参与厂区按照预先确定且与私有训练数据取值无关的公开固定统计数量选择有效样本窗口,将经所述公开固定统计数量加权的共享骨干网络参数更新量、第一阶充分统计量及向量化后的第二阶充分统计量分别量化裁剪、分布式加噪和随机掩蔽后上传;所述中心服务器通过安全聚合仅获得三类带噪聚合和,并根据公开聚合分母计算私有化全局参数及各全局统计量;当诚实噪声贡献厂区数量低于预设最小数量时中止本轮聚合且不发布结果;该模式不执行依赖单个厂区表征统计量的个性化聚合。

10、具体的,还包括新工业厂区冷启动迁移步骤:当新工业厂区的有效样本窗口总数量低于预设数据阈值时,下载训练完成的共享骨干网络参数并冻结之,随机初始化其本地特征适配器和本地个性化预测头并以第一学习率训练;当固定验证集损失的相对变化量连续预设周期数低于预热阈值,或有效样本窗口总数量达到所述预设数据阈值时,解冻所述共享骨干网络并以小于所述第一学习率的第二学习率联合微调。

11、额外的,本发明还提供如下技术方案:面向异构工业厂区的能耗预测联邦迁移学习系统,包括中心服务器以及分别部署于m个工业厂区的边缘计算节点,m为大于或等于2的整数;各所述边缘计算节点被配置为构建包括顺次连接的本地特征适配器、共享骨干网络和本地个性化预测头的能耗预测模型,基于本地能耗数据训练所述能耗预测模型,利用训练后的模型对经去重的有效样本窗口执行前向计算以生成轮后有效表征数量、第一阶充分统计量和第二阶充分统计量,并上传共享骨干网络本地副本或参数更新量以及所述轮后有效表征数量、第一阶充分统计量和第二阶充分统计量;所述中心服务器被配置为向本轮参与厂区下发共享骨干网络参数,聚合各本轮参与厂区上传的共享骨干网络本地副本或参数更新量以及各充分统计量,根据聚合结果更新共享骨干网络参数并计算全局表征均值和全局表征协方差,以及根据预设终止条件控制迭代训练;各所述边缘计算节点还被配置为利用训练完成的能耗预测模型输出对应工业厂区在未来一个或多个时间间隔的能耗预测值。

12、具体的,所述中心服务器包括参与厂区调度模块、参数与统计量下发模块、聚合接收模块、共享骨干网络聚合模块、全局表征统计量计算模块和收敛判断模块;各所述边缘计算节点包括本地特征字典维护模块、本地训练模块、轮后充分统计量生成模块、上传模块和能耗预测模块;其中,本地原始数据、本地特征适配器参数、本地个性化预测头参数及训练小批量的表征统计量均保留在对应工业厂区,不上传至所述中心服务器。

13、与现有技术相比,本发明能够实现如下技术作用:

14、第一,通过本地特征适配器,将各厂区特征维度、量测点数量及物理含义不同的本地能耗特征,统一映射为共享骨干网络可接收的同维度共享表征,从而在不建立厂区间原始特征字段一一对应关系的前提下实现异构特征的协同利用;

15、第二,通过表征分布对齐项,并在启用时结合近端正则项,对非独立同分布条件下各厂区的本地更新施加约束,以抑制客户端漂移并缓解全局模型失配问题;

16、第三,通过本地个性化预测头,保留各工业厂区特有的本地预测关系,兼顾全局共享知识迁移与厂区本地特性适配;

17、第四,在启用厂区级差分隐私与安全聚合,且满足相应威胁模型、参与门限及隐私预算条件时,可有效降低单厂区上传内容被直接读取或反向推断的风险,增强方案的数据隐私保护能力;

18、第五,针对数据稀缺的新建厂区,通过先冻结共享骨干网络、训练本地模块,再联合微调的冷启动迁移策略,可复用已有共享骨干参数,促进新厂区快速完成建模。

19、需要说明的是,上述各技术作用的实际发挥程度受具体应用场景中的厂区数据规模、厂区间工况差异以及所设定的隐私参数等多种因素影响。本发明可通过平均绝对百分比误差(mape)、均方根误差(rmse)等指标对预测性能进行评价,但本领域技术人员应当理解,本发明的技术效果不应仅以特定精度增幅或数据量降幅作为必然评价依据,上述描述不构成对预测性能的限定性承诺。