一种基于联合学习的能源生态数据管理方法及系统与流程

1.本发明属于云计算技术领域，尤其涉及一种基于联合学习的能源生态数据管理方法及系统。


背景技术：

2.清洁能源技术是指在可再生能源及新能源、煤的清洁高效利用等领域开发的有效控制温室气体排放的新技术。清洁能源生态圈的企业单位，根据行业不同分为很多类型，比如用能客户，包括化工、食品、纺织、交通；也可以是供能用户，比如综合站、光伏站、供热站；还可以是管网用户，比如配电网、燃气管网、热网。对这些企业的能源数据进行智能化管理，实现资源的优化配置，打造良性发展的能源生态圈，是目前云计算领域一个重要课题。
3.但是，作为企业级物联数据，除了有各种能源设备的运行数据之外，还会有用户的负荷数据、企业经营数据、能源价格数据以及第三方数据等。每一类数据都是具有极强的隐私性，因此用户都不愿意将数据随意共享，这就有了联合学习的应用诉求。但是，目前还没有一种基于联合学习的能源生态服务方案。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种基于联合学习的能源生态数据管理方法及系统，以解决现有技术中能源企业的设备运行数据具有极强的隐私性，用户都不愿意将数据随意共享，不利于能源生态圈良性发展的问题。
5.本发明实施例的第一方面提供了一种基于联合学习的能源生态数据管理方法，包括：
6.s1、获取非共享本地数据；
7.s2、确定所述非共享本地数据所对应的本地设备属性；
8.s3、根据所述本地设备属性，利用所述非共享本地数据进行联合学习模型训练；
9.s4、根据所述联合学习模型训练结果，建立联合学习全局模型；
10.s5、将所述联合学习全局模型上传至需求设备。
11.进一步的，所述获取非共享本地数据之前，还建立包括非共享本地数据与本地设备属性之间映射关系的数据库；所述获取非共享本地数据通过本地设备上的传感器获取，实时获取所述非共享本地数据后，通过与所述数据库匹配得到本地设备属性。
12.进一步的，所述根据所述本地设备属性，利用所述非共享本地数据进行联合学习模型训练，包括：
13.根据所述本地设备属性，对所述非共享本地数据进行分类；
14.根据所述分类进行联合学习模型训练，以得到至少一个类别的本地联合学习模型训练结果。
15.进一步的，所述根据所述联合学习模型训练结果，建立联合学习全局模型，具体为：根据所述联合学习模型训练结果，在云端通过联合学习引擎框架，将本地模型中的参数
进行平均或者加权平均，建立联合学习全局模型。
16.进一步的，将所述联合学习全局模型上传至需求设备后，还包括：联合学习全局模型中随着新用户数据不断加入更新，将更新的用户数据进行本地目标模型训练，同时训练后的新的本地模型的参数再进行平均或者加权平均，不断迭代建立新的联合学习全局模型，最后联合学习全局模型沉淀在云端后上传至需求设备。
17.本发明实施例的第二方面提供了一种基于联合学习的能源生态数据管理系统，包括：
18.本地设备属性获取模块，用于获取非共享本地数据，同时确定所述非共享本地数据所对应的本地设备属性；
19.本地模型训练模块，用于根据所述本地设备属性，利用所述非共享本地数据进行联合学习模型训练；
20.全局模型建立模块，用于根据所述联合学习模型训练结果，建立联合学习全局模型；
21.全局模型上传模块，用于将所述联合学习全局模型上传至需求设备。
22.进一步的，所述本地设备属性获取模块获取非共享本地数据之前，还建立包括非共享本地数据与本地设备属性之间映射关系的数据库；所述获取非共享本地数据通过本地设备上的传感器获取，实时获取所述非共享本地数据后，通过与所述数据库匹配得到本地设备属性。
23.进一步的，所述全局模型建立模块根据所述联合学习模型训练结果，建立联合学习全局模型，具体为：根据所述联合学习模型训练结果，在云端通过联合学习引擎框架，将本地模型中的参数进行平均或者加权平均，建立联合学习全局模型。
24.本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于联合学习的能源生态数据管理方法的步骤。
25.本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于联合学习的能源生态数据管理方法的步骤。
26.本发明实施例与现有技术相比存在的有益效果是：
27.本发明以联合学习的方式，每个用户自己在本地进行模型训练，将模型参数上传至云端进行联合训练，进而产生一系列联合学习的全局模型。随着这些联合训练全局模型不断增多，逐步将模型沉淀在云端，以统一的标准接口方式，提供给清洁能源生态圈的用户，实现能源数据共享，有利于实现资源的优化配置，打造良性发展的能源生态圈。
附图说明
28.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
29.图1是本发明实施例提供的基于联合学习的能源生态数据管理系统具体架构图；
30.图2是本发明实施例提供的系统原理架构图；
31.图3是本发明实施例提供的方法流程图；
32.图4是本发明实施例提供的联合学习应用的示例图；
33.图5是本发明实施例提供的终端设备的示意图。
具体实施方式
34.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
35.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
36.实施例1
37.如图1、3、4所示，本实施例提供了一种基于联合学习的能源生态数据管理方法，包括：
38.s1、获取非共享本地数据，这些非共享本地数据为能源生态类数据，主要通过设备(比如空调设备、照明设备、空压机)上的各类传感器获取，至少包括：设备运行数据、用户负荷数据、企业经营数据、能源价格数据、第三方
39.外部数据；如图4所示，其中：
40.设备运行数据包括设备属性数据、设备运行数据(设备能效曲线、开关机状态、流量、温度等)、设备故障维修(包括故障报警记录、维修维护数据、维修费用数据)；
41.用户负荷数据包括用户用能量(比如用电、用气、用冷、用热的数据)、用户负荷曲线(用能行为数据、用能规律数据)；
42.企业经营数据，包括各泛能日、月、年收益盈亏数据，经营报表数据；
43.能源价格数据，包括购买能源的价格，比如电价、气价、水价等，能源产出售卖价格、合同价格、能源交易价格；
44.第三方外部数据，比如天气数据(温度、湿度、季节变化)，建筑能耗数据(建筑材料、结构、换热系数)，客流量数据，比如航班、客流数据。
45.如图1所示，图中自底向上看，最下面的是能源物理世界，上述硬件数据可以是各种能源设备设施的硬件(锅炉、空调设备、照明设备、配电系统、空压机、电制冷机等泛能站的能源设备设施)接入的设备运行数据，也可以是设备运行的物理参数通过传感器采集的数据，比如温度、压力、流量。这些物理世界的设备，按照一定的物联标准(cim标准)，将数据统一接入数据平台，数据通过4g网关、泛能盒子、xcm软网关传送到数据平台，可以对其进行统一的元数据管理、图模一体化的仿真管理等，方便数据的使用方按照统一的能源数据标准使用数据。
46.s2、确定非共享本地数据所对应的本地设备属性，在获取非共享本地数据之前，还建立包括非共享本地数据与本地设备属性之间映射关系的数据库，实时获取所述非共享本地数据后，通过与所述数据库匹配得到本地设备属性。设备的属性是指设备的规格、型号、技术参数等能与其他设备明显区别的特性，建立设备属性、非共享本地数据和二者映射关系的数据库，实现了设备属性与非共享本地数据一一对应。
47.s3、根据本地设备属性，利用非共享本地数据进行联合学习模型训练，具体为根据本地设备属性，对上述非共享本地数据进行分类，再根据分类进行联合学习模型训练，以得到至少一个类别的本地联合学习模型训练结果。如图1 所示，数据中台对目标数据进行本地模型训练时，数据中台对硬件数据提供以下数据服务：cim标准及元数据管理，至少包括模型管理、元数据管理、图模库管理、仿真管理；大数据计算，至少包括实时计算、离线计算、数据仓库、数据可视化；数据服务管理，至少包括服务注册、服务监控、服务发现、服务治理；
48.s4、根据上述联合学习模型训练结果，建立联合学习全局模型，具体为根据联合学习模型训练结果，在云端通过联合学习引擎框架，将本地模型中的参数进行平均或者加权平均，建立联合学习全局模型。如图1所示，本实施例给出了能源行业应用的联合学习全局模型包括综合能源运行优化模型、综合能源规划优化模型、电力交易策略优化模型、负荷/产能预测模型、设备故障诊断模型、设备预测性维护模型。联合学习引擎包括联合学习框架设计、分布式异常处理、边云协同通讯协议、联合策略、安全策略、聚合策略、引擎控制，通过联合学习引擎实现对通信逻辑和通信协议的管理。联合学习引擎还包括算法组件模块，包括基础模型训练组件、应用性模型组件，其中基础模型训练组件包括数据加载模块、通用模型训练模块、模型评估组件，应用性模型组件包括优化类模型组件、预测类模型组件、运维类模型组件。
49.s5、将联合学习全局模型上传至需求设备。联合学习全局模型中随着新用户数据不断加入更新，将更新的用户数据进行本地目标模型训练，同时训练后的新的本地模型的参数再进行平均或者加权平均，不断迭代建立新的联合学习全局模型，最后联合学习全局模型沉淀在云端后上传至需求设备。
50.上述对目标进行本地模型训练和建立联合学习全局模型时采用各种基础统计算法、机器学习算法、深度学习算法，基础统计算法包括方差分析、置信区间、假设验证，机器学习算法包括分类、回归、聚类，深度学习算法包括cnn、 rnn深度学习算法；并基于联合学习全局模型封装一系列算法服务api，来让用户与联合学习引擎进行交互，并利用联合学习引擎去实现业务场景应用。
51.联合学习过程中服务器不能收集数据，但是可以收集模型的参数，服务器协调边缘设备参与训练，每个边缘设备都有训练数据。每个边缘设备都利用自己的数据训练一个本地模型，将自己的参数加密传或者不加密上传给服务器，服务器通过将收集上来的参数进行平均或者加权平均，形成能源行业应用的联合学习全局模型。广播给每个边缘设备。比如，先用边缘设备下载当前的模型，然后用手机上的数据训练这个模型，之后所有的改变都会总结为一个小的更新。最后，只有这个更新会被传到云端(使用加密通信的方式)，并立即就与其他用户的更新合在一起平均化，然后改善共享的模型。所有的训练数据都保留在边缘设备上，训练数据和数据模型不出本地，云端也不会存储单独的更新。
52.如图4所示，本实施例的工作原理是：
53.如图，自下往上看，下面是能源用户数据，作为企业级物联数据，除了有各种能源设备的运行数据之外，还会有用户的负荷数据、企业经营数据、能源价格数据以及第三方数据等。每一类数据都是具有极强的隐私性，因此用户都不愿意将数据随意共享，这就有了联合学习的应用诉求。
54.为了能够在不共享本地业务数据的前提下，获得效果更好的模型，指导企业的智
慧化管理运维。就通过联合学习的方式，每个用户自己在本地进行模型训练，将模型参数上传至云端进行联合训练，进而产生一系列联合学习的全局模型。
55.随着这些联合训练全局模型不断增多，逐步将模型沉淀在云端，以统一的标准接口方式，提供给清洁能源生态圈的客户。可以是用能客户，比如化工、食品、纺织、交通；也可以是供能用户，比如综合站、光伏站、供热站；还可以是管网用户，比如配电网、燃气管网、热网。
56.实施例2
57.如图1、2所示，本实施例提供了一种基于联合学习的能源生态数据管理系统，包括：
58.设置在iaas层的本地设备属性获取模块101(即物联中台)，将能源设施设备的硬件数据统一接入数据平台，对硬件数据进行统一的元数据管理、图模一体化的仿真管理。如图1所示，图中自底向上看，最下面的是能源物理世界，上述硬件数据可以是各种能源设备设施的硬件(锅炉、空调设备、照明设备、配电系统、空压机、电制冷机等泛能站的能源设备设施)接入的设备运行数据，也可以是设备运行的物理参数通过传感器采集的数据，比如温度、压力、流量。这些物理世界的设备，按照一定的物联标准(cim标准)，将数据统一接入数据平台，数据通过4g网关、泛能盒子、xcm软网关传送到数据平台，可以对其进行统一的元数据管理、图模一体化的仿真管理等，方便数据的使用方按照统一的能源数据标准使用数据。
59.设置在paas层的本地模型训练模块102(即数据中台)、全局模型建立模块103(即人工智能中台)，本地模型训练模块102用于将目标数据进行本地目标模型训练，以得到至少一个类别的目标模型，具体为使用联合学习的方式对目标数据进行本地目标模型训练。如图1所示，数据中台对目标数据进行本地模型训练时，数据中台沉淀硬件数据，数据中台提供以下数据服务：cim标准及元数据管理，至少包括模型管理、元数据管理、图模库管理、仿真管理；大数据计算，至少包括实时计算、离线计算、数据仓库、数据可视化；数据服务管理，至少包括服务注册、服务监控、服务发现、服务治理；人工智能中台，对数据中台处理后的硬件数据进行联合学习训练，形成联合学习全局模型；
60.全局模型建立模块103(即人工智能中台)，用于根据上述目标模型，建立联合学习全局模型，具体为在云端通过联合学习引擎框架建立联合学习全局模型，随着新用户数据加入不断增多，逐步将联合训练全局模型沉淀在云端后上传至需求设备。如图1所示，本实施例给出了能源行业应用的联合学习全局模型包括综合能源运行优化模型、综合能源规划优化模型、电力交易策略优化模型、负荷/产能预测模型、设备故障诊断模型、设备预测性维护模型。联合学习引擎包括联合学习框架设计、分布式异常处理、边云协同通讯协议、联合策略、安全策略、聚合策略、引擎控制，通过联合学习引擎实现对通信逻辑和通信协议的管理。联合学习引擎还包括算法组件模块，包括基础模型训练组件、应用性模型组件，其中基础模型训练组件包括数据加载模块、通用模型训练模块、模型评估组件，应用性模型组件包括优化类模型组件、预测类模型组件、运维类模型组件。
61.设置在saas层的全局模型上传模块104(即清洁能源生态客户端)，用于与联合学习引擎进行交互，并利用联合学习引擎去实现业务场景应用。
62.其中，iaas、paas和saas是云计算的三种服务模式，具体分析如下：
63.1.saas：software-as-a-service(软件即服务)提供给客户的服务是运营商运行
在云计算基础设施上的应用程序，用户可以在各种设备上通过客户端界面访问，如浏览器。消费者不需要管理或控制任何云计算基础设施，包括网络、服务器、操作系统、存储等等；
64.2.paas：platform-as-a-service(平台即服务)提供给消费者的服务是把客户采用提供的开发语言和工具(例如java，python,.net等)开发的或收购的应用程序部署到供应商的云计算基础设施上去。客户不需要管理或控制底层的云基础设施，包括网络、服务器、操作系统、存储等，但客户能控制部署的应用程序，也可能控制运行应用程序的托管环境配置；
65.3.iaas：infrastructure-as-a-service(基础设施即服务)提供给消费者的服务是对所有计算基础设施的利用，包括处理cpu、内存、存储、网络和其它基本的计算资源，用户能够部署和运行任意软件，包括操作系统和应用程序。消费者不管理或控制任何云计算基础设施，但能控制操作系统的选择、存储空间、部署的应用，也有可能获得有限制的网络组件(例如路由器、防火墙、负载均衡器等)的控制。
66.上述对目标进行本地模型训练和建立联合学习全局模型时采用各种基础统计算法、机器学习算法、深度学习算法，基础统计算法包括方差分析、置信区间、假设验证，机器学习算法包括分类、回归、聚类，深度学习算法包括cnn、 rnn深度学习算法；并基于联合学习全局模型封装一系列算法服务api，来让用户与联合学习引擎进行交互，并利用联合学习引擎去实现业务场景应用。
67.联合学习过程中服务器不能收集数据，但是可以收集模型的参数，服务器协调边缘设备参与训练，每个边缘设备都有训练数据。每个边缘设备都利用自己的数据训练一个本地模型，将自己的参数加密传或者不加密上传给服务器，服务器通过将收集上来的参数进行平均或者加权平均，形成能源行业应用的联合学习全局模型。广播给每个边缘设备。比如，先用边缘设备下载当前的模型，然后用手机上的数据训练这个模型，之后所有的改变都会总结为一个小的更新。最后，只有这个更新会被传到云端(使用加密通信的方式)，并立即就与其他用户的更新合在一起平均化，然后改善共享的模型。所有的训练数据都保留在边缘设备上，训练数据和数据模型不出本地，云端也不会存储单独的更新。
68.如图4所示，本实施例的工作原理是：
69.如图，自下往上看，下面是能源用户数据，作为企业级物联数据，除了有各种能源设备的运行数据之外，还会有用户的负荷数据、企业经营数据、能源价格数据以及第三方数据等。每一类数据都是具有极强的隐私性，因此用户都不愿意将数据随意共享，这就有了联合学习的应用诉求。
70.为了能够在不共享本地业务数据的前提下，获得效果更好的模型，指导企业的智慧化管理运维。就通过联合学习的方式，每个用户自己在本地进行模型训练，将模型参数上传至云端进行联合训练，进而产生一系列联合学习的全局模型。
71.随着这些联合训练全局模型不断增多，逐步将模型沉淀在云端，以统一的标准接口方式，提供给清洁能源生态圈的客户。可以是用能客户，比如化工、食品、纺织、交通；也可以是供能用户，比如综合站、光伏站、供热站；还可以是管网用户，比如配电网、燃气管网、热网。
72.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限
定。
73.图5是本发明一实施例提供的终端设备的示意图。如图5所示，该实施例的终端设备6包括：处理器60、存储器61以及存储在存储器61中并可在处理器60上运行的计算机程序62，例如联合学习训练程序。处理器60执行计算机程序62时实现上述各个基于联合学习的能源生态数据管理方法实施例中的步骤，例如图1所示的步骤101至104。或者，处理器60执行计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块51至54的功能。
74.示例性的，计算机程序62可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器61中，并由处理器60执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序62在终端设备6中的执行过程。例如，计算机程序62可以被分割成同步模块、汇总模块、获取模块、返回模块(虚拟装置中的模块)，各模块具体功能如下：
75.终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图5仅仅是终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
76.所称处理器60可以是中央处理单元(central processing unit，cpu)，还可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列 (field-programmable gate array，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
77.存储器61可以是终端设备6的内部存储单元，例如终端设备6的硬盘或内存。存储器61也可以是终端设备6的外部存储设备，例如终端设备6上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital, sd)卡，闪存卡(flash card)等。进一步地，存储器61还可以既包括终端设备6的内部存储单元也包括外部存储设备。存储器61用于存储计算机程序以及终端设备所需的其它程序和数据。存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
78.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
79.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
80.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
81.在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
82.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
83.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
84.集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
85.以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。