一种适用于配电网分布式数据存储的模型统合方法与流程

1.本发明涉及配网信息处理技术领域，并且更具体地，涉及一种适用于配电网分布式数据存储的模型统合方法及系统。


背景技术：

2.近几年，几乎所有行业都受到大数据的影响，数据已经成为决定下一步行动方案的关键。随着5g技术、互联网技术的快速发展，把数据作为连接枢纽，成为工业级互联网应用的基础，面向分布式的数据处理技术的应用在各行各业中都得到了广泛的认同，包括金融服务、网络监控、电信数据管理、web应用、生产制造、传感检测等等。在大数据平台建设与大数据分析过程中，计算资源的有限使用、场景化建设需要专业化的设计与开发能力等因素，导致数据业务应用的快速响应效率较低。


技术实现要素：

3.本发明提出一种适用于配电网分布式数据存储的模型统合方法及系统，以解决如何确定总部节点的全局模型的问题。
4.为了解决上述问题，根据本发明的一个方面，提供了一种适用于配电网分布式数据存储的模型统合方法，所述方法包括：
5.确定总部和下级单位的拓扑结构，并在总部搭建总部节点，在下级单位部署代理agent节点；
6.总部节点下发全局模型和模型信息至每个下级单位对应的agent节点；
7.每个agent节点对所述全局模型进行训练，并计算训练前后参数的差值，并将所述差值返回至总部节点；
8.总部节点对所有agent节点返回的差值进行聚合，以重新确定全局模型；
9.对所述重新确定的全局模型进行评估，计算所述重新确定的全局模型的准确率与损失函数；
10.若所述准确率与损失函数满足预设准确定率阈值和损失函数阈值，则确定所述重新确定的全局模型为最优全局模型。
11.优选地，其中所述总部节点和每个agent节点基于uep通道进行数据交互；
12.所述模型信息包括：模型名称、节点信息、全局迭代次数、本地模型训练迭代次数和本地训练的样本数。
13.优选地，其中所述每个agent节点对所述全局模型进行训练，并计算训练前后参数的差值，包括：
14.每个agent节点将获取的全局模型覆盖本地模型，并进行模型训练，在过程使用交叉熵损失函数公式计算交叉熵误差，并使用梯度下降算法求解参数，计算差值；
15.其中，所述交叉熵损失函数公式包括：
[0016][0017]
其中，l为交叉熵误差；m为类别数量，y
ic
为符号函数0或1，如果样本i的真实类别等于c，则取1，否则取0，p
ic
为观测样本i属于类别c的预测概率。
[0018]
优选地，其中所述总部节点对所有agent节点返回的差值进行聚合，以重新确定全局模型，包括：
[0019]
总部节点对每个agent节点的返回值使用fedavg算法，利用公式进行聚合，以重新确定全局模型；其中，g
t
表示第t轮更新的全局模型参数，表示第i个agent节点在第t 1轮本地更新后的模型。
[0020]
优选地，其中所述对所述重新确定的全局模型进行评估，计算所述重新确定的全局模型的准确率与损失函数，包括:
[0021]
总部节点聚合所有的损失cross_entropy交叉熵函数计算损失，获取最大的对数概率的索引值，根据最大的对数概率的索引值在所有预测结果中选择可能性最大的作为最终的分类结果，统计预测结果与真实标签的匹配总数，根据匹配总数计算当前的全局模型的准确值与损失率。
[0022]
根据本发明的另一个方面，提供了一种适用于配电网分布式数据存储的模型统合系统，所述系统包括：
[0023]
拓扑结构确定单元，用于确定总部和下级单位的拓扑结构，并在总部搭建总部节点，在下级单位部署代理agent节点；
[0024]
模型下发单元，用于总部节点下发全局模型和模型信息至每个下级单位对应的agent节点；
[0025]
训练单元，英语每个agent节点对所述全局模型进行训练，并计算训练前后参数的差值，并将所述差值返回至总部节点；
[0026]
聚合单元，用于总部节点对所有agent节点返回的差值进行聚合，以重新确定全局模型；
[0027]
评估单元，用于对所述重新确定的全局模型进行评估，计算所述重新确定的全局模型的准确率与损失函数；
[0028]
最优全局模型确定单元，用于若所述准确率与损失函数满足预设准确定率阈值和损失函数阈值，则确定所述重新确定的全局模型为最优全局模型。
[0029]
优选地，其中所述总部节点和每个agent节点基于uep通道进行数据交互；
[0030]
所述模型信息包括：模型名称、节点信息、全局迭代次数、本地模型训练迭代次数和本地训练的样本数。
[0031]
优选地，其中所述训练单元，每个agent节点对所述全局模型进行训练，并计算训练前后参数的差值，包括：
[0032]
每个agent节点将获取的全局模型覆盖本地模型，并进行模型训练，在过程使用交叉熵损失函数公式计算交叉熵误差，并使用梯度下降算法求解参数，计算差值；
[0033]
其中，所述交叉熵损失函数公式包括：
[0034][0035]
其中，l为交叉熵误差；m为类别数量，y
ic
为符号函数0或1，如果样本i的真实类别等于c，则取1，否则取0，p
ic
为观测样本i属于类别c的预测概率。
[0036]
优选地，其中所述聚合单元，总部节点对所有agent节点返回的差值进行聚合，以重新确定全局模型，包括：
[0037]
总部节点对每个agent节点的返回值使用fedavg算法，利用公式进行聚合，以重新确定全局模型；其中，g
t
表示第t轮更新的全局模型参数，表示第i个agent节点在第t 1轮本地更新后的模型。
[0038]
优选地，其中所述评估单元，对所述重新确定的全局模型进行评估，计算所述重新确定的全局模型的准确率与损失函数，包括:
[0039]
总部节点聚合所有的损失cross_entropy交叉熵函数计算损失，获取最大的对数概率的索引值，根据最大的对数概率的索引值在所有预测结果中选择可能性最大的作为最终的分类结果，统计预测结果与真实标签的匹配总数，根据匹配总数计算当前的全局模型的准确值与损失率。
[0040]
本发明提供了一种适用于配电网分布式数据存储的模型统合方法及系统，包括：确定总部和下级单位的拓扑结构，并在总部搭建总部节点，在下级单位部署代理agent节点；总部节点下发全局模型和模型信息至每个下级单位对应的agent节点；每个agent节点对所述全局模型进行训练，并计算训练前后参数的差值，并将所述差值返回至总部节点；总部节点对所有agent节点返回的差值进行聚合，以重新确定全局模型；对所述重新确定的全局模型进行评估，计算所述重新确定的全局模型的准确率与损失函数；若所述准确率与损失函数满足预设准确定率阈值和损失函数阈值，则确定所述重新确定的全局模型为最优全局模型。通过本发明的方法能够构建一体化算法的广域分布式计算体系，打造灵活高效的下沉计算平台，支撑运检、营销、调度等专业的深度融合，实现电力系统业务的分析与管控，全面提升公司整体的供电服务能力与水平。
附图说明
[0041]
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
[0042]
图1为根据本发明实施方式的适用于配电网分布式数据存储的模型统合方法100的流程图；
[0043]
图2为根据本发明实施方式的总部和下级单位交互的系统图；
[0044]
图3为根据本发明实施方式的agent节点模型训练的流程图；
[0045]
图4为根据本发明实施方式的总部节点模型整合的流程图；
[0046]
图5为根据本发明实施方式的参数聚合的流程图；
[0047]
图6为根据本发明实施方式的模型评估的流程图；
[0048]
图7为根据本发明实施方式的适用于配电网分布式数据存储的模型统合系统700的结构示意图。
具体实施方式
[0049]
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
[0050]
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
[0051]
图1为根据本发明实施方式的适用于配电网分布式数据存储的模型统合方法100的流程图。如图1所示，本发明提供了一种适用于配电网分布式数据存储的模型统合方法，能够构建一体化算法的广域分布式计算体系，打造灵活高效的下沉计算平台，支撑运检、营销、调度等专业的深度融合，实现电力系统业务的分析与管控，全面提升公司整体的供电服务能力与水平。本发明实施方式提供的适用于配电网分布式数据存储的模型统合方法100，从不步骤101处开始，在步骤101确定总部和下级单位的拓扑结构，并在总部搭建总部节点，在下级单位部署代理agent节点。
[0052]
在步骤102，总部节点下发全局模型和模型信息至每个下级单位对应的agent节点。
[0053]
优选地，其中所述总部节点和每个agent节点基于uep通道进行数据交互；
[0054]
所述模型信息包括：模型名称、节点信息、全局迭代次数、本地模型训练迭代次数和本地训练的样本数。
[0055]
本发明通过云大物移智技术，基于“搬计算、不搬数据”的理念，建立了泛在互联大数据技术框架，构建了纵向贯通、横向连通、物联畅通的广域分布式下沉计算三层架构，通过“点-拖-拉-拽算法成、算-分-挖-传结果现”的建设思路，实现了专业数据深度融合、深入挖掘、跨域分析的快速处理，通过人工智能算法与专业算法的加持，提升城市电网的管理能力、问题处理水平以及分析决策手段。
[0056]
结合图2所示，由于电网场景下，数据离散分布于多个省(即下级单位)，每个省的数据中心对各省数据进行集合。根据目前广域分布式下沉计算的规划，将每个省作为离散的训练节点，利用各省公司服务器集群作为计算资源。在总部搭建总部节点，负责下发公共模型和聚合节点上传的模型。在各省部署agent节点，以各省的服务器资源作为算力，总部节点通过uep通道下发公共模型和操作指令，然后agent节点按大数据的api提交到大数据平台。agent节点以大数据平台的数据对下发的公共模型进行训练。最后将各agent节点训练出模型的参数更新梯度通过uep通道回传到总部节点，总部节点定义聚合函数，对各个agent节点返回的模型进行聚合，计算出平均梯度，更新的总部节点的全局模型。总部节点定义评估函数，对新生成的全局模型评估其模型性能，若性能不达标则重新执行模型下发至各省agent节点训练再返回参数差值的操作，直至收敛。
[0057]
在本发明的实施方式中，总部节点配置模型下的模型信息，包括：模型名称、节点信息、全局迭代次数、本地模型训练迭代次数和本地训练的样本数等信息。然后，总部节点下发全局模型和模型信息至各个下级单位对应的agent节点。
[0058]
在步骤103，每个agent节点对所述全局模型进行训练，并计算训练前后参数的差值，并将所述差值返回至总部节点。
[0059]
优选地，其中所述每个agent节点对所述全局模型进行训练，并计算训练前后参数的差值，包括：
[0060]
每个agent节点将获取的全局模型覆盖本地模型，并进行模型训练，在过程使用交叉熵损失函数公式计算交叉熵误差，并使用梯度下降算法求解参数，计算差值；
[0061]
其中，所述交叉熵损失函数公式包括：
[0062][0063]
其中，l为交叉熵误差；m为类别数量，y
ic
为符号函数0或1，如果样本i的真实类别等于c，则取1，否则取0，p
ic
为观测样本i属于类别c的预测概率。
[0064]
结合图3所示，在本发明的实施方式中，agent节点模型训练的过程包括：agent节点将总部节点下发的全局模型覆盖本地模型，然后开始训练模型，包括：使用sgd函数定义最优化函数器用于本地模型训练，重置下降梯度，向前传播计算预测至，利用交叉熵损失函数计算交叉熵误差，并基于反向传播计算梯度，更新参数，并计算训练前后的差值，再将差值返回到总部节点；其中m为类别数量，y
ic
为符号函数0或1，如果样本i的真实类别等于c取1，否则取0，p
ic
为观测样本i属于类别c的预测概率。
[0065]
在步骤104，总部节点对所有agent节点返回的差值进行聚合，以重新确定全局模型。
[0066]
优选地，其中所述总部节点对所有agent节点返回的差值进行聚合，以重新确定全局模型，包括：
[0067]
总部节点对每个agent节点的返回值使用fedavg算法，利用公式进行聚合，以重新确定全局模型；其中，g
t
表示第t轮更新的全局模型参数，表示第i个agent节点在第t 1轮本地更新后的模型。
[0068]
结合图4和图5所示，在本发明的实施方式中，总部节点模型训练时，总部节点对各agent节点的返回值使用fedavg算法进行聚合，其中g
t
表示第t轮更新的全局模型参数，表示第i个客户端在第t 1轮本地更新后的模型。
[0069]
在步骤105，对所述重新确定的全局模型进行评估，计算所述重新确定的全局模型的准确率与损失函数。
[0070]
优选地，其中所述对所述重新确定的全局模型进行评估，计算所述重新确定的全局模型的准确率与损失函数，包括:
[0071]
总部节点聚合所有的损失cross_entropy交叉熵函数计算损失，获取最大的对数概率的索引值，根据最大的对数概率的索引值在所有预测结果中选择可能性最大的作为最终的分类结果，统计预测结果与真实标签的匹配总数，根据匹配总数计算当前的全局模型的准确值与损失率。
[0072]
在步骤106，若所述准确率与损失函数满足预设准确定率阈值和损失函数阈值，则
确定所述重新确定的全局模型为最优全局模型。
[0073]
结合图6所示，在本发明的实施方式中，最后总部节点对聚合后的全局模型进行训练评估，聚合所有的损失cross_entropy交叉熵函数计算损失，获取最大的对数概率的索引值，即在所有预测结果中选择可能性最大的作为最终的分类结果，统计预测结果与真实标签target的匹配总数，并根据匹配总数计算模型准确值与损失率。若不达标则重复步骤二。
[0074]
配电网广域分布式下沉计算系统，已经开始在电网公司全面推广应用，应用效果良好。配电网广域分布式下沉计算系统，构建了总部下沉管控节点与省级下沉计算节点两级架构。本发明的方法主要应用于图形化建模平台，通过配电网广域分布式下沉计算系统，总部在图形化建模平台上创建算法任务，并下发至省公司，由省公司的计算资源进行算法的执行，训练模型。通过该方法，总部无需将全国27个省公司的全部数据进行集中，极大降低了总部的计算资源与数据存储资源的消耗。同时基于“搬计算、不搬数据”的理念，建立了泛在互联大数据技术框架，构建了纵向贯通、横向连通、物联畅通的广域分布式下沉计算三层架构，使得总部可以直接贯通到底层数据，确保了各项数据指标的可靠性。
[0075]
总部下沉管控节点：一是构建总部级配电网运营管控平台，形成“运行管控、问题分析、综合研判、协同指挥、过程督办、绩效评估”的闭环流程，实现数据驱动业务的创新发展和效率提升，全面推动工作方式和生产管理模式的革新；二是研发大数据分析建模工具，采用图形化方式构建配电网专业算法模型，依托省级大数据平台实现动态算法下发与就地业务计算，并将结果返回总部级下沉计算平台，为总部级配电网运营管控平台提供数据基础，满足“搬计算、不搬数据”的要求。
[0076]
省级下沉计算节点：构建下沉计算agent节点，接收总部节点下沉的算法模型，进行算法解析与计算调度，充分利用省级大数据平台的存储与计算资源，进行大数据计算分析，将计算结果回馈至总部节点。
[0077]
本发明的关键技术在于对整个基于大数据的任务通过自主研发的工作流引擎进行了统一的串接和管理，与各个省的大数据组件协调和配合，并结合多省市远程并行下发的技术，对全国的电力数据在短暂的时间内进行快速的提取和对比分析。相当于在各个省市具有丰富资源的的大数据集群之上快速计算出本省的电力数据状况，然后系统基于各省市的大数据平台计算结果进行了更高一层的分布式的建模与分析，有助于实行联邦式机器学习算法的开发和应用，在联邦学习技术上可以在避免行业竞争、隐私安全的、行政手续复杂等情况下对分散在各地、各个机构的数据进行整合，并联合多个参与者的不同数据进行联邦学习，提取出整体的数据特性与规律。
[0078]
本发明通过广域分布下沉计算系统，将针对国网全电网范围的机器学习任务拆分到多个个下级单位执行，由uep通道连接总部与各省公司节点，凭借各省公司的服务器资源和大数据中心的数据存储，构建一体化算法的广域分布式计算体系，打造灵活高效的下沉计算平台，支撑运检、营销、调度等专业的深度融合，实现电力系统业务的分析与管控，全面提升公司整体的供电服务能力与水平。
[0079]
图7为根据本发明实施方式的适用于配电网分布式数据存储的模型统合系统700的结构示意图。如图7所示，本发明实施方式提供的适用于配电网分布式数据存储的模型统合系统700，包括：拓扑结构确定单元701、模型下发单元702、训练单元703、聚合单元704、评估单元705和最优全局模型确定单元706。
[0080]
优选地，所述拓扑结构确定单元701，用于确定总部和下级单位的拓扑结构，并在总部搭建总部节点，在下级单位部署代理agent节点。
[0081]
优选地，所述模型下发单元702，用于总部节点下发全局模型和模型信息至每个下级单位对应的agent节点。
[0082]
优选地，其中所述总部节点和每个agent节点基于uep通道进行数据交互；
[0083]
所述模型信息包括：模型名称、节点信息、全局迭代次数、本地模型训练迭代次数和本地训练的样本数。
[0084]
优选地，所述训练单元703，英语每个agent节点对所述全局模型进行训练，并计算训练前后参数的差值，并将所述差值返回至总部节点。
[0085]
优选地，其中所述训练单元703，每个agent节点对所述全局模型进行训练，并计算训练前后参数的差值，包括：
[0086]
每个agent节点将获取的全局模型覆盖本地模型，并进行模型训练，在过程使用交叉熵损失函数公式计算交叉熵误差，并使用梯度下降算法求解参数，计算差值；
[0087]
其中，所述交叉熵损失函数公式包括：
[0088][0089]
其中，l为交叉熵误差；m为类别数量，y
ic
为符号函数0或1，如果样本i的真实类别等于c，则取1，否则取0，p
ic
为观测样本i属于类别c的预测概率。
[0090]
优选地，所述聚合单元704，用于总部节点对所有agent节点返回的差值进行聚合，以重新确定全局模型。
[0091]
优选地，其中所述聚合单元704，总部节点对所有agent节点返回的差值进行聚合，以重新确定全局模型，包括：
[0092]
总部节点对每个agent节点的返回值使用fedavg算法，利用公式进行聚合，以重新确定全局模型；其中，g
t
表示第t轮更新的全局模型参数，表示第i个agent节点在第t 1轮本地更新后的模型。
[0093]
优选地，所述评估单元705，用于对所述重新确定的全局模型进行评估，计算所述重新确定的全局模型的准确率与损失函数。
[0094]
优选地，其中所述评估单元705，对所述重新确定的全局模型进行评估，计算所述重新确定的全局模型的准确率与损失函数，包括:
[0095]
总部节点聚合所有的损失cross_entropy交叉熵函数计算损失，获取最大的对数概率的索引值，根据最大的对数概率的索引值在所有预测结果中选择可能性最大的作为最终的分类结果，统计预测结果与真实标签的匹配总数，根据匹配总数计算当前的全局模型的准确值与损失率。
[0096]
优选地，所述最优全局模型确定单元706，用于若所述准确率与损失函数满足预设准确定率阈值和损失函数阈值，则确定所述重新确定的全局模型为最优全局模型。
[0097]
本发明的实施例的适用于配电网分布式数据存储的模型统合系统700与本发明的另一个实施例的适用于配电网分布式数据存储的模型统合方法100相对应，在此不再赘述。
[0098]
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如
附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
[0099]
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。
[0100]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0101]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0102]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0103]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0104]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。