一种园区级数据增值服务的场景构建及评价方法与流程

1.本发明涉及能源数据增值服务技术领域，尤其是一种园区级数据增值服务的场景构建及评价方法。


背景技术：

2.目前，电网大数据资源已经全面覆盖发、输、变、配和用等电力系统各个环节，包括电网生产运营产生的海量能量数据、控制数据、用户数据和公共数据等类型，覆盖各类时间尺度，涵盖电力生产、电网运行、企业管理及营销服务等业务领域，具有可信度高、时效性强、连续性好、多源异构、覆盖面广等特点，再接入气、热、煤、油和充换电等其它能源数据，就可以充分利用这些能源大数据深入挖掘数据资产价值、强化数据共享应用，可以更好地支撑资源调配、业务协同和风险防控，不断提高效率效益，为政府、企业和社会提供更加有价值的数据信息。
3.如今，能源大数据进一步助力政府科学决策、企业融资及智慧运营和服务居民用能等数据增值服务的快速拓展，在数据增值服务对应产品开发前，对海量原始数据进行预处理，把来源于不同业务系统的数据按照分析应用主题，依托多元化可视化建模、完整的数据处理流程等功能特性，对多源数据进行整合，完成规划业务数据不同主题的综合查询与分析展现，为进一步高效分析数据打下基础，能源数据增值服务应用场景的构建及评价是一个重要的研究问题，而现有的研究多为从各个角度独立进行分析，没有进行多角度的全流程的整合与分析，所以设计适用于多种园区级大数据增值服务的应用场景构建及评价方法是十分有必要的，为此，本发明提出了一种园区级数据增值服务的场景构建及评价方法。


技术实现要素：

4.为解决现有技术中的问题，本发明提出了一种园区级数据增值服务的场景构建及评价方法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种园区级数据增值服务的场景构建及评价方法，包括如下步骤：
7.s1，明确园区级的至少一种数据增值服务，制定每种数据增值服务的策略及措施，选定适合服务对象的需求的数据增值服务；
8.s2，根据所述数据增值服务的应用场景，分析所述应用场景的数据需求，根据数据需求采集数据信息，对数据信息进行预处理得到第一数据集；
9.s3，构建所述应用场景的场景模型，选定应用场景中的大数据挖掘算法对第一数据集提取特征向量并对特征向量进行再加工得到第二数据集，利用第二数据集建立训练集和验证集，利用训练集训练机器学习模型，利用验证集验证机器学习模型的学习结果；
10.s4，确定数据增值服务和机器学习模型的评价指标，根据评价指标分别对数据增值服务和机器学习模型进行综合评估。
11.进一步地，所述s1包括：根据各园区级的生态系统的不同阶段信息流的差别得到
数据增值服务的业务类型；
12.将园区级的生态系统划分为不同的主体，明确各主体的需求，形成数据增值服务的清单，以确定各数据增值服务的策略及措施。
13.进一步地，所述数据信息包括电力数据和社会各行业数据，所述社会各行业数据包括经济发展数据、公共部门数据和/或气象数据；
14.所述s2包括分析应用场景所需数据的数据颗粒度、数据时隙、数据类型及数据规模；
15.根据数据需求设计数据采集方案，所述数据采集方案包括定义所需数据的数据级别，根据数据级别和数据采集方案中的采集对象、采集工具和采集装置的安装位置采集数据信息。
16.进一步地，所述预处理包括对数据信息进行多源数据的融合，通过预先的配置各类数据耦合规则，自动对数据进行匹配，形成基础的数据库。
17.进一步地，所述步骤包括对基础数据库中的数据进行缺失值的填补、异常值的修正和数据归一化以得到第一数据集。
18.进一步地，所述对第一数据集提取特征向量并对特征向量进行再加工包括进行数据分析，确定自变量和因变量，找出因变量与自变量的相关性，确定相关系数；
19.筛选自变量，将不同类型的特征向量进行归一化和标准化处理，选择特征子集；
20.对选择的特征子集进行再加工，增强特征子集的表示能力，得到第二数据集。
21.进一步地，所述训练机器学习模型和验证机器学习模型的学习结果包括根据不同的机器学习模型对不同数据的敏感程度，使用单个机器学习模型或者混合模型，所述混合模型包括通过结合每一个机器学习模型的判别结果得到的综合模型。
22.进一步地，所述验证机器学习模型的学习结果包括将第二数据按照交易拆分、按人拆分或按照时间拆分为训练集和验证集进行交叉验证并预测未知的数据。
23.进一步地，对增值服务和机器学习模型进行综合评估包括训练完成之后，通过拆分出的训练集和验证集来对机器学习模型进行评估，通过将验证集的验证结果和预测的未知数据进行对比来判定机器学习模型的准确性。
24.进一步地，在完成机器学习模型评估后，调整机器学习模型参数，重复训练和评估的过程；
25.从包括经济效益或环境的维度对数据增值服务的应用场景进行综合评估。
26.本发明的有益效果：
27.1、本发明提供的方法构建了完整的适用于园区级大数据增值服务的应用场景构建及评价方法，包括数据增值服务清单的明确及客户需求的挖掘、能源数据需求分析及数据采集与预处理、机器学习算法的选定及场景模型的构建、数据增值服务算法与场景的评价指标选取与综合评估；
28.2、采用本发明方法的大数据增值服务的场景构建及评价方法，具备全面性、独立性、灵活性和实用性，有助于深入挖掘能源大数据价值，实现数据增值服务应用变现落地工作，更好地支撑资源调配、业务协同和风险防控，不断提高效率效益，为政府、企业和社会提供更加有价值的数据信息，同时也可以形成数据增值服务产品，以真实可靠的数据分析辅助客户开展对应的产品优化，提升产品质量，促进电网安全、稳定运行。
附图说明
29.图1为实施例中适用于多种园区级大数据增值服务的应用场景构建及评价方法的流程图。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
31.参照图1，一种园区级数据增值服务的场景构建及评价方法，包括如下步骤：
32.s1,明确园区级的至少一种数据增值服务，例如，可将多种数据增值服务列成服务清单，确定每种增值服务策略及措施，根据需要提供数据增值服务的客户清单，明确服务对象，分析客户的购买潜力，深入挖掘客户的需求，选定增值服务：
33.在园区级生态系统中根据园区的主要功能对各园区分类，例如，可以分为工业园区、农业园区、科技园区及居民社区；
34.根据各园区级的生态系统的不同阶段信息流的差别得到数据增值服务的业务类型；将园区级的生态系统划分为不同的主体，明确各主体的需求，形成数据增值服务的清单，以确定各数据增值服务的策略及措施；
35.例如，在多种园区级中，根据园区级生态系统不同阶段信息流的差别，得到能源大数据 金融、能源大数据 辅助决策、能源大数据 政府服务、能源大数据 交易、能源大数据 多能互补、能源大数据 用能管理和能源大数据 设备等七大园区能源增值服务业务类型；
36.例如，可将园区主体划分为园区管委会、园区企业、设备厂家、金融服务商和能源服务商，明确不同种园区级能源数据增值服务的主体需求，确定服务策略，形成服务策略清单；
37.(1)明确增值服务清单，可通过如下方式：一是直接获得，对供电公司目前能够提供的增值服务进行梳理汇总，并制定增值服务策略和具体措施；
38.二是间接获取，通过客户调研、数据分析等方式获取用户需求，制定对应的增值服务策略，具体从用户非常关注、实现价值高且还未满足的需求点来挖掘增值服务潜能，在现有业务服务情况基础上，以该增值业务服务流程的关键技术环节作为切入点，从服务拓展和服务优化两方面入手，制定增值服务策略；
39.(2)确定增值服务策略及措施，综合上述两个来源，确定增值服务策略及具体措施，如多能互补、需量节费、非侵入式负荷监测、负荷及电量预测和电能质量保障等；
40.(3)增值服务选定，可通过如下方式，例如，一是以电力客户作为研究对象，对照梳理的增值服务策略清单，选定抽取的样本客户的属性特征字段主要有行业类别、客户类型、年度电费、用电性质、新增报装容量、电压等级、合同容量、运行容量等指标；
41.二是结合样本客户的属性特征，为客户选定增值服务策略。
42.s2，根据所述数据增值服务的应用场景，分析所述应用场景的数据需求，根据数据需求采集数据信息，对数据信息进行预处理得到第一数据集；
43.所述数据信息包括电力数据和社会各行业数据，所述社会各行业数据包括经济发展数据、公共部门数据和/或气象数据；
44.例如，分析该数据增值服务应用场景的数据需求即数据颗粒度、数据时隙、数据类型及数据规模，根据数据需求设计数据采集方案进行数据信息的采集，通过各业务系统、相关网站及现场调研等方式获取用电及社会各行业相关数据，并进行数据挖掘前的业务贯通及多业务系统数据的融合，形成基础数据库并对基础数据库中的数据进行数据质量核查，对基础数据库中的数据进行缺失值和异常值的处理并归一化：
45.(1)分析该数据增值服务的数据需求，分析该场景所需数据的数据颗粒度、数据时隙、数据类型及数据规模。根据数据需求设计数据采集方案进行数据信息的采集，为有效采集客户的用能数据，对监测数据项按照空间拓扑结构多层次进行分类；
46.根据定义的数据级别和数据采集方案中的采集对象、采集工具、采集装置的安装位置进行所需数据的采集，数据主要有生产营销管理三大类电力系统内部数据和电力系统外部数据。
47.1)营销数据包括营销基础数据如客户档案、业扩报装、用户用电量、应收/实收电费、营销财务、计量设备等，数据更新频率以收费周期而定，一般为2min；用电信息采集数据如台区及低压用户的计量点、运行表、户
‑
站
‑
线
‑
变关系等基础数据，以及有功、无功、功率因数、电流和电压等负荷数据，数据更新频率为15min(台区)、 1d(低压用户)；客户服务信息采集如电话语音、客服受理数据、客户档案信息等。
48.2)生产数据包括生产实时监测类
①
调度自动化数据如开关电流、电压、有功、无功，各主变高低压侧有功、无功、档位，母线电压、相角、频率，各站出线有功和无功等，数据频率为实时；
49.②
tmr关口数据如城市区域内所有220kv变电站的关口电量，数据频率为5min；
50.③
输变电设备状态监测数据如输电线路微气象、覆冰、污闪、舞动、倾斜等；变电设备油色谱、sf6、电缆连接处温度等，数据频率为30min(输电)、5min(变电)；gis类
①
gis如地理相关信息，定期更新；
51.电网拓扑如输配电线路及设备拓扑结构，以及供电范围等衍生数据，定期更新；配网抢修类
①
中、低压配电网故障报修、抢修等，根据故障更新数据。
52.3)管理数据包括电网设备台账数据如设备的出厂、投运信息、生产计划管理数据，数据频率为定期更新；电网设备运维信息如输电、变电、配电设备的缺陷记录、故障记录、检修数据、巡视管理数据、安检管理以及状态评价数据等，数据频率为定期更新；电网工程建设数据如大修项目计划、进度管控、物料规模、工程评估等数据，数据频率为定期更新。
53.4)电力系统外部数据包括经济发展数据如总体、各行业、各地区经济发展状况，按月、季、年更新；公共部门数据如人口数据、电价政策、城市发展规划等，按年更新；气象数据如温度、降雨、风速、雷电等，按小时更新。
54.(2)进行多源数据的融合，电力数据来自多个业务系统，采用分散放置、分布式管理模式，分析挖掘前需进行业务贯通及数据融合。通过预先的配置各类数据耦合规则，自动对数据进行匹配。常用的数据融合方法有估计理论和识别技术；
55.数据融合技术需要将电网不同部门、不同系统的台账数据、用户数据、运行数据以及地理信息等数据进行融合，在进行电网参数融合时，需采用横向、纵向融合两步保证数据融合的有机进行；
56.纵向参数融合是指消除同一部门专业(自动化、运行方式、继电保护)在不同级别
的电网调度中心设备上的参数差异；
57.不同部门专业通过各自不同级别的纵向融合实现参数的纵向统一；
58.具体步骤包括：1)参数获取。通过统一的web service接口获取各个来源的电网参数；
59.2)专业参数匹配与参数差异分析。通过参数中的对象名称进行匹配，实现不同专业设备与各自参数的匹配，采用纵向参数差异度d
v,i
来衡量不同级别相同专业的参数差异性；
[0060][0061]
其中，d
v,i
为第i个参数的参数差异度，x
t,i
、x
b,i
分别是上下两级第i个参数的参数值，是上下两级的参数的均值，在进行纵向融合时，统一采取有名值；
[0062]
横向参数融合与纵向融合类似同样包括两个步骤，与纵向参数融合不同的是横向数据融合是指对于同一级别调度中心不同专业部门之间的参数融合，接着进行专业参数匹配与参数差异分析；
[0063]
(3)形成基础数据库并对基础数据库中的数据进行数据质量核查，对基础数据库中的数据进行缺失值和异常值的处理并归一化：
[0064]
1)电力负荷缺失值处理：基于年周期填补电力负荷缺失值，或基于周周期填补电力负荷缺失值，或采用以上两种方法分别计算出负荷缺失值并取两者平均值作为最终的电力负荷缺失值进行填补；
[0065]
2)电力负荷异常值处理：计算任意两个紧邻的负荷数据差值，当差值的绝对值超过设定的负荷数据变化阈值时，认定此时的负荷数据为异常值，需要对其进行修正处理，处理方法如下：
[0066]
①
异常值的识别
[0067]
如果出现其中，p
t 1
为t 1时刻负荷值， p
t
为t时刻负荷值，p
t
‑1为t
‑
1时刻负荷值，ε
t
为设置的负荷数据变化阈值，那么p
t
为异常负荷数据；
[0068]
②
异常值的修正
[0069]
首先，求取p
t
紧邻的五个负荷数据的平均值avg1：
[0070][0071]
然后，求取p
t
紧邻的三个负荷数据的平均值avg2：
[0072][0073]
其次，求取p
t
紧邻的两个负荷数据的平均值avg3：
[0074][0075]
最后，通过加权求得修正后的电力负荷值p
t
′
：
[0076]
p
t
′
＝ω1·
avg1 ω2·
avg2 ω3·
avg3[0077]
其中，ω为加权的权值；
[0078]
3)数据归一化：将输入数据进行归一化处理，按比例缩小，使之映射到一个较小的范围；归一化后数据不存在量纲，且取值范围在 [0,1]之间。
[0079]
归一化处理的公式为：
[0080][0081]
其中，x为输入数据，x
max
为输入数据中最大值，x
min
为输入数据中最小值，x
nor
为归一化后的输入数据。
[0082]
s3，构建所述应用场景的场景模型，选定应用场景中的大数据挖掘算法对第一数据集提取特征向量并对特征向量进行再加工得到第二数据集，利用第二数据集建立训练集和验证集，利用训练集训练机器学习模型，利用验证集验证机器学习模型的学习结果；
[0083]
例如，(1)算法选定，数据增值服务场景构建中的算法部分是整个场景模型的核心，在实际应用中，首先应该对具体问题进行分析，清楚需要分析的数据规模、预期目标以及期望得出的结果，然后确定选用的具体机器学习算法。通过测试不同算法，交叉验证来选择表现最好的算法；
[0084]
经典机器学习通常分为有监督学习和无监督学习。有监督学习分为分类和回归。分类基于事先知道的一种属性对物体划分类别，常用算法有朴素贝叶斯、决策树、logistic回归、k近邻和支持向量机等。回归算法预测数值，常见的回归算法有线性回归和多项式回归；
[0085]
无监督学习常用于探索性数据分析，分为聚类、降维、关联规则学习；
[0086]
聚类是在没有事先标注类别的前提下来进行划分，试图基于某些特征找出相似的对象并将它们聚集成簇，常见算法有k均值聚类、 mean
‑
shift和dbscan等；
[0087]
常见的降维算法有主成分分析、奇异值分解、潜在语义分析和 t
‑
sne等。常见的关联规则学习算法有apriori、euclat、fp
‑
growth 等；
[0088]
深度学习建立模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，训练的模型在输入和输出之间具有多个隐藏层；
[0089]
典型的算法有卷积神经网络cnn、循环神经网络rnn、生成对抗网络gans和深度强化学习rl；
[0090]
集成学习将几种机器学习技术按策略组合以达到减小方差 (bagging)、偏差(boosting)或改进预测(stacking)的效果，结合策略主要有平均法、投票法和学习法等；
[0091]
目前集成学习的主流方法有boosting方法和bagging方法， boosting方法包括adaboosting、提升树和xgboost等；bagging典型方法有随机森林等；
[0092]
强化学习依据智能体动作选取方式分为基于价值(value
‑
base d)、基于策略(policy
‑
based)和结合价值与策略(actor
‑
critic)三类；
[0093]
基于价值类的代表算法有q
‑
learning、sarsa及dqn系列等；基于策略类的代表性算法有reinforce、trpo、ppo等；结合价值与策略类的代表性算法有ac、a3c、dpg、ddpg、td3、sac等。
[0094]
(2)进行数据分析，主要是数据发现，如找出每列的最大值、最小值、平均值、方差、中位数、某些特定值所占比例或分布规律等，并确定自变量x1…
x
n
和因变量y，找出因变量与自变量的相关性，确定相关系数；
[0095]
(3)进行特征选择，并对特征提取结果再加工；
[0096]
1)特征选择：特征总体分为数值型、类别型、时间型、文本型等几个类型，将这些类型的特征进行归一化、标准化等处理，从最初的大量特征里选择特征子集，将上一步骤确定的自变量进行筛选，筛选有人工选择和模型选择等方法，选择合适的特征，对变量进行命名以便更好地标记；
[0097]
在特征选择算法里，有经典的基于模拟退火和遗传算法、基于进化算法(如粒子群优化、蚁群优化)和随机方法(如蒙特卡洛)的方法；
[0098]
2)加工特征提取结果，增强特征的表示能力，防止模型过于复杂和学习困难，比如对连续的特征值进行离散化，label值映射成枚举值，用数字进行标识等，或者利用pca主成分分析、lda线性判别分析、mds多维尺度分析来降低特征矩阵维度；
[0099]
(4)建立训练集和验证集：将数据分为两部分训练集和测试集，第一部分用于训练模型，第二部分用于评估训练模型的表现，例如，通常以8:2或者7:3进行训练集和数据集的划分；
[0100]
(5)训练机器学习的模型：不同的模型对于不同数据的敏感程度及处理能力各有所长，可以使用单个模型或者混合模型即通过结合每一个子模型的判别结果，得到一个较为全面的综合模型；
[0101]
若使用混合模型需要各个子模型各自针对特征工程基于训练数据生成的特征及对应类别标签进行训练，并将每个子模型的参数调优，保存为记录模型对于特征数据学习状况的模型文件，在进行判别时，每个子模型根据输入的特征，给出对应的概率输出，最终得到混合模型的输出；
[0102]
不同算法需要调节的参数不同，在设定算法参数时，对每个参数选定一个范围和变化步长。算法的参数可分为模型参数与超参数两类，模型参数指的是使用的模型根据训练数据学习所得的参数，无需提前给定，而超参数是在训练过程之前设定的参数，超参数对模型的学习性能及最终效果有极大的影响，需要对超参数进行优化，尽可能找到最优超参数以提升模型的训练质量；
[0103]
常用的超参数选取的方法有随机搜索、网格搜索和贝叶斯优化三种，网格搜索按照步长依次查找划定的搜索范围内的所有点，最终确定最优值；
[0104]
随机搜索则并未尝试解空间内的所有点，而是对搜索范围进行有限次的随机取样；
[0105]
贝叶斯优化基于数据使用贝叶斯定理估计目标函数的后验分布，然后再依照分布选择下一个釆样的超参数组合；
[0106]
(6)验证机器学习的结果：交叉验证是把集合拆成5份，取4份做训练集，1份做测试集，并且每次选择不同的一份做测试集，最后测出5个做平均，是按照交易或者按人拆分；若是拿过去的训练预测未来的更合适的方法是按照时间拆分，比如评估的时候选取一个时间点，用在这个时间点之前的数据做训练，预测在这个时间点之后的，更接近真实应用场景的评估结果，例如风险、营销或者反欺诈等；
[0107]
s4,确定数据增值服务和机器学习模型的评价指标，根据评价指标分别对数据增值服务和机器学习模型进行综合评估；
[0108]
训练完成之后，通过拆分出来的训练的数据来对模型进行评估，通过真实数据和
预测数据进行对比，来判定模型的好坏；
[0109]
评估分类模型性能的常用指标包括混淆矩阵confusion matrix、准确率ac、灵敏度sn、特异性sp、马太相关系数mcc、roc曲线和 auc值等；
[0110]
评估回归模型性能的常用指标是确定系数r 2
，此外，平均绝对误差mae、均方误差mse、均方根误差rmse也是衡量残差或预测误差的常用指标；
[0111]
在完成模型评估后，通过调整模型参数改善训练，重复训练和评估的过程；
[0112]
(2)根据确定的场景评估指标对场景效果进行评估。
[0113]
本发明提供的方法构建了完整的适用于园区级大数据增值服务的应用场景构建及评价方法，包括数据增值服务清单的明确及客户需求的挖掘、能源数据需求分析及数据采集与预处理、机器学习算法的选定及场景模型的构建、数据增值服务算法与场景的评价指标选取与综合评估；
[0114]
采用本发明方法的大数据增值服务的场景构建及评价方法，具备全面性、独立性、灵活性和实用性，有助于深入挖掘能源大数据价值，实现数据增值服务应用变现落地工作，更好地支撑资源调配、业务协同和风险防控，不断提高效率效益，为政府、企业和社会提供更加有价值的数据信息，同时也可以形成数据增值服务产品，以真实可靠的数据分析辅助客户开展对应的产品优化，提升产品质量，促进电网安全、稳定运行。
[0115]
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
[0116]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。