一种基于台区智能业务终端边缘计算的数据共享系统

1.本发明属于配电自动化技术领域，具体涉及一种基于台区智能业务终端边缘计算的数据共享系统。


背景技术：

2.泛在电力物联网将人工智能和移动互联等现代化信息通讯手段应用于电力系统运行的每一环节，从而构建一个物与物间，人与物间，人与人之间相互联通的智能化网络。配电物联网是泛在电力物联网的重要组成部分，目前主要采用“云管边端”的建设模式。边缘侧负责数据采集和就地处理，满足实时业务的延时要求。部署在边缘侧的智能业务终端作为边缘节点，具备交采能力，满足配电台区的各种信息接入需求，同时部署基于轻量化的linux容器技术，根据各种业务场景灵活配置各类app软件。云中心负责数据深度挖掘和高级业务的处理，对多个智能融合终端进行协同管理实现云边数据协同、业务协同、计算资源协同。
3.随着深入应用“云大物移智”等先进的配电物联网技术，从本质上可以助推配电网建设、运维、管理水平的提升，实现跨越式发展。配电物联网是传统工业技术与物联网技术深度融合产生的一种新型电力网络形态，通过配电网设备间的全面互联、互通、互操作，具有能量流、信息流与业务流交互耦合的特征，能够实现配电网的全面感知、数据融合和智能应用，满足配电网精益化、智能化管理需求。但是，当前我国配电物联网建设正处于起步阶段，存在以下关键技术挑战：
①
传感器的覆盖不充分，电网仍存在监测盲区；
②
数据模型和通信标准没有统一，信息孤岛难以消除；
③
数据分析智能化程度低，供用电数据价值尚未被有效挖掘；
④
尚未建立有效的协作模型，多主体间协作机制尚未成熟等。
4.随着配电台区下的综合能源设备不断增加，智能业务终端积累了配用电环节产生的海量数据。由于这些数据具有处理逻辑复杂、结构多样、存储周期长等特点，造成云中心和边缘节点数据集成和共享的难度增加，降低了云边协同和监测运维的效率。数据共享成了电网实现资源集中管控、提升数据应用价值以及完善信息化建设进程中首要考虑的问题。当前电网企业虽然已经建成面向不同应用需求的业务数据中心，但在配电物联网云边协同治理台区典型业务的场景中，还未建立统一的信息模型机制，实现数据层面的集中管控、高度共享、协同治理，因此，需要在配电物联网中构建一套完善的数据共享体系。


技术实现要素：

5.为提高电力物联网云中心和智能业务终端的数据处理效率，实现对物联网架构下配电台区异常工况的及时精细化诊断，本发明公开了一种基于台区智能业务终端边缘计算的数据共享系统，基于“云管边端”的配电物联网系统架构，使用轻量级的数据传输协议，建立智能业务终端内外数据交换规范，构建基于台区智能业务终端边缘计算的数据共享系统，并结合低压台区异常工况的业务场景，完成基于数据共享体系的配电台区异常工况诊断案例。
6.本发明遵循云中心和智能业务终端“集中管控、分类存储、统一应用”的原则，将智能业务终端从下至上分为数据接入层、数据集成层、边缘数据共享层、数据集市层、数据应用层和云端数据存储层，打通云中心与智能业务终端的数据壁垒，在边缘侧整合配电台区各类信息资源，降低云计算中心带宽的压力，减缓智能业务终端的计算资源需求，提高数据处理能力,使得诊断业务能快速响应，实现数据汇集和共享，提升数据价值创造能力，提高电网生产管理精益化水平。
7.本发明采用如下的技术方案。本发明提供了一种基于台区智能业务终端边缘计算的数据共享系统，包括：数据接入层、数据集成层、边缘数据共享层、数据集市层、数据应用层和云端数据存储层，其特征在于：
8.所述数据接入层包括实时数据接入模块、离线数据接入模块、设备参数接入模块，数据接入层与智能业务终端相连，采集配变、分支箱、户表、充电桩、分布式能源电网设备运行数据和设备参数，将采集的电网设备运行数据和设备参数分为实时数据、离线数据、设备参数，然后分别接入实时数据接入模块、离线数据接入模块和设备参数接入模块。
9.优选地，采用mqtt协议来完成各层级间数据的发送、接收操作，
10.所述mqtt协议包括三个角色：消息发布者、消息订阅者和mqtt服务器，前一层级的功能模块作为消息发布者通过mqtt服务器向数据中心发送格式统一的数据模型，同时，后一层级的功能模块作为消息订阅者配置好订阅接口信息，mqtt服务器匹配到订阅服务信息后，将数据中心共享的数据模型转发给消息订阅者，完成数据的共享过程，实现数据交互流程。
11.所述数据集成层包括数据溯源模块、多源汇集数据清洗模块、统计计算模块；整个数据集成层通过mqtt协议将多源汇集数据清洗模块进行后，以json发送到边缘数据共享层托管。
12.所述边缘数据共享层包括数据中心模块，数据中心模块用于实现数据短期存储，在数据中心模块中，将数据集成层上传的量测类对象、统计量类对象、参变量类对象、控制类对象以统一格式的数据模型表征，采用mqtt协议，将数据模型以接口的形式区分，按类别发布并储存在数据中心，实现数据共享交换。
13.所述数据集市层向边缘共享层发送所需的数据接口，接收边缘共享层发送的该接口下的数据，将接收到的实时数据和特征数据组合，上传到数据应用层。
14.所述数据应用层的功能模块根据业务需要，获取数据集市层对应的数据模型，对业务面向的场景进行决策分析，基于台区智能业务终端本地化计算和处置优势，实现边缘测就地的异常工况状态监测和快速响应治理。
15.所述云端数据存储层负责数据深度挖掘和高级业务的处理，智能业务终端将基于业务功能模块组装的数据集上传云端数据存储层存储，结合智能业务终端的业务实时数据，通过机器学习和深度学习算法进行异常工况的分类和预测。
16.所述实时数据包括传感器监测的实时环境数据：温度、湿度，以及智能电网设备采集到的实时电气数据：电压、电流、电能质量、有功功率、无功功率；
17.所述离线数据包括智能业务终端外部人为定时导入的未接入终端前的历史电气、环境数据和智能业务终端内部文件系统储存的接入终端后历史电气、环境数据日志；
18.所述设备参数包括电网设备参数信息和传感器参数信息。
19.所述数据溯源模块借鉴序列化存储的思想，将数据接入层收集到的各设备的实时数据、离线数据重排序，附上该设备本身的性能参数，再根据时间戳的大小储存在各自的表中；
20.所述多源汇集数据清洗模块基于数据溯源模块重排序后的时间序列数据进行数据清洗，应用数据挖掘中数据缺失值填补和异常值处理的相关方法，将数据进一步补充完整，提高数据准确性；
21.所述统计计算模块是根据专家常识，在数据溯源模块和多源汇集数据清洗模块模块整理完善好的数据表中人为地从时域和频域抽取出业务特征：异常持续时间和异常发生频率，通过统计学习的算法计算得到相关业务特征。
22.所述数据中心模块包括数据格式统一单元、数据短期存储单元、数据分类管理单元，其中：
23.所述数据格式统一单元将数据集成层传来的各数据以统一规则命名，标注数据类型，数据产生时间，连同数据的值，组成一个json字符串；
24.所述数据短期存储单元是在数据格式统一后，非实时数据的json字符串进行集中存储，将数据按时间排序；
25.所述数据分类管理单元是将各实时数据和存储单元中的历史数据组合，赋予一个接口，供数据集市层调用。
26.本发明的有益效果在于，与现有技术相比，本技术关键点为从数据驱动的角度出发，结合容器技术，遵循云中心和智能业务终端“集中管控、分类存储、统一应用”的原则，将智能业务终端从下至上分为数据接入层、数据集成层、边缘数据共享层、数据集市层、数据应用层和云端数据存储层，打通云中心与智能业务终端的数据壁垒，在边缘侧整合配电台区各类信息资源，降低云计算中心带宽的压力，减缓智能业务终端的计算资源需求，提高数据处理能力,使得诊断业务能快速响应,实现数据汇集和共享，提升数据价值创造能力，提高电网生产管理精益化水平。
附图说明
27.图1为基于台区智能业务终端边缘计算的数据共享系统。
28.图2为数据接入层流程图。
29.图3为数据集成层流程图。
30.图4为数据交互流程图。
31.图5为数据集市工作流程图。
32.图6为三相不平衡数据集市结果图。
33.图7为三相不平衡异常诊断结果图。
具体实施方式
34.下面结合附图对本技术作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本技术的保护范围。
35.本发明提到的术语解释如下：
36.1、mqtt(message queuing telemetry transport，消息队列遥测传输协议)，是一
种基于发布/订阅(publish/subscribe)模式的"轻量级"通讯协议，该协议构建于tcp/ip协议上，由ibm在1999年发布。mqtt最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，使其在物联网、小型设备、移动应用等方面有较广泛的应用。它具有以下主要的几项特性：
37.(1)使用发布/订阅消息模式，提供一对多的消息发布，解除应用程序耦合。这一点很类似于xmpp，但是mqtt的信息冗余远小于xmpp，因为xmpp使用xml格式文本来传递数据。
38.(2)对负载内容屏蔽的消息传输。
39.(3)使用tcp/ip提供网络连接。主流的mqtt是基于tcp连接进行数据推送的，但是同样有基于udp的版本，叫做mqtt-sn。这两种版本由于基于不同的连接方式，优缺点自然也就各有不同了。
40.(4)有三种消息发布服务质量：
41."至多一次"，消息发布完全依赖底层tcp/ip网络。会发生消息丢失或重复。这一级别可用于如下情况，环境传感器数据，丢失一次读记录无所谓，因为不久后还会有第二次发送。
42."至少一次"，确保消息到达，但消息重复可能会发生。
43."只有一次"，确保消息到达一次。在一些要求比较严格的计费系统中，可以使用此级别。在计费系统中，消息重复或丢失会导致不正确的结果。
44.(5)小型传输，开销很小(固定长度的头部是2字节)，协议交换最小化，以降低网络流量。这使得它非常适合"在物联网领域，传感器与服务器的通信，信息的收集，嵌入式设备的运算能力和带宽都相对薄弱，使用这种协议来传递消息再适合不过。
45.(6)使用last will和testament特性通知有关各方客户端异常中断的机制。
46.2、mosquitto服务器
47.mosquitto是一款实现了消息推送协议mqtt v3.1的开源消息代理软件，提供轻量级的，支持可发布/可订阅的的消息推送模式，使设备对设备之间的短消息通信变得简单，可移植到linux虚拟机和linux开发板中，比如现在应用广泛的低功耗传感器，手机、嵌入式计算机、微型控制器等移动设备。一个典型的应用案例就是andy stanford-clarkmosquitto(mqtt协议创始人之一)在家中实现的远程监控和自动化。mosquitto项目还提供了一个c库，用于实现mqtt客户端，以及非常受欢迎的mosquitto_pub和mosquitto_sub指挥线mqtt客户端。
48.针对配电台区下现有数据共享体系的不足，从数据驱动的角度出发，结合容器技术和app开发技术，本发明提出了基于台区智能业务终端边缘计算的数据共享系统，该系统遵循云中心和智能业务终端“集中管控、分类存储、统一应用”的原则，保证简单通用、高效可控、低功耗，减少共享体系嵌套层级，减少冗余信息描述，便于快速开发与成型，最大限度地减少通信资源占用，实现数据快速上传与下发。
49.本发明实施例1提供了一种基于台区智能业务终端边缘计算的数据共享系统。如图1所示，从下至上具体包括数据接入层、数据集成层、边缘数据共享层、数据集市层、数据应用层和云端数据存储层。
50.1，数据接入层包括实时数据接入模块、离线数据接入模块、设备参数接入模块，数据接入层与智能业务终端相连，采集配变、分支箱、户表、充电桩、分布式能源电网设备运行
数据和设备参数，将采集的电网设备运行数据和设备参数分为实时数据、离线数据、设备参数，然后分别接入实时数据接入模块、离线数据接入模块和设备参数接入模块。
51.其中，实时数据是指传感器监测的实时环境数据，例如温度、湿度等，以及多功能电表等智能电网设备采集到的实时电气数据，例如电压、电流、电能质量、有功功率、无功功率等，离线数据是指智能业务终端外部人为定时导入的未接入终端前的历史电气、环境数据和智能业务终端内部文件系统储存的接入终端后历史电气、环境数据日志。设备参数是指电网设备参数信息和传感器参数信息；数据接入层将实时数据、离线数据、设备参数上传至数据集成层，数据接入层流程如图2所示。
52.2，数据集成层包括数据溯源模块、多源汇集数据清洗模块、统计计算模块；数据溯源模块借鉴序列化存储的思想，将数据接入层收集到的各设备的实时数据、离线数据重排序，附上该设备本身的性能参数，再根据时间戳的大小储存在各自的表中；多源汇集数据清洗模块基于数据溯源模块重排序后的时间序列数据进行数据清洗，应用数据挖掘中数据缺失值填补和异常值处理的相关方法，例如平均值填补等，将数据进一步补充完整，提高数据准确性；统计计算模块是根据专家常识，在数据溯源模块和多源汇集数据清洗模块整理完善好的数据表中人为地从时域和频域抽取出业务特征，例如异常持续时间和异常发生频率等，通过统计学习的算法计算得到相关业务特征；最后数据集成层通过mqtt协议将溯源、汇集清洗后数据表中的量测类数据(实时数据)、设备本身参数(参变量数据)和统计计算模块进行后的特征数据(统计量数据)一起，以json发送到边缘数据共享层托管，数据集成层流程如图3所示。
53.作为处理原始数据的层级，主要通过数据的多源汇集、初步清洗、实时计算提取业务系统数据，基于时间尺度的业务系统数据需要通过数据溯源和统计计算完成业务系统数据提取。
54.3，边缘数据共享层包括数据中心模块，所述数据中心模块用于实现数据短期存储，在数据中心模块中，将数据集成层上传的量测类对象、统计量类对象、参变量类对象、控制类对象以统一格式的数据模型表征，采用基于发布/订阅的轻量级通信协议——mqtt协议，将数据模型以接口的形式区分，按类别发布并储存在数据中心，实现数据共享交换。
55.数据中心模块进一步包括数据格式统一单元、数据短期存储单元、数据分类管理单元，数据格式统一单元将数据集成层传来的各数据以统一规则命名，标注数据类型，数据产生时间，连同数据的值，组成一个json字符串；数据短期存储单元是在数据格式统一后，非实时数据的json字符串进行集中存储，将数据按时间排序；数据分类管理单元是将各实时数据和存储单元中的历史数据组合，赋予一个接口，供数据集市层调用；例如将实时电压、电流、有功功率、无功功率、温度、湿度等组成原始数据json字符串整合，作为实时研判业务需调用的基本通用接口；将a相重载率、b相重载率、c相重载率、a相重载累计时间、b相重载累计时间、c相重载累计时间等重过载相关的特征数据json字符串整合，作为重过载业务所需调用的特征接口。
56.本系统采用mqtt协议来完成各层级间数据的发送、接收操作，每个层级内安装有一个或多个处理数据业务的功能模块。该协议主要有三个角色，分别是消息发布者、消息订阅者和mqtt服务器。前一层级的功能模块作为消息发布者通过mqtt服务器向数据中心发送格式统一的数据模型，同时，后一层级的功能模块作为消息订阅者配置好订阅接口信息，
mqtt服务器匹配到订阅服务信息后，将数据中心共享的数据模型转发给消息订阅者，完成数据的共享过程，数据交互流程如图4。
57.4，数据集市层向边缘共享层发送所需的数据接口，接收边缘共享层发送的该接口下的数据，数据集市层包括无功补偿数据集市模块、漏保检测数据集市模块等，无功补偿数据集市向边缘数据共享层发送订阅实时研判业务的基本通用接口，通过mqtt协议接收接口所包含数据，包括功率因数、a相有功功率、b相有功功率、c相有功功率；同时再订阅无功补偿业务所需的特征接口，接收特征接口的数据，包括15分钟冻结正向有功电能、15分钟冻结正向无功电能、15分钟冻结反向有功电能、15分钟冻结反向无功电能等特征，再将上述实时数据和特征数据组合，上传到数据应用层的无功补偿模块。漏保检测数据集市同理，向边缘数据共享层发送订阅实时研判业务的基本通用接口，通过mqtt协议接收接口所包含数据，包括三相电压、三相电流、总功率损耗、空载功率损耗；同时订阅漏保检测业务所需的特征接口，接收特征接口的数据，包括漏电保护时间、漏电保护使能等特征；再将上述实时数据和特征数据组合，上传到数据应用层的漏保检测模块。
58.数据集市面向具体边缘业务，分析能表征业务的数据特征，动态组建所需的数据模型，基于数据中心的数据集群，进行数据灵活加载。数据集市层更加偏向于业务方面的战术性需求，目标在于满足智能融合终端内特定应用分析的即时性和高效性。数据集市层工作流程图如图5。
59.5，数据应用层
60.数据应用层的功能模块根据业务需要，获取数据集市层对应的数据模型，对业务面向的场景进行决策分析，基于台区智能业务终端本地化计算和处置优势，实现边缘测就地的异常工况状态监测和快速响应治理。
61.6，云端数据存储层
62.云中心负责数据深度挖掘和高级业务的处理，智能业务终端将基于业务功能模块组装的数据集上传云中心存储，结合智能业务终端的业务实时数据，通过机器学习和深度学习算法进行异常工况的分类和预测。
63.本发明实施例2以一台智能业务终端作为边缘端，采用mosquitto作为mqtt协议中的代理者，选择华为云作为云端，选用华为物联网平台实现边缘端与云端的通信，创建产品的device_id为5fed8387aaafca02dba396b2_123456，本发明具体以台区配电变压器三相不平衡异常诊断的典型业务为例，通过搭建的数据共享体系实现业务的快速响应。
64.1、数据接入层功能模块设计
65.智能业务终端连接配变、分支箱、户表、充电桩、分布式能源等配电网关键设备，对其进行数据采集和监控管理，业务庞杂、数据海量异构，根据数据类型将其分为实时数据(传感器数据和智能电网设备数据)、离线数据(外部定时导入数据和内部文件系统储存的数据)及设备参数(电网设备参数信息和传感器参数信息),故本发明根据包括104协议、modbus协议在内的智能业务终端交流采集板接口通信协议，设计数据接入层功能模块，提供终端对基本交流模拟量采集功能，采集得到的原始数据通过mosquitto代理以json格式发布给数据集成层，json模型如表3。
66.表3数据接入层数据发布格式
[0067][0068]
2、数据集成层功能模块设计
[0069]
数据集成层作为处理原始数据的层级，主要通过数据的多源汇集、初步清洗、实时计算提取业务系统数据，基于时间尺度的业务系统数据需要通过数据溯源和统计计算，通过对数据接入层原始数据的计算，数据集成层得到所有上层应用功能模块业务所需的特征，其中包括三相不平衡异常诊断所需的特征，如下：
[0070]
①
三相电压不平衡度ε
[0071][0072]
式中：u
max
为最大相电流，u
min
为最小相电流。
[0073]
②
三相不平衡持续时间d
tpu
[0074][0075]
式中：d
tpu-1
为配电变压器上一时刻的三相不平衡持续时间，ε为当前时刻配电变压器的三相不平衡度；
[0076]
③
三相不平衡频次f
tpu
[0077][0078]
式中：d
tpu
为第i时刻配电变压器的三相不平衡持续时间，d
tpu(i-1)
为第i-1时刻的配电变压器三相不平衡持续时间，ki为第i时刻配电变压器发生三相不平衡事件标志，t为统计时间尺度。
[0079]
④
三相不平衡累计时间c
tpu
[0080][0081]
式中：mi为第i时刻配电变压器发生三相不平衡状态，t为统计时间尺度。
[0082]
数据集成层的功能模块计算得到所有特征后，通过mosquitto代理以json格式发布给边缘数据共享层，json模型如表4。
[0083]
表4数据集成层数据发布格式
[0084][0085]
3、边缘数据共享层功能模块设计
[0086]
数据中心是作为数据短期存储的功能模块，为了减少数据共享体系的嵌套层级，将数据集成层的量测类对象、统计量类对象、参变量类对象、控制类对象以统一格式的数据模型表征，采用基于发布/订阅的轻量级通信协议——mqtt协议，将模型发布储存在数据中心，实现数据共享交换。
[0087]
本架构采用mqtt协议来完成各层级间数据的发送、接收操作，每个层级内安装有一个或多个处理数据业务的功能模块。该协议主要有三个角色，分别是消息发布者、消息订阅者和mqtt服务器。前一层级的app作为消息发布者通过mqtt服务器向数据中心发送格式统一的数据模型，同时，后一层级的功能模块作为消息订阅者配置好订阅接口信息，mqtt服务器匹配到订阅服务信息后，将数据中心共享的数据模型转发给消息订阅者，完成数据的共享过程，数据交互流程如图4。
[0088]
4、数据集市层功能模块设计
[0089]
数据集市面向具体边缘业务，分析能表征业务的数据特征，动态组建所需的数据模型，基于数据中心的数据集群，进行数据灵活加载。数据集市层更加偏向于业务方面的战术性需求，目标在于满足智能融合终端内特定应用分析的即时性和高效性。数据集市层工作流程图如图5。针对三相不平衡异常诊断场景，有相应的三相不平衡数据集市功能模块，用于从边缘数据共享层存储的特征中提取三相不平衡异常诊断所需特征如图6。得到所需特征后，通过mosquitto代理以json格式发布给数据应用层的三相不平衡异常诊断功能模块，json模型如表5。
[0090]
表5数据集市层数据发布格式
[0091][0092]
5、数据应用层功能模块设计
[0093]
数据应用层的各业务功能模块根据自身业务需要，获取数据集市层对应的数据模型，对业务面向的场景进行决策分析，基于台区智能业务终端本地化计算和处置优势，实现边缘测就地的异常工况状态监测和快速响应治理。本实例中在数据应用层中设计三相不平衡异常诊断功能模块，根据交互机制订阅云端的模型参数，即每个程度的阈值，建立三相不平衡异常诊断模型，再通过数据共享机制提取当前特征数据，根据诊断规则就地诊断当前三相不平衡异常程度，异常程度使用平方和误差衡量，平方和误差dk是用来衡量观测值同真实值之间的偏差，其公式为
[0094][0095]
式中：k为程度级数，本文中个数k＝4，n为该程度的特征个数,本实例中为特征个数n＝4。
[0096]
将所有程度阈值的平方和误差对比，选择平方和误差最小的程度阈值，该程度阈值代表的程度即为当前场景的三相不平衡异常程度。采用level表示当前台区三相不平衡异常程度，分为4级(正常、注意、异常、严重)，分别表示为1、2、3、4，计算公式如下：
[0097][0098]
诊断结果如图7，从上述实例可以看出，当前台区三相不平衡异常程度为1，属于正常状态，云端运维人员接收到当前台区处于正常状态的信息，确认台区运转正常；根据上述方法诊断，可以减缓智能业务终端的计算资源需求，提高数据处理能力,使得诊断业务能快速响应，从而为降低运维成本、提高配电设备可靠性提供保障。
[0099]
6、云端数据存储层
[0100]
云中心负责数据深度挖掘和高级业务的处理，智能业务终端将基于业务app组装的数据集上传云中心存储，结合智能业务终端的业务实时数据，通过机器学习和深度学习算法进行异常工况的分类和预测。
[0101]
本发明的有益效果在于，与现有技术相比，该发明可以在“云管边端”的配电物联网系统架构下，遵循云中心和智能业务终端“集中管控、分类存储、统一应用”的原则，将智能业务终端从下至上分为据接入层、数据集成层、边缘数据共享层、数据集市层、数据应用层和云端数据存储层，打通云中心与智能业务终端的数据壁垒，在边缘侧整合配电台区各类信息资源，降低云计算中心带宽的压力，减缓智能业务终端的计算资源需求，提高数据处理能力,使得诊断业务能快速响应,实现数据汇集和共享，提升数据价值创造能力，提高电网生产管理精益化水平。
[0102]
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。