一种电力信息系统多态数据存储系统及存储方法与流程

1.本发明涉及计算机网络技术领域，特别涉及数据存储的技术领域。


背景技术：

2.随着电力信息系统信息化进程的不断加深，电力业务系统所涉及的数据类型越来越多，数据总量越来越大。繁多的异构数据为电力信息系统的数据共享与高效流转带来了一系列的问题，现阶段单纯的中心化数据共享模式越来越难以满足安全、可信、高效的数据共享与存储需求。
3.现有的存储方式主要包括中心化存储和区块链存储：
4.1.中心化存储缺陷
5.中心化存储是最简单的数据存储策略，传统电网业务系统的多态数据采用数据库、云存储等中心化存储方法。随业务的扩展，中心化存储面临一些挑战和问题。
6.(1)多源异构的问题。中心化存储的异构环境分布着从供应商处获得的各种硬件和软件组件，这可能会导致业务系统中出现不兼容和漏洞[2]。电网业务系统中存在多种类异构数据和实时数据，这些数据的处理需求给云计算等带巨大挑战。
[0007]
(2)可信与安全问题。中心化存储的各种数据，存在被管理员、客户、非授权用户等修改的可能，每天有大量的多态数据上传，存在隐私泄露风险，技术缺陷、管理不善可能造成用户信息泄露等问题。中心化存储早已经成为了黑客入侵的目标，因为服务器上不仅有无穷用户数据，对此类大用户群服务的劫持更加是黑色收入的重要来源，也就是说服务器的安全性直接影响着用户上传数据的安全。
[0008]
(3)失效的问题。存储在中心的数据可能会被损坏或更改，从而可能导致整个系统崩溃。用户将数据发送到中心进行存储和处理，会消耗大量的网络带宽和计算资源，大量用户访问的激增，可能导致服务中断、网络延迟等问题。
[0009]
2.区块链存储缺陷
[0010]
区块链是一组连接起来的区块，是由许多包含信息的区块构成的链。在区块链中，账本分布在计算机网络上。系统是完全透明的，所有用户都可以看到在公共区块链上进行的交易和更改。因此，如果黑客试图更改或操纵分类账特定部分中的内容，它将自动失效，并且毫无用处。这使得黑客很难在那里做任何事情。对于这种防篡改功能，许多行业正在努力在其流程中采用区块链。
[0011]
区块链是计算机科学机制和密码机制的混合体，如加密散列函数、数字签名、非对称密钥加密、脚本和持久化存储等。从本质上讲，区块链是一个分布式、冗余、链连接、账本共享数据库，其中网络中的每个节点都是容错的，可以实现点对点通信。每个块还可以包括时间戳、nonce、名为merkle树的哈希树、智能合约脚本等。
[0012]
这种区块链技术是分散的，即，为了管理区块链，不需要中央可信机构；相反，网络中的多个实体可以自己创建、维护和存储区块链。每个实体都可以验证链订单和数据是否未被篡改。这种分散的系统使得任何系统都具有冗余性，能够抵御系统故障和网络攻击，并
解决了集中式系统的许多问题。
[0013]
区块链技术带来了全新的信任和合作机制。在数据存储领域，有巨大的应用潜力。区块链技术在数据存储领域也有巨大潜力。区块链可以实现去中心化存储，其应用类似于分布式存储。但直接将电网业务系统中的各种多态数据写到区块链里边，将会给整个区块链的数据存储与同步带来很多问题。
[0014]
通常来说，区块链上的每个节点都要存储全部的交易/存储数据，但让每个节点存储全部数据将占用大量存储资源，是不经济的。随着时间的推移，存储整个区块链所需的存储空间将是巨大的。现有区块链中普遍使用的完全复制数据存储机制是系统可伸缩性的障碍。


技术实现要素：

[0015]
发明目的：为此本发明提供一种电力信息系统多态数据存储系统及存储方法，解决如何提高数据交互与共享的可靠性和高效性的问题。
[0016]
技术方案：为实现本发明的目的，本发明提供的电力信息系统多态数据存储系统可采用以下技术方案：
[0017]
一种电力信息系统多态数据存储系统，包括：
[0018]
数据转换模块，用以将文件数据以二进制形式读入，并转换为大二进制文件bbf；对bbf进行数据片划分得到若干小数据分片，
[0019]
小数据分片存储模块，用以存储小数据分片，并生成小数据分片信息，包括小数据分片的hash值、小数据分片在所属文件数据中的数据序号、小数据分片的长度(以字节为单位)、小数据分片的存储地址；
[0020]
多态数据信息生成模块，用以将文件数据的文件hash值、所有小数据分片的数量、以及各个小数据分片信息进行聚合，形成多态数据文件的多态数据信息描述，并将多态数据信息保存至索引服务器；
[0021]
数据信息上链模块，用以将多态数据信息转换为上链存储信息，该上链存储信息包含文件名、文件hash值以及对应多态数据信息描述的地址；
[0022]
多态数据恢复模块，用以通过上链存储信息、通过多态数据信息描述的地址从索引服务器上获取数据文件的完整多态数据信息描述，并基于小数据分片信息从存储服务器上下载获取数据切片，依据数据序号将数据切片进行聚合重新形成数据文件。
[0023]
根据最大复用率来确定小数据分片的长度l；根据该小数据分片的长度l，划分出l长度的小数据分片。
[0024]
进一步的，小数据分片存储模块中，通过分布式云存储方式对小数据分片进行存储。
[0025]
进一步的，多态数据恢复模块中，聚合之前对小数据分片进行完整性校验，聚合后对整个文件的hash值进行完整性校验。
[0026]
而本发明提供的电力信息系统多态数据存储方法采用以下技术方案，包括以下步骤：
[0027]
(1)将文件数据以二进制形式读入，并转换为大二进制文件bbf；对bbf进行数据片划分得到若干小数据分片，
[0028]
(2)存储小数据分片，并生成小数据分片信息，包括小数据分片的hash值、小数据分片在所属文件数据中的数据序号、小数据分片的长度(以字节为单位)、小数据分片的存储地址；
[0029]
(3)将文件数据的文件hash值、所有小数据分片的数量、以及各个小数据分片信息进行聚合，形成多态数据文件的多态数据信息描述，并将多态数据信息保存至索引服务器；
[0030]
(4)将多态数据信息转换为上链存储信息，该上链存储信息包含文件名、文件hash值以及对应多态数据信息描述的地址；
[0031]
(5)通过上链存储信息、通过多态数据信息描述的地址从索引服务器上获取数据文件的完整多态数据信息描述，并基于小数据分片信息从存储服务器上下载获取数据切片，依据数据序号将数据切片进行聚合重新形成数据文件。
[0032]
进一步的，步骤(1)中，根据最大复用率来确定小数据分片的长度l；根据该小数据分片的长度l，划分出l长度的小数据分片。
[0033]
进一步的，步骤(2)中，通过分布式云存储方式对小数据分片进行存储。
[0034]
进一步的，聚合之前对小数据分片进行完整性校验，聚合后对整个文件的hash值进行完整性校验。
[0035]
有益效果：相对于现有技术，本发明提供的电力信息系统多态数据存储系统及对应的存储方法的技术方案中，结合区块链和云存储的优点，实现数据本体链下存储，数据元信息链上存储，简化电力信息系统多态数据处理复杂度，是一种兼顾可信性、可靠性、可扩展性并兼顾效率的一般存储解决方案，提高了数据交互与共享的可靠性和高效性。
附图说明
[0036]
图1是本发明多态数据存储系统结构示意图；
[0037]
图2是本发明多态数据存储方法中至数据信息上链时的流程图；
[0038]
图3是本发明多态数据存储方法中多态数据恢复步骤的流程图。
具体实施方式
[0039]
下面结合附图和实施例对本发明的技术方案作进一步的说明。
[0040]
实施例一
[0041]
如图1至图3所示，本实施例提供了一种电力信息系统多态数据存储系统，该系统包括：
[0042]
数据转换模块，用以将文件数据以二进制形式读入，转换为大二进制文件(bbf，big binary file)。对bbf进行数据片划分成若干小数据分片，每一小数据分片可以是不同的大小。其中，根据最大复用率来确定小数据分片的长度l。根据该小数据分片的长度l，划分出l长度的小数据分片(sds,small data slice)。将sds使用分布式云存储进行存储。针对每一已存储的sds，计算得到分片的hash值、长度和存储地址，并以此生成小数据分片信息(sdsi,small data slice information)。该数据转换模块的作用是，由于电网业务系统中涉及文档类型、图片类型、音频类型、视频类型、动画类型等多态数据，这些数据汇集为文件形式存在。为了简化数据处理复杂度，优化存储空间利用率，提高数据传输效率，统一按照大二进制文件(bbf,big binary file)形式处理，并基于文件系统性能评估，设定分片大
小为s，并将大二进制文件分割为若干小数据分片。
[0043]
小数据分片存储模块，将sds使用分布式云存储进行存储，针对每一个已存储的sds，计算hash值、长度和存储地址，生成小数据分片信息(sdsi,small data slice information)。一个完整的sdsi包含以下信息：
①
sdshash，该数据块的hash，使用该名称作为文件名来存储；
②
sdsseteq，该sds在所属文件中的序号；
③
sdslength，数据块的长度，以字节为单位；
④
sdsaddress，存储sds的地址；
[0044]
多态数据信息生成模块，将大文件的文件hash值、所有小数据分片的数量、以及各个小数据分片的sdsi集合进行聚合，形成该多态数据文件的多态数据信息描述(mdi,multi-forms data information)，并以json形式进行保存至索引服务器；
[0045]
数据信息上链模块，区块链上不适合保存大量的数据，链上数据应当尽可能简单，否则会造成区块膨胀、同步困难、验证困难。故而本发明并未直接存储多态数据描述信息mdi，而是对该数据进行进一步简化，仅包含文件名、文件hash值以及对应mdi的地址，形成上链存储信息(csi，chain stored information)。最后将csi信息上链，完成整个多态数据文件的存储；
[0046]
多态数据恢复模块，多态数据恢复。用户首先从区块链网络中读取csi信息，然后通过mdi地址从索引服务器上获取数据文件的完整mdi描述，接下来基于sdsi信息从存储服务器上获取数据切片，并在数据聚合之前对sds进行完整性校验，最后依据数据序号将数据切片进行聚合重新形成数据文件，通过整个文件的hash值进行完整性校验，确保数据的完整性。
[0047]
需要进一步说明的是，在本实施例中，包含三类辅助存储信息：上链存储信息(csi，chain stored information)、多态数据信息(mdi,multi-forms data information)、小数据分片信息(sdsi,small data slice information)。
[0048]
csi是存储在区块链上的信息。区块链上不适合保存大量的数据，否则会造成区块膨胀、同步困难、验证困难。因此，存储上链数据要尽量简单。为此，将文件名、hash、链接地址等上链存储，它们构成能够恢复提取源文件的最小数据集。
[0049]
sdsi是保存各个小数据分片的二进制文件的信息。它包括小数据分片的hash、该数据分片在大文件中的位置、分片的长度以及该分片所存储的地址。
[0050]
mdi将相关的小数据分片的信息汇集起来。它包括大文件的文件hash值、所有小数据分片的数量、以及各个小数据分片的sdsi集合。
[0051]
该三类辅助存储信息可以结合下表所示：
[0052][0053]
实施例二，对应实施例一，本实施例提供一种电力信息系统多态数据存储方法，包括以下步骤：
[0054]
(1)针对多态数据，统一以二进制形式读入，转换为大二进制文件(bbf,big binary file)。对bbf进行数据片划分，每一分片可以是不同的大小。根据最大复用率来确定分片的长度l。根据该分片的长度l，划分出l长度的数据片(sds,small data slice)。将sds使用分布式云存储进行存储。针对每一已存储的sds，计算得到分片的hash值、长度和存储地址，并以此生成小数据分片信息(sdsi，small data slice information)信息。
[0055]
(2)小数据分片存储。将sds使用分布式云存储进行存储，针对每一个已存储的sds，计算hash值、长度和存储地址，生成小数据分片信息(sdsi，small data slice information)。一个完整的sdsi包含以下信息：
①
sdshash，该数据块的hash，使用该名称作为文件名来存储；
②
sdsseteq，该sds在所属文件中的序号；
③
sdslength，数据块的长度，以字节为单位；
④
sdsaddress，存储sds的地址。
[0056]
(3)多态数据信息生成。将大文件的文件hash值、所有小数据分片的数量、以及各个小数据分片的sdsi集合进行聚合，形成该多态数据文件的多态数据信息描述(mdi,multi-forms data information)，并以json形式进行保存至索引服务器。
[0057]
(4)数据信息上链。区块链上不适合保存大量的数据，链上数据应当尽可能简单，否则会造成区块膨胀、同步困难、验证困难。故而本发明并未直接存储多态数据描述信息mdi，而是对该数据进行进一步简化，仅包含文件名、文件hash值以及对应mdi的地址，形成上链存储信息(csi，chain stored information)。最后将csi信息上链，完成整个多态数据文件的存储。
[0058]
(5)多态数据恢复。用户首先从区块链网络中读取csi信息，然后通过mdi地址从索引服务器上获取数据文件的完整mdi描述，接下来基于sdsi信息从存储服务器上获取数据切片，并进行完整性校验，最后依据数据序号将数据切片进行聚合重新形成数据文件，通过整个文件的hash值进行完整性校验，确保数据的完整性。
[0059]
实施例三
[0060]
本实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。其中处理器执行所述计算机程序时实现实施例二中电力信息系统多态数据存储方法的步骤。
[0061]
实施例四
[0062]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序。其中计算机程序被处理器执行时实现实施例二中电力信息系统多态数据存储方法的步骤。