基于云链融合的分布式数据存储管理方法、装置及系统与流程

1.本发明属于数据管理技术领域，更具体地，涉及一种基于云链融合的分布式数据存储管理方法、装置及系统。


背景技术：

2.随着互联网、物联网、车联网等技术的迅猛发展，以网络数据、媒体数据、日志数据为代表的多源异构数据成为人民生活和经济发展的重要组成部分，考虑到多源异构数据的来源多样性、类型异构性以及应用环境的复杂性等特点，需要对其进行安全可靠的存储与管理。
3.在云数据环境中，数据存储的方案通常是将数据外包给云数据服务提供商，并由云服务提供商对其数据进行存储和管理，但是该解决方案中数据所有者和服务器不在同一个信任域中，服务器由云数据服务提供商直接控制，用户无法控制服务器。而且外包数据通常由单个云服务提供商存储，并进行统一管理，而同一个云服务提供商的数据管理方法往往是针对特定类型的数据，这使得在多源异构数据场景下难以实现对数据的有效存储管理。因此，在云数据环境中，传统的数据管理方法已经无法解决多源异构数据的存储管理问题。
4.近几年，针对云数据中心化的计算和存储管理模式存在的不适应性，基于去中心化区块链技术的数据管理机制应运而生。区块链技术为解决安全互信难题提供了一种新的研究思路。区块链是用加密的链式区块结构来验证与存储数据，并基于分布式节点的共识算法来生成和更新数据，使用智能合约(一种自动化脚本)来编程和操作数据的一种全新的去中心化的分布式计算范式。它采用密码学方法而非中心机构来建立节点间的信任关系，从而形成去中心化的分布式架构；其次，区块链借助分布式系统各结点的工作量证明等共识算法形成的强大计算力来抵御外部攻击，只有攻破超过51％的节点才能篡改信息，在一个足够大的区块链系统中，篡改信息的成本极高，从而保证了区块链数据的不可篡改和不可伪造。但是区块链技术应用需求较为单一，对于云环境中数据种类众多、用户安全需求复杂、共享需求多样等特殊性，现有区块链技术难以满足这些方面的要求。
5.总的来说，当前如何对多源异构数据进行安全可靠的存储与管理的相关研究还不够深入，已有的解决方案能在一定程度上解决大数据的分布式存储与管理，但是无法解决多云协作之下对多源异构数据的管理，且数据存储安全性受限。


技术实现要素：

6.针对现有技术的缺陷和改进需求，本发明提供了一种基于云链融合的分布式数据存储管理方法、装置及系统，其目的在于，克服对单一云服务提供商的依赖，提高多源异构数据存储的安全性。
7.为实现上述目的，按照本发明的一个方面，提供了一种基于云链融合的分布式数据存储管理方法，包括：数据分类存储步骤；
8.数据分类存储步骤包括：
9.(s1)在原始数据上传时，根据数据所有者预先制定的数据分类策略，确定待上传的原始数据所属的数据域；
10.数据分类策略用于根据数据属性确定数据在云端所属的数据域；一个数据所有者存储在一个云计算平台中的同类原始数据信息属于同一个数据域；
11.(s2)将原始数据存储至数据域所对应的云计算平台，并生成相应的关键元数据；
12.关键元数据用于记录原始数据在云端的定位信息；
13.(s3)将所生成的关键元数据存储到区块链上。
14.进一步地，本发明提供的基于云链融合的分布式数据存储管理方法，还包括：数据访问步骤；
15.数据访问步骤包括：
16.(t1)在数据使用者请求访问数据时，从请求中提取数据关键字；
17.数据关键字为关键元数据的键，与关键元数据一一对应；
18.(t2)根据数据关键字从区块链中查找关键元数据，若查找成功，则转入步骤(t3)；否则，返回访问失败的信息，并转入步骤(t4)；
19.(t3)从查找到的关键元数据中获取原始数据在云端的定位信息，并根据该定位信息在云端查找相应的原始数据，若查找成功，则将查找到的原始数据返回给数据使用者，并转入步骤(t4)；否则，返回访问失败的信息，并转入步骤(t4)；
20.(t4)访问结束。
21.进一步地，数据访问步骤还包括：
22.在数据使用者接收到返回的原始数据后，利用关键元数据验证所获取的原始数据是否未被篡改。
23.进一步地，数据属性包括数据类型。
24.进一步地，数据属性还包括数据的安全划分。
25.按照本发明的另一个方面，提供了一种基于云链融合的分布式数据存储管理装置，包括：数据分类存储设备；
26.数据分类存储设备包括：数据分类模块和数据存储模块；
27.数据分类模块，用于存储数据所有者预先制定的数据分类策略；数据分类策略用于根据数据属性确定数据在云端所属的数据域；一个数据所有者存储在一个云计算平台中的同类原始数据信息属于同一个数据域；
28.数据分类模块，还用于在原始数据上传时，根据数据所有者预先制定的数据分类策略，确定待上传的原始数据所属的数据域，之后触发数据存储模块；
29.数据存储模块，用于将原始数据存储至数据域所对应的云计算平台，并生成相应的关键元数据；关键元数据用于记录原始数据在云端的定位信息；
30.数据存储模块，还用于将所生成的关键元数据存储到区块链上。
31.进一步地，本发明提供的基于云链融合的分布式数据存储管理装置，还包括：数据访问设备；
32.数据访问设备包括：数据访问接口、第一数据访问模块、第二数据访问控制模块；
33.数据访问接口，用于接收数据使用者发送的数据访问请求，并从请求中提取数据
关键字，之后触发第一数据访问模块；数据关键字为关键元数据的键，与关键元数据一一对应；
34.数据访问接口，还用于向数据使用者返回访问结果；
35.第一数据访问模块，用于根据数据关键字从区块链中查找关键元数据，若查找成功，则触发第二数据访问控制模块，若查找不成功，则通过数据访问接口返回访问失败的信息；
36.第二数据访问控制模块，用于从关键元数据中获取原始数据在云端的定位信息，并根据该定位信息在云端查找相应的原始数据，若查找成功，则通过数据访问接口将查找到的原始数据返回给数据使用者；若查找不成功，则通过数据访问接口返回访问失败的信息。
37.按照本发明的又一个方面，提供了一种分布式数据存储管理系统，包括：云计算平台、区块链以及本发明提供的基于云链融合环境的分布式数据存储管理器。
38.在一些可选的实施例中，区块链为hyperledger fabric。
39.总体而言，通过本发明所构思的以上技术方案，在原始数据上传时，依据数据所有者预先制定的数据分类策略对数据进行分类，并依据分类结果将原始数据存储到对应的数据域中，对于同一个数据所有者而言，其不同的数据域对应不同的云计算平台，因此，上传至云端的数据，会依据其属性分类结果被分散存储在不同的云计算平台上，从而能够综合不同云服务提供商的数据存储能力，避免对单一云服务提供商的依赖，保证对多源异构数据的有效存储；此外，原始数据在云端的定位信息会作为关键元数据存储于区块链上，对云中存储的多源异构数据进行同一管理，能够保证存储关键信息不被篡改，从而保证多源异构数据存储的安全性。并且，数据分类策略的制定可基于数据所有者的实际需求进行制定，避免了对不同数据类型和数据安全需求的单一划分和存储。
附图说明
40.图1为本发明实施例提供的基于云链融合的分布式数据存储管理方法及系统示意图；
41.图2为本发明实施例提供的基于云链融合的分布式数据存储管理方法流程图；
42.图3为本发明实施例提供的数据分类存储步骤流程图；
43.图4为本发明实施例提供的数据访问步骤流程图。
具体实施方式
44.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
45.在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
46.多源异构数据有多个数据所有者，数据的类型和特征不一致，不同数据所有者的存储需求也不尽相同，而现有的中心化的存储系统多针对特定数据进行存储和管理，难以
对多源异构数据进行统一的存储与管理，且容易出现单点故障，数据的安全性和可用性难以得到保障。针对多源异构数据的分布式存储与管理问题，本发明提出了一种基于云链融合的分布式数据存储管理方法、装置及系统，其整体思路在于：根据数据所有者的应用需求预先制定数据分类策略，在数据上传时根据数据分类策略对数据进行分类，并依据分类结果将数据存储到对应的云计算平台，由此将多源异构数据分散存储到多个云计算平台上，并利用区块链对原始数据在云端存储的关键信息进行统一管理，克服对单一云服务提供商的依赖，提高多源异构数据存储的安全性。
47.为实现上述技术构思，本发明协调了云计算和区块链技术在数据组织和存储方面的差异，有效融合了数据及元数据在区块链和云端的存储、访问和验证流程，实现了多源异构数据的安全存储管理功能。
48.在详细解释本发明的技术方案之前，先对相关的技术术语进行如下简要介绍：
49.区块链：起源于中本聪的比特币，作为比特币的底层技术，实际上是一群分散的用户端节点，并由所有参与者共同维护的分布式数据库，是对所有比特币交易历史的记录。比特币的交易数据被打包到一个“数据块”或“区块”(block)中后，交易就算初步确认了。当区块链接到前一个区块之后，交易会得到进一步的确认；
50.区块链技术：一种不依赖第三方、通过自身分布式节点进行网络数据的存储、验证、传递和交流的一种技术方案。区块链技术可看成是一种分布式开放性去中心化的大型网络记账薄，任何人任何时间都可以采用相同的技术标准加入自己的信息，延伸区块链，持续满足各种需求带来的数据录入需要；
51.hyperledger fabric：是一个开源区块链框架，旨在帮助公司建立私人或联盟许可的区块链网络，在该网络中，多个组织可以共享控制和操作网络内节点的权限；本发明可基于任意一种区块链实现，不失一般性地，在以下实施例中，均以hyperledger fabric为例进行说明；
52.数据域：对于单个数据所有者而言，其在一个云服务提供商的云计算平台中存储的同类原始数据信息所属的域构成一个数据域；同一个数据所有者的不同数据域对应不同类的数据和不同的云计算平台。
53.以下为实施例。
54.实施例1：
55.一种基于云链融合的分布式数据存储管理方法，参阅图1和图2，包括：数据分类存储步骤；
56.如图3所示，数据分类存储步骤包括：
57.(s1)在原始数据上传时，根据数据所有者预先制定的数据分类策略，确定待上传的原始数据所属的数据域；
58.数据分类策略用于根据数据属性确定数据在云端所属的数据域；一个数据所有者存储在一个云计算平台中的同类原始数据信息属于同一个数据域；本实施例中，所谓同类数据，是指分类结果相同的数据，也即是说，同一个云计算平台中，属于同一个数据所有者，且分类结果相同的原始数据信息属于同一个数据域；
59.如图1所示，需要上传至云端的原始数据可能是智能设备、智能家居、车联网等产生的数据；
60.作为一种可选的实施方式，本实施例中，数据分类策略进行分类时，所依据的数据属性具体包括数据类型和安全划分；其中数据类型用于标识数据来源和种类，例如，是智能设备数据还是车联网数据，是结构化数据还是非结构化数据，等等；安全划分用于标识数据的安全等级；数据使用者在将原始数据上传至云端时，可通过特殊的数据标记对数据类型和安全划分进行标识；应当说明的是，此处所描述的数据属性，仅为实现数据分类时可选的数据属性，不应理解为对本发明的唯一限定；
61.数据使用者可根据其具体的存储需求，灵活设定数据分类策略；例如，将车联网产生的数据，且安全等级为绝密的数据，上传到云服务提供商a所提供的云计算平台上；将车联网产生的数据，且安全等级为非涉密的数据，上传到云服务提供商b所提供的云计算平台上，等等；对数据进行分类的分类结果，反映了数据所有者的存储需求；
62.可选地，本实施例中，利用配置文件保存数据使用者所制定的数据分类策略，其该配置文件具体为xml(extensible markup language)文件；在数据上传时，从原始数据数据的数据标记中提取相应的数据属性，即数据类型和安全划分，加载并解析该配置文件，即可完成对原始数据的分类，并确定相应的数据域；
63.(s2)将原始数据存储至数据域所对应的云计算平台，并生成相应的关键元数据；
64.关键元数据用于记录原始数据在云端的定位信息；可选地，本实施例中，关键元数据中存储的信息除了原始数据在云端的定位信息之外，还包括文件哈希、文件大小、所属数据域等等；
65.依据数据分类策略所确定的数据域，将原始数据存储至对应的云计算平台后，可将多源异构数据在云端分散存储到不同的云计算平台上，由此避免了对单一云服务提供商的依赖，并且可以综合各云服务提供商对不同数据的处理能力，实现对多源异构数据的有效存储；
66.(s3)将所生成的关键元数据存储到区块链上；
67.本发明将原始数据在云端的存储信息作为关键元数据，存储到区块链中，可以利用区块链对分散存储在云端的多源异构数据进行统一的管理，保证数据存储的安全性。
68.如图1和图2所示，本实施例还包括：数据访问步骤；
69.如图4所示，数据访问步骤包括：
70.(t1)在数据使用者请求访问数据时，从请求中提取数据关键字；
71.数据关键字为关键元数据的键，与关键元数据一一对应；
72.(t2)根据数据关键字从区块链中查找关键元数据，若查找成功，则转入步骤(t3)；否则，返回访问失败的信息，并转入步骤(t4)；
73.(t3)从查找到的关键元数据中获取原始数据在云端的定位信息，并根据该定位信息在云端查找相应的原始数据，若查找成功，则将查找到的原始数据返回给数据使用者，并转入步骤(t4)；否则，返回访问失败的信息，并转入步骤(t4)；
74.(t4)访问结束；
75.本实施例中，数据访问步骤还包括：
76.在数据使用者接收到返回的原始数据后，利用关键元数据验证所获取的原始数据是否未被篡改。
77.基于上述数据访问步骤，实现了数据的访问，并且在访问过程中有效保证了数据
访问的安全性；此外，利用关键元数据对成功访问的数据进行验证，以判断数据是否未被篡改，可以进一步保证数据的安全性。
78.总的来说，本实施例在云存储环境中采用融合多云管理和同构分类思想的多策略数据分类；基于元数据分级管理策略，将与数据管理相关的关键元数据存储在区块链上，从而实现对多源异构数据分级分类安全管理。
79.实施例2：
80.一种基于云链融合的分布式数据存储管理装置，包括：数据分类存储设备；
81.如图2所示，数据分类存储设备包括：数据分类模块和数据存储模块；
82.数据分类模块，用于存储数据所有者预先制定的数据分类策略；数据分类策略用于根据数据属性确定数据在云端所属的数据域；一个数据所有者存储在一个云计算平台中的同类原始数据信息属于同一个数据域；
83.数据分类模块，还用于在原始数据上传时，根据数据所有者预先制定的数据分类策略，确定待上传的原始数据所属的数据域，之后触发数据存储模块；
84.数据存储模块，用于将原始数据存储至数据域所对应的云计算平台，并生成相应的关键元数据；关键元数据用于记录原始数据在云端的定位信息；
85.数据存储模块，还用于将所生成的关键元数据存储到区块链上；
86.本实施例提供的基于云链融合的分布式数据存储管理装置，还包括：数据访问设备；
87.数据访问设备包括：数据访问接口、第一数据访问模块、第二数据访问控制模块；
88.数据访问接口，用于接收数据使用者发送的数据访问请求，并从请求中提取数据关键字，之后触发第一数据访问模块；数据关键字为关键元数据的键，与关键元数据一一对应；
89.数据访问接口，还用于向数据使用者返回访问结果；
90.第一数据访问模块，用于根据数据关键字从区块链中查找关键元数据，若查找成功，则触发第二数据访问控制模块，若查找不成功，则通过数据访问接口返回访问失败的信息；
91.第二数据访问控制模块，用于从关键元数据中获取原始数据在云端的定位信息，并根据该定位信息在云端查找相应的原始数据，若查找成功，则通过数据访问接口将查找到的原始数据返回给数据使用者；若查找不成功，则通过数据访问接口返回访问失败的信息；
92.本实施例中，各模块的具体实施方式，可参考上述方法实施例中的描述，在此将不做复述。
93.实施例3：
94.一种分布式数据存储管理系统，如图1所示，包括：云计算平台、区块链以及本上述实施例1提供的基于云链融合环境的分布式数据存储管理器；
95.可选地，本实施例中，区块链为hyperledger fabric。
96.总体而言，通过本发明所构思的以上技术方案，在原始数据上传时，依据数据所有者预先制定的数据分类策略对数据进行分类，并依据分类结果将原始数据存储到对应的数据域中，对于同一个数据所有者而言，其不同的数据域对应不同的云计算平台，因此，上传
至云端的数据，会依据其属性分类结果被分散存储在不同的云计算平台上，从而能够综合不同云服务提供商的数据存储能力，避免对单一云服务提供商的依赖，保证对多源异构数据的有效存储；此外，原始数据在云端的定位信息会作为关键元数据存储于区块链上，对云中存储的多源异构数据进行同一管理，能够保证存储关键信息不被篡改，从而保证多源异构数据存储的安全性。并且，数据分类策略的制定可基于数据所有者的实际需求进行制定，避免了对不同数据类型和数据安全需求的单一划分和存储。
97.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。