一种数据可信存储方法、系统、介质、设备及终端与流程

1.本发明属于区块链与数据可信存储技术领域，尤其涉及一种数据可信存储方法、系统、介质、设备及终端。


背景技术：

2.目前，在传统智能电网中，会产生海量的电力数据、交易数据等数据。这些数据来源广泛、数据量大并且涉及到大量用户隐私。智能电表等设备产生的数据需要中心化存储在服务器上。中心化存储容易被恶意攻击，一旦中心服务器宕机，容易对整个智能电网系统造成恶劣影响。
3.目前各个领域都尝试使用区块链技术来解决去中心化的问题。同时，区块链的本质是一个不可篡改的分布式账本，可以实现数据的可信存储。但是，在海量交易和海量数据的场景下，区块链网络的交易处理速度和吞吐量直接影响到区块链的整体性能，并且由于数据量巨大，实时变化，不适宜直接存储到区块链系统中。同时，由于电网数据属于链外数据，其数据来源的真实性和准确性也无法得到保证。
4.因此，针对智能电网的应用场景和存在的问题，亟需涉及一种数据可信存储方法及系统。
5.通过上述分析，现有技术存在的问题及缺陷为：
6.(1)中心化存储容易被恶意攻击，一旦中心服务器宕机，容易对整个智能电网系统造成恶劣影响。
7.(2)在海量交易和海量数据的场景下，区块链网络的交易处理速度和吞吐量直接影响到区块链的整体性能。
8.(3)由于数据量巨大，实时变化，不适宜直接存储到区块链系统中；同时由于电网数据属于链外数据，其数据来源的真实性和准确性也无法得到保证。
9.解决以上问题及缺陷的难度为：
10.(1)去中心化存储即分布式存储会增加技术难度和存储成本。
11.(2)区块链系统本身的限制造成提升区块链整体性能的难度。
12.(3)链外数据的数据量以及真实性和准确性问题不能从数据源直接解决，只能通过技术手段先进行处理，额外增加技术难度。
13.解决以上问题及缺陷的意义为：
14.(1)通过增加一定的存储和技术成本来保障整个智能电网系统的安全性与可靠性。
15.(2)在不影响整个区块链系统的情况下牺牲一定的可靠性可以提升区块链系统的整体性能。
16.(3)通过技术手段解决数据量问题以及保证数据来源的真实性和准确性可以降低对于区块链整体性能的要求。


技术实现要素：

17.针对现有技术存在的问题，本发明提供了一种数据可信存储方法、系统、介质、设备及终端，尤其涉及一种基于区块链和预言机的数据可信存储方法、系统、介质、设备及终端。
18.本发明是这样实现的，一种数据可信存储系统，所述数据可信存储系统，包括数据产生模块、数据采集模块、数据可信预处理模块、数据分布式存储模块以及数据一致性校验模块。
19.其中，所述数据产生模块，用于进行节点产生的数据，所述数据由一种或多种海量的结构化、非结构化以及半结构化的数据无规则的组合到一起，并且以数据流的形式存在；
20.所述数据采集模块，用于通过智能电表和传感器在内的数据采集设备采集智能电网中产生的各种数据，采集的数据由预言机调用；
21.所述数据可信预处理模块，用于完成对采集到的数据进行可信预处理功能；
22.所述数据分布式存储模块，用于完成两个功能，分别是根据数据类型的不同分别对数据进行数据流处理和数据批处理以及对数据的存储过程和存储结果存储到区块链上，将数据本身存储到链外ipfs上；
23.所述数据一致性校验模块，用于完成对区块链上存储的数据过程和数据结果与ipfs上的数据的一致性校验功能。
24.本发明的另一目的在于提供一种应用所述的数据可信存储系统的数据可信存储方法，所述数据可信存储方法包括以下步骤：
25.步骤一，进行节点数据的产生；
26.步骤二，进行数据采集，保证链外数据的可信性；
27.步骤三，进行数据可信预处理，降低对于区块链性能要求的限制，同时使数据便于存储；
28.步骤四，进行数据分布式存储；
29.步骤五，进行数据一致性校验，保障数据存储的准确性。
30.进一步，步骤二中，所述数据采集，包括：
31.(1)智能电网中产生的数据由智能电表和传感器的数据采集设备采集；
32.(2)数据采集后，直接传输到预言机，触发预言机智能合约。
33.其中，步骤(1)中，所述数据是指节点产生的数据，由一种或多种海量的结构化的、非结构化的以及半结构化的数据无规则的组合到一起，且以数据流的形式存在。
34.进一步，步骤三中，所述数据可信预处理，包括：
35.(1)数据触发预言机智能合约，预言机调用数据；
36.(2)预言机调用数据到大数据处理平台对数据进行预处理；
37.(3)大数据处理平台预处理后的数据与预言机调用的数据进行比对；如果数据被篡改，则结束进程，如果数据没有被篡改，则继续处理数据；
38.(4)将数据操作记录在区块链中。
39.进一步，步骤(2)中，所述数据预处理，包括数据采集、数据清洗、数据拆分、数据消减以及数据标记；其中，所述数据预处理不改变所需数据本身，只是使数据更加结构化，并剔除非所需数据。
40.步骤(3)中，由于数据预处理不改变数据本身，所以数据实现比对来判断是否被篡改。
41.进一步，步骤四中，所述数据分布式存储，包括：
42.(1)判断数据是需要流处理的数据还是需要批处理的数据；
43.(2)对于需要流处理的数据，直接进行步骤(4)处理；
44.(3)对于需要批处理的数据，先进行缓存，缓存达到阈值后，再进行步骤(4)处理；
45.(4)分别将数据的存储结果和过程存储至区块链，将数据存储至ipfs。
46.其中，步骤(1)中，所述需要流处理的数据是指，必须实时处理、突发性的数据；需要批处理的数据是指，持续不间断产生、长时间动态变化的数据。
47.步骤(3)中，所述阈值是指提前设定好的数据缓存到可进行步骤(4)的数据量。
48.进一步，步骤五中，所述数据一致性校验，包括：
49.(1)区块链向预言机发起校验数据的请求，并对预言机进行授权；
50.(2)预言机根据授权生成获得数据的凭证；
51.(3)预言机请求调用数据并发送凭证到ipfs；
52.(4)ipfs验证凭证的合法性，如果凭证合法则进行下一步操作；
53.(5)ipfs将相应数据发送给预言机；
54.(6)预言机将数据发送给区块链；
55.(7)区块链对数据的一致性进行校验，如果校验通过，则完成数据的可信存储全过程；如果校验不通过，则说明数据被篡改，则此数据无效，并记录在区块链中。
56.其中，步骤(1)和步骤(2)中，所述授权和凭证均是通过分布式身份did系统来实现的，即每个节点都需要进行认证获取did成为可信节点，生成步骤(2)中所需凭证，完成授权。
57.本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
58.进行节点产生的数据，所述数据由一种或多种海量的结构化、非结构化以及半结构化的数据无规则的组合到一起，并且以数据流的形式存在；通过智能电表和传感器在内的数据采集设备采集智能电网中产生的各种数据，采集的数据由预言机调用；
59.对采集到的数据进行可信预处理；根据数据类型的不同分别对数据进行数据流处理和数据批处理以及对数据的存储过程和存储结果存储到区块链上，将数据本身存储到链外ipfs上；对区块链上存储的数据过程和数据结果与ipfs上的数据进行一致性校验。
60.本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
61.进行节点产生的数据，所述数据由一种或多种海量的结构化、非结构化以及半结构化的数据无规则的组合到一起，并且以数据流的形式存在；通过智能电表和传感器在内的数据采集设备采集智能电网中产生的各种数据，采集的数据由预言机调用；
62.对采集到的数据进行可信预处理；根据数据类型的不同分别对数据进行数据流处理和数据批处理以及对数据的存储过程和存储结果存储到区块链上，将数据本身存储到链外ipfs上；对区块链上存储的数据过程和数据结果与ipfs上的数据进行一致性校验。
63.本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的数据可信存储系统。
64.结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的数据可信存储方法，尤其涉及一种智能电网中基于区块链的通过预言机调用链外数据的通过ipfs可信存储数据的实现方法。
65.针对智能电网的应用场景和存在的问题，本发明设计了一套基于区块链、预言机、星际文件传输系统ipfs、大数据处理平台的可信数据存储的系统及方法，使用区块链技术解决去中心化的问题，使用大数据平台进行数据预处理弥补区块链的计算能力和处理能力，使用星际文件传输系统进行链外存储，使用预言机保证数据的真实性和准确性，以达到解决智能电网海量交易和海量数据的应用场景下区块链数据存储空间、吞吐量和网络延迟对于系统性整体性能的限制和链外数据的可信调用的目的。
附图说明
66.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
67.图1是本发明实施例提供的数据可信存储系统结构框图；
68.图中：1、数据产生模块；2、数据采集模块；3、数据可信预处理模块；4、数据分布式存储模块；5、数据一致性校验模块。
69.图2是本发明实施例提供的数据可信存储系统结构原理图。
70.图3是本发明实施例提供的数据可信存储方法流程图。
71.图4是本发明实施例提供的数据可信预处理流程图。
72.图5是本发明实施例提供的数据分布式存储流程图。
73.图6是本发明实施例提供的数据存储校验流程图。
具体实施方式
74.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
75.针对现有技术存在的问题，本发明提供了一种数据可信存储方法、系统、介质、设备及终端，下面结合附图对本发明作详细的描述。
76.如图1所示，本发明实施例提供的数据可信存储系统，包括数据产生模块1、数据采集模块2、数据可信预处理模块3、数据分布式存储模块4以及数据一致性校验模块5。
77.数据产生模块1，用于进行节点产生的数据，所述数据由一种或多种海量的结构化、非结构化以及半结构化的数据无规则的组合到一起，并且以数据流的形式存在；
78.数据采集模块2，用于通过智能电表和传感器在内的数据采集设备采集智能电网中产生的各种数据，采集的数据由预言机调用；
79.数据可信预处理模块3，用于完成对采集到的数据进行可信预处理功能；
80.数据分布式存储模块4，用于完成两个功能，分别是根据数据类型的不同分别对数据进行数据流处理和数据批处理以及对数据的存储过程和存储结果存储到区块链上，将数据本身存储到链外ipfs上；
81.数据一致性校验模块5，用于完成对区块链上存储的数据过程和数据结果与ipfs上的数据的一致性校验功能。
82.本发明实施例提供的数据可信存储系统结构原理图如图2所示。
83.如图3所示，本发明实施例提供的数据可信存储方法包括以下步骤：
84.s101，进行节点数据的产生；
85.s102，进行数据采集；
86.s103，进行数据可信预处理；
87.s104，进行数据分布式存储；
88.s105，进行数据一致性校验。
89.下面结合具体实施例对本发明的技术方案作进一步描述。
90.实施例1
91.本发明在智能电网应用中，主要涉及到两种设备：包括节点上接入的智能电表、传感器等产生数据流的硬件数据采集设备以及节点上搭载的区块链、大数据处理平台、预言机、ipfs集成的软件系统。
92.智能电表、传感器等数据采集设备负责采集智能电网中产生的各种数据。在传统电网中会将数据上报到服务器，而本发明中数据采集设备在节点通过集成的包含区块链、大数据处理平台、预言机、ipfs的软件系统直接接入区块链网络。对于现有技术来说，区块链通过智能合约直接调用外部数据以及数据直接存储到链外无法保证数据的可信性。所以本发明使用预言机技术来调用数据，保证数据的可信性。
93.如图4所示，本发明实施例提供的数据可信预处理如下：
94.s301，由数据采集模块采集的未经过预处理的数据；
95.s302，未处理的数据在节点上经由预言机直接调用，保证数据的可信性(默认节点为可信节点)；
96.s303，预言机调用的数据由大数据平台进行预处理，预处理包括但不限于数据采集、数据清洗、数据拆分、数据消减、数据标记，需要注意的是该数据预处理过程只是使数据更加结构化，并不改变数据本身；
97.s304，大数据处理平台预处理后的数据与预言机调用的数据进行比对，由于预处理过程不改变数据本身，所以数据篡改与数据处理是有区别并且可区分的，如果数据被篡改，则结束进程；如果数据没有被篡改，则继续处理数据；
98.s305，如果数据未被篡改，则将数据操作记录在区块链中。
99.如图5所示，本发明实施例提供的数据分布式存储流程如下：
100.s401，节点数据流经过大数据平台预处理后成为有效的、结构化的、有规则的、可直接存储的友好数据；
101.s402，针对持续不间断产生、长时间动态变化的数据和必须实时处理、突发性的数据区分开来，例如用电量数据和电费交易数据，分别进行数据批处理和数据流处理；
102.s403，对持续不间断产生、长时间动态变化的数据进行数据批处理，即先对数据进
行缓存，只将缓存的过程上链；
103.s404，判断当前缓存的数据量是否达到提前设定好的阈值时，如果达到阈值进行下一步操作，否则继续缓存数据；
104.s405，将必须实时处理、突发性的流数据和已经达到缓存阈值的批数据的存储结果和过程存储到区块链上，将数据存储到ipfs上；
105.s406，此时，数据完成分布式存储的过程。
106.如图6所示，本发明实施例提供的数据一致性校验流程如下：
107.s501区块链向预言机发起校验数据的请求，并对预言机进行授权(该授权来自于用户的授权)；
108.s502，预言机根据授权生成获得数据的凭证；
109.s503，预言机请求调用数据并发送凭证到ipfs；
110.s504，ipfs验证凭证的合法性，如果凭证合法则进行下一步操作；
111.s505，ipfs将相应数据发送给预言机；
112.s506，预言机将数据发送给区块链；
113.s507，区块链对数据的一致性进行校验，如果校验通过，则完成数据的可信存储全过程；如果校验不通过，则说明数据被篡改，则此数据无效，并记录在区块链中。
114.实施例2
115.本发明以智能电网系统对某用户的用电数据进行存储为例，整个过程包括数据预处理、流数据分布式存储、批数据分布式存储、数据存储一致性校验、数据查询等；某用户节点上数据存储以及数据查询的整个流程如下：
116.1.数据预处理的流程如下：
117.步骤一：数据采集，通过传感器/智能电网等设备获取到的用户节点数据；
118.步骤二：数据清洗，去除噪声数据；
119.步骤三：数据拆分，将不同类型的数据区分开；
120.步骤四：数据消减，将同一类型的数据聚集在一起，组成数据集；
121.步骤五：数据标记，标记特定数据，便于审计与追踪。
122.2.流数据分布式存储的流程如下：
123.步骤一：获得经过大数据平台预处理后成为有效的、结构化的、有规则的、可直接存储的友好数据；
124.步骤二：针对必须实时处理、突发性的数据，例如电费交易数据，进行数据数据流处理；
125.步骤三：对数据做hash运算，通过智能合约以交易的方式存储到区块链上，并维护一个交易列表；
126.步骤四：将数据本身分布式存储到ipfs上。
127.3.批数据分布式存储的流程如下：
128.步骤一：获得经过大数据平台预处理后成为有效的、结构化的、有规则的、可直接存储的友好数据；
129.步骤二：针对持续不间断产生、长时间动态变化的数据，例如用电量数据，进行数据数据批处理；
130.步骤三：将数据实时缓存，并构建成一个merkle树；
131.步骤四：数据达到预先设定的阈值时，停止缓存。将merkle root存储到区块链上；
132.步骤五：将数据本身分布式存储到ipfs上。
133.4.数据存储一致性校验的流程如下：
134.步骤一：区块链平台向预言机发起校验数据的请求，并对预言机进行授权(该授权来自于用户对于区块链平台的授权)；
135.步骤二：预言机根据授权生成获得相关数据的凭证；
136.步骤三：预言机请求调用数据并发送凭证到ipfs；
137.步骤四：ipfs验证凭证的合法性，如果凭证合法则进行下一步操作；
138.步骤五：ipfs将相应数据发送给预言机；
139.步骤六：预言机将数据发送给区块链；
140.步骤七：区块链对数据的一致性进行校验，如果校验通过，则完成数据的可信存储全过程；
141.步骤八：如果校验不通过，则说明数据被篡改，则此数据无效，并记录在区块链中。
142.5.某用户请求查询数据的流程如下：
143.步骤一：用户在区块链平台上通过智能合约请求获取数据，并提供授权；
144.步骤二：区块链平台根据授权生成凭证；
145.步骤三：区块链查询数据是否存在？是否通过了一致性校验？如果数据不存在，则获取数据失败；若数据存在，一致性校验不通过，则获取数据失败，并返回数据一致性校验结果；如果数据存在且通过了一致性校验，则说明数据完成了可信存储，用户可以获得到可信数据；
146.步骤四：区块链平台通过智能合约向预言机请求调用相关数据，并发送凭证；
147.步骤五：预言机向ipfs请求调用相关数据，并发送凭证；
148.步骤六：ipfs验证凭证，验证通过后，用户可直接通过ipfs获取到数据，并将获取记录上链；也可以通过区块链平台和预言机将数据发送给用户。
149.在上述实施例2中，数据可信预处理后进行数据存储相较于未进行数据可信预处理约提升区块链性能30％—50％；在链外数据读取过程中，预言机的使用相较于不使用预言机可以在一定程度上提升数据来源的可靠性，并100％保证数据传输过程中的可靠性；在链外数据分布式存储的过程中，预言机的使用相较于不使用预言机可以100％保证数据存储的准确性。
150.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一
个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
151.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。