一种数据处理方法及装置、电子设备、存储介质与流程

1.本技术涉及数据存储技术领域，特别涉及一种数据处理方法及装置、电子设备、存储介质。


背景技术：

2.随着大数据时代的不断发展，数据的重要程度也越来越高，而数据的安全性也越来越得到重视。由于区块链具有数据不可篡改的特性，所以当前许多企业会通过区块链存储数据。
3.当前通过区块链存储数据的方式，主要是在需要存储数据时，在区块链中创建新的区块，然后将待存储的数据存储都新区块的区块体中，并且可以将区块链同步到区块链中的其他节点中，从而实现数据的存储。
4.但是由于数据都存储到区块链中，这使得全节点，即存储完整的整个区块链信息的节点的存储压力过大，并且在检索数据时需要采用泛洪机制，在所有节点间检索，占用大量的网络资源。


技术实现要素：

5.基于上述现有技术的不足，本技术提供了一种数据处理方法及装置、电子设备、存储介质，以解决现有技术造成节点存储压力较大，并且占用过多资源的问题。
6.为了实现上述目的，本技术提供了以下技术方案：
7.本技术第一方面提供了一种数据处理方法，包括：
8.获取目标数据对应的数据索引；其中，所述目标数据对应的数据索引通过对所述目标数据进行哈希计算得到；
9.定位出区块链中存储所述目标数据对应的数据索引的目标区块；
10.通过所述目标区块从哈希环的各个哈希值范围中，确定出所述目标数据对应的数据索引所处的目标哈希值范围；
11.确定出所述目标哈希值范围对应的组起始节点；其中，所述目标哈希值范围对应的组起始节点指代对应的哈希值落在所述目标哈希值范围内的第一个区块链节点；
12.访问所述组起始节点，以基于所述组起始节点存储的对应的哈希值在所述目标哈希值范围内的各个数据存储节点对应的哈希值，从各个所述数据存储节点中确定出目标节点；其中，所述目标节点指代哈希环中在所述目标数据对应的数据索引前的第一个哈希值对应的所述数据存储节点；
13.基于所述组起始节点存储的所述目标节点的地址，访问所述目标节点，以获取所述目标数据。
14.可选地，在上述的数据处理方法中，还包括：
15.分别对各个所述数据存储节点的标识信息进行哈希计算，得到各个所述数据存储节点对应的哈希值；
16.确定各个所述数据存储节点对应的哈希值在所述哈希环中的位置；
17.每当接收到待存储数据时，对所述待存储数据进行哈希计算，得到所述待存储数据对应的数据索引；
18.将所述待存储数据对应的数据索引存储到所述区块链的新区块中区块体中；
19.将所述待存储数据存储到在所述哈希环中，位置在所述待存储数据对应的数据索引前的第一个所述数据存储节点中。
20.可选地，在上述的数据处理方法中，还包括：
21.将所述哈希环平均分割为多块，得到多个所述哈希值范围；
22.分别针对每个所述哈希值范围，将在所述哈希值范围中的第一个出现的哈希值对应的所述区块链节点作为所述哈希值范围对应的组起始节点，并所述哈希值范围对应的组起始节点的信息存储到第一哈希表中；
23.将所述第一哈希表存储到各个所述区块链节点中；
24.分别针对每个组起始节点，利用第二哈希表存储对应的哈希值在所述组起始节点对应的所述哈希值范围内的各个所述数据存储节点对应的哈希值与其ip地址的键值对。
25.可选地，在上述的数据处理方法中，所述基于所述组起始节点存储的所述目标节点的地址，访问所述目标节点，以获取所述目标数据之后，还包括：
26.对获取到的所述目标数据进行哈希计算，得到所述目标数据对应的当前哈希值；
27.对比所述目标数据对应的当前哈希值与所述目标数据对应的数据索引是否一致；
28.若对比出所述目标数据对应的当前哈希值与所述目标数据对应的数据索引一致，则反馈所述目标数据未被篡改。
29.本技术第二方面提供了一种数据处理装置，包括：
30.索引获取单元，用于获取目标数据对应的数据索引；其中，所述目标数据对应的数据索引通过对所述目标数据进行哈希计算得到；
31.区块定位单元，用于定位出区块链中存储所述目标数据对应的数据索引的目标区块；
32.范围确定单元，用于通过所述目标区块从哈希环的各个哈希值范围中，确定出所述目标数据对应的数据索引所处的目标哈希值范围；
33.第一确定单元，用于确定出所述目标哈希值范围对应的组起始节点；其中，所述目标哈希值范围对应的组起始节点指代对应的哈希值落在所述目标哈希值范围内的第一个区块链节点；
34.第二确定单元，用于访问所述组起始节点，以基于所述组起始节点存储的对应的哈希值在所述目标哈希值范围内的各个数据存储节点对应的哈希值，从各个所述数据存储节点中确定出目标节点；其中，所述目标节点指代哈希环中在所述目标数据对应的数据索引前的第一个哈希值对应的所述数据存储节点；
35.数据获取单元，用于基于所述组起始节点存储的所述目标节点的地址，访问所述目标节点，以获取所述目标数据。
36.可选地，在上述的数据处理装置中，还包括：
37.第一计算单元，用于分别对各个所述数据存储节点的标识信息进行哈希计算，得到各个所述数据存储节点对应的哈希值；
38.位置确定单元，用于确定各个所述数据存储节点对应的哈希值在所述哈希环中的位置；
39.第二计算单元，用于每当接收到待存储数据时，对所述待存储数据进行哈希计算，得到所述待存储数据对应的数据索引；
40.索引存储单元，用于将所述待存储数据对应的数据索引存储到所述区块链的新区块中区块体中；
41.数据存储单元，用于将所述待存储数据存储到在所述哈希环中，位置在所述待存储数据对应的数据索引前的第一个所述数据存储节点中。
42.可选地，在上述的数据处理装置中，还包括：
43.分割单元，用于将所述哈希环平均分割为多块，得到多个所述哈希值范围；
44.选取单元，用于分别针对每个所述哈希值范围，将在所述哈希值范围中的第一个出现的哈希值对应的所述区块链节点作为所述哈希值范围对应的组起始节点，并所述哈希值范围对应的组起始节点的信息存储到第一哈希表中；
45.哈希表存储单元，用于将所述第一哈希表存储到各个所述区块链节点中；
46.节点信息存储单元，用于分别针对每个组起始节点，利用第二哈希表存储对应的哈希值在所述组起始节点对应的所述哈希值范围内的各个所述数据存储节点对应的哈希值与其ip地址的键值对。
47.可选地，在上述的数据处理装置中，还包括：
48.第三计算单元，用于对获取到的所述目标数据进行哈希计算，得到所述目标数据对应的当前哈希值；
49.对比单元，用于对比所述目标数据对应的当前哈希值与所述目标数据对应的数据索引是否一致；
50.反馈单元，用于在对比出所述目标数据对应的当前哈希值与所述目标数据对应的数据索引一致时，反馈所述目标数据未被篡改。
51.本技术第三方面提供了一种电子设备，包括：
52.存储器和处理器；
53.其中，所述存储器用于存储程序；
54.所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如上述任意一项所述的数据处理方法。
55.本技术第四方面提供了一种计算机存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，用于实现如上述任意一项所述的数据处理方法。
56.本技术实施例提供了一种数据处理方法，获取目标数据对应的数据索引。其中，目标数据对应的数据索引通过对目标数据进行哈希计算得到。定位出区块链中存储目标数据对应的数据索引的目标区块。通过目标区块从哈希环的各个哈希值范围中，确定出目标数据对应的数据索引所处的目标哈希值范围。确定出目标哈希值范围对应的组起始节点。其中，目标哈希值范围对应的组起始节点指代对应的哈希值落在目标哈希值范围内的第一个区块链节点。访问组起始节点，以基于组起始节点存储的对应的哈希值在目标哈希值范围内的各个数据存储节点对应的哈希值，从各个数据存储节点中确定出目标节点。其中，目标节点指代哈希环中在目标数据对应的数据索引前的第一个哈希值对应的数据存储节点。基
于组起始节点存储的目标节点的地址，访问目标节点，以获取目标数据。从而通过将数据索引存储到区块链中，而将数据存储在其他各个节点中，并通过哈希环实现数据在各个节点上的均衡存储，有效减少了全节点的存储压力。并通过第二层的哈希环，将所有节点的信息存储在少量的节点上，从而有效减轻了数据检索时的资源需求。
附图说明
57.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
58.图1为本技术实施例提供的一种数据处理方法的流程图；
59.图2为本技术实施例提供的一种数据存储方法的流程图；
60.图3为本技术实施例提供的一个哈希环存储数据的示例的示意图；
61.图4为本技术实施例提供的一种节点信息处理方法的流程图；
62.图5为本技术实施例提供的一种数据校验方法的流程图；
63.图6为本技术实施例提供的一种数据处理装置的架构示意图；
64.图7为本技术实施例提供的一种电子设备的架构示意图。
具体实施方式
65.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
66.在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
67.本技术实施例提供了一种数据处理方法，如图1所示，具体包括以下步骤：
68.s101、获取目标数据对应的数据索引。
69.其中，目标数据对应的数据索引通过对目标数据进行哈希计算得到，具体的可以是在存储目标数据时，对整个目标数据进行哈希计算得到数据索引，并存储其对应的数据索引，从而根据存储的数据索引发起对目标数据的检索。
70.当然也可以是对目标数据中的部分基础信息进行哈希计算得到其对应的数据索引，例如目标数据的名称、日期、类别等，从而可以根据目标数据的部分技术信息得到其数据索引，并发起检索。
71.s102、定位出区块链中存储目标数据对应的数据索引的目标区块。
72.需要说明的是，在本技术实施例中，仅是数据的索引存储到区块中，而将数据可以存储在不是区块链中的节点中。但是为了保证数据的安全，所以要访问数据需要通过区块链进行访问，即本技术实施例提供的方法可以通过任意一个区块链节点实现。而由于数据索引是通过哈希计算得到的，所以可以有效保证数据的安全性。
73.可选地，本技术实施例提供了一种数据存储方法，如图2所示，包括以下步骤：
74.s201、分别对各个数据存储节点的标识信息进行哈希计算，得到各个数据存储节点对应的哈希值。
75.其中，数据存储节点的标识信息可以是数据存储节点的ip地址。
76.需要说明的是，数据存储节点也可以是区块链中的节点也可以不是区块链中的节点，这样就可以将数据存储在大类的节点上，并不限于区块链节点，避免了节点的存储负荷过大。
77.并且为了将数据较为均匀的存储在各个节点中，所以在本技术实施例中采用哈希环的方式，确定待存储数据所需要存储的节点。其中，哈希环可以理解为一个哈希函数，其大小范围为0至2的31次幂，也就是其哈希值是一个32位的无整型数字，并将其组成一个环，即哈希环。
78.所以通过对各个数据存储节点的标识信息进行哈希计算，得到各个数据存储节点对应的哈希值，就相应得到各个数据存在哈希环中的位置。
79.s202、确定各个数据存储节点对应的哈希值在哈希环中的位置。
80.s203、每当接收到待存储数据时，对待存储数据进行哈希计算，得到待存储数据对应的数据索引。
81.s204、将待存储数据对应的数据索引存储到区块链的新区块中区块体中。
82.具体的在区块链中生成新的区块，并将待存储数据对应的数据索引存储到区块链的新区块中区块体中，不需要将待存储数据直接存储到区块链中。
83.s205、将待存储数据存储到在哈希环中，位置在待存储数据对应的数据索引前的第一个数据存储节点中。
84.具体的，由于待存储数据对应的数据索引也是通过哈希算法计算得到的，所以其在哈希环中也会有相应地位置，并且将其存储到位置在待存储数据对应的数据索引前的第一个数据存储节点中，即存储到从待存储数据对应的数据索引的位置顺时针遇到的第一个节点。
85.例如，如图3所示，在哈希环中分别有四个节点，其位置分别为0、3、5、8。假设对数据a进行哈希计算得到的数据索引为6，则将其存储到节点4中。依次类推，数据b存储在节点1中；数据c存储在节点2中，而数据d则存储在节点3中。
86.而由于数据存储节点可能会比较多，如果直接进行遍历检索，还是会占用大量资源，所以在本技术实施例中为了使得检索更加地便捷，占用资源更少，因此，本技术实施例还会进一步对节点信息进行处理。如图4所示，本技术实施例提供一种节点信息处理方法，包括以下步骤：
87.s401、将哈希环平均分割为多块，得到多个哈希值范围。
88.s402、分别针对每个哈希值范围，将在哈希值范围中的第一个出现的哈希值对应的区块链节点作为哈希值范围对应的组起始节点，并哈希值范围对应的组起始节点的信息
存储到第一哈希表中。
89.需要说明的是，由于是需要通过区块链进行数据检索，所以是对区块链节点进行处理，即对属于区块链中的节点进行处理，以能通过区块链路由到哈希环中的相应的数据存储节点。
90.具体的，同样可以对各个区块链节点的标识信息进行哈希计算，得到各个区块链节点在哈希环上的位置，然后针针对每个哈希值范围，同样是从哈希值范围的限值其顺时针的第一个区块链节点作为组起始节点。当然，这只是其中一种可选的方式，也可以选取哈希值范围中的其他区块链节点作为组起始节点。
91.s403、将第一哈希表存储到各个区块链节点中。
92.为了能通过各个区块链节点都可以进行数据检索，所以需要将第一哈希表存储到各个区块链节点中。
93.s404、分别针对每个组起始节点，利用第二哈希表存储对应的哈希值在组起始节点对应的哈希值范围内的各个数据存储节点对应的哈希值与其ip地址的键值对。
94.具体的，在本技术实施例中，在选取出哈希值范围的组起始节点之后，将哈希值范围的各个数据存储节点对应的哈希值与其ip地址的键值对存储到第二哈希表中，并将第二哈希表存储到组起始节点中。
95.s103、通过目标区块从哈希环的各个哈希值范围中，确定出目标数据对应的数据索引所处的目标哈希值范围。
96.需要说明的是，对于各个数据存储节点的信息，在本技术实施例中，将其存储在各个哈希值范围对应的组起始节点中，而数据又是根据哈希值在哈希环中的位置，存储在相应的数据存储节点中。所以需要获取目标数据，就需要先确定出目标数据对应的数据索引所处的哈希值范围，并执行步骤s104。
97.s104、确定出目标哈希值范围对应的组起始节点。
98.其中，目标哈希值范围对应的组起始节点指代对应的哈希值落在目标哈希值范围内的第一个区块链节点，即在该目标哈希范围内的第一个区块链节点。由于存储数据节点的信息存储在该租期是节点上，所以需要先确定出该组起始节点，然后执行步骤s105。
99.s105、访问组起始节点，以基于组起始节点存储的对应的哈希值在目标哈希值范围内的各个数据存储节点对应的哈希值，从各个数据存储节点中确定出目标节点。
100.其中，目标节点指代哈希环中在目标数据对应的数据索引前的第一个哈希值对应的数据存储节点。
101.由于在存储数据是存储在数据对应数据索引前的第一个哈希值所对应的数据存储节点中，所有将其作为目标节点，以对其进行访问获取到目标数据。
102.s106、基于组起始节点存储的目标节点的地址，访问目标节点，以获取目标数据。
103.可选地，在本技术另一实施例中，为了保证数据安全性，所以在执行步骤s106之后，还进一步对获取到的目标数据进行校验。如图5所示，本技术实施例提供的一种数据校验方法，包括：
104.s501、对获取到的目标数据进行哈希计算，得到目标数据对应的当前哈希值。
105.s502、对比目标数据对应的当前哈希值与目标数据对应的数据索引是否一致。
106.其中，若对比出目标数据对应的当前哈希值与目标数据对应的数据索引一致，则
执行步骤s503。
107.s503、反馈目标数据未被篡改。
108.本技术实施例提供了一种数据处理方法，获取目标数据对应的数据索引。其中，目标数据对应的数据索引通过对目标数据进行哈希计算得到。定位出区块链中存储目标数据对应的数据索引的目标区块。通过目标区块从哈希环的各个哈希值范围中，确定出目标数据对应的数据索引所处的目标哈希值范围。确定出目标哈希值范围对应的组起始节点。其中，目标哈希值范围对应的组起始节点指代对应的哈希值落在目标哈希值范围内的第一个区块链节点。访问组起始节点，以基于组起始节点存储的对应的哈希值在目标哈希值范围内的各个数据存储节点对应的哈希值，从各个数据存储节点中确定出目标节点。其中，目标节点指代哈希环中在目标数据对应的数据索引前的第一个哈希值对应的数据存储节点。基于组起始节点存储的目标节点的地址，访问目标节点，以获取目标数据。从而通过将数据索引存储到区块链中，而将数据存储在其他各个节点中，并通过哈希环实现数据在各个节点上的均衡存储，有效减少了全节点的存储压力。并通过第二层的哈希环，将所有节点的信息存储在少量的节点上，从而有效减轻了数据检索时的资源需求。
109.需要说明的是，附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
110.虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
111.本技术另一实施例提供了一种数据处理装置，如图6所示，包括：
112.索引获取单元601，用于获取目标数据对应的数据索引。
113.其中，目标数据对应的数据索引通过对目标数据进行哈希计算得到。
114.区块定位单元602，用于定位出区块链中存储目标数据对应的数据索引的目标区块。
115.范围确定单元603，用于通过目标区块从哈希环的各个哈希值范围中，确定出目标数据对应的数据索引所处的目标哈希值范围。
116.第一确定单元604，用于确定出目标哈希值范围对应的组起始节点。
117.其中，目标哈希值范围对应的组起始节点指代对应的哈希值落在目标哈希值范围内的第一个区块链节点。
118.第二确定单元605，用于访问组起始节点，以基于组起始节点存储的对应的哈希值在目标哈希值范围内的各个数据存储节点对应的哈希值，从各个数据存储节点中确定出目标节点。
119.其中，目标节点指代哈希环中在目标数据对应的数据索引前的第一个哈希值对应
的数据存储节点。
120.数据获取单元606，用于基于组起始节点存储的目标节点的地址，访问目标节点，以获取目标数据。
121.可选地，在本技术另一实施例提供的数据处理装置中，还包括：
122.第一计算单元，用于分别对各个数据存储节点的标识信息进行哈希计算，得到各个数据存储节点对应的哈希值。
123.位置确定单元，用于确定各个数据存储节点对应的哈希值在哈希环中的位置。
124.第二计算单元，用于每当接收到待存储数据时，对待存储数据进行哈希计算，得到待存储数据对应的数据索引。
125.索引存储单元，用于将待存储数据对应的数据索引存储到区块链的新区块中区块体中。
126.数据存储单元，用于将待存储数据存储到在哈希环中，位置在待存储数据对应的数据索引前的第一个数据存储节点中。
127.可选地，在本技术另一实施例提供的数据处理装置中，还包括：
128.分割单元，用于将哈希环平均分割为多块，得到多个哈希值范围。
129.选取单元，用于分别针对每个哈希值范围，将在哈希值范围中的第一个出现的哈希值对应的区块链节点作为哈希值范围对应的组起始节点，并哈希值范围对应的组起始节点的信息存储到第一哈希表中。
130.哈希表存储单元，用于将第一哈希表存储到各个区块链节点中。
131.节点信息存储单元，用于分别针对每个组起始节点，利用第二哈希表存储对应的哈希值在组起始节点对应的哈希值范围内的各个数据存储节点对应的哈希值与其ip地址的键值对。
132.可选地，在本技术另一实施例提供的数据处理装置中，还包括：
133.第三计算单元，用于对获取到的目标数据进行哈希计算，得到目标数据对应的当前哈希值。
134.对比单元，用于对比目标数据对应的当前哈希值与目标数据对应的数据索引是否一致。
135.反馈单元，用于在对比出目标数据对应的当前哈希值与目标数据对应的数据索引一致时，反馈目标数据未被篡改。
136.需要说明的是，本技术上述实施例提供的各个单元的具体工作过程，可相应地参考上述方法实施例中的相应的步骤的实施过程，此处不再赘述。
137.本技术另一实施例提供了一种电子设备，如图7所示，包括：
138.存储器701和处理器702。
139.其中，存储器701用于存储程序。
140.处理器702用于执行存储器701存储的程序，该程序被执行时，具体用于实现如上述任意一个实施例提供的数据处理方法。
141.本技术另一实施例提供了一种计算机存储介质，其特征在于，用于存储计算机程序，该计算机程序被执行时，用于实现如上述任意一个实施例提供的数据处理方法。
142.计算机存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法
或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
143.需要说明的是，本发明提供的一种数据处理方法及装置、电子设备、存储介质可用于区块链领域、大数据领域或金融领域。上述仅为示例，并不对本发明提供的一种数据处理方法及装置、电子设备、存储介质的应用领域进行限定。
144.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
145.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。