应用于区块链和大数据的信息处理方法及大数据平台与流程

1.本发明涉及计算机技术领域，尤其涉及一种应用于区块链和大数据的信息处理方法及大数据平台。


背景技术：

2.区块链本身属于分布式的共享账本和数据库，其核心特点是去中心化。通过借助共识机制，使其链上节点在无互信的网络中，实现可信交易，而不需要受到第三方机构的介入，大大节省了中央服务器的验证成本，减轻了集中式系统的性能瓶颈。
3.区块链中的每个区块都存储着交易信息。当链上某个节点产生交易时，其会生成一个区块，并广播到所有链上节点。在所有节点验证通过后，该区块会链接在区块链的链尾。以pow共识机制为例，当恶意节点想要篡改某条交易信息时，意味着其至少得掌握51％的节点，来达成共识。在现实生活中，这几乎不可能。另外，由于每个区块都包含上一个区块的哈希值，因此，当某区块发生了改动，与其链接的所有区块哈希值都将发生改变。即所有链上节点都将发现该区块数据被篡改，这就保证了区块链中数据的不可篡改性。
4.现有技术中，数据平台需要应用到区块链的不可篡改性来进行数据存证或者数据存储，然而，由于分布式节点都可以进行数据的上传也就是区块的建立并进行广播，导致数据的获取范围不受限制，导致现有的区块链存储系统中存在着诸多的缺乏版权授予的信息和内容，也会存在较为敏感的数据。
5.而对于初创平台，用户上传的数据难免会存在侵权的可能，特别是对于公有的区块链平台，用户从大数据平台获取数据有经过二次创作再进行上传，管理者也很难鉴定其侵权的可能，而一旦发布到区块链平台再想修改就变得十分困难成本极大。所以，现有的技术方案中是限定用户的取材范围，由官方库直接提供，而官方库的更新往往不及时，导致该平台上传的内容缺乏热度和竞争力。


技术实现要素：

6.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开一种应用于区块链和大数据的信息处理方法，所述方法包括如下步骤：
7.步骤1，多个私有链中的节点进行投票，选择出需要对分布式网络进行爬取的网络范围，根据投票选择出的数据获取的范围选定公有链上的信息采集范围；
8.步骤2，根据所述信息采集范围，用户节点在公有链进行新建区块时，需要验证数据来源是否属于预设的信息采集范围，其中，所述信息采集范围为从url数据库中获取待爬取的url列表；
9.步骤3，若公有链节点新建的区块符合所述信息采集范围，则允许上链发布，若公有链节点新建的区块不符合所述信息采集范围，则允许上链发布的同时赋予特殊标记，其中，所述特殊标记为与该区块对应的特殊哈希值；
10.步骤4，根据所述特殊标记确定该数据存在版权风险问题，其他节点对上传的信息
向公有链中的决策节点进行反馈，决策节点在私有链中记录存在版权风险问题的上传数据的哈希值；
11.步骤5，每隔预设周期，决策节点根据私有链中记录的风险数据，在大数据分布网络中爬去版权所有者信息，通过爬去的与版权所有者进行通信并向所述版权所有者获取授权。
12.更进一步地，其中私有链的全部节点为公有链中的决策节点，通过在私有链中的投票结果确定数据允许的获取范围，并且，私有链节点用于记录公有链中反馈的问题数据。
13.更进一步地，通过规定的数据采集范围作为公有链节点数据源，其中，所述数据采集范围为具有版权授予的数据源。
14.更进一步地，所述步骤3进一步包括：通过基于智能合约，来动态调整公有链用户在新建区块时的校验规则。
15.更进一步地，通过三种约束方式激励用户上传符合所述信息采集范围的数据，约束方式一，规定预设时间内统计用户的上传内容是否存在对应的特殊标记，根据所述特殊标记的次数及频率对该用户进行声誉评价，上传内容的频率越高对应的特殊标记的次数及频率越低则该用户的声誉评价越高；约束方式二，用户上传的数据由其他用户进行监管，其他用户节点在接收到用户上传数据后检查是否具有特殊标记，并对该用户的上传数据进行评价；约束方式三，设置官方信用评价节点，用于对用户上传的数据进行官方打分，对其是否侵权的行为进行判定，得到该用户上传数据的风险值。
16.更进一步地，对用户进行评分，评分公式如下：
17.用户评分＝用户声誉*第一调整系数 用户评价*第二调整系数 上传数据的风险值*第三调整系数；所述私有链在每个周期更新对于不同用户评分的激励方案，公有链用户根据所述不同用户评分对应的激励方案获得激励。
18.更进一步地，所述步骤5进一步包括：向所述版权所有者获取授权的方式包括购买、交换、获得赠与。
19.本发明还公开了一种应用于区块链和大数据的信息处理系统，所述系统包括：私有链，公有链，私有链的全部节点为公有链中的决策节点，通过在私有链中的投票结果确定数据允许的获取范围，并且，私有链节点用于记录公有链中反馈的问题数据，用户通过公有链上传数据并分享，多个私有链中的节点进行投票，选择出需要对分布式网络进行爬取的网络范围，根据投票选择出的数据获取的范围选定公有链上的信息采集范围；根据所述信息采集范围，用户节点在公有链进行新建区块时，需要验证数据来源是否属于预设的信息采集范围，其中，所述信息采集范围为从url数据库中获取待爬取的url列表，通过基于智能合约，来动态调整公有链用户在新建区块时的校验规则；若公有链节点新建的区块符合所述信息采集范围，则允许上链发布，若公有链节点新建的区块不符合所述信息采集范围，则允许上链发布的同时赋予特殊标记，其中，所述特殊标记为与该区块对应的特殊哈希值；根据所述特殊标记确定该数据存在版权风险问题，其他节点对上传的信息向公有链中的决策节点进行反馈，决策节点在私有链中记录存在版权风险问题的上传数据的哈希值；每隔预设周期，决策节点根据私有链中记录的风险数据，在大数据分布网络中爬去版权所有者信息，通过爬去的与版权所有者进行通信并向所述版权所有者获取授权，通过规定的数据采集范围作为公有链节点数据源，其中，所述数据采集范围为具有版权授予的数据源，通过三
种约束方式激励用户上传符合所述信息采集范围的数据，约束方式一，规定预设时间内统计用户的上传内容是否存在对应的特殊标记，根据所述特殊标记的次数及频率对该用户进行声誉评价，上传内容的频率越高对应的特殊标记的次数及频率越低则该用户的声誉评价越高；约束方式二，用户上传的数据由其他用户进行监管，其他用户节点在接收到用户上传数据后检查是否具有特殊标记，并对该用户的上传数据进行评价；约束方式三，设置官方信用评价节点，用于对用户上传的数据进行官方打分，对其是否侵权的行为进行判定，得到该用户上传数据的风险值，对用户进行评分，评分公式如下：用户评分＝用户声誉*第一调整系数 用户评价*第二调整系数 上传数据的风险值*第三调整系数；所述私有链在每个周期更新对于不同用户评分的激励方案，公有链用户根据所述不同用户评分对应的激励方案获得激励，向所述版权所有者获取授权的方式包括购买、交换、获得赠与。
20.本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
21.本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行上述的方法的步骤。
22.本发明中，在私有链进行投票是周期性的，每个一定时间私有链节点需要进行重新投票，选择出新的数据采集范围。
23.本发明与现有技术相比，本发明的有益效果是：本发明不会限制区块链平台用户上传的数据源，通过平台本技术对用户上传的数据进行规范，由平台承担用户上传数据可能产生的侵权后果，同时极大的降低用户上传侵权数据的可能。
附图说明
24.从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。
25.图1是本发明的一种基于大数据的请求传输方法的流程图。
具体实施方式
26.下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
27.现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
28.移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
29.实施例一
30.如图1所示的一种应用于区块链和大数据的信息处理方法，所述方法包括如下步骤：
31.步骤1，多个私有链中的节点进行投票，选择出需要对分布式网络进行爬取的网络范围，根据投票选择出的数据获取的范围选定公有链上的信息采集范围；
32.步骤2，根据所述信息采集范围，用户节点在公有链进行新建区块时，需要验证数据来源是否属于预设的信息采集范围，其中，所述信息采集范围为从url数据库中获取待爬取的url列表；
33.步骤3，若公有链节点新建的区块符合所述信息采集范围，则允许上链发布，若公有链节点新建的区块不符合所述信息采集范围，则允许上链发布的同时赋予特殊标记，其中，所述特殊标记为与该区块对应的特殊哈希值；
34.步骤4，根据所述特殊标记确定该数据存在版权风险问题，其他节点对上传的信息向公有链中的决策节点进行反馈，决策节点在私有链中记录存在版权风险问题的上传数据的哈希值；
35.步骤5，每隔预设周期，决策节点根据私有链中记录的风险数据，在大数据分布网络中爬去版权所有者信息，通过爬去的与版权所有者进行通信并向所述版权所有者获取授权。
36.更进一步地，其中私有链的全部节点为公有链中的决策节点，通过在私有链中的投票结果确定数据允许的获取范围，并且，私有链节点用于记录公有链中反馈的问题数据。
37.更进一步地，通过规定的数据采集范围作为公有链节点数据源，其中，所述数据采集范围为具有版权授予的数据源。
38.更进一步地，所述步骤3进一步包括：通过基于智能合约，来动态调整公有链用户在新建区块时的校验规则。
39.更进一步地，通过三种约束方式激励用户上传符合所述信息采集范围的数据，约束方式一，规定预设时间内统计用户的上传内容是否存在对应的特殊标记，根据所述特殊标记的次数及频率对该用户进行声誉评价，上传内容的频率越高对应的特殊标记的次数及频率越低则该用户的声誉评价越高；约束方式二，用户上传的数据由其他用户进行监管，其他用户节点在接收到用户上传数据后检查是否具有特殊标记，并对该用户的上传数据进行评价；约束方式三，设置官方信用评价节点，用于对用户上传的数据进行官方打分，对其是否侵权的行为进行判定，得到该用户上传数据的风险值。
40.更进一步地，对用户进行评分，评分公式如下：
41.用户评分＝用户声誉*第一调整系数 用户评价*第二调整系数 上传数据的风险值*第三调整系数；所述私有链在每个周期更新对于不同用户评分的激励方案，公有链用户根据所述不同用户评分对应的激励方案获得激励。
42.更进一步地，所述步骤5进一步包括：向所述版权所有者获取授权的方式包括购买、交换、获得赠与。
43.本发明还公开了一种应用于区块链和大数据的信息处理系统，所述系统包括：私有链，公有链，私有链的全部节点为公有链中的决策节点，通过在私有链中的投票结果确定数据允许的获取范围，并且，私有链节点用于记录公有链中反馈的问题数据，用户通过公有链上传数据并分享，多个私有链中的节点进行投票，选择出需要对分布式网络进行爬取的网络范围，根据投票选择出的数据获取的范围选定公有链上的信息采集范围；根据所述信息采集范围，用户节点在公有链进行新建区块时，需要验证数据来源是否属于预设的信息
采集范围，其中，所述信息采集范围为从url数据库中获取待爬取的url列表，通过基于智能合约，来动态调整公有链用户在新建区块时的校验规则；若公有链节点新建的区块符合所述信息采集范围，则允许上链发布，若公有链节点新建的区块不符合所述信息采集范围，则允许上链发布的同时赋予特殊标记，其中，所述特殊标记为与该区块对应的特殊哈希值；根据所述特殊标记确定该数据存在版权风险问题，其他节点对上传的信息向公有链中的决策节点进行反馈，决策节点在私有链中记录存在版权风险问题的上传数据的哈希值；每隔预设周期，决策节点根据私有链中记录的风险数据，在大数据分布网络中爬去版权所有者信息，通过爬去的与版权所有者进行通信并向所述版权所有者获取授权，通过规定的数据采集范围作为公有链节点数据源，其中，所述数据采集范围为具有版权授予的数据源，通过三种约束方式激励用户上传符合所述信息采集范围的数据，约束方式一，规定预设时间内统计用户的上传内容是否存在对应的特殊标记，根据所述特殊标记的次数及频率对该用户进行声誉评价，上传内容的频率越高对应的特殊标记的次数及频率越低则该用户的声誉评价越高；约束方式二，用户上传的数据由其他用户进行监管，其他用户节点在接收到用户上传数据后检查是否具有特殊标记，并对该用户的上传数据进行评价；约束方式三，设置官方信用评价节点，用于对用户上传的数据进行官方打分，对其是否侵权的行为进行判定，得到该用户上传数据的风险值，对用户进行评分，评分公式如下：用户评分＝用户声誉*第一调整系数 用户评价*第二调整系数 上传数据的风险值*第三调整系数；所述私有链在每个周期更新对于不同用户评分的激励方案，公有链用户根据所述不同用户评分对应的激励方案获得激励，向所述版权所有者获取授权的方式包括购买、交换、获得赠与。
44.本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
45.本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行上述的方法的步骤。
46.本发明中，在私有链进行投票是周期性的，每个一定时间私有链节点需要进行重新投票，选择出新的数据采集范围。
47.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
48.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
49.虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读
了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。