一种基于区块链跨链的联邦学习方法及设备与流程

1.本发明涉及区块链技术领域，尤其涉及一种基于区块链跨链的联邦学习方法及设备。


背景技术：

2.联邦学习使得各个参与机构能够在不直接交换原始数据的情况下，协同的训练机器学习模型。这对于那些数据量不足的企业或者机构而言，能够让它们联合起来，获得更好的模型的同时又不暴露原始数据，实现互利共赢。现有的工程技术中，各个机构的协同训练依赖于中心化的第三方协作节点实现控制，聚合和密钥管理。现有的中心化的方法有以下缺点：
3.1、协作节点会持续地获得其他所有机构上传的信息。而一个好奇的协作节点可以通过这些信息推断出与各个机构原始数据相关的重要信息，如类别标签分布情况，因此会导致数据隐私的泄露。对于参与训练的机构而言，它们并不想暴露这些隐私。
4.2、当协作节点出现故障，整个系统会发生崩溃从而无法继续运行。由于中心化的协作节点的单点故障，各个机构的联邦学习会被强行终止，无法继续协同训练。
5.因此，现有技术中的联邦学习方法有隐私风险和单点故障的问题。
6.当前基于区块链的联邦学习方法，虽然解决了一部分隐私问题和单点故障问题，但是联邦学习需要大量的数据才能够实现精准的预测，针对大规模数据，现存的基于区块链的处理能力通常是不足的，且针对不同数据集不能够完全打破壁垒。


技术实现要素：

7.本发明的目的在于针对现有技术的不足，提供一种基于区块链跨链的联邦学习方法及设备。
8.为实现上述目的，本发明有如下技术方案：
9.本发明一方面提供了一种基于区块链跨链的联邦学习方法，包括：
10.单一区块链网络内，联邦学习模型部署在区块链节点上，利用本地节点数据进行联邦学习模型训练，并将模型参数通过隐私交易发送到联邦学习模型聚合智能合约；模型聚合智能合约对模型参数进行聚合，并将最新模型参数同步到各个节点，完成模型同步；
11.当单一链模型同步完成，模型聚合智能合约通过跨链隐私交易将最新模型参数发送到跨链网络；目的链解析交易获得最新模型参数，并通过模型聚合智能合约将最新模型参数同步到链内各个节点，实现不同链之间的模型同步。
12.进一步地，所述联邦学习模型的训练步骤如下：
13.(1)本地节点初始化模型参数；模型聚合智能合约初始化，并获取各节点公钥，开始模型训练；
14.(2)各个链内节点利用本地数据对联邦学习模型进行本地训练，将模型参数利用合约公钥进行加密，并通过交易方式将模型参数发送到模型聚合智能合约；
15.(3)模型聚合智能合约收到各节点的模型更新参数后，利用合约私钥进行解密，获得各节点的模型参数后进行聚合操作，之后将最新模型参数利用对接节点公钥进行加密，发送到各训练节点，各节点利用自己的私钥进行解密，获得最新模型参数，并更新训练模型。
16.进一步地，所述模型聚合智能合约的主要功能包括：实现区块链链内训练模型参数聚合与同步、不同区块链之间训练模型参数聚合与同步；合约方法采用加密的方式，确保各个节点之间的数据在聚合与同步过程中不被泄漏。
17.进一步地，所述模型聚合智能合约的初始化流程包括：对参数进行初始化，获取区块链内节点公钥与跨链公钥，用于私密传输；初始化完成后启动合约。
18.进一步地，所述模型聚合智能合约的聚合流程包括：模型参数通过模型聚合智能合约进行聚合操作，每个区块链节点上均有智能合约运行，聚合过程经过节点共识，实现去中心化，通过加密实现数据隐私保护；模型聚合智能合约在满足聚合条件时才进行聚合操作，否则继续接收节点模型参数数据，获得最新模型参数。
19.进一步地，所述模型聚合智能合约的同步流程包括：区块链内，模型聚合智能合约利用目的节点公钥加密传输数据并发送到目的节点，目的节点收到数据后，利用自己的私钥解密获取最新模型参数，并更新本地节点的训练模型；针对跨链，模型聚合智能合约利用目的链公钥加密传输数据，通过跨链网络将加密数据传递到目的链，目的链接收到数据后，利用跨链私钥解密获取最新模型参数，并通过模型聚合智能合约将最新模型参数同步到链内各个节点。
20.进一步地，所述模型聚合智能合约的功能还包括：记录区块链内各成员的数据贡献度以及跨链组织的数据贡献度，进行积分，并写入账本；通过积分激励机制，激励各组织成员积极贡献数据训练模型，提高模型训练精度。
21.进一步地，根据各成员的积分情况判断成员对模型的贡献度，进行联邦学习系统的治理；当某成员积分低于阈值时，则认为该成员贡献度低，在一个周期内，考虑将其删除组织或者限制其贡献训练模型的权限；积分较高的成员可以作为治理成员，参与管理系统的操作。
22.进一步地，所述跨链网络用于联邦学习模型在不同链之间的模型同步，通过隐私跨链交易的形式确保数据隐私；
23.所述跨链网络包括跨链通信代理节点和跨链通信总线；跨链各方具有至少一个代理节点，每个代理节点能够与该链中的任意节点连接，各链之间通过跨链通信总线通信交互；
24.当链进行通信互联时，首先由代理节点上的跨链证书管理模块签发证书，然后进行注册，注册信息中包含链成员身份信息、当前链权限、智能合约权限、合约方法权限；
25.当模型需要同步时，发起跨链隐私交易，链内部经过共识后，由代理节点的发送接口将跨链消息传递到目的链的代理节点，然后再传递到目的链上进行相关操作。
26.本发明另一方面提供了一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由所述处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行上述基于区块链跨链的联邦学习方法的步骤。
27.本发明的有益效果是：
28.本发明在单一区块链网络内利用本地数据进行联邦学习模型训练，并将模型参数通过隐私交易发送到模型聚合智能合约，实现单一链内不同节点模型参数的聚合，进行模型参数在单一链内各节点的同步；模型聚合智能合约通过跨链隐私交易将最新模型参数发送到跨链网络，实现不同链之间的模型同步；整个过程中单一网络节点和跨链网络节点数据不发生交换，且通过隐私交易的方式确保每个节点的模型参数不泄露，确保了数据隐私安全的同时实现了不同区块链网络的不同节点数据对联邦学习模型的训练，基于跨链的联邦学习架构，打通了不同产业的壁垒，提高了整个训练系统的吞吐量，扩大了训练的数据集，实现了纵向联邦学习与横向联邦学习的融合，提高了模型的准确率。采用积分机制提高各个成员贡献数据训练模型的积极性，进一步提升模型训练效果。
附图说明
29.图1为本发明实施例提供的基于区块链跨链的联邦学习方法整体架构图；
30.图2为本发明实施例提供的联邦学习模型训练示意图；
31.图3为本发明实施例提供的模型聚合智能合约初始化流程图；
32.图4为本发明实施例提供的模型聚合智能合约的聚合流程图；
33.图5为本发明实施例提供的模型聚合智能合约的同步流程图；
34.图6为本发明实施例提供的模型聚合智能合约的激励机制示意图；
35.图7为本发明实施例提供的联邦学习治理模型设计示意图；
36.图8为本发明实施例提供的区块链跨链流程图。
具体实施方式
37.为了更好的理解本技术的技术方案，下面结合附图对本技术实施例进行详细描述。
38.应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
39.在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
40.本发明提供的一种基于区块链跨链的联邦学习方法整体架构如图1所示，主要包括区块链底层网络、联邦学习模型聚合智能合约、跨链网络。
41.在单一区块链网络内，联邦学习模型部署在区块链节点上，获取数据进行训练，并将训练模型参数通过发送隐私交易到联邦学习模型聚合智能合约，实现单一链内不同节点的模型参数的聚合，进行模型参数在各节点的同步，实现单一链内各节点在不交换数据前提下的本地模型训练。
42.通过跨链网络发送隐私跨链交易到联邦学习模型聚合智能合约，实现不同链的数据对模型进行训练，整个过程中，单一网络节点和跨链网络节点数据不发生交换，且通过区块链隐私交易的方式确保每个节点的模型参数不泄露，在确保了数据隐私安全的同时实现了不同区块链网络的不同节点数据对联邦学习模型的训练，扩大了训练的数据集，提高了
模型的准确率。
43.进一步地，采用积分机制，提高各个成员贡献数据训练模型的积极性，使得模型训练的效果更好，这种方案特别适合集群规模比较大，对数据隐私要求比较高的场景。
44.以下详细介绍各部分的具体设计。
45.一、联邦学习模型训练
46.如图2所示，利用本地节点的数据进行联邦学习模型训练，并生成模型参数，将模型参数通过隐私交易发送到联邦学习模型聚合智能合约，模型聚合智能合约对模型参数进行聚合，并将最新模型参数同步到各个节点，完成一轮模型同步。对于跨链同步，当单一链的每一轮模型同步完毕，发送跨链隐私交易到其他链进行不同链之间的模型同步。
47.模型聚合智能合约记录区块链内各成员的贡献度，进行积分，针对跨链则记录跨链组织的贡献度，进行积分，并写入账本，实现永久记录。
48.一般来讲单一链内的样本属于横向联邦学习，即样本的联合，适用于参与者间业态相同但触达客户不同，即特征重叠多，用户重叠少时的场景，比如不同地区的银行间，他们的业务相似(特征相似)，但用户不同(样本不同)。跨链的模型同步适用于纵向联邦学习，即特征的联合，适用于用户重叠多，特征重叠少的场景，比如同一地区的商超和银行，他们触达的用户都为该地区的居民(样本相同)，但业务不同(特征不同)。通过这种基于区块链跨链且带有激励机制来进行训练，不仅确保了去中心化防止单点故障风险以及数据隐私风险，同时也扩大了训练的数据集，提升了训练效果。
49.联邦学习模型训练的主要步骤如下：
50.1、本地节点初始化模型参数；模型聚合智能合约初始化，并获取各节点的公钥，用于私密传输，开始模型训练；
51.2、各个链内节点利用本地数据对联邦学习模型进行本地训练，并记录最新模型参数，将模型参数利用模型聚合智能合约的公钥进行加密，然后上传到模型聚合智能合约；
52.3、模型聚合智能合约收到各节点的模型更新参数后，采用智能合约的私钥进行解密，实现私密传输，获得各节点的模型参数后，模型聚合智能合约进行积分更新，并进行聚合操作，将最新模型参数采用对接节点的公钥进行加密，发送到各训练节点，各节点采用自己的私钥进行解密，获得最新的模型参数，并更新训练模型。
53.模型参数主要包括聚合过程和同步过程，分为区块链内和跨链两种模式：
54.(1)聚合流程
55.在新一轮训练中，节点利用本地数据进行模型训练，并将模型参数采用智能合约的公钥加密，并通过交易方式将模型参数发送到模型聚合智能合约，智能合约采用自己的私钥解密交易，获取模型参数，其他组织节点的模型参数也通过加密交易方式上传到模型聚合智能合约，智能合约收到该链成员的模型参数后，进行积分更新，并进行聚合操作，得到最新的模型参数，完成聚合操作。
56.(2)同步流程
57.当模型聚合智能合约完成聚合流程后，将最新模型参数同步到区块链内各节点，智能合约将最新模型参数采用节点的公钥进行加密，并发送到节点，节点利用自己的私钥进行解密获得最新模型参数，更新训练模型。
58.模型聚合智能合约通过跨链交易将最新模型参数发送到跨链网络，目的链收到参
数更新交易后，进行解析并更新训练模型，更新跨链网络的积分，并将模型参数同步到自己链内的各节点。
59.二、模型聚合智能合约
60.模型聚合智能合约的主要功能包括：实现区块链链内训练模型参数聚合与同步、不同区块链之间的训练模型参数聚合与同步、对各个成员的贡献度进行积分。合约方法采用加密的方式，确保各个节点之间的数据在聚合与同步过程中不被泄漏。主要包括以下方法：
61.init：初始化合约，获取各组织成员的公钥信息，跨链网络的证书信息；
62.queryparam：查询模型参数；
63.queryintegral：查询各组织成员积分；
64.syncfederatedmodel：同步同一链内联邦学习模型参数；
65.synccrossfederatedmodel：同步跨链联邦学习模型参数；
66.convergefederatedmodel：聚合同一链内联邦学习模型参数；
67.convergecrossfederatedmodel：聚合跨链联邦学习模型参数。
68.2.1模型聚合智能合约初始化流程设计
69.合约初始化会对参数进行初始化，获取区块链内节点的公钥与跨链的公钥，用于私密传输，具体地，将传递信息用目的节点的公钥加密，然后发送到目的节点，这样只有目的节点可以获取传递信息的明文，目的节点接收到消息后，用自己的私钥解密即可获得传递信息，同理跨链传输采用跨链公钥加密传递信息，用目的链私钥去解密跨链信息，实现传递数据隐私保护。初始化完成后，启动模型聚合智能合约。设计流程如图3所示。
70.2.2聚合流程设计
71.模型参数通过模型聚合智能合约进行聚合操作，由于每个区块链节点上都会有智能合约运行，所以聚合过程是经过节点共识，实现去中心化，通过加密实现数据隐私保护。如图4所示，主要流程包括：节点利用本地数据进行模型训练并更新模型参数，将模型参数利用模型聚合智能合约的公钥进行加密，并发送到模型聚合智能合约，智能合约利用自己的私钥解密得到模型参数，其他节点类似，当满足聚合条件后则进行聚合操作，否则继续接收节点的模型参数数据，获得最新的模型参数，并更新组织成员的贡献度积分，最后将模型参数同步到区块链内节点和跨链网络。
72.2.3同步流程设计
73.当模型聚合智能合约完成聚合，并获取最新模型参数后，进行模型参数同步操作，将参数同步到区块链内节点与跨链网络。如图5所示，主要流程包括：区块链内，模型聚合智能合约利用目的节点公钥加密传输数据并发送到目的节点，目的节点收到数据后，用自己的私钥解密，获取最新模型参数，并更新本地节点的训练模型；针对跨链，模型聚合智能合约利用目的链公钥加密传输数据，通过跨链将加密数据传递到目的链，目的链接收到数据后用跨链私钥解密获取最新模型参数，并通过模型聚合智能合约将最新模型参数同步到链内各个节点。
74.2.4激励机制设计
75.本发明为激励各个组织成员积极贡献数据用来训练模型，设计激励机制，当节点上传模型参数，模型聚合智能合约会对该节点进行贡献度积分，同样如果是跨链网络贡献
模型参数，将对跨链网络进行积分。利用各组织成员的积分来进行整个系统的治理。设计流程如图6所示。
76.三、联邦学习治理模型
77.本发明提出的基于区块链跨链的带有激励机制的联邦学习方法，不仅解决了去中心化、防止单点故障问题，采用跨链多中心架构，处理能力更强，具有更高的吞吐率，更灵活，扩展性强，而且利用合约设计出基于数据贡献度的积分激励机制，能够更好地激励参与成员贡献数据训练，提高模型训练的精度。根据成员的积分情况可以看出成员对模型的贡献度，来进行整个联邦学习系统的治理，例如当某个成员的积分低于阈值时，则认为该成员的贡献度低，在一个周期内，考虑将其删除组织或者限制其贡献训练模型的权限；积分较高的成员可以作为治理成员，享有更大的权限，可以参与管理系统的操作，例如交易的背书等。通过积分机制实现整个系统的闭环管理。模型设计如图7所示。
78.四、跨链网络设计
79.主要用于联邦学习模型在不同链之间的模型同步，通过隐私跨链交易的形式确保数据隐私，打通不同链之间的数据壁垒，在保证数据不交换的前提下，实现了更大规模的数据进行模型训练，提高了训练的准确度。
80.跨链网络主要包括通信代理节点crossagent、证书管理、跨链通信总线crosshub。跨链各方具有至少一个跨链通信代理节点crossagent，每个crossagent能够与该链中的任意节点连接，各链之间通过跨链通信总线crosshub通信交互。
81.crossagent为链之间通信的代理节点，它和链内所有节点均可连接，提供一定的容错能力。当链进行通信互联时，首先由crossagent上的跨链证书管理模块签发证书，然后进行注册，注册信息中包含链成员身份信息、当前链的权限、智能合约权限、合约方法权限等，根据注册信息能够灵活的进行权限管控，实现数据安全保护；当模型需要同步时，发起隐私跨链交易，链内部经过共识后，由crossagent的发送接口把跨链消息传递到目的链的crossagent，然后再传递到目的链上进行相关操作，通信过程采用tls加密，可以确保信息传递的安全性。crossagent负责的链互联通信，包括链注册、权限管控、消息签名、交易路由、验证签名、验证交易存在性等。
82.区块链之间的跨链主要流程如图8所示，包括以下步骤：
83.1、证书颁发
84.跨链证书管理模块给跨链通信代理节点颁发证书及公私钥对，用于跨链身份验证，同时也会对消息摘要签名进行验证，进而达到跨链权限管理以及保证通信安全。
85.2、链注册
86.源链会向目的链进行跨链注册，主要包括源链的身份信息、权限信息、验证规则等，注册成功后，目的链的验证引擎会生成对该链的验证规则，后续按照这个验证规则对跨链交易的合法性进行验证。
87.3、权限及验证规则管理
88.权限管理主要通过注册信息进行链间通信的权限管控，具有高度可定制化以及灵活性。
89.验证规则是供验证引擎对跨链交易验证存在性和有效性所用的。源链向目的链注册时，由目的链的crossagent进行相应验证规则的部署、注册，并记录注册链的身份信息到
注册表里。在跨链通信时能够验证链的身份，并匹配相应链的验证规则对交易存在性和有效性进行验证，验证通过后执行相关交易。
90.4、检查阶段
91.跨链交易的检查工作包括：产生该跨链交易的源链是否已经注册过，注册信息包括身份信息、源链信息、验证规则，以及是否具有相关权限。
92.5、验证阶段
93.检查通过的跨链交易进入验证阶段，验证阶段由验证引擎执行，通过交易的源链身份信息，在目的链的注册表里匹配验证规则，然后将交易权限信息、验证信息(存在性和有效性)、验证规则、跨链交易输入到验证引擎，然后进行验证。验证通过后，交易将进入执行阶段。
94.6、执行阶段
95.跨链交易通过验证后进入执行阶段，执行阶段可设计交易有效性、交易存在性证明。
96.7、结果返回
97.目的链将执行结构及执行状态信息构建成返回信息发送到源链。
98.在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中基于区块链跨链的联邦学习方法中的步骤。
99.在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中基于区块链跨链的联邦学习方法中的步骤。其中，存储介质可以为非易失性存储介质。
100.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
101.以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。