联邦学习任务管理方法及系统与流程

1.本发明涉及区块链技术领域，尤其涉及联邦学习任务管理方法及系统。


背景技术：

2.近年来人工智能可谓风风火火，掀起一波又一波浪潮，从人脸识别到阿尔法狗大战 人类围棋手、再到无人驾驶、以及已被普遍应用的精准营销，ai逐步进入人们生活的方 方面面。当然也不免出现部分过度吹捧，导致对ai的误解：ai无所不能。在追逐ai的 同时却忽略了一点，ai是靠数据来支撑的，而且是大量优质数据。
3.现实生活中，除了少数巨头公司能够满足，绝大多数企业都存在数据量少，数据质 量差的问题，不足以支撑人工智能技术的实现；同时国内外监管环境也在逐步加强数据 保护，因此数据在安全合规的前提下自由流动，成了大势所趋；在用户和企业角度下， 商业公司所拥有的数据往往都有巨大的潜在价值。两个公司甚至公司间的部门都要考虑 利益的交换，往往这些机构不会提供各自数据与其他公司做与单的聚合，导致即使在同 一个公司内，数据也往往以孤岛形式出现。
4.基于以上不足以支撑实现、不允许粗暴交换、不愿意贡献价值三点，导致了现在大 量存在的数据孤岛，以及隐私保护问题，联邦学习应运而生。联邦学习，是一个机器学 习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进 行数据使用和机器学习建模。所以联邦学习有时间也直接称之为联邦建模。联邦学习本 质上是一种分布式机器学习技术，或机器学习框架。联邦学习的目标是在保证数据隐私 安全及合法合规的基础上，实现共同建模，提升ai模型的效果。目前联邦学习技术框架 以fate为代表。fate(federated ai technology enabler)是微众银行ai部门发起的开源 项目，为联邦学习生态系统提供了可靠的安全计算框架。fate项目使用多方安全计算 (mpc)以及同态加密(he)技术构建底层安全计算协议，以此支持不同种类的机器学习的 安全计算，包括逻辑回归、基于树的算法、深度学习和迁移学习等。
5.联邦学习作为新兴技术引起了广泛关注，目前现有技术主要有两种方式：通过中心 化的系统集中调度模型训练，或者完全分布式的对等连接。然而，中心化系统不易被数 据提供商接受，存在数据安全隐患。分布式系统虽然数据更安全，但部署困难，配置复 杂，用户使用门槛高。


技术实现要素：

6.本发明实施例提供一种联邦学习任务管理方法，用以进行联邦学习任务管理，在实 现数据安全可信的基础上可以方便用户使用并有效约束参与方行为，该方法包括：
7.管理平台接收第一租户的客户端发起的联邦学习任务，所述联邦学习任务中携带任 务信息；
8.管理平台向区块链发起所述联邦学习任务；
9.管理平台接收区块链反馈的联邦学习任务进度信息和联邦学习任务结果信息，所
述 联邦学习任务结果信息是第一租户的客户端和第二租户的客户端完成联合建模后发送至 区块链的，所述联邦学习任务进度信息是第一租户的客户端和第二租户的客户端进行联 合建模时发送至区块链的，在第二租户的客户端接收到第一租户的客户端发起的联邦学 习任务后开始进行联合建模，第一租户的客户端在区块链收到管理平台发起的联邦学习 任务后，根据所述任务信息向对应的第二租户的客户端发起联邦学习任务。
10.本发明实施例提供一种管理平台，用以进行联邦学习任务管理，在实现数据安全可 信的基础上可以方便用户使用并有效约束参与方行为，该管理平台包括：
11.任务接收模块，用于接收第一租户的客户端发起的联邦学习任务，所述联邦学习任 务中携带任务信息；
12.任务发起模块，用于向区块链发起所述联邦学习任务；
13.信息接收模块，用于管理平台接收区块链反馈的联邦学习任务进度信息和联邦学习 任务结果信息，所述联邦学习任务结果信息是第一租户的客户端和第二租户的客户端完 成联合建模后发送至区块链的，所述联邦学习任务进度信息是第一租户的客户端和第二 租户的客户端进行联合建模时发送至区块链的，在第二租户的客户端接收到第一租户的 客户端发起的联邦学习任务后开始进行联合建模，第一租户的客户端在区块链收到管理 平台发起的联邦学习任务后，根据所述任务信息向对应的第二租户的客户端发起联邦学 习任务。
14.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可 在处理器上运行的计算机程序，所述处理器执行所述联邦学习任务管理方法。
15.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执 行上述联邦学习任务管理方法的计算机程序。
16.本发明实施例通过管理平台接收第一租户的客户端发起的联邦学习任务，所述联邦 学习任务中携带任务信息；管理平台向区块链发起所述联邦学习任务；管理平台接收区 块链反馈的联邦学习任务进度信息和联邦学习任务结果信息，所述联邦学习任务结果信 息是第一租户的客户端和第二租户的客户端完成联合建模后发送至区块链的，所述联邦 学习任务进度信息是第一租户的客户端和第二租户的客户端进行联合建模时发送至区块 链的，在第二租户的客户端接收到第一租户的客户端发起的联邦学习任务后开始进行联 合建模，第一租户的客户端在区块链收到管理平台发起的联邦学习任务后，根据所述任 务信息向对应的第二租户的客户端发起联邦学习任务。本发明实施例通过区块链调度的 联邦学习既能实现数据安全可信，又可以方便用户使用，并且由于使用区块链进行数据 存证，可有效约束参与方行为，在发生纠纷后，根据链上数据进行责任判定。
17.本发明实施例提供一种联邦学习任务管理方法，用以进行联邦学习任务管理，在实 现数据安全可信的基础上可以方便用户使用并有效约束参与方行为，该方法包括：
18.第一租户的客户端向管理平台发起联邦学习任务，所述联邦学习任务中携带任务信 息；
19.第一租户的客户端在区块链收到管理平台发起的联邦学习任务后，根据所述任务信 息向对应的第二租户的客户端发起联邦学习任务，管理平台是在收到第一租户的客户端 发起的联邦学习任务后向区块链发起联邦学习任务的；
20.在第二租户的客户端接收到联邦学习任务后，第一租户的客户端和第二租户的客
户 端开始进行联合建模并向区块链发送联邦学习任务进度信息；
21.在完成联合建模后，第一租户的客户端和第二租户的客户端向区块链发送联邦学习 任务结果信息。
22.本发明实施例提供一种客户端，用以进行联邦学习任务管理，在实现数据安全可信 的基础上可以方便用户使用并有效约束参与方行为，该客户端包括：
23.第一任务发起模块，用于第一租户的客户端向管理平台发起联邦学习任务，所述联 邦学习任务中携带任务信息；
24.第二任务发起模块，用于第一租户的客户端在区块链收到管理平台发起的联邦学习 任务后，根据所述任务信息向对应的第二租户的客户端发起联邦学习任务，管理平台是 在收到第一租户的客户端发起的联邦学习任务后向区块链发起联邦学习任务的；
25.联合建模模块，用于在第二租户的客户端接收到联邦学习任务后，第一租户的客户 端和第二租户的客户端开始进行联合建模并向区块链发送联邦学习任务进度信息；
26.信息发送模块，用于第一租户的客户端和第二租户的客户端在进行联合建模时向区 块链发送联邦学习任务进度信息，以及在完成联合建模后向区块链发送联邦学习任务结 果信息。
27.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可 在处理器上运行的计算机程序，所述处理器执行所述联邦学习任务管理方法。
28.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执 行上述联邦学习任务管理方法的计算机程序。
29.本发明实施例通过第一租户的客户端向管理平台发起联邦学习任务，所述联邦学习 任务中携带任务信息；第一租户的客户端在区块链收到管理平台发起的联邦学习任务后， 根据所述任务信息向对应的第二租户的客户端发起联邦学习任务，管理平台是在收到第 一租户的客户端发起的联邦学习任务后向区块链发起联邦学习任务的；在第二租户的客 户端接收到联邦学习任务后，第一租户的客户端和第二租户的客户端开始进行联合建模 并向区块链发送联邦学习任务进度信息；在完成联合建模后，第一租户的客户端和第二 租户的客户端向区块链发送联邦学习任务结果信息。本发明实施例通过区块链调度的联 邦学习既能实现数据安全可信，又可以方便用户使用，并且由于使用区块链进行数据存 证，可有效约束参与方行为，在发生纠纷后，根据链上数据进行责任判定。
30.本发明实施例提供一种联邦学习任务管理系统，用以进行联邦学习任务管理，在实 现数据安全可信的基础上可以方便用户使用并有效约束参与方行为，该系统包括：上述 管理平台和上述客户端。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有 技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还 可以根据这些附图获得其他的附图。在附图中：
32.图1为本发明实施例中联邦学习任务管理方法示意图；
33.图2为本发明实施例中另一联邦学习任务管理方法示意图；
习任务后开始进行联合建模，第一租户的客户端在区块链收到管理平台发起的联邦学习 任务后，根据所述任务信息向对应的第二租户的客户端发起联邦学习任务。本发明实施 例通过区块链调度的联邦学习既能实现数据安全可信，又可以方便用户使用，并且由于 使用区块链进行数据存证，可有效约束参与方行为，在发生纠纷后，根据链上数据进行 责任判定。
52.实施例中，所述任务信息包括：发起方信息，参与方信息，数据hash列表信息，任 务配置信息其中之一或任意组合。
53.实施例中，如图2所示，联邦学习任务管理方法还包括：
54.步骤201、管理平台接收第一租户的客户端发送的第一注册区块链账号请求；
55.步骤202、管理平台根据所述第一注册区块链账号请求，向第一租户的客户端发送待 填写信息；
56.步骤203、管理平台接收第一租户的客户端根据所述待填写信息反馈的第一注册信息；
57.步骤204、管理平台向区块链发起第一身份信息绑定请求，所述第一身份信息绑定请 求中携带所述第一注册信息。
58.本实施例中，所述第一注册信息包括：第一租户的身份信息，公钥信息和计算节点 信息。
59.本实施例中，所述区块链登记有第一租户的客户端的第一本地数据，所述第一本地 数据包括：第一租户的数据hash信息，描述信息，归属信息其中之一或任意组合。
60.实施例中，如图3所示，联邦学习任务管理方法还包括：
61.步骤301、管理平台接收第二租户的客户端发送的第二注册区块链账号请求；
62.步骤302、管理平台根据所述第二注册区块链账号请求，向第二租户的客户端发送待 填写信息；
63.步骤303、管理平台接收第二租户的客户端根据所述待填写信息反馈的第二注册信息；
64.步骤304、管理平台向区块链发起第二身份信息绑定请求，所述第二身份信息绑定请 求中携带所述第二注册信息。
65.本实施例中，所述第二注册信息包括：第二租户的身份信息，公钥信息和计算节点 信息。
66.本实施例中，所述区块链登记有第二租户的客户端的第二本地数据，所述第二本地 数据包括：第二租户的数据hash信息，描述信息，归属信息其中之一或任意组合。
67.为了进行联邦学习任务管理，在实现数据安全可信的基础上可以方便用户使用并有 效约束参与方行为，本发明实施例提供另一种联邦学习任务管理方法，如图4所示，该方 法可以包括：
68.步骤401、第一租户的客户端向管理平台发起联邦学习任务，所述联邦学习任务中携 带任务信息；
69.步骤402、第一租户的客户端在区块链收到管理平台发起的联邦学习任务后，根据所 述任务信息向对应的第二租户的客户端发起联邦学习任务，管理平台是在收到第一租户 的客户端发起的联邦学习任务后向区块链发起联邦学习任务的；
信息。
89.3、数据登记：每个租户可以将本地数据在区块链上登记，主要内容包括数据hash信 息，描述信息，归属信息等。
90.4、管理平台接收区块链通知，同步获得数据目录。
91.5、任务发起：机构1的租户通过浏览器登录管理平台，选择机构2的数据进行联合 建模。该任务也会通过区块链进行。任务内容应包括发起方信息，参与方信息，数据 hash列表信息，以及任务所需配置信息等。机构1同步区块链通知后，获知本机构租户 正在发起任务，通过加载配置，向指定的参与方发起建模任务。机构2的计算节点被动接 受任务并积极参与。该建模过程一般时间较长，交互较多。机构1和机构2的计算节点会 主动向区块链汇报任务进度，直到建模结束。管理平台通过区块链通知可以实时获取任 务进度和结果。机构1的租户(任务发起方)可以通过管理平台查看。整个过程计算节点 和管理平台全部通过区块链进行交互，不会存在物理连接，避免数据泄露风险，数据安 全问题得以解决。
92.本发明实施例将身份管理，数据管理(数据市场)，任务管理通过区块链智能合约实现 对应服务功能；管理平台负责可视化配置和使用。可包含任务发起，任务状态展示，任 务结果展示等基本功能。用户信息，数据市场，任务状态和任务结果，均来源于区块链。 计算节点只与区块链交互，将数据在区块链上登记，接受区块链任务调度，反馈任务状 态至区块链。以区块链为媒介，在管理平台实现身份管理，数据管理和任务管理功能。 为联邦学习参与方节点增强了信任，便于实施落地。数据登记，任务管理都通过区块链 进行，整个信息透明可信，计算节点可以直接响应相关事件。身份、数据、任务在区块 链中都保存了对应关系，整个过程可查可追溯。
93.基于同一发明构思，本发明实施例还提供了一种管理平台，如下面的实施例所述。 由于这些解决问题的原理与联邦学习任务管理方法相似，因此管理平台的实施可以参见 方法的实施，重复之处不再赘述。
94.图11为本发明实施例中联邦学习任务管理装置的结构图，如图11所示，该管理平台 1100包括：
95.任务接收模块1101，用于接收第一租户的客户端发起的联邦学习任务，所述联邦学 习任务中携带任务信息；
96.任务发起模块1102，用于向区块链发起所述联邦学习任务；
97.信息接收模块1103，用于管理平台接收区块链反馈的联邦学习任务进度信息和联邦 学习任务结果信息，所述联邦学习任务结果信息是第一租户的客户端和第二租户的客户 端完成联合建模后发送至区块链的，所述联邦学习任务进度信息是第一租户的客户端和 第二租户的客户端进行联合建模时发送至区块链的，在第二租户的客户端接收到第一租 户的客户端发起的联邦学习任务后开始进行联合建模，第一租户的客户端在区块链收到 管理平台发起的联邦学习任务后，根据所述任务信息向对应的第二租户的客户端发起联 邦学习任务。
98.综上所述，本发明实施例通过管理平台接收第一租户的客户端发起的联邦学习任务， 所述联邦学习任务中携带任务信息；管理平台向区块链发起所述联邦学习任务；管理平 台接收区块链反馈的联邦学习任务进度信息和联邦学习任务结果信息，所述联邦学习任 务结果信息是第一租户的客户端和第二租户的客户端完成联合建模后发送至区块链
的， 所述联邦学习任务进度信息是第一租户的客户端和第二租户的客户端进行联合建模时发 送至区块链的，在第二租户的客户端接收到第一租户的客户端发起的联邦学习任务后开 始进行联合建模，第一租户的客户端在区块链收到管理平台发起的联邦学习任务后，根 据所述任务信息向对应的第二租户的客户端发起联邦学习任务。本发明实施例通过区块 链调度的联邦学习既能实现数据安全可信，又可以方便用户使用，并且由于使用区块链 进行数据存证，可有效约束参与方行为，在发生纠纷后，根据链上数据进行责任判定。
99.基于同一发明构思，本发明实施例还提供了一种客户端，如下面的实施例所述。由 于这些解决问题的原理与联邦学习任务管理方法相似，因此客户端的实施可以参见方法 的实施，重复之处不再赘述。
100.图12为本发明实施例中客户端的结构图，如图12所示，该客户端1200包括：
101.第一任务发起模块1201，用于第一租户的客户端向管理平台发起联邦学习任务，所 述联邦学习任务中携带任务信息；
102.第二任务发起模块1202，用于第一租户的客户端在区块链收到管理平台发起的联邦 学习任务后，根据所述任务信息向对应的第二租户的客户端发起联邦学习任务，管理平 台是在收到第一租户的客户端发起的联邦学习任务后向区块链发起联邦学习任务的；
103.联合建模模块1203，用于在第二租户的客户端接收到联邦学习任务后，第一租户的 客户端和第二租户的客户端开始进行联合建模并向区块链发送联邦学习任务进度信息；
104.信息发送模块1204，用于第一租户的客户端和第二租户的客户端在进行联合建模时 向区块链发送联邦学习任务进度信息，以及在完成联合建模后向区块链发送联邦学习任 务结果信息。
105.综上所述，本发明实施例通过第一租户的客户端向管理平台发起联邦学习任务，所 述联邦学习任务中携带任务信息；第一租户的客户端在区块链收到管理平台发起的联邦 学习任务后，根据所述任务信息向对应的第二租户的客户端发起联邦学习任务，管理平 台是在收到第一租户的客户端发起的联邦学习任务后向区块链发起联邦学习任务的；在 第二租户的客户端接收到联邦学习任务后，第一租户的客户端和第二租户的客户端开始 进行联合建模并向区块链发送联邦学习任务进度信息；在完成联合建模后，第一租户的 客户端和第二租户的客户端向区块链发送联邦学习任务结果信息。本发明实施例通过区 块链调度的联邦学习既能实现数据安全可信，又可以方便用户使用，并且由于使用区块 链进行数据存证，可有效约束参与方行为，在发生纠纷后，根据链上数据进行责任判定。
106.基于同一发明构思，本发明实施例还提供了一种联邦学习任务管理系统，如下面的 实施例所述。由于这些解决问题的原理与联邦学习任务管理方法相似，因此系统的实施 可以参见方法的实施，重复之处不再赘述。
107.图13为本发明实施例中联邦学习任务管理系统的结构图，如图13所示，该联邦学习 任务管理系统包括：管理平台1100和客户端1200。
108.基于前述发明构思，如图14所示，本发明还提出了一种计算机设备1400，包括存储 器1410、处理器1420及存储在存储器1410上并可在处理器1420上运行的计算机程序 1430，所述处理器1420执行所述计算机程序1430时实现前述联邦学习任务管理方法。
109.基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存
储 介质存储有计算机程序，所述计算机程序被处理器执行时实现前述联邦学习任务管理方 法。
110.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序 产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面 的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的 计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的 计算机程序产品的形式。
111.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图 和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程 和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指 令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产 生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于 实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
112.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方 式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令 装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多 个方框中指定的功能。
113.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算 机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能的步骤。
114.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明 的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对 本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技 术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修 改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者 替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖 在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。