一种智能学习方法及系统与流程

1.本发明属于智能学习技术领域，涉及一种智能学习方法，尤其涉及一种联邦学习与非联邦学习融合的智能学习方法及系统。


背景技术：

2.联邦学习需要两方数据进行交互式建模，需要两方单独上传数据至建模平台，即两方 guest方和host方都需要上传各自的数据。本技术通过一些规范简化了操作流程，host方通过建立和guest方相同的项目，host方上传数据至ai平台后，后续上传数据至联邦学习平台、建模等操作交给guest方来完成。guest方可以看到host方上传的数据，guest方选择host 方上传的数据集进行建模。
3.有关联邦学习数据交互上传方面，fdn商业版联邦学习也是在guest方完成host方数据集的选择，不过host方的数据集都是固定的，仅有几个数据集供选择，不可更改。
4.现有的联邦学习方式中，通过服务的方式选择host方数据集进行选择上传，简化了操作流程，否则需要host方单独上传数据至联邦学习host方后，然后将上传的数据库表和库告知guest方，guest方通过配置host方的数据库地址后再进行联邦建模，过程复杂且容易出错。
5.有鉴于此，如今迫切需要设计一种新的智能学习方法，以便克服现有智能学习方法存在的上述至少部分缺陷。


技术实现要素：

6.本发明提供一种智能学习方法及系统，可提高智能学习的操作流程，提高工作效率。
7.为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：
8.一种智能学习方法，所述智能学习方法包括：
9.联邦学习建模步骤；guest方选择数据集上传至建模平台，host方选择数据集上传至建模平台；guest方利用host方上传设定项目的数据集，结合自身上传的对应项目的数据集建立至少一联邦学习数学模型；
10.非联邦学习建模步骤；guest方利用自身带有目标变量的数据单方建立至少一非联邦学习数学模型；
11.学习步骤；在联邦学习模式下，利用联邦学习建模步骤中建立的设定联邦数学模型进行学习；在非联邦学习模式下，利用非联邦学习建模步骤中建立的设定非联邦数学模型进行学习；
12.学习模式切换步骤；根据选择将学习模式设定为联邦学习模式或非联邦学习模式，并在对应的学习模式下利用对应的数学模型进行学习。
13.作为本发明的一种实施方式，所述联邦学习建模步骤包括：离线训练步骤及在线预测步骤。
14.作为本发明的一种实施方式，所述联邦学习数学模型及非联邦学习数学模型共享算法参数设置。
15.作为本发明的一种实施方式，所述智能学习方法还包括：学习模式比较步骤，比较利用联邦学习数学模型的结果及利用非联邦学习数学模型的结果，得到比对结果。
16.作为本发明的一种实施方式，所述联邦学习建模步骤具体包括：
17.步骤s1、部署步骤；
18.在guest方和host方部署ai平台，在guest方和host方部署联邦学习模块，使得guest 方和host方同时拥有ai平台和联邦学习的功能；
19.步骤s2、项目管理步骤；
20.guest方和host方建立相同名称的项目；
21.步骤s3、数据集管理步骤；
22.建立项目后，guest方和host方分别开始选择数据集进行上传至ai平台，两方数据集均属于同样名称的项目；
23.步骤s4、选择联邦学习框架步骤；
24.guest方选择联邦学习框架；所述联邦学习框架作为联邦学习后台算法，负责联邦学习算法的离线训练、在线预测；
25.步骤s5、上传数据步骤；
26.guest方选择设定项目下的数据集及host方上传的对应项目下的数据集上传至ai平台；
27.步骤s6、算法参数配置步骤；
28.选择要上传的数据，配置联邦算法的参数，保存提交参数配置；
29.步骤s7、联邦学习数学模型建立步骤；
30.建立联邦学习数学模型。
31.根据本发明的另一个方面，采用如下技术方案：一种智能学习系统，所述智能学习系统包括：
32.联邦学习建模模块，用以建立联邦学习数学模型；利用guest方上传至建模平台的数据集，host方上传至建模平台的数据集建立至少一联邦学习数学模型；
33.非联邦学习建模模块，用以利用guest方上传至建模平台的带有目标变量的数据建立至少一非联邦学习数学模型；
34.学习模块，用以进行数据学习；在联邦学习模式下，利用联邦学习建模步骤中建立的设定联邦数学模型进行学习；在非联邦学习模式下，利用非联邦学习建模步骤中建立的设定非联邦数学模型进行学习；
35.学习模式切换模块，用以根据选择将学习模式设定为联邦学习模式或非联邦学习模式，并在对应的学习模式下利用对应的数学模型进行学习。
36.作为本发明的一种实施方式，所述联邦学习建模模块用以进行离线训练及在线预测。
37.作为本发明的一种实施方式，所述联邦学习数学模型及非联邦学习数学模型共享算法参数设置。
38.作为本发明的一种实施方式，所述智能学习系统还包括：学习模式比较模块，用以
比较利用联邦学习数学模型的结果及利用非联邦学习数学模型的结果，得到比对结果。
39.作为本发明的一种实施方式，所述联邦学习建模模块的建模流程具体包括：
40.步骤s1、部署步骤；
41.在guest方和host方部署ai平台，在guest方和host方部署联邦学习模块，使得guest 方和host方同时拥有ai平台和联邦学习的功能；
42.步骤s2、项目管理步骤；
43.guest方和host方建立相同名称的项目；
44.步骤s3、数据集管理步骤；
45.建立项目后，guest方和host方分别开始选择数据集进行上传至ai平台，两方数据集均属于同样名称的项目；
46.步骤s4、选择联邦学习框架步骤；
47.guest方选择联邦学习框架；所述联邦学习框架作为联邦学习后台算法，负责联邦学习算法的离线训练、在线预测；
48.步骤s5、上传数据步骤；
49.guest方选择设定项目下的数据集及host方上传的对应项目下的数据集上传至ai平台；
50.步骤s6、算法参数配置步骤；
51.选择要上传的数据，配置联邦算法的参数，保存提交参数配置；
52.步骤s7、联邦学习数学模型建立步骤；
53.建立联邦学习数学模型。
54.本发明的有益效果在于：本发明提出的智能学习方法及系统，可提高智能学习的操作流程，提高工作效率。
55.在本发明的一种使用场景中，本发明将多种联邦学习框架融合至ai平台，用户可以比较不同框架之间的性能和效果，给用户一个对联邦学习更清晰的认知。
56.联邦学习集成到了非联邦学习ai平台，联邦学习新增了一键切换至非联邦学习，将联邦学习和非联邦学习进行了深度融合，可以将联邦与非联邦效果进行对比。
57.联邦学习平台不仅和非联邦学习进行了融合，并且底层多种联邦学习框架，多种框架供用户选择，支持一键切换联邦学习框架。
58.联邦学习数据交互上传这块，fdn商业版联邦学习也是在guest方完成host方数据集的选择，不过host方的数据集都是固定的，仅有几个数据集供选择，不可更改。通过改进这种方式，host方上传数据至ai平台后，guest方都可以进行选择host方的数据集上传至联邦学习平台，相对来说数据更灵活，操作简单。
附图说明
59.图1为本发明一实施例中智能学习系统的组成示意图。
60.图2为本发明一实施例中智能学习方法的流程图。
61.图3为本发明一实施例中智能学习的原理示意图。
62.图4为本发明一实施例中智能学习方法的流程图。
具体实施方式
63.下面结合附图详细说明本发明的优选实施例。
64.为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。
65.该部分的描述只针对几个典型的实施例，本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。
66.说明书中各个实施例中的步骤的表述只是为了方便说明，本技术的实现方式不受步骤实现的顺序限制。说明书中的“连接”既包含直接连接，也包含间接连接。
67.本发明揭示了一种智能学习方法，图2、图4为本发明一实施例中智能学习方法的流程图，图3为本发明一实施例中智能学习的原理示意图；请参阅图2至图4，所述智能学习方法包括：
68.【步骤s1】联邦学习建模步骤；guest方选择数据集上传至建模平台，host方选择数据集上传至建模平台；guest方利用host方上传设定项目的数据集，结合自身上传的对应项目的数据集建立至少一联邦学习数学模型。
69.在本发明的一实施例中，所述联邦学习建模步骤包括：离线训练步骤及在线预测步骤。
70.在本发明的一实施例中，所述联邦学习建模步骤具体包括：
71.步骤s101、部署步骤；
72.在guest方和host方部署ai平台，在guest方和host方部署联邦学习模块，使得guest 方和host方同时拥有ai平台和联邦学习的功能；
73.步骤s102、项目管理步骤；
74.guest方和host方建立相同名称的项目；
75.步骤s103、数据集管理步骤；
76.建立项目后，guest方和host方分别开始选择数据集进行上传至ai平台，两方数据集均属于同样名称的项目；
77.步骤s104、选择联邦学习框架步骤；
78.guest方选择联邦学习框架；所述联邦学习框架作为联邦学习后台算法，负责联邦学习算法的离线训练、在线预测；
79.步骤s105、上传数据步骤；
80.guest方选择设定项目下的数据集及host方上传的对应项目下的数据集上传至ai平台；
81.步骤s106、算法参数配置步骤；
82.选择要上传的数据，配置联邦算法的参数，保存提交参数配置；
83.步骤s107、联邦学习数学模型建立步骤；
84.建立联邦学习数学模型。
85.【步骤s2】非联邦学习建模步骤；guest方利用自身带有目标变量的数据单方建立至少一非联邦学习数学模型。
86.在本发明的一实施例中，所述联邦学习数学模型及非联邦学习数学模型共享算法参数设置。
87.在一实施例中，非联邦学习的具体过程包括：非联邦学习共享联邦学习的参数、数据，只提供非联邦学习的切换接口、查看报告的接口。
88.【步骤s3】学习步骤；在联邦学习模式下，利用联邦学习建模步骤中建立的设定联邦数学模型进行学习；在非联邦学习模式下，利用非联邦学习建模步骤中建立的设定非联邦数学模型进行学习。
89.【步骤s4】学习模式切换步骤；根据选择将学习模式设定为联邦学习模式或非联邦学习模式，并在对应的学习模式下利用对应的数学模型进行学习。
90.在本发明的一实施例中，所述智能学习方法还可以包括：学习模式比较步骤，比较利用联邦学习数学模型的结果及利用非联邦学习数学模型的结果，得到比对结果。
91.本发明智能学习方法中，部分步骤的先后顺序可以调整；如步骤s1、步骤s2的先后顺序可以调整；步骤s1可以在步骤s2之前，步骤s1可以在步骤s2之后，步骤s1、步骤s2也可以同时进行。
92.本发明进一步揭示一种智能学习系统，图1为本发明一实施例中智能学习系统的组成示意图；请参阅图1，所述智能学习系统包括：联邦学习建模模块1、非联邦学习建模模块2、学习模块3及学习模式切换模块4。
93.所述联邦学习建模模块1用以建立联邦学习数学模型；利用guest方上传至建模平台的数据集，host方上传至建模平台的数据集建立至少一联邦学习数学模型。在本发明的一实施例中，所述联邦学习建模模块1用以进行离线训练及在线预测。
94.所述非联邦学习建模模块2用以利用guest方上传至建模平台的带有目标变量的数据建立至少一非联邦学习数学模型。在一实施例中，所述联邦学习数学模型及非联邦学习数学模型共享算法参数设置。
95.所述学习模块3用以进行数据学习；在联邦学习模式下，利用联邦学习建模步骤中建立的设定联邦数学模型进行学习；在非联邦学习模式下，利用非联邦学习建模步骤中建立的设定非联邦数学模型进行学习。
96.所述学习模式切换模块4用以根据选择将学习模式设定为联邦学习模式或非联邦学习模式，并在对应的学习模式下利用对应的数学模型进行学习。
97.在本发明的一实施例中，所述智能学习系统还可以包括学习模式比较模块，所述学习模式比较模块用以比较利用联邦学习数学模型的结果及利用非联邦学习数学模型的结果，得到比对结果。
98.在本发明的一实施例中，所述联邦学习建模模块1的建模流程具体包括：
99.步骤s101、部署步骤；
100.在guest方和host方部署ai平台，在guest方和host方部署联邦学习模块，使得guest 方和host方同时拥有ai平台和联邦学习的功能；
101.步骤s102、项目管理步骤；
102.guest方和host方建立相同名称的项目；
103.步骤s103、数据集管理步骤；
104.建立项目后，guest方和host方分别开始选择数据集进行上传至ai平台，两方数据
集均属于同样名称的项目；
105.步骤s104、选择联邦学习框架步骤；
106.guest方选择联邦学习框架；所述联邦学习框架作为联邦学习后台算法，负责联邦学习算法的离线训练、在线预测；
107.步骤s105、上传数据步骤；
108.guest方选择设定项目下的数据集及host方上传的对应项目下的数据集上传至ai平台；
109.步骤s106、算法参数配置步骤；
110.选择要上传的数据，配置联邦算法的参数，保存提交参数配置；
111.步骤s107、联邦学习数学模型建立步骤；
112.建立联邦学习数学模型。
113.联邦学习和非联邦学习的数据都上传到了ai平台，ai平台负责数据的维护，联邦学习和非联邦学习只负责机器学习算法的计算部分，将结果返回给ai平台。联邦学习中，guest方不仅要选择自身的数据集，还需要选择host方的数据集，所以在项目管理中两方要建立相同名称的项目。
114.联邦学习需要两方数据进行交互式建模，需要两方单独上传数据至建模平台，即两方 guest方和host方都需要上传各自的数据到各自本地的联邦学习平台。本发明通过一些规范简化了操作流程，host方建立和guest方相同的项目，host方上传数据至ai平台后，后续上传数据至host方联邦学习平台、两方建模等操作交给guest方来完成。guest方可以在前端看到host方上传的数据集，guest方选择host方上传的数据集进行建模。
115.本发明中ai平台支持多种联邦学习框架。联邦学习框架指联邦学习后台算法，所有联邦学习算法运行的后端，负责联邦学习算法离线训练、离线预测、在线预测。不同联邦学习框架设计原理可能有所不同，导致所支持的算法种类、算法的效果、算法的性能可能有所不同。
116.联邦学习中需要使用两份数据，包括guest方数据和host方数据；数据分别在guest方本地和host方本地，联邦学习需要这两份数据进行联邦建模。而非联邦学习需要带有目标变量的数据，guest方数据指带有目标变量的数据，所以非联邦学习算法后台部署在guest方，非联邦学习只有guest方可以执行，即只用到一方的数据。
117.ai平台为联邦学习和非联邦学习提供平台，使他们使用起来更简单。ai平台是一种机器学习平台，是一个大型的架构，支持数据的存储、算法的离线训练、在线预测等多种功能。本发明可以支持多种联邦学习框架的接入，可以从形式上统一联邦学习的操作方式，为用户提供便利。
118.ai平台主要融合了非联邦学习算法automan，其中automan算法训练平台就集成到了ai 平台中，aotoman主要是非联邦学习的核心算法计算部分，ai平台本身不支持算法的计算，它给各种算法计算框架提供平台，是一个通用的平台，当然也可以为联邦学习提供平台。
119.在ai平台前端运行联邦学习算法时，会调用ai平台上的联邦学习算法，联邦学习会调用guest方和host方的数据进行联合建模。而在ai平台运行非联邦学习算法时，会调用ai 平台上的automan算法(一套非联邦学习自动化学习算法平台)，该算法会调用guest方
的数据进行非联邦建模。
120.本发明支持联邦学习算法与非联邦学习算法一键切换。联邦学习与非联邦学习automan 都集成到了ai平台中，对算法进行了封装，automan和联邦学习可以共享算法参数设置， automan可以用guest方的带有目标变量的数据进行单方建模。
121.前端运行联邦学习算法的后台属于联邦学习后台，前端运行非联邦学习算法的后台是 automan算法，用户在切换使用过程是无感知的，因为联邦学习和非联邦学习在训练算法时所用的输入参数是一致的。
122.综上所述，本发明提出的智能学习方法及系统，可提高智能学习的操作流程，提高工作效率。
123.需要注意的是，本技术可在软件和/或软件与硬件的组合体中被实施；例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本技术的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本技术的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中；例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本技术的一些步骤或功能可采用硬件来实现；例如，作为与处理器配合从而执行各个步骤或功能的电路。
124.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
125.这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。实施例中所涉及的效果或优点可因多种因素干扰而可能不能在实施例中体现，对于效果或优点的描述不用于对实施例进行限制。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。