一种联邦学习处理方法及装置与流程

1.本发明涉及数据处理领域，具体而言，涉及一种联邦学习处理方法及装置。


背景技术：

2.数据在不出域的情况下，无法发挥数据的价值。使用第三方模型时，自身业务数据也会有泄露的可能性。
3.针对相关技术中数据在不出域的情况下，无法发挥数据的价值，而使用第三方模型时，自身业务数据也会有泄露的可能性的问题，尚未提出解决方案。


技术实现要素：

4.本发明实施例提供了一种联邦学习处理方法及装置，以至少解决相关技术中数据在不出域的情况下，无法发挥数据的价值，而使用第三方模型时，自身业务数据也会有泄露的可能性的问题。
5.根据本发明的一个实施例，提供了一种联邦学习处理方法，包括：
6.获取多个参与方基于秘密分享的方式发送的预定数量的数据；
7.基于所述预定数量的数据，通过优化算法对非线性支持向量机(support vector machine，简称为svm)进行训练，得到训练好的目标svm；
8.将所述目标svm发送给所述多个参与方，以使所述多个参与方根据所述目标svm对目标数据进行分类。
9.可选地，基于所述预定数量的数据，通过优化算法对非线性支持向量机svm进行训练，得到训练好的目标svm包括：
10.将所述预定数量的数据作为粒子随机扩散到溶液空间，所述粒子对应所述非线性svm的高斯核函数的最佳σ参数，其中，一个数据对应一个粒子；
11.通过循环迭代从所述粒子中确定目标最佳粒子的方式，对非线性支持向量机svm进行训练，确定所述目标最佳粒子对应的所述高斯核函数的最佳σ参数对应的所述非线性svm为所述目标svm。
12.可选地，通过循环迭代从所述粒子中确定目标最佳粒子的方式，对非线性支持向量机svm进行训练包括：
13.初始化粒子数n、交互率ir、合理率r、成熟度限制ml、每个粒子的经验ex；
14.计算每个粒子的适应度，根据所述每个粒子的适应度确定初始最佳粒子，更新初始最佳粒子的交互率ir，将所述初始最佳粒子的ex值加1；
15.重复以下步骤，对非线性支持向量机svm进行训练，直到满足预设条件，得到所述目标最佳粒子：
16.将适应度等于或高于平均适应度的目标粒子的ex值减1，除所述目标粒子之外的其他粒子的ex值加1；
17.更新粒子的交互率ir；
18.更新除最佳粒子之外的粒子的位置；
19.计算适应度，使用随机值更新所述最佳粒子的交互率ir并将所述最佳粒子的ex值加1；
20.更新ex值等于或低于成熟度限制ml的粒子，计算适应度并更新所述最佳粒子的交互率ir并将所述最佳粒子的ex值加1；
21.更新ex值低于0的粒子的交互率ir和粒子的位置，更新ex值等于或大于0的粒子的交互率ir，并重复r次；
22.更新所有粒子的交互率ir，计算适应度，更新所述最佳粒子的交互率ir，将所述最佳粒子的ex值加1。
23.可选地，获取多个参与方基于秘密分享的方式发送的预定数量的数据包括：
24.重复执行以下步骤，得到所述预定数量的数据：
25.基于所述秘密分享的方式将第一目标数据拆分多个第一数据分片；
26.将所述多个第一数据分片发送给所述多个参与方，其中，一个参与方对应一个第一数据分片；
27.获取所述多个参与方发送的多个第二数据分片，其中，一个参与方对应一个第二数据分片；
28.对所述第一数据分片与所述多个第二数据分片进行聚合，得到所述数据，其中，所述多个参与方分别根据第一数据分片与多个第二数据分片进行融合，得到所述数据。
29.可选地，在基于所述多个参与方的数据，通过优化算法对非线性支持向量机svm进行训练，得到训练好的目标svm之后，所述方法还包括：
30.获取所述目标数据；
31.基于所述目标svm对所述目标数据进行分类，得到所述目标数据的分类结果。
32.根据本发明的另一个实施例，还提供了一种联邦学习处理装置，包括：
33.第一获取模块，用于获取多个参与方基于秘密分享的方式发送的预定数量的数据；
34.训练模块，用于基于所述预定数量的数据，通过优化算法对非线性支持向量机svm进行训练，得到训练好的目标svm；
35.发送模块，用于将所述目标svm发送给所述多个参与方，以使所述多个参与方根据所述目标svm对目标数据进行分类。
36.可选地，所述训练模块包括：
37.扩散子模块，用于将所述预定数量的数据作为粒子随机扩散到溶液空间，所述粒子对应所述非线性svm的高斯核函数的最佳σ参数，其中，一个数据对应一个粒子；
38.确定子模块，用于通过循环迭代从所述粒子中确定目标最佳粒子的方式，对非线性支持向量机svm进行训练，确定所述目标最佳粒子对应的所述高斯核函数的最佳σ参数对应的所述非线性svm为所述目标svm。
39.可选地，所述确定子模块，还用于：
40.初始化粒子数n、交互率ir、合理率r、成熟度限制ml、每个粒子的经验ex；
41.计算每个粒子的适应度，根据所述每个粒子的适应度确定初始最佳粒子，更新初始最佳粒子的交互率ir，将所述初始最佳粒子的ex值加1；
42.重复以下步骤，对非线性支持向量机svm进行训练，直到满足预设条件，得到所述目标最佳粒子：
43.将适应度等于或高于平均适应度的目标粒子的ex值减1，除所述目标粒子之外的其他粒子的ex值加1；
44.更新粒子的交互率ir；
45.更新除最佳粒子之外的粒子的位置；
46.计算适应度，使用随机值更新所述最佳粒子的交互率ir并将所述最佳粒子的ex值加1；
47.更新ex值等于或低于成熟度限制ml的粒子，计算适应度并更新所述最佳粒子的交互率ir并将所述最佳粒子的ex值加1；
48.更新ex值低于0的粒子的交互率ir和粒子的位置，更新ex值等于或大于0的粒子的交互率ir，并重复r次；
49.更新所有粒子的交互率ir，计算适应度，更新所述最佳粒子的交互率ir，将所述最佳粒子的ex值加1。
50.可选地，所述第一获取模块，还用于：
51.重复执行以下步骤，得到所述预定数量的数据：
52.基于所述秘密分享的方式将第一目标数据拆分多个第一数据分片；
53.将所述多个第一数据分片发送给所述多个参与方，其中，一个参与方对应一个第一数据分片；
54.获取所述多个参与方发送的多个第二数据分片，其中，一个参与方对应一个第二数据分片；
55.对所述第一数据分片与所述多个第二数据分片进行聚合，得到所述数据，其中，所述多个参与方分别根据第一数据分片与多个第二数据分片进行融合，得到所述数据。
56.可选地，所述装置还包括：
57.第二获取模块，用于获取所述目标数据；
58.分类模块，用于基于所述目标svm对所述目标数据进行分类，得到所述目标数据的分类结果。
59.根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
60.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
61.通过本发明，获取多个参与方基于秘密分享的方式发送的预定数量的数据；基于所述预定数量的数据，通过优化算法对非线性支持向量机svm进行训练，得到训练好的目标svm；将所述目标svm发送给所述多个参与方，以使所述多个参与方根据所述目标svm对目标数据进行分类，可以解决相关技术中数据在不出域的情况下，无法发挥数据的价值，而使用第三方模型时，自身业务数据也会有泄露的可能性的问题，基于svm的混合算法的联邦学习，可以让数据不出域的情况下，进行逻辑推断，发挥数据价值。
附图说明
62.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
63.图1是本发明实施例的联邦学习处理方法的移动终端的硬件结构框图；
64.图2是根据本发明实施例的联邦学习处理方法的流程图；
65.图3是根据本发明实施例的svm-codoa算法的示意图；
66.图4是根据本发明实施例的联邦学习处理装置的框图。
具体实施方式
67.下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
68.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
69.实施例1
70.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的联邦学习处理方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
71.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的联邦学习处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
72.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
73.在本实施例中提供了一种运行于上述移动终端或网络架构的联邦学习处理方法，图2是根据本发明实施例的联邦学习处理方法的流程图，如图2所示，该流程包括如下步骤：
74.步骤s202，获取多个参与方基于秘密分享的方式发送的预定数量的数据；
75.步骤s204，基于所述预定数量的数据，通过优化算法对非线性支持向量机svm进行训练，得到训练好的目标svm；
76.步骤s206，将所述目标svm发送给所述多个参与方，以使所述多个参与方根据所述目标svm对目标数据进行分类。
77.本发明实施例中，上述步骤s204具体可以包括：
78.将所述预定数量的数据作为codoa的粒子随机扩散到溶液空间，所述粒子对应所述非线性svm的高斯核函数的最佳σ参数，其中，一个数据对应一个粒子；
79.通过循环迭代从所述粒子中确定目标最佳粒子的方式，对非线性支持向量机svm进行训练，确定所述目标最佳粒子对应的所述高斯核函数的最佳σ参数对应的所述非线性svm为所述目标svm，具体的，初始化粒子数n、交互率ir、合理率r、成熟度限制ml、每个粒子的经验ex；计算每个粒子的适应度，根据所述每个粒子的适应度确定初始最佳粒子，更新初始最佳粒子的交互率ir，将所述初始最佳粒子的ex值加1；重复以下步骤，对非线性支持向量机svm进行训练，直到满足预设条件，得到所述目标最佳粒子：将适应度等于或高于平均适应度的目标粒子的ex值减1，除所述目标粒子之外的其他粒子的ex值加1；更新粒子的交互率ir；更新除最佳粒子之外的粒子的位置；计算适应度，使用随机值更新所述最佳粒子的交互率ir并将所述最佳粒子的ex值加1；更新ex值等于或低于成熟度限制ml的粒子，计算适应度并更新所述最佳粒子的交互率ir并将所述最佳粒子的ex值加1；更新ex值低于0的粒子的交互率ir和粒子的位置，更新ex值等于或大于0的粒子的交互率ir，并重复r次；更新所有粒子的交互率ir，计算适应度，更新所述最佳粒子的交互率ir，将所述最佳粒子的ex值加1。
80.本发明实施例中，上述步骤s202具体可以包括：重复执行以下步骤，得到所述预定数量的数据：基于所述秘密分享的方式将第一目标数据拆分多个第一数据分片；将所述多个第一数据分片发送给所述多个参与方，其中，一个参与方对应一个第一数据分片；获取所述多个参与方发送的多个第二数据分片，其中，一个参与方对应一个第二数据分片；对所述第一数据分片与所述多个第二数据分片进行聚合，得到所述数据，其中，所述多个参与方分别根据第一数据分片与多个第二数据分片进行融合，得到所述数据。
81.在一可选的实施例中，在上述步骤s204之后，所述方法还包括：获取所述目标数据；基于所述目标svm对所述目标数据进行分类，得到所述目标数据的分类结果。
82.本发明实施例通过集群化方案解决了在线服务的负载均衡，故障转移，动态扩缩容，机房灾备等问题；通过多集群管理和sdk心跳机制，解决代码升级，灰度发布，发布回滚等问题；降低了用户的接入成本；通过提供易用性框架，使得用户在开发业务逻辑时，完全不需要关心分布式化的逻辑。
83.本发明实施例引入了svm的混合算法系统用于解决分类问题。认知开发优化算法(例如，codoa)被用于训练非线性svm以便更好地分类，这意味着更好的诊断。简言之，codoa的粒子用于寻找svm的高斯核函数的最佳sigma(σ)参数，以便它可以对用户数据进行准确的画像分类。在应用工作中，将开发的svm-codoa应用于一些不同场景中的用户数据，得到的结果表明该系统在用户画像时足够有效。此外，所形成的系统也优于通过替代codoa改用其他四种算法形成的不同的基于svm的系统。性能对于al应用程序至关重要，因此本方案还进行了大量优化以提高al模型的执行效率。在最高安全等级中运行vgg64与在正常情况下运行相比的时间消耗，仅增加了10％的开销。通过这一点有限的额外开销，可以提供与较高等级的机密性和完整性保障。
84.图3是根据本发明实施例的svm-codoa算法的示意图，如图3所示，包括：
85.步骤1，调整初始参数，如n：粒子数，ir：初始交互率，r：合理率，ml：成熟度限制，ex：每个粒子的经验，ir的最大值，最小值。
86.步骤2，将粒子随机扩散到溶液空间。计算适应度。使用以下等式更新最佳粒子的ir并将其ex值增加1(b表示最佳，p表示粒子)：
87.b_p_ir(new)＝b_p_ir(current) (rand.*b_p_ir(current))。
88.步骤3，重复以下步骤，直到满足停止标准：
89.3.1适应度等于或高于平均适应度(考虑到问题是最小化)粒子的ex减1。相对应，其他的粒子的ex加1.(考虑问题是最小化)。此外，通过以下方式更新粒子的ir：
90.pj_ir_(new)＝pj_ir_(current) (rand.*pj_ir_(current))。
91.3.2通过以下方式更新粒子ir：
92.pj_ir_(new)＝rand.*pj_ir_(current)。
93.3.3通过以下方式更新每个粒子的位置(最佳粒子除外)：
[0094][0095]
3.4计算适应度。使用随机值更新最佳粒子的ir并将其ex增加1：
[0096]
b_p_ir(new)＝b_p_ir(current) (rand.*b_p_ir_(current))。
[0097]
3.5使用以下内容更新ex等于或低于ml的粒子：
[0098]
pj_ir_(new)＝pj_ir-(current) (rand.*pj_ir_(current))。
[0099]
计算适应度并更新最佳粒子的ir并将其ex增加1：
[0100]
b_p_ir(new)＝b_p_ir(current) (rand.*b_p-ir(current))。
[0101]
3.6更新ex低于0的粒子的ir和粒子的位置：
[0102]
pj_ir_(new)＝pj_ir_(current) (rand.*(b_p_ir_(crrent)/pj_ir_(current)))
[0103]
p
iposnew
＝p
ipos.current

[0104]
(rand.*(pi_ir_(current)*(global_best_pos.-pi_pos._(current))))。
[0105]
通过以下方式更新ex等于或大于0的粒子的ir，并重复r次：pj_ir_(new)＝pj_ir_(current) (rand.*(b_p_ir_(current)/pj_ir_(current))))。
[0106]
3.7使用以下方法更新所有粒子的ir：
[0107]
p
i-ir-(new)＝rand.*pi_ir_(current)。
[0108]
计算适应度，更新最佳粒子的ir，将其ex增加1并实现系统优化以解决高级问题：
[0109]
b_p_ir(new)＝b_p_ir(current) (rand.*b_p_ir(current))。
[0110]
如果未达到停止标准，返回第3.1步。
[0111]
步骤4，优化过程结束，输出结果是最佳值。
[0112]
本实施例中通过codoa训练svm过程包括：
[0113]
步骤1，主要目的是找到非线性svm的高斯核函数的最佳sigma(σ)参数。
[0114]
步骤2，为了找到sigma(σ)，codoa的每个粒子对应于该参数，以便它们可以在优化过程中移动以找到最佳值。
[0115]
步骤3，对于客观的医疗诊断问题，根据特定的迭代次数(停止标准)运行。在每次迭代转弯中，确定的sigma(σ)值用于对训练数据的诊断。并使用以下精度计算来确定相关迭代中的最佳粒子，并通过考虑它来更新粒子：
[0116][0117]
在关于codoa的优化过程结束时，最佳粒子具有最佳sigma(σ)值，允许非线性svm执行最佳分类问题。
[0118]
实施例2
[0119]
根据本发明的另一个实施例，还提供了一种联邦学习处理装置，图4是根据本发明实施例的联邦学习处理装置的框图，如图4所示，包括：
[0120]
第一获取模块42，用于获取多个参与方基于秘密分享的方式发送的预定数量的数据；
[0121]
训练模块44，用于基于所述预定数量的数据，通过优化算法对非线性支持向量机svm进行训练，得到训练好的目标svm；
[0122]
发送模块46，用于将所述目标svm发送给所述多个参与方，以使所述多个参与方根据所述目标svm对目标数据进行分类。
[0123]
可选地，所述训练模块44包括：
[0124]
扩散子模块，用于将所述预定数量的数据作为粒子随机扩散到溶液空间，所述粒子对应所述非线性svm的高斯核函数的最佳σ参数，其中，一个数据对应一个粒子；
[0125]
确定子模块，用于通过循环迭代从所述粒子中确定目标最佳粒子的方式，对非线性支持向量机svm进行训练，确定所述目标最佳粒子对应的所述高斯核函数的最佳σ参数对应的所述非线性svm为所述目标svm。
[0126]
可选地，所述确定子模块，还用于：
[0127]
初始化粒子数n、交互率ir、合理率r、成熟度限制ml、每个粒子的经验ex；
[0128]
计算每个粒子的适应度，根据所述每个粒子的适应度确定初始最佳粒子，更新初始最佳粒子的交互率ir，将所述初始最佳粒子的ex值加1；
[0129]
重复以下步骤，对非线性支持向量机svm进行训练，直到满足预设条件，得到所述目标最佳粒子：
[0130]
将适应度等于或高于平均适应度的目标粒子的ex值减1，除所述目标粒子之外的其他粒子的ex值加1；
[0131]
更新粒子的交互率ir；
[0132]
更新除最佳粒子之外的粒子的位置；
[0133]
计算适应度，使用随机值更新所述最佳粒子的交互率ir并将所述最佳粒子的ex值加1；
[0134]
更新ex值等于或低于成熟度限制ml的粒子，计算适应度并更新所述最佳粒子的交互率ir并将所述最佳粒子的ex值加1；
[0135]
更新ex值低于0的粒子的交互率ir和粒子的位置，更新ex值等于或大于0的粒子的交互率ir，并重复r次；
[0136]
更新所有粒子的交互率ir，计算适应度，更新所述最佳粒子的交互率ir，将所述最佳粒子的ex值加1。
[0137]
可选地，所述第一获取模块42，还用于：
[0138]
重复执行以下步骤，得到所述预定数量的数据：
[0139]
基于所述秘密分享的方式将第一目标数据拆分多个第一数据分片；
[0140]
将所述多个第一数据分片发送给所述多个参与方，其中，一个参与方对应一个第一数据分片；
[0141]
获取所述多个参与方发送的多个第二数据分片，其中，一个参与方对应一个第二数据分片；
[0142]
对所述第一数据分片与所述多个第二数据分片进行聚合，得到所述数据，其中，所述多个参与方分别根据第一数据分片与多个第二数据分片进行融合，得到所述数据。
[0143]
可选地，所述装置还包括：
[0144]
第二获取模块，用于获取所述目标数据；
[0145]
分类模块，用于基于所述目标svm对所述目标数据进行分类，得到所述目标数据的分类结果。
[0146]
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
[0147]
实施例3
[0148]
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0149]
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
[0150]
s1，获取多个参与方基于秘密分享的方式发送的预定数量的数据；
[0151]
s2，基于所述预定数量的数据，通过优化算法对非线性支持向量机svm进行训练，得到训练好的目标svm；
[0152]
s3，将所述目标svm发送给所述多个参与方，以使所述多个参与方根据所述目标svm对目标数据进行分类。
[0153]
可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
[0154]
实施例4
[0155]
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0156]
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0157]
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
[0158]
s1，获取多个参与方基于秘密分享的方式发送的预定数量的数据；
[0159]
s2，基于所述预定数量的数据，通过优化算法对非线性支持向量机svm进行训练，得到训练好的目标svm；
[0160]
s3，将所述目标svm发送给所述多个参与方，以使所述多个参与方根据所述目标svm对目标数据进行分类。
[0161]
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0162]
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0163]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。