基于联邦学习和ALQ压缩的分布式机器学习方法及系统与流程

基于联邦学习和alq压缩的分布式机器学习方法及系统
技术领域
1.本发明涉及计算机系统方向的分布式系统领域和计算科学方向的机器学习领域，尤其是涉及一种基于联邦学习和alq压缩的分布式机器学习方法及系统。


背景技术：

2.过去十年空间信息网络得到了飞速的发展，例如部署小型卫星和无人机供公众使用，包括互联网服务、地理摄影、导航、天气预报和交通数据分析。到目前为止，spacex已经部署了1000多颗starlink卫星提供宽带互联网连接。此外，配备传感器和摄像头的小型卫星和无人机具有一直收集大量高分辨率图像和视频数据的能力，使诸如谷歌地图等应用程序能够提供实时街景和交通监控。
3.随着空间信息网络设备收集的有价值的数据数量不断增加，人们对智能、高效的数据分析的广泛兴趣被不断激发。利用数据在卫星和无人机上启用机器智能有两个显著的效益：一是提高数据分析效率，进一步提升公共服务质量，如天气预报、交通导航。二、协助航天器管理并自主优化空间通信和航天器的可靠性，进一步降低地面部分和执行任务的负担和成本。
4.工业和学术界已尝试在sin设备上启用机器学习。kp labs开发了leopard，一种集成的具有强大fpga芯片的机载计算机，可加速执行卫星上的深度学习算法。英特尔发布了movidius myriad vpu，一种能够在低功耗环境中加速机器视觉任务的微处理器。此外，欧洲航天局提出了mexar2，利用机器学习技术来优化空间通信。美国宇航局设计了太空通信和导航(scan)测试平台以利用机器学习探索认知无线电和未被用作通信部分的电磁频谱。
5.然而，现有的研究仅尝试在单个空间信息网络设备上执行机器学习任务，即使机器并行可以大大加速计算。例如，manning等人将机器学习框架tensorflow lite部署到现代小型卫星计算机上并使用卷积神经网络执行图像分类任务。然而，尽管如此，在单个空间信息网络设备上得到准确、通用的模型是近乎不可能的，因为单个设备往往算力和存储空间都十分有限并且现有的深度学习算法通常需要数百万个数据样本和数千个并行计算线程(即gpu流处理器)来训练适合工业环境的模型。因此，在小型卫星和无人机上启用分布式机器学习是势在必行的。
6.目前阻碍机器学习在空间信息网络设备上部署的主要问题是这些设备本身有限的资源以及和地面控制台之间不稳定、低带宽的通信。这使得机器学习对流量的巨大需求与空间信息网络较差的通信质量之间存在极大的矛盾。并且，不稳定的通信也会进一步增加协调各个设备的难度。


技术实现要素：

7.本发明提供一种基于联邦学习和alq压缩的分布式机器学习方法及系统，可应用于对通信量和扩展性有严格要求的空间信息网络中。
8.本发明需要解决的技术问题是如何将分布式机器学习更加高效的部署到空间信
息网络的设备上，及如何优化通信使得分布式机器学习能够更好地适应空间信息网络较低的通信质量，克服以下3个技术难点：
9.(1)如何让分布式机器学习更好地适应通信质量差、对可扩展性要求高的空间信息网络，在不影响最终模型训练效果的前提下尽可能地降低通信量。
10.(2)如何减少掉线设备或者通信延时较高、带宽较低的设备对整体训练的影响。
11.(3)如何对各个空间网络设备上的数据隐私进行保护。
12.本发明的上述目的可以通过以下技术方案来实现：
13.第一方面，本发明提供一种基于联邦学习和alq压缩的分布式机器学习方法，应用于客户端，包括以下步骤：
14.获取服务器端发送的经压缩的全局模型参数，该全局模型参数通过alq压缩算法压缩获得；
15.还原所述经压缩的全局模型参数，在所述全局模型参数的基础上利用本地数据进行训练，获得本地模型参数；
16.通过alq压缩算法对所述本地模型参数进行压缩，形成本地模型更新参数，将压缩后的本地模型更新参数上传至服务器端。
17.进一步地，所述alq压缩算法的步骤包括：
18.1)对全精度坐标集合α进行剪枝；
19.2)对全精度坐标集合对应的二进制基b进行优化；
20.3)重复步骤1)和2)，获得最优的全精度坐标集合和二进制基。
21.进一步地，所述还原具体为：多个对应的二进制基与坐标相乘并求和。
22.进一步地，所述客户端为空间信息网络设备。
23.进一步地，所述再次压缩采用straight
‑
through estimators算法执行。
24.第二方面，本发明提供一种基于联邦学习和alq压缩的分布式机器学习方法，应用于服务器端，包括以下步骤：
25.初始化模型参数和结构，通过alq压缩算法压缩获得经压缩的全局模型参数；
26.在接收到所有客户端反馈的本地模型更新参数后，所述本地模型更新参数通过alq压缩算法压缩获得，对各本地模型更新参数进行还原并融合，获得全局模型更新参数；
27.再次通过alq压缩算法对全局模型更新参数进行压缩并发送至客户端，直至训练结束。
28.进一步地，所述alq压缩算法的步骤包括：
29.1)对全精度坐标集合α进行剪枝；
30.2)对全精度坐标集合对应的二进制基b进行优化；
31.3)重复步骤1)和2)，获得最优的全精度坐标集合和二进制基。
32.进一步地，所述还原具体为：多个对应的二进制基与坐标相乘并求和。
33.进一步地，所述融合具体为：对所有还原得到的模型参数进行加权求和。
34.第三方面，本发明提供一种基于联邦学习和alq压缩的分布式机器学习系统，包括一个服务器端和多个客户端，其中，
35.所述客户端用于获取服务器端发送的经压缩的全局模型参数，该全局模型参数通过alq压缩算法压缩获得；还原所述经压缩的全局模型参数，在所述全局模型参数的基础上
利用本地数据进行训练，获得本地模型参数；通过alq压缩算法对所述本地模型参数进行压缩，形成本地模型更新参数，将压缩后的本地模型更新参数上传至服务器端；
36.所述服务器端用于初始化模型参数和结构，通过alq压缩算法压缩获得经压缩的全局模型参数；在接收到所有客户端反馈的本地模型更新参数后，所述本地模型更新参数通过alq压缩算法压缩获得，对各本地模型更新参数进行还原并融合，获得全局模型更新参数；再次通过alq压缩算法对全局模型更新参数进行压缩并发送至客户端，直至训练结束。
37.与现有技术相比，本发明具有以下有益效果：
38.1、本发明引入了联邦学习的思想实现隐私保护，根据联邦学习的结构对分布式机器学习任务进行部署，保证了每个空间信息网络设备上数据隐私的安全性
39.2、本发明引入了隐私保护，使得隶属于不同组织的设备就可以共同训练模型，这会大大提高对数据的利用效果。
40.3、较长的等待时间会大大降低系统的可用性以及稳定性，为系统带来更大的失败风险。本发明基于联邦学习的训练流程可以在一定程度上容忍设备的掉线、慢速等问题，减少掉线设备或者通信延时较高、带宽较低的设备对整体训练的影响。
41.4、本发明通过alq压缩通信，并可以根据当前通信条件动态地调整压缩率，使得分布式机器学习动态地适应通信质量差、对可扩展性要求高的空间信息网络，在不影响最终模型训练效果的前提下尽可能地降低通信量，并进一步增强了分布式机器学习在空间信息网络中的可扩展性。
42.以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
43.图1为联邦学习的原理示意图；
44.图2为本发明的原理示意图。
具体实施方式
45.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
46.实施例1
47.参考图1和图2所示，本实施例提供一种基于联邦学习和alq压缩的分布式机器学习方法，应用于如空间信息网络设备等客户端，包括以下步骤：获取服务器端发送的经压缩的全局模型参数，该全局模型参数通过alq压缩算法压缩获得；还原所述经压缩的全局模型参数，在所述全局模型参数的基础上利用本地数据进行训练，获得本地模型参数；通过alq压缩算法对所述本地模型参数进行压缩，形成本地模型更新参数，再次压缩后上传至服务器端。
48.本实施例中所采用的alq压缩方式主要有三个步骤：
49.1)对全精度坐标α集合进行剪枝。这一步可以通过超参数进行调整以获得不同的压缩率和表现效果。
50.2)对全精度坐标集合对应的二进制基b进行优化，使得模型效果尽可能与未压缩模型效果相近。
51.3)进一步对全精度坐标集合进一步优化以适应二进制基。
52.alq算法迭代的次数越多，理论上压缩效果越好，同时与未压缩模型的表现差距越小。
53.客户端还原所述经压缩的全局模型参数具体为：多个对应的二进制基与坐标相乘并求和w
g
为还原出的全精度全局模型参数，m为alq算法迭代次数。
54.本实施例中，客户端对通过alq压缩算法对本地模型参数进行压缩，形成本地模型更新参数后，通过straight
‑
through estimators(ste)进行再次压缩。
55.上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中，可被客户端的处理器调用。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
56.实施例2
57.参考图1和图2所示，本实施例提供一种基于联邦学习和alq压缩的分布式机器学习方法，应用于服务器端，包括以下步骤：初始化模型参数和结构，通过alq压缩算法压缩获得经压缩的全局模型参数，发送至选中某一或某些客户端；在接收到所有客户端反馈的本地模型更新参数后，所述本地模型更新参数通过alq压缩算法压缩获得，对各本地模型更新参数进行还原并融合，获得全局模型更新参数；再次通过alq压缩算法对全局模型更新参数进行压缩并发送至客户端，直至训练结束。本实施例中，训练结束的条件为训练轮数或者模型效果达到要求。
58.本实施例采用的alq压缩方式如实施例1所述。
59.上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中，可被服务器端的处理器调用。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
60.实施例3
61.参考图1和图2所示，本实施例提供一种基于联邦学习和alq压缩的分布式机器学习系统，包括一个服务器端和多个客户端，其中，所述客户端用于获取服务器端发送的经压缩的全局模型参数，该全局模型参数通过alq压缩算法压缩获得；还原所述经压缩的全局模型参数，在所述全局模型参数的基础上利用本地数据进行训练，获得本地模型参数；通过
alq压缩算法对所述本地模型参数进行压缩，形成本地模型更新参数，将压缩后的本地模型更新参数上传至服务器端；所述服务器端用于初始化模型参数和结构，通过alq压缩算法压缩获得经压缩的全局模型参数；在接收到所有客户端反馈的本地模型更新参数后，所述本地模型更新参数通过alq压缩算法压缩获得，对各本地模型更新参数进行还原并融合，获得全局模型更新参数；再次通过alq压缩算法对全局模型更新参数进行压缩并发送至客户端，直至训练结束。
62.上述分布式机器学习系统的分布式机器学习流程中主要有以下步骤：
63.步骤1、服务器端对模型参数和结构进行初始化，并通过alq算法将模型的参数分发给被选中的客户端设备。初始化模型参数包括随机初始化模型权重、读取预训练模型权重等方式。
64.步骤2、客户端设备接收到全局模型参数后，将被压缩的全局模型参数进行还原，并使用被还原的模型参数以及本地的数据进行机器学习模型的训练。
65.步骤3、客户端训练结束后通过alq算法对得到的本地模型参数更新进行压缩，然后对压缩后的模型参数进行进一步处理，通过straight
‑
through estimators(ste)进行进一步压缩，并上传给服务器端。
66.步骤4、服务器端收到客户端设备上传的本地模型参数更新后对所有本地模型参数更新进行还原和聚集，得到新的全局模型。若训练轮数或者模型效果达到要求，转到步骤5；否则，服务器端对新的全局模型参数通过alq算法进行压缩并分发给被选中的客户端设备，转到步骤2。
67.步骤5、结束训练，服务器将模型参数通过alq算法压缩后分发给所有客户端设备。客户端设备收到压缩的最终全局模型参数后进行还原并部署机器学习应用。
68.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。