机器学习模型的性能监测的制作方法

摘要: 本公开的各种示例性实施例整体涉及电信领域,并且具体地涉及用于针对机器学习模型的性能监测的方法、设备、装置和计算机可读存储介质。背景技术:1、由于隐私问题,引入了...
机器学习模型的性能监测的制作方法

本公开的各种示例性实施例整体涉及电信领域,并且具体地涉及用于针对机器学习模型的性能监测的方法、设备、装置和计算机可读存储介质。

背景技术:

1、由于隐私问题,引入了联邦学习技术以使多方能够一起联合训练机器学习(ml)模型,同时在本地保持其数据并保护其隐私。更具体地,联邦学习技术被分成两类:横向联邦学习(hfl)和纵向联邦学习(vfl)。性能监测过程是针对ml模型的重要阶段,这可以确保ml模型的输出是有效的。

技术实现思路

1、在本公开的第一方面,提供了一种装置。该装置包括:至少一个处理器;以及至少一个存储器,其存储指令,指令在由至少一个处理器执行时,使装置至少:从第一服务器接收用于订阅机器学习模型的训练的订阅请求,订阅请求包括以下至少一项:机器学习模型的模型大小、机器学习模型的模型架构、机器学习模型的训练的所请求的训练迭代、或机器学习模型的至少一个跟踪的性能记录;基于订阅请求来确定是否允许机器学习模型的训练;以及基于确定,向第一服务器发送针对订阅请求的订阅响应,订阅响应指示对机器学习模型的训练的订阅的成功或失败。

2、在本公开的第二方面,提供了一种第一服务器。第一服务器包括:至少一个处理器;以及至少一个存储器,存储指令,指令在由至少一个处理器执行时,使第一服务器至少:向装置发送用于订阅机器学习模型的训练的订阅请求,订阅请求包括以下至少一项:机器学习模型的模型大小、机器学习模型的模型架构、用于机器学习模型的训练的所请求的训练迭代、或者机器学习模型的至少一个跟踪的性能记录;以及从装置接收针对订阅请求的订阅响应,订阅响应指示对机器学习模型的训练的订阅的成功或失败。

3、在本公开的第三方面,提供了一种第二服务器。第二服务器包括:至少一个处理器;以及至少一个存储器,存储指令,指令在由至少一个处理器执行时,使第二服务器至少:向第一服务器发送用于训练机器学习模型的训练请求,训练请求包括要由第一服务器用于机器学习模型的初始训练的基线数据集或与由第二服务器拥有的至少一个数据集相关联的数据集标识符中的至少一项。

4、在本公开的第四方面,提供了一种方法。该方法包括:从第一服务器接收用于订阅机器学习模型的训练的订阅请求,订阅请求包括以下至少一项:机器学习模型的模型大小、机器学习模型的模型架构、机器学习模型的训练的所请求的训练迭代、或机器学习模型的至少一个跟踪的性能记录;基于订阅请求来确定是否允许机器学习模型的训练;以及基于确定,向第一服务器发送针对订阅请求的订阅响应,订阅响应指示对机器学习模型的训练的订阅的成功或失败。

5、在本公开的第五方面,提供了一种方法。该方法包括:向装置发送用于订阅机器学习模型的训练的订阅请求,订阅请求包括以下至少一项:机器学习模型的模型大小、机器学习模型的模型架构、用于机器学习模型的训练的所请求的训练迭代、或者机器学习模型的至少一个跟踪的性能记录;以及从装置接收针对订阅请求的订阅响应,订阅响应指示对机器学习模型的训练的订阅的成功或失败。

6、在本公开的第六方面,提供了一种方法。该方法包括:向第一服务器发送用于训练机器学习模型的训练请求,训练请求包括要由第一服务器用于机器学习模型的初始训练的基线数据集或与由第二服务器拥有的至少一个数据集相关联的数据集标识符中的至少一项。

7、在本公开的第七方面,提供了一种装置。该装置包括:用于从第一服务器接收用于订阅机器学习模型的训练的订阅请求的部件,订阅请求包括以下至少一项:机器学习模型的模型大小、机器学习模型的模型架构、机器学习模型的训练的所请求的训练迭代、或机器学习模型的至少一个跟踪的性能记录;用于基于订阅请求来确定是否允许机器学习模型的训练的部件;以及用于基于确定向第一服务器发送针对订阅请求的订阅响应的部件,订阅响应指示对机器学习模型的训练的订阅的成功或失败。

8、在本公开的第八方面,提供了一种第一服务器。第一服务器包括:用于向装置发送用于订阅机器学习模型的训练的订阅请求的部件,订阅请求包括以下至少一项:机器学习模型的模型大小、机器学习模型的模型架构、用于机器学习模型的训练的所请求的训练迭代、或者机器学习模型的至少一个跟踪的性能记录;以及用于从装置接收针对订阅请求的订阅响应的部件,订阅响应指示对机器学习模型的训练的订阅的成功或失败。

9、在本公开的第九方面,提供了一种第二服务器。第二服务器包括:用于向第一服务器发送用于训练机器学习模型的训练请求的部件,训练请求包括要由第一服务器用于机器学习模型的初始训练的基线数据集或与由第二服务器拥有的至少一个数据集相关联的数据集标识符中的至少一项。

10、在本公开的第十方面,提供了一种计算机可读介质。该计算机可读介质包括存储在其上的用于使装置至少执行根据第四方面的方法的指令。

11、在本公开的第十一方面,提供了一种计算机可读介质。该计算机可读介质包括存储在其上的用于使装置至少执行根据第五方面的方法的指令。

12、在本公开的第十二方面,提供了一种计算机可读介质。该计算机可读介质包括存储在其上的用于使装置至少执行根据第六方面的方法的指令。

13、应当理解, 技术实现要素: 部分不旨在标识本公开的实施例的关键或必要特征,也不旨在用于限制本公开的范围。通过以下描述,本公开的其他特征将变得容易理解。

1. 一种用于通信的装置,包括:

2. 根据权利要求1所述的装置,其中所述订阅请求还包括以下至少一项:

3.根据权利要求1或2所述的装置,其中所述订阅响应包括对所述机器学习模型的所述训练的所述订阅的标识符。

4.根据权利要求1或2所述的装置,其中所述装置还被使得:

5.根据权利要求4所述的装置,其中所述报告请求包括以下至少一项:所述报告请求的请求者的标识符、所述机器学习模型的参数、或所述性能的至少一个度量。

6.根据权利要求4所述的装置,其中所述报告响应包括以下至少一项:与所述装置相关联的标识符、用于所述机器学习模型的所述训练的服务标识符、或所述机器学习模型的性能报告。

7.根据权利要求4所述的装置,其中所述装置还被使得:

8.根据权利要求7所述的装置,其中所述配置请求包括以下至少一项:

9. 根据权利要求7所述的装置,其中所述装置还被使得:

10.根据权利要求1或2所述的装置,其中所述装置的所述本地数据被存储在所述装置中。

11.根据权利要求1或2所述的装置,其中所述机器学习模型的所述训练包括所述机器学习模型的横向联邦学习训练。

12.根据权利要求1或2所述的装置,其中所述装置包括人工智能机器学习启用客户端,并且所述第一服务器包括人工智能机器学习启用服务器。

13. 一种第一服务器,包括:

14. 根据权利要求13所述的第一服务器,其中所述订阅请求还包括以下至少一项:

15.根据权利要求13或14所述的第一服务器,其中所述订阅响应包括对所述机器学习模型的所述训练的所述订阅的标识符。

16. 一种第二服务器,包括:

17. 根据权利要求16所述的第二服务器,其中所述第二服务器还被使得: