机器学习模型的性能监测的制作方法
本公开的各种示例性实施例整体涉及电信领域,并且具体地涉及用于针对机器学习模型的性能监测的方法、设备、装置和计算机可读存储介质。
背景技术:
1、由于隐私问题,引入了联邦学习技术以使多方能够一起联合训练机器学习(ml)模型,同时在本地保持其数据并保护其隐私。更具体地,联邦学习技术被分成两类:横向联邦学习(hfl)和纵向联邦学习(vfl)。性能监测过程是针对ml模型的重要阶段,这可以确保ml模型的输出是有效的。
技术实现思路
1、在本公开的第一方面,提供了一种装置。装置包括:至少一个处理器;以及至少一个存储器,其存储指令,指令在由至少一个处理器执行时,使装置至少:从第一服务器接收用于报告机器学习模型的性能的报告请求,报告请求包括以下至少一项:报告请求的请求者的标识符、机器学习模型的参数、或性能的至少一个度量;基于报告请求,通过使用装置的本地数据来评估机器学习模型的性能;以及向第一服务器发送针对报告请求的报告响应,报告响应与经评估的机器学习模型的性能相关。
2、在本公开的第二方面,提供了一种第一服务器。第一服务器包括:至少一个处理器;以及至少一个存储器,其存储指令,指令在由至少一个处理器执行时,使第一服务器至少:向装置发送用于报告机器学习模型的性能的报告请求,报告请求包括以下至少一项:报告请求的请求者的标识符、机器学习模型的参数、或性能的至少一个度量;从装置接收针对报告请求的报告响应,报告响应与由装置评估的机器学习模型的性能相关;以及基于经评估的机器学习模型的性能来检测机器学习模型的性能退化。
3、在本公开的第三方面,提供了一种第二服务器。第二服务器包括:至少一个处理器;以及至少一个存储器,其存储指令,指令在由至少一个处理器执行时,使第二服务器至少:向第一服务器发送用于监测机器学习模型的性能的监测请求,监测请求包括用于评估机器学习模型的性能的参考数据集;以及从第一服务器接收通知,通知包括由第一服务器通过使用参考数据集评估的机器学习模型的性能。
4、在本公开的第四方面,提供了一种方法。该方法包括:从第一服务器接收用于报告机器学习模型的性能的报告请求,报告请求包括以下至少一项:报告请求的请求者的标识符、机器学习模型的参数、或性能的至少一个度量;基于报告请求,通过使用装置的本地数据来评估机器学习模型的性能;以及向第一服务器发送针对报告请求的报告响应,报告响应与经评估的机器学习模型的性能相关。
5、在本公开的第五方面,提供了一种方法。该方法包括:向装置发送用于报告机器学习模型的性能的报告请求,报告请求包括以下至少一项:报告请求的请求者的标识符、机器学习模型的参数、或性能的至少一个度量;从装置接收针对报告请求的报告响应,报告响应与由装置评估的机器学习模型的性能相关;以及基于经评估的机器学习模型的性能来检测机器学习模型的性能退化。
6、在本公开的第六方面,提供了一种方法。该方法包括:向第一服务器发送用于监测机器学习模型的性能的监测请求,监测请求包括用于评估机器学习模型的性能的参考数据集;以及从第一服务器接收通知,通知包括由第一服务器通过使用参考数据集评估的机器学习模型的性能。
7、在本公开的第七方面,提供了一种装置。装置包括:用于从第一服务器接收用于报告机器学习模型的性能的报告请求的部件,报告请求包括以下至少一项:报告请求的请求者的标识符、机器学习模型的参数、或性能的至少一个度量;用于基于报告请求通过使用装置的本地数据来评估机器学习模型的性能的部件;以及用于向第一服务器发送针对报告请求的报告响应的部件,报告响应与经评估的机器学习模型的性能相关。
8、在本公开的第八方面,提供了一种第一服务器。第一服务器包括:用于向装置发送用于报告机器学习模型的性能的报告请求的部件,报告请求包括以下至少一项:报告请求的请求者的标识符、机器学习模型的参数、或性能的至少一个度量;用于从装置接收针对报告请求的报告响应的部件,报告响应与由装置评估的机器学习模型的性能相关;以及用于基于经评估的机器学习模型的性能来检测机器学习模型的性能退化的部件。
9、在本公开的第九方面,提供了一种第二服务器。第二服务器包括:用于向第一服务器发送用于监测机器学习模型的性能的监测请求的部件,监测请求包括用于评估机器学习模型的性能的参考数据集;以及用于从第一服务器接收通知的部件,通知包括由第一服务器通过使用参考数据集评估的机器学习模型的性能。
10、在本公开的第十方面,提供了一种计算机可读介质。该计算机可读介质包括存储在其上的用于使装置至少执行根据第四方面的方法的指令。
11、在本公开的第十一方面,提供了一种计算机可读介质。该计算机可读介质包括存储在其上的用于使装置至少执行根据第五方面的方法的指令。
12、在本公开的第十二方面,提供了一种计算机可读介质。该计算机可读介质包括存储在其上的用于使装置至少执行根据第六方面的方法的指令。
13、应当理解, 技术实现要素: 部分不旨在标识本公开的实施方案的关键或必要特征,也不旨在用于限制本公开的范围。通过以下描述,本公开的其他特征将变得容易理解。
1. 一种用于通信的装置,包括:
2.根据权利要求1所述的装置,其中所述报告响应包括以下至少一项:与所述装置相关联的标识符、用于所述机器学习模型的训练的服务标识符、或所述机器学习模型的性能报告。
3.根据权利要求1或2所述的装置,其中所述装置还被使得:
4.根据权利要求1或2所述的装置,其中所述装置还被使得:
5. 根据权利要求4所述的装置,其中所述订阅请求还包括以下至少一项:
6.根据权利要求2所述的装置,其中所述机器学习模型的所述训练包括所述机器学习模型的横向联邦学习训练。
7.根据权利要求1或2所述的装置,其中所述装置包括人工智能机器学习启用客户端,并且所述第一服务器包括人工智能机器学习启用服务器。
8.根据权利要求1或2所述的装置,其中所述装置的所述本地数据被存储在所述装置中。
9. 一种第一服务器,包括:
10.根据权利要求9所述的第一服务器,其中所述报告响应包括以下至少一项:与所述装置相关联的标识符、用于所述机器学习模型的训练的服务标识符、或所述机器学习模型的性能报告。
11.根据权利要求9或10所述的第一服务器,其中所述第一服务器还被使得:
12. 根据权利要求9或10所述的第一服务器,其中所述第一服务器还被使得:
13.根据权利要求12所述的第一服务器,其中所述第二服务器包括垂直应用层服务器。
14. 根据权利要求9或10所述的第一服务器,其中所述第一服务器还被使得:
15. 根据权利要求14所述的第一服务器,其中所述订阅请求还包括以下至少一项:
16.根据权利要求14所述的第一服务器,其中所述机器学习模型的所述训练包括所述机器学习模型的横向联邦学习训练。
17.根据权利要求9或10所述的第一服务器,其中所述装置包括人工智能机器学习启用客户端,并且所述第一服务器包括人工智能机器学习启用服务器。
18. 一种第二服务器,包括:
19.根据权利要求18所述的第二服务器,其中所述第一服务器包括人工智能机器学习启用服务器,并且所述第二服务器包括垂直应用层服务器。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com