通信方法及通信装置与流程
本技术涉及人工智能,具体地,涉及一种通信方法及通信装置。
背景技术:
1、随着人工智能(artificial intelligence,ai)技术的快速发展,ai模型的应用场景越来越广泛,例如,某些通信系统中可以引入ai模型,以实现网络智能化。
2、为了保护用户隐私和数据安全,在通信系统中可以通过分布式训练方法来训练ai模型。但是,现有的分布式训练方法的训练效果并不理想。
技术实现思路
1、本技术提供了一种通信方法及通信装置,可以提高模型的训练效果。
2、第一方面,提供了一种通信方法,所述方法应用于第一节点,或者,第一节点中的组件(例如处理器、芯片、芯片系统、电路或一个功能模块等),所述方法包括:
3、向第二节点发送第一信息,所述第一信息用于指示第一后验分布和/或所述第一后验分布对应的第一对偶变量,所述第一后验分布表示以所述第一节点的本地数据集作为证据、得到的第一模型的后验分布;接收来自所述第二节点的第二信息,所述第二信息用于指示第二后验分布,所述第二后验分布是根据所述第一后验分布和/或所述第一对偶变量确定的。
4、在本技术实施例中,向第二节点发送用于指示第一后验分布和/或第一对偶变量的第一信息,并接收来自第二节点的第二信息,第二信息用于指示第二后验分布,第二后验分布是根据第一后验分布和/或第一对偶变量确定的,这样,可以在训练过程中交互模型的后验分布(如第一后验分布和/或第二后验分布),从而可以分析模型中参数的重要性,以及模型输出的置信度,进而可以提高模型的训练效果。
5、在一些可能的实现方式中,所述第一信息包括所述第一后验分布的参数和所述第一对偶变量的数学组合。
6、在本技术实施例中,第一信息包括第一后验分布的参数和第一对偶变量的数学组合,这样,相比于直接发送第一后验分布的参数和第一对偶变量,可以减少传输的参数量,从而可以降低通信开销。
7、在一些可能的实现方式中,所述第一后验分布的参数包括第一均值和第一方差,所述第一对偶变量包括所述第一均值对应的对偶变量和所述第一方差对应的对偶变量,所述数学组合包括所述第一均值与其对应的对偶变量的第一加权组合、以及所述第一方差与其对应的对偶变量的第二加权组合。
8、在一些可能的实现方式中,所述第一加权组合满足如下关系式:
9、
10、其中,表示所述第一均值,表示所述第一均值对应的对偶变量,c1及c2表示权重,t表示所述第一节点为多个第一节点中的第t个节点,s表示第s轮本地训练。
11、在一些可能的实现方式中,所述第二加权组合满足如下关系式:
12、
13、其中,表示所述第一方差,表示所述第一方差对应的对偶变量,ρ表示惩罚系数,t表示所述第一节点为多个第一节点中的第t个节点,s表示第s轮本地训练。
14、在一些可能的实现方式中,在所述向第二节点发送第一信息之前,所述方法还包括:基于所述第一节点的本地数据集确定所述第一后验分布及所述第一对偶变量。
15、第二方面,提供了一种通信方法,所述方法应用于第二节点,或者,第二节点中的组件(例如处理器、芯片、芯片系统、电路或一个功能模块等),所述方法包括:
16、接收来自第一节点的第一信息,所述第一信息用于指示第一后验分布和/或所述第一后验分布对应的第一对偶变量,所述第一后验分布表示以所述第一节点的本地数据集作为证据、得到的第一模型的后验分布;向所述第一节点发送第二信息,所述第二信息用于指示第二后验分布,所述第二后验分布是根据所述第一后验分布和/或所述第一对偶变量确定的。
17、在本技术实施例中,接收来自第一节点的用于指示第一后验分布和/或第一对偶变量的第一信息,并向第一节点发送第二信息,第二信息用于指示第二后验分布,第二后验分布是根据第一后验分布和/或第一对偶变量确定的,这样,可以在训练过程中交互模型的后验分布(如第一后验分布和/或第二后验分布),从而可以分析模型中参数的重要性,以及模型输出的置信度,进而可以提高模型的训练效果。
18、在一些可能的实现方式中,所述第一信息包括所述第一后验分布的参数和所述第一对偶变量的数学组合。
19、在本技术实施例中,第一信息包括第一后验分布的参数和第一对偶变量的数学组合,这样,相比于直接发送第一后验分布的参数和第一对偶变量,可以减少传输的参数量,从而可以降低通信开销。
20、在一些可能的实现方式中,所述第一后验分布的参数包括第一均值和第一方差,所述第一对偶变量包括所述第一均值对应的对偶变量和所述第一方差对应的对偶变量,所述数学组合包括所述第一均值与其对应的对偶变量的第一加权组合、以及所述第一方差与其对应的对偶变量的第二加权组合。
21、在一些可能的实现方式中,所述第一加权组合满足如下关系式:
22、
23、其中,表示所述第一均值,表示所述第一均值对应的对偶变量,c1及c2表示权重,t表示所述第一节点为多个第一节点中的第t个节点,s表示第s轮本地训练。
24、在一些可能的实现方式中,所述第二加权组合满足如下关系式:
25、
26、其中,表示所述第一方差,表示所述第一方差对应的对偶变量,ρ表示惩罚系数,t表示所述第一节点为多个第一节点中的第t个节点,s表示第s轮本地训练。
27、在一些可能的实现方式中,所述第一节点为多个第一节点中的一个,在所述向所述第一节点发送第二信息之前,所述方法还包括:根据所述多个第一节点上报的所述第一后验分布和/或所述第一对偶变量确定所述第二后验分布。
28、在一些可能的实现方式中,所述第一后验分布的参数包括第一均值和第一方差,所述第一对偶变量包括所述第一均值对应的对偶变量和所述第一方差对应的对偶变量,所述第二后验分布的参数包括第二均值和第二方差。
29、在一些可能的实现方式中,所述第二均值满足如下关系式:
30、
31、其中,表示所述第二均值,t表示第一节点的个数,t表示t个第一节点中的第t个节点,表示第t个节点的第一均值,表示第t个节点的第一均值对应的对偶变量,c1及c2表示权重,s表示第s轮本地训练;
32、在一些可能的实现方式中,所述第二方差满足如下关系式:
33、
34、其中,表示所述第二方差,t表示第一节点的个数,t表示t个第一节点中的第t个节点,表示第t个节点的第一方差,表示第t个节点的第一方差对应的对偶变量,ρ表示惩罚系数,c1表示权重,s表示第s轮本地训练。
35、第三方面,提供了一种通信装置,包括:该装置可以用于第一节点,该装置可以是第一节点,也可以是第一节点中的装置(例如,芯片,或者芯片系统,或者电路,或者处理器),或者可以是能够和第一节点匹配使用的装置,还可以是能实现全部或部分第一节点的逻辑模块或软件。
36、该装置包括执行第一方面或第一方面中任一种可能实现方式中所描述的方法/操作/步骤/动作所一一对应的模块,该模块可以是硬件电路,也可以是软件,也可以是硬件电路结合软件实现。
37、第四方面,提供了一种通信装置,包括:该装置可以用于第二节点,该装置可以是第二节点,也可以是第二节点中的装置(例如,芯片,或者芯片系统,或者电路,或者处理器),或者可以是能够和第二节点匹配使用的装置,还可以是能实现全部或部分第二节点的逻辑模块或软件。
38、该装置包括执行第二方面或第二方面中任一种可能实现方式中所描述的方法/操作/步骤/动作所一一对应的模块,该模块可以是硬件电路,也可以是软件,也可以是硬件电路结合软件实现。
39、第五方面,提供了一种通信装置,包括:处理器和存储器,所述处理器与所述存储器耦合,所述存储器用于存储计算机程序(也可以称为代码,或指令),所述计算机程序被所述处理器执行时,使得所述装置执行第一方面或第一方面中任一种可能实现方式中的方法。
40、在一些可能的实现方式中,该装置还包括与处理器耦合的存储器。
41、在一些可能的实现方式中,处理器为一个或多个,和/或,存储器为一个或多个。
42、在一些可能的实现方式中,存储器可以与处理器集成在一起,或者存储器与处理器分离设置。
43、第六方面,提供了一种通信装置,包括:处理器和存储器,所述处理器与所述存储器耦合,所述存储器用于存储计算机程序(也可以称为代码,或指令),所述计算机程序被所述处理器执行时,使得所述装置执行第二方面或第二方面中任一种可能实现方式中的方法。
44、在一些可能的实现方式中,该装置还包括与处理器耦合的存储器。
45、在一些可能的实现方式中,处理器为一个或多个,和/或,存储器为一个或多个。
46、在一些可能的实现方式中,存储器可以与处理器集成在一起,或者存储器与处理器分离设置。
47、第七方面,提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序(也可以称为代码,或指令),当计算机程序在计算机上运行时,使得所述计算机执行上述任一方面或任一方面中任一种可能实现方式中的方法。
48、第八方面,提供了一种计算机程序产品,包括:计算机程序(也可以称为代码,或指令),当该计算机程序在计算机上运行时,使得所述计算机执行上述任一方面或任一方面中任一种可能实现方式中的方法。
49、第九方面,提供了一种芯片,包括:处理器和存储器,所述存储器用于存储计算机程序(也可以称为代码,或指令),所述处理器用于调用并运行所述存储器中存储的计算机程序,使得安装有所述芯片的装置或设备执行上述任一方面或任一方面中任一种可能实现方式中的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com