一种联邦建模学习方法、客户端和服务器与流程
本技术主要涉及联邦学习与数据隐私保护,尤其涉及一种联邦建模学习方法、客户端和服务器。
背景技术:
1、在跨机构横向联邦建模中,对等权联邦平均方法通常由各参与客户端利用本地样本进行模型训练,并向服务器上传模型更新量;服务器对各客户端的模型更新量分配相同聚合权重,经加权汇聚获得全局模型后再下发至各客户端。该方法无需集中收集各机构的原始数据,能够支持多方利用本地数据共同完成模型训练。
2、然而,对于包含重复或近重复样本的多个客户端,相关样本对应的训练贡献会随各方模型更新被重复纳入等权聚合,容易使全局模型参数向重叠数据子集偏移,并影响模型对各机构独有序列分布的学习。服务器无法区分高重叠客户端与低重叠客户端的数据贡献,也无法针对高重叠客户端调整其更新量在全局聚合中的占比。数据分布相近但序列彼此独立的客户端可能产生相似更新,而包含近重复序列的客户端也可能因局部训练差异表现出不同更新方向,导致基于梯度的推断存在误判或漏判。
技术实现思路
1、本技术的目的是提供一种联邦建模学习方法、客户端和服务器,能够降低重复或近重复样本造成的全局模型偏置,解决现有等权联邦平均方法无法形成序列级且可解释的重叠率指标,从而导致全局模型对各机构独有序列分布的学习能力下降的问题。
2、第一方面,本技术提供一种联邦建模学习方法,由客户端执行,包括以下步骤:
3、对本地蛋白质序列集中的蛋白质序列进行k-mer提取,对所述k-mer去重后经多个哈希函数写入布隆过滤器,生成客户端布隆位图;
4、向服务器上传所述客户端布隆位图,并将所述本地蛋白质序列集保留在所述客户端;以使所述服务器基于所述客户端布隆位图和其余客户端布隆位图之间的按位运算与基数估计,计算每所述客户端的标量重叠率,当标量重叠率超过预设阈值时降低客户端的未归一化权重,并对各客户端的未归一化权重归一化得到所有客户端的归一化权重;
5、基于所述本地蛋白质序列集及对应标签进行本地模型训练,生成模型更新量;
6、向所述服务器上传所述模型更新量,以使所述服务器按所述归一化权重对所述模型更新量与其他客户端的模型更新量进行加权聚合;
7、接收所述服务器下发的全局模型参数,基于所述全局模型参数进入下一轮联邦训练。
8、在一些实施例中,所述对所述k-mer去重后经多个哈希函数写入布隆过滤器包括:
9、统计不同k-mer长度对应的本地去重k-mer基数的滑动估计值,并根据所述滑动估计值、哈希函数数量和布隆过滤器长度计算对应的位图期望填充率,在候选k-mer长度集合中选择使所述位图期望填充率最接近目标填充率的k-mer长度。
10、在一些实施例中,所述客户端按照蛋白质序列长度将所述本地蛋白质序列集划分为短序列桶和长序列桶,并针对各序列桶分别选择所述k-mer长度及构建对应的子位图。
11、在一些实施例中,所述客户端将各序列桶对应的所述k-mer长度作为位图元数据上传至所述服务器,以使所述服务器依据位图元数据识别同一序列桶的子位图,针对同类子位图分别执行按位运算及基数估计以得到各序列桶的重叠率,并按照各序列桶的样本量对所估计的重叠率进行加权融合。
12、在一些实施例中,所述客户端在上传所述客户端布隆位图前,对所述客户端布隆位图的每一比特以概率p独立翻转,其中,ε为隐私预算,h为所述多个哈希函数的数量。
13、在一些实施例中,还包括接收所述服务器按轮次生成并经安全通道下发的盐值;将所述盐值引入双哈希构造,使同一k-mer在不同轮次映射至不同位置,所述盐值的计算不采用所述本地蛋白质序列集中的蛋白质序列。
14、在一些实施例中,所述客户端在上传所述布隆位图前,先对所述布隆位图施加随机异或掩码生成掩码后位图上传服务器,同时使用阈值同态加密对掩码向量加密后上传密文,以使所述服务器在密文域所述对掩码后位图执行按位与/或聚合运算,经阈值解密节点联合解密后仅获得多方交集位图和并集位图。
15、第二方面,本技术提供一种联邦建模学习方法,由服务器执行,包括以下步骤:
16、接收多个客户端上传的客户端布隆位图,其中每个所述客户端布隆位图由对应客户端对本地蛋白质序列集中的蛋白质序列进行k-mer提取、去重后经多个哈希函数写入布隆过滤器而生成;
17、基于所接收的各所述客户端布隆位图之间的按位运算与基数估计,计算每两个所述客户端之间的k-mer交集基数与并集基数,据此得到每两个客户端的两两重叠率,并将每个客户端与其余各客户端的两两重叠率的平均值作为该客户端的标量重叠率;
18、当标量重叠率超过预设阈值时降低客户端的未归一化权重,并对各客户端的未归一化权重归一化得到所有客户端的归一化权重;
19、接收各所述客户端上传的模型更新量,其中所述模型更新量由各所述客户端基于本地蛋白质序列集及对应标签进行本地模型训练而生成;
20、按所述归一化权重对各所述客户端上传的模型更新量进行加权聚合,生成新的全局模型参数,下发给所有所述客户端进入下一轮联邦训练。
21、在一些实施例中,当所述客户端按照蛋白质序列长度将所述本地蛋白质序列集划分为短序列桶和长序列桶,并针对各序列桶分别选择所述k-mer长度及构建对应的子位图时,所述服务器依据位图元数据识别同一序列桶的子位图,针对同类子位图分别执行按位运算及基数估计以得到各序列桶的重叠率,并按照各序列桶的样本量对所估计的重叠率进行加权融合,作为所述客户端的标量重叠率。
22、在一些实施例中,当所述客户端布隆位图的每一比特以概率p独立翻转,其中,ε为隐私预算,h为所述多个哈希函数的数量时,所述服务器根据随机翻转后的客户端布隆位图的置位数x′确定置位数的无偏估计x,x=(x′-mp)/(1-2p),其中,m为所述布隆过滤器的位数,并基于所述置位数的无偏估计x执行布隆基数估计和重叠率计算。
23、在一些实施例中,所述服务器按轮次生成盐值,并经安全通道将所述盐值下发至各所述客户端。
24、在一些实施例中,在执行布隆位图按位与并统计置位数之后交集基数估计之前,先从and位图的实际置位数中扣除期望假阳性交集位数,得到校正后置位数,再将校正后置位数代入标准布隆基数估计公式,得到校正后的and交集基数估计,其中,m为所述布隆过滤器的位数,和分别为两个布隆位图的位密度,h为哈希函数数量。
25、第三方面,本技术提供一种联邦建模学习方法,包括以下步骤:
26、步骤s1:各客户端对本地蛋白质序列集中的蛋白质序列进行k-mer提取,对所述k-mer去重后经多个哈希函数写入布隆过滤器,生成客户端布隆位图;
27、步骤s2:各所述客户端向服务器上传所述客户端布隆位图,并将所述本地蛋白质序列集保留在所述客户端;
28、步骤s3:所述服务器基于所接收的各所述客户端布隆位图之间的按位运算与基数估计,计算每两个所述客户端之间的k-mer交集基数与并集基数,据此得到每个所述客户端的标量重叠率;
29、步骤s4:当标量重叠率超过预设阈值时降低客户端的未归一化权重,并对各客户端的未归一化权重归一化得到所有客户端的归一化权重;
30、步骤s5:所述服务器接收各所述客户端上传的模型更新量,其中所述模型更新量由各所述客户端基于本地蛋白质序列集及对应标签进行本地模型训练而生成;按所述归一化权重对各所述客户端上传的模型更新量进行加权聚合,生成新的全局模型参数,下发给所有所述客户端进入下一轮联邦训练。
31、第四方面,本技术提供一种联邦建模学习客户端,包括:
32、本地序列存储模块,配置成存储本地蛋白质序列集,所述本地蛋白质序列集不离开所述客户端;
33、k-mer提取与布隆编码模块,配置成对本地蛋白质序列集中的蛋白质序列进行k-mer提取,对所述k-mer去重后经多个哈希函数写入布隆过滤器,生成客户端布隆位图;
34、本地模型训练与更新模块,配置成基于所述本地蛋白质序列集及对应标签进行本地模型训练,生成模型更新量;以及向服务器上传所述客户端布隆位图和所述模型更新量,并接收所述服务器下发的全局模型参数。
35、第五方面,本技术提供一种联邦建模学习服务器,包括:
36、布隆重叠估计模块,配置成接收多个客户端各自上传的客户端布隆位图,基于所接收的各所述客户端布隆位图之间的按位运算与基数估计,计算每两个所述客户端之间的k-mer交集基数与并集基数,据此得到每两个客户端的两两重叠率,并将每个客户端与其余各客户端的两两重叠率的平均值作为该客户端的标量重叠率;其中每个所述客户端布隆位图由对应客户端对本地蛋白质序列集中的蛋白质序列进行k-mer提取、去重后经多个哈希函数写入布隆过滤器而生成;
37、自适应权重计算模块,当标量重叠率超过预设阈值时降低客户端的未归一化权重,并对各客户端的未归一化权重归一化得到所有客户端的归一化权重;
38、加权聚合与全局模型下发模块,配置成接收各所述客户端上传的模型更新量,其中所述模型更新量由各所述客户端基于本地蛋白质序列集及对应标签进行本地模型训练而生成;按所述归一化权重对各所述客户端上传的模型更新量进行加权聚合,生成新的全局模型参数,下发给所有所述客户端进入下一轮联邦训练。
39、本技术还提供一种电子设备,包括处理器以及用于存储处理器可执行指令的存储器,处理器执行指令时实现上述联邦建模学习方法的步骤。
40、本技术还提供一种计算机可读存储介质,其上存储有计算机指令,指令被处理器执行时实现上述联邦建模学习方法的步骤。
41、本技术还提供一种计算机程序产品,包括计算机程序或指令,计算机程序或指令被处理器执行时实现上述联邦建模学习方法的步骤。
42、本技术提供的技术方案能够在原始蛋白质序列不出域的条件下识别客户端之间的蛋白质序列重叠程度,并基于重叠程度自适应调整聚合权重,以降低重复或近重复样本对全局模型参数的偏置影响并提高联邦训练的稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com