一种基于机器学习的隐私计算数据处理方法与流程
本发明涉及机器学习与隐私计算,具体为一种基于机器学习的隐私计算数据处理方法。
背景技术:
1、在多方联合建模场景中,各参与方为保护本地数据隐私,通常采用同态加密方案对本地计算得到的梯度向量进行加密后上传至中央服务器,服务器仅在密文域内对多方梯度执行聚合运算,得到聚合密文后由密钥持有方协作解密,获得用于更新全局模型的明文聚合梯度,从而在协作训练过程中避免任何参与方梯度明文内容被泄露,上述架构在提升数据安全性的同时,也带来了针对恶意参与方投毒攻击的防御难题,此外,图神经网络作为一种能够刻画节点间关联关系并进行节点分类的模型,已被证明可用于在明文场景下识别联合训练中的异常参与方;
2、与本发明最接近的现有技术是基于明文梯度统计特征的拜占庭鲁棒聚合算法,该类算法在服务器获取各参与方梯度明文后,计算任意两个参与方梯度向量之间的欧氏距离,构建两两距离矩阵,并根据每个梯度与其邻近梯度的距离之和评估其可信度,剔除距离主群体较远的可疑梯度,仅保留可信梯度用于聚合更新,该类方案能够在明文场景下抑制部分恶意参与方对全局模型的破坏,但其判别逻辑完全依赖服务器直接获取梯度明文数值以完成距离计算,一旦梯度以密文形式存在,服务器无法读取明文数值,距离计算与可信度评分均无法执行,上述防御机制随之失效;
3、若为恢复防御能力而要求服务器对参与方梯度进行解密,则会使隐私计算架构数据不可见的安全承诺被破坏,形成隐私保护与拜占庭鲁棒防御难以兼得的技术困境,亟需一种在不解密梯度的前提下完成异常梯度检测与清洗的数据处理方法。
技术实现思路
1、本发明要解决的技术问题是:在多方联合建模的隐私计算场景中,如何在不解密任何参与方梯度、不泄露参与方个体隐私的前提下,在密文域内完成对异常梯度的检测与清洗,从而克服现有拜占庭鲁棒聚合算法必须依赖梯度明文才能实现异常判定所带来的隐私保护与鲁棒防御难以兼顾的技术缺陷。
2、为解决上述技术问题,本发明提供一种基于机器学习的隐私计算数据处理方法,包括:获取n个参与方各自基于本地私有数据计算得到的梯度向量的密文梯度,所述密文梯度由参与方采用同态加密公钥对梯度向量逐元素加密得到,n为大于1的整数;
3、对任意两个参与方的密文梯度执行同态点积运算,得到未归一化相似度,并对每个参与方的密文梯度执行同态点积运算得到该参与方的密文平方模长;
4、基于密文域迭代运算对密文平方模长求密文逆平方根,并利用该密文逆平方根对未归一化相似度进行归一化处理,得到归一化后的密文余弦相似度,由全部参与方两两之间的密文余弦相似度构成密文邻接矩阵;
5、以密文邻接矩阵与各参与方的密文梯度构成的密文节点特征矩阵为输入,在密文域内逐层执行图卷积同态矩阵乘法运算与非线性激活运算,得到各参与方对应节点的密文分类分数,所述非线性激活运算采用切比雪夫多项式对非线性激活函数进行逼近实现;
6、将每个参与方对应节点的密文分类分数作为掩码,与该参与方的密文梯度执行哈达玛积运算,得到清洗后的密文梯度;
7、对全部参与方清洗后的密文梯度执行同态加法求和,得到聚合密文梯度;
8、由持有私钥分片的多个参与方对聚合密文梯度协作完成门限解密,得到明文聚合梯度,用于更新全局模型参数。
9、本发明还提供与上述方法相对应的隐私计算数据处理系统、计算机可读存储介质和电子设备。
10、采用上述技术方案,与现有技术相比,本发明的有益效果在于:
11、1.本发明在中央服务器端全程以密文形式构建梯度相似度图并执行图神经网络节点分类,异常判定所需的相似度、节点特征与分类分数均以密文形式存在,服务器无法获取任何参与方梯度的明文信息,从而在不牺牲隐私保护强度的前提下恢复了拜占庭鲁棒检测能力,克服了现有明文异常检测方案在梯度加密后完全失效的缺陷。
12、2.本发明采用切比雪夫低阶多项式对密文域图神经网络的激活运算进行逼近,通过预设的多项式阶数严格控制图神经网络每层引入的乘法深度,使1至2层密文图神经网络推理无需频繁执行自举操作即可完成,能够将异常梯度检测环节的计算耗时控制在秒级范围,满足隐私计算工程化应用对处理时效的要求。
13、3.本发明将密文域节点分类分数直接作为哈达玛积掩码对原始密文梯度进行加密消隐,无需引入零知识证明类复杂证明生成过程,异常检测与清洗环节的计算复杂度可控制在近线性水平,兼顾了检测精度与工程可实现性。
1.一种基于机器学习的隐私计算数据处理方法,其特征在于,包括:
2.根据权利要求1所述的基于机器学习的隐私计算数据处理方法,其特征在于,所述密文梯度采用ckks同态加密方案对梯度向量逐元素加密得到,所述同态加密方案对应的私钥由所述n个参与方分片持有,构成门限密钥体系。
3.根据权利要求1所述的基于机器学习的隐私计算数据处理方法,其特征在于,所述密文域迭代运算包括:设定密文初始猜测值,按照预先设定的迭代次数对所述密文平方模长执行密文域牛顿迭代,每次迭代根据前一次迭代得到的密文近似解与所述密文平方模长计算得到新的密文近似解,将达到所述预先设定的迭代次数后得到的密文近似解作为所述密文逆平方根。
4.根据权利要求1所述的基于机器学习的隐私计算数据处理方法,其特征在于,采用切比雪夫多项式对非线性激活函数进行逼近具体为:将所述非线性激活函数表示为预先设定阶数个切比雪夫多项式项的加权求和,各切比雪夫多项式项对应的系数通过离线明文拟合得到,所述切比雪夫多项式按照预先设定的递推关系逐阶生成,每一阶切比雪夫多项式均由前两阶切比雪夫多项式经乘法与加法运算得到。
5.根据权利要求1所述的基于机器学习的隐私计算数据处理方法,其特征在于,所述图卷积同态矩阵乘法运算与非线性激活运算在密文域内逐层执行的总层数为1层至2层。
6.根据权利要求1所述的基于机器学习的隐私计算数据处理方法,其特征在于,所述密文分类分数用于表征对应参与方的梯度是否异常,正常参与方对应的密文分类分数为大于第一预设阈值的加密后数值,异常参与方对应的密文分类分数为小于第二预设阈值的加密后数值,所述第一预设阈值大于所述第二预设阈值。
7.根据权利要求1所述的基于机器学习的隐私计算数据处理方法,其特征在于,所述图卷积同态矩阵乘法运算中使用的权重矩阵为预先设定的明文常数矩阵。
8.一种基于机器学习的隐私计算数据处理系统,其特征在于,包括n个参与方终端和一个中央服务器,n为大于1的整数;
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于机器学习的隐私计算数据处理方法。
10.一种电子设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于机器学习的隐私计算数据处理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com