基于联邦学习的银行与政务之间的数据处理系统和方法与流程

技术特征：
1.基于联邦学习的银行与政务之间的数据处理方法，其特征在于，包括：步骤1：将银行数据与政务数据存储到联邦学习系统中；步骤2：对银行数据与政务数据进行预处理，具体包括数据的筛选、清洗、id值设置；进一步的，预处理需要条件基于联邦学习算法和机器学习算法、深度学习算法以及业务需要的数据规范限制；步骤3：将银行数据与政务数据的各自真实的特征名进行加密；步骤4：将特征名加密后的银行数据与政务数据进行数据对齐；将对齐后的数据，根据机器学习算法、深度学习算法所需要的规范进行特征工程；步骤5：将经过步骤4处理后的各自数据进行同态加密，从而获取各自的训练数据；步骤6：发起方利用机器学习模型或深度学习模型构建基于银行端和政务端的初步联邦学习模型；银行端和政务端分别将各自训练数据输入到联邦学习系统中进行联合训练建模，并最终生成联邦学习模型；步骤7：利用步骤6生成的联邦学习模型，对实际业务数据进行联合预测；将预测结果返回到发起方。2.根据权利要求1所述基于联邦学习的银行与政务之间的数据处理方法，其特征在于步骤3中对银行数据和政务数据的真实特征名进行加密后得到加密后的密文特征名，并且映射加密后的密文特征名与真实的特征名；在整个后续训练步骤中所使用的特征名均为加密后的密文特征名。3.根据权利要求1所述基于联邦学习的银行与政务之间的数据处理方法，其特征在于所述步骤5中对银行数据和政务数据进行同态加密，并且加密后的数据保存在各自的联邦学习系统的数据存储模块中；在整个后续训练步骤中所使用的数据均为同态加密后的密文数据；所述步骤4中数据对齐，是根据银行数据和政务数据的各自的id进行两次hash算法进行数据对齐。4.根据权利要求1所述基于联邦学习的银行与政务之间的数据处理方法，其特征在于所述步骤6中的联邦学习模型具体包括：银行端和政务端拥有各自的半模型、银行端所设置的模型类型、联邦学习模型训练参数，且模型训练参数在银行数据端和政务数据端是一致的。5.根据权利要求1所述基于联邦学习的银行与政务之间的数据处理方法，其特征在于所述步骤6中的联合建模具体包括：银行端根据自身的数据进行本地的半模型训练，政务端根据自身的数据进行本地的半模型训练，各自训练完毕后在联邦学习系统中进行整个联邦学习模型的损失计算，银行端和政务端根据整个联邦学习模型的损失求得各自的梯度并且进行各自半模型的更新。6.根据权利要求1或2或3或4或5所述基于联邦学习的银行与政务之间的数据处理方法，其特征在于，所述步骤6和步骤7中的发起方是指：拥有样本标签的那一方，是银行端或政务端。7.基于联邦学习的银行与政务之间的数据处理系统，其特征在于该系统包括数据存储模块、数据预处理模块、数据加密和数据对齐模块、数据特征工程模块、同态加密模块、模型构建与训练模块和模型推理模块；数据存储模块：配置用于将银行数据与政务数据存储到联邦学习系统中；
数据预处理模块：用于对银行数据与政务数据进行预处理，具体包括数据的筛选、清洗、id值设置；且预处理需要条件基于联邦学习算法和机器学习算法、深度学习算法以及业务需要的数据规范限制；数据加密和数据对齐模块：配置用于将银行数据与政务数据的各自真实特征名进行加密，以及将特征名加密后的银行数据与政务数据进行数据对齐；数据特征工程模块：用于将对齐后的数据，根据机器学习算法、深度学习算法所需要的规范进行特征工程；同态加密模块：将经过数据特征工程模块处理后得到的数据进行同态加密，从而获取各自的训练数据；模型构建与训练模块：发起方利用机器学习模型或深度学习模型构建基于银行端和政务端的初步联邦学习模型；银行端和政务端分别将各自训练数据输入到联邦学习系统中进行联合训练建模，并最终生成联邦学习模型；模型推理模块：利用生成的联邦学习模型，对实际业务数据进行联合预测；将预测结果返回到发起方。8.根据权利要求7所述基于联邦学习的银行与政务之间的数据处理系统，其特征在于所述发起方是指：拥有样本标签的那一方，是银行端或政务端。

技术总结
本发明公开一种基于联邦学习的银行与政务之间的数据处理系统和方法。本发明包括将银行数据与政务数据存储到联邦学习系统；对银行数据与政务数据进行预处理；将银行数据与政务数据各自真实的特征名进行加密；将加密后的银行数据与政务数据进行数据对齐；将对齐后的数据，根据所需要的规范进行特征工程；将处理后的各自数据进行同态加密获取各自的训练数据；发起方构建基于银行端和政务端的初步联邦学习模型；两端分别将各自训练数据输入到联邦学习系统中进行联合训练建模生成最终的联邦学习模型；利用生成的联邦学习模型对实际业务数据进行联合预测并返回结果到发起方。本发明解决当前面临的数据孤岛效应，采用数据本地不出门也能进行联合建模。门也能进行联合建模。门也能进行联合建模。


技术研发人员：丁阳光 沈超锋 陈勇 谌纪超
受保护的技术使用者：安徽科讯金服科技有限公司
技术研发日：2022.08.18
技术公布日：2022/11/11