隐私计算、隐私数据及联邦学习的分散式处理方法及装置与流程

技术特征：
1.一种分散式处理方法，用于隐私计算、隐私数据及联邦学习，其特征在于，所述分散式处理方法包括：根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，其中，所述待执行任务的任务要求包括所述待执行任务的时效性要求；根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架从而执行所述待执行任务并获得执行结果，其中，当在所述在线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过本地数据管理系统的在线接口实时接收与所述待执行任务相关联的一个或者多个样本id并实时反馈所述执行结果，其中，当在所述离线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述本地数据管理系统的数据导出模块从所述本地数据管理系统的本地存储器导出与所述待执行任务相关联的id集或者特征数据集用于执行所述待执行任务。2.根据权利要求1所述的分散式处理方法，其特征在于，当所述待执行任务的任务类型是数据求交任务或者建模任务时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述数据求交任务或者所述建模任务。3.根据权利要求1所述的分散式处理方法，其特征在于，当所述待执行任务的任务类型是数据查询任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述数据查询任务。4.根据权利要求1所述的分散式处理方法，其特征在于，当所述待执行任务的任务类型是预测任务时，根据所述待执行任务的时效性要求来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。5.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括所述待执行任务的数据量，通过比较所述待执行任务的数据量和参考数据量来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务，其中所述参考数据量是基于本地实时数据处理能力。6.根据权利要求5所述的分散式处理方法，其特征在于，所述参考数据量还基于本地实时网络通信条件。7.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括可信度要求，当所述预测任务的发起方的可信度不满足所述可信度要求时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。8.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是预测任务，当所述预测任务是自动驾驶场景下的规避操作预测任务或者电商场景下的推荐操作预测任务或者金融场景下的违规行为预测任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。9.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务是多个任务中的一个任务，所述多个任务的任务类型均是预测任务，所述分散式处理方法还包括：根据所
述多个任务各自的时效性要求进行排序并在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述多个任务中时效性要求排序较高的任务。10.根据权利要求1所述的分散式处理方法，其特征在于，所述本地数据管理系统的本地存储器包括第一数据仓库和第二数据仓库，其中所述第一数据仓库用于存储本地特征数据集的元信息，所述第二数据仓库用于存储与所述本地特征数据集对应的本地id集和所述本地特征数据集，其中所述数据导出模块配置为：通过所述第一数据仓库所存储的所述本地特征数据集的元信息或者所述第二数据仓库所存储的所述本地id集，获得并导出与所述待执行任务相关联的id集。11.根据权利要求10所述的分散式处理方法，其特征在于，所述数据导出模块还配置为：基于与所述待执行任务相关联的id集，从所述第二数据仓库导出与所述待执行任务相关联的特征数据集。12.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是数据求交任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述数据求交任务相关联的id集用于执行所述数据求交任务。13.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是建模任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述建模任务相关联的特征数据集用于执行所述建模任务。14.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是离线预测任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述离线预测任务相关联的特征数据集用于执行所述离线预测任务。15.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是在线预测任务，所述本地隐私计算框架在所述在线数据处理模式下运行并且所述本地数据管理系统基于与所述在线预测任务相关联的一个或者多个样本id从所述第二数据仓库或者从相对于所述本地存储器的外部存储器获得与所述在线预测任务相关联的特征数据集用于执行所述在线预测任务。16.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是数据查询任务，所述本地隐私计算框架在所述在线数据处理模式下运行并且所述本地数据管理系统基于与所述数据查询任务相关联的一个或者多个样本id查询所述第二数据仓库得到查询结果作为所述执行结果。17.根据权利要求1至16中任一项所述的分散式处理方法，其特征在于，所述本地隐私计算框架是fate框架、pysyft框架或者sgx框架。18.一种非瞬时性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据权利要求1至17中任一项所述的分散式处理方法。19.一种电子设备，其特征在于，所述电子设备包括：处理器；用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现根据权利要求1至17中任一项所述的分散式处理方法。20.一种分散式处理装置，用于隐私计算、隐私数据及联邦学习，其特征在于，所述分散式处理装置包括：第一模块，用于根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，其中，所述待执行任务的任务要求包括所述待执行任务的时效性要求；第二模块，用于根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架从而执行所述待执行任务并获得执行结果；和第三模块，用于运行本地数据管理系统，其中所述本地数据管理系统包括在线接口；其中，所述分散式处理装置配置为，当在所述在线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述在线接口实时接收与所述待执行任务相关联的一个或者多个样本id并通过所述在线接口实时反馈所述执行结果，其中，所述分散式处理装置配置为，当在所述离线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述本地数据管理系统的数据导出模块从所述本地数据管理系统的本地存储器导出与所述待执行任务相关联的id集或者特征数据集用于执行所述待执行任务。21.根据权利要求20所述的分散式处理装置，其特征在于，所述分散式处理装置配置为，当所述待执行任务的任务类型是数据求交任务或者建模任务时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述数据求交任务或者所述建模任务，或者，当所述待执行任务的任务类型是数据查询任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述数据查询任务，或者，当所述待执行任务的任务类型是预测任务时，根据所述待执行任务的时效性要求来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。22.根据权利要求21所述的分散式处理装置，其特征在于，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括所述待执行任务的数据量，通过比较所述待执行任务的数据量和参考数据量来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务，其中所述参考数据量是基于本地实时数据处理能力以及本地实时网络通信条件。23.根据权利要求21所述的分散式处理装置，其特征在于，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括可信度要求，当所述预测任务的发起方的可信度不满足所述可信度要求时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。24.根据权利要求20所述的分散式处理装置，其特征在于，所述本地数据管理系统的本地存储器包括第一数据仓库和第二数据仓库，其中所述第一数据仓库用于存储本地特征数据集的元信息，所述第二数据仓库用于存储与所述本地特征数据集对应的本地id集和所述本地特征数据集，其中所述数据导出模块配置为：通过所述第一数据仓库所存储的所述本地特征数据集的元信息或者所述第二数据仓库所存储的所述本地id集，获得并导出与所述待执行任务相关联的id集。
25.根据权利要求20至24中任一项所述的分散式处理装置，其特征在于，所述本地隐私计算框架是fate框架、pysyft框架或者sgx框架。

技术总结
本申请涉及隐私计算、隐私数据及联邦学习技术领域，具体涉及一种隐私计算、隐私数据及联邦学习的分散式处理方法及装置。方法包括：根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式；根据所选择的数据处理模式分别在离线数据处理模式下或者在线数据处理模式下运行本地隐私计算框架从而执行待执行任务并获得执行结果。如此，有利于在分散式处理方法的适用场景下包括在数据分散式的隐私计算的应用场景及其应用实例中充分利用本地资源为给定任务的执行过程提供支持以及为多个任务的执行过程提供支持，提高整体效率和资源利用率。提高整体效率和资源利用率。提高整体效率和资源利用率。


技术研发人员：薛新江 高晓龙
受保护的技术使用者：深圳致星科技有限公司
技术研发日：2022.06.13
技术公布日：2022/7/19