业务审批方法、装置、设备、介质和程序产品与流程

本技术涉及人工智能领域和金融科技领域，具体涉及一种业务审批方法、装置、设备、介质和程序产品，更具体地涉及一种基于联邦学习的业务审批方法、装置、设备、介质和程序产品。

背景技术：

1、业务审批是金融机构把控信用风险、保障资产安全、落实监管合规的核心关键环节。传统业务审批模型依靠机构自有数据判断客户状况，金融机构间存在数据孤岛，无法完整评估客户真实情况，同时客户金融隐私信息不能随意对外共享。

2、相关技术采用联邦学习让多家机构联合训练审批模型，只传输模型参数、原始数据留存本地，但是在业务审批联邦学习场景中，易遭受投毒攻击（poisoning attack，pa），参与方篡改本地数据或上传异常参数即可损毁全局模型，造成模型预测精度大幅降低，无法同时兼顾数据隐私保护、pa抵御能力与模型使用性能。

技术实现思路

1、鉴于上述问题，本技术的实施例提供了一种业务审批方法、装置、设备、介质和程序产品。

2、根据本技术的第一方面，提供了一种基于联邦学习的业务审批方法，应用于目标客户端，所述方法包括：响应于用户提交业务申请，获取所述业务申请关联的业务行为数据；调用所述业务申请对应的本地审批模型处理所述业务行为数据，得到业务审批结果；其中，所述本地审批模型是通过m个客户端和服务器，基于隐私扰动参数的动态调整策略，根据历史业务数据，对全局模型和本地模型进行联邦学习训练得到的；其中，m为大于1的整数，所述m个客户端包括所述目标客户端，所述隐私扰动参数包括差分隐私噪声和扰动半径；以及向所述用户返回所述业务审批结果。

3、根据本技术的实施例，所述通过m个客户端和服务器，基于隐私扰动参数的动态调整策略，根据历史业务数据，对全局模型和本地模型进行联邦学习训练，包括：通过所述m个客户端，接收服务器下发的全局模型；通过所述m个客户端，基于隐私扰动参数的动态调整策略，根据所述m个客户端的本地数据和所述全局模型进行本地模型训练与噪声注入，获得所述m个客户端对应的本地模型，并确定所述m个客户端对应的本地模型参数；其中，所述m个客户端的本地数据属于所述历史业务数据；通过所述m个客户端，向所述服务器上传所述m个客户端对应的本地模型参数；以使所述服务器接收所述m个客户端对应的本地模型参数，基于可信度权重和所述m个客户端对应的本地模型参数，对所述全局模型进行曲率聚合与参数更新，得到训练好的全局模型，并将所述训练好的全局模型下发至所述m个客户端；通过所述m个客户端，接收所述训练好的全局模型；以及通过所述m个客户端，基于所述训练好的全局模型，对所述m个客户端对应的本地模型进行微调训练，获得所述m个客户端对应的本地审批模型。

4、根据本技术的第二方面，提供了一种基于联邦学习的业务审批方法，应用于m个客户端，m为大于1的整数，所述方法包括：接收服务器下发的全局模型；基于隐私扰动参数的动态调整策略，根据所述m个客户端的本地数据和所述全局模型进行本地模型训练与噪声注入，获得所述m个客户端对应的本地模型，并确定所述m个客户端对应的本地模型参数；其中，所述隐私扰动参数包括差分隐私噪声和扰动半径；向所述服务器上传所述m个客户端对应的本地模型参数；以使所述服务器接收所述m个客户端对应的本地模型参数，基于可信度权重和所述m个客户端对应的本地模型参数，对所述全局模型进行曲率聚合与参数更新，得到训练好的全局模型，并将所述训练好的全局模型下发至所述m个客户端；接收所述训练好的全局模型；以及基于所述训练好的全局模型，对所述m个客户端对应的本地模型进行微调训练，获得所述m个客户端对应的本地审批模型；其中，所述m个客户端的本地审批模型用于所述m个客户端对用户的业务申请进行业务审批。

5、根据本技术的实施例，所述基于隐私扰动参数的动态调整策略，根据所述m个客户端的本地数据和所述全局模型进行本地模型训练与噪声注入，包括：基于所述全局模型，构建当前客户端的本地模型；采用锐度感知最小化方法，基于所述当前客户端的本地数据和所述扰动半径，对所述当前客户端的本地模型进行迭代训练；在迭代训练过程中，基于所述隐私扰动参数的动态调整策略，根据损失函数方差对所述隐私扰动参数进行阶段性调整，并将所述差分隐私噪声注入所述当前客户端的本地模型。

6、根据本技术的实施例，所述隐私扰动参数的动态调整策略，包括：响应于所述损失函数方差满足训练初期条件，将所述差分隐私噪声设定为最大噪声强度值，并将所述扰动半径设定为最小扰动半径值；响应于所述损失函数方差满足训练中期条件，基于噪声指数衰减系数、所述最大噪声强度值和最小噪声强度值，对所述差分隐私噪声进行指数衰减调整，并基于扰动线性增长因子、所述最小扰动半径值和最大扰动半径值，对所述扰动半径进行线性增大调整；响应于所述损失函数方差满足训练后期条件，基于噪声抑制系数和所述最小噪声强度值，计算抑制噪声值，将所述差分隐私噪声设定为所述抑制噪声值，并将所述扰动半径设定为最大扰动半径值。

7、根据本技术的实施例，所述训练初期条件为所述损失函数方差大于或等于第一方差阈值；所述训练中期条件为所述损失函数方差大于或等于第二方差阈值且小于所述第一方差阈值，或者，所述损失函数方差小于所述第二方差阈值且当前训练轮数小于后期起始轮数；所述训练后期条件为所述损失函数方差小于所述第二方差阈值且所述当前训练轮数大于或等于所述后期起始轮数。

8、根据本技术的实施例，所述将所述差分隐私噪声注入所述当前客户端的本地模型，包括：根据所述当前客户端的本地数据和所述本地模型的本地模型参数，计算原始梯度；基于裁剪阈值，对所述原始梯度进行梯度裁剪，获得本地梯度；根据所述差分隐私噪声、所述裁剪阈值和单位矩阵，计算噪声方差，并根据所述噪声方差和预设噪声均值，确定高斯噪声；以及对所述本地梯度添加所述高斯噪声。

9、根据本技术的实施例，所述基于所述训练好的全局模型，对所述m个客户端对应的本地模型进行微调训练，包括：基于所述训练好的全局模型对应的全局模型参数、所述当前客户端的本地模型参数和个性化强度参数，构建正则项；最小化所述当前客户端的本地模型参数的损失值，以所述正则项为约束，构建所述当前客户端的本地目标函数；以及根据所述当前客户端的本地数据和所述本地目标函数，对所述当前客户端的本地模型进行微调训练及参数更新，直至所述当前客户端的本地模型收敛。

10、根据本技术的第三方面，提供了一种基于联邦学习的业务审批方法，应用于服务器，所述方法包括：向m个客户端下发全局模型，以使所述m个客户端接收所述服务器下发的全局模型；基于隐私扰动参数的动态调整策略，根据所述m个客户端的本地数据和所述全局模型进行本地模型训练与噪声注入，获得所述m个客户端对应的本地模型，并确定所述m个客户端对应的本地模型参数；向所述服务器上传所述m个客户端对应的本地模型参数；其中，所述隐私扰动参数包括差分隐私噪声和扰动半径；接收所述m个客户端对应的本地模型参数；基于可信度权重和所述m个客户端对应的本地模型参数，对所述全局模型进行曲率聚合与参数更新，得到训练好的全局模型；将所述训练好的全局模型下发至所述m个客户端；以使所述m个客户端接收所述训练好的全局模型；基于所述训练好的全局模型，对所述m个客户端对应的本地模型进行微调训练，获得所述m个客户端对应的本地审批模型；其中，所述m个客户端的本地审批模型用于所述m个客户端对用户的业务申请进行业务审批。

11、根据本技术的实施例，所述基于可信度权重和所述m个客户端对应的本地模型参数，对所述全局模型进行曲率聚合与参数更新，包括：根据所述m个客户端对应的本地模型参数，计算所述m个客户端的梯度方差，并根据敏感系数和所述m个客户端的梯度方差，计算所述m个客户端的可信度权重；根据所述m个客户端对应的本地模型参数，计算费希尔信息矩阵的对角线范数，获得所述m个客户端的模型更新曲率；基于所述m个客户端的可信度权重和所述模型更新曲率，对所述m个客户端对应的本地模型参数进行加权聚合，得到全局梯度更新量；以及基于所述全局梯度更新量，更新所述全局模型的全局模型参数。

12、根据本技术的第四方面，提供了一种基于联邦学习的业务审批装置，应用于目标客户端，所述装置包括：数据获取模块，用于响应于用户提交业务申请，获取所述业务申请关联的业务行为数据；业务审批模块，用于调用所述业务申请对应的本地审批模型处理所述业务行为数据，得到业务审批结果；其中，所述本地审批模型是通过m个客户端和服务器，基于隐私扰动参数的动态调整策略，根据历史业务数据，对全局模型和本地模型进行联邦学习训练得到的；其中，m为大于1的整数，所述m个客户端包括所述目标客户端，所述隐私扰动参数包括差分隐私噪声和扰动半径；以及结果返回模块，用于向所述用户返回所述业务审批结果。

13、根据本技术的第五方面，提供了一种基于联邦学习的业务审批装置，应用于m个客户端，m为大于1的整数，所述装置包括：第一全局模型接收模块，用于接收服务器下发的全局模型；本地模型训练与噪声注入模块，用于基于隐私扰动参数的动态调整策略，根据所述m个客户端的本地数据和所述全局模型进行本地模型训练与噪声注入，获得所述m个客户端对应的本地模型，并确定所述m个客户端对应的本地模型参数；其中，所述隐私扰动参数包括差分隐私噪声和扰动半径；本地模型参数上传模块，用于向所述服务器上传所述m个客户端对应的本地模型参数；以使所述服务器接收所述m个客户端对应的本地模型参数，基于可信度权重和所述m个客户端对应的本地模型参数，对所述全局模型进行曲率聚合与参数更新，得到训练好的全局模型，并将所述训练好的全局模型下发至所述m个客户端；第二全局模型接收模块，用于接收所述训练好的全局模型；以及本地模型微调训练模块，用于基于所述训练好的全局模型，对所述m个客户端对应的本地模型进行微调训练，获得所述m个客户端对应的本地审批模型；其中，所述m个客户端的本地审批模型用于所述m个客户端对用户的业务申请进行业务审批。

14、根据本技术的第六方面，提供了一种基于联邦学习的业务审批装置，应用于服务器，所述装置包括：第一全局模型下发模块，用于向m个客户端下发全局模型，以使所述m个客户端接收所述服务器下发的全局模型；基于隐私扰动参数的动态调整策略，根据所述m个客户端的本地数据和所述全局模型进行本地模型训练与噪声注入，获得所述m个客户端对应的本地模型，并确定所述m个客户端对应的本地模型参数；向所述服务器上传所述m个客户端对应的本地模型参数；其中，所述隐私扰动参数包括差分隐私噪声和扰动半径；本地模型参数接收模块，用于接收所述m个客户端对应的本地模型参数；曲率聚合与参数更新模块，用于基于可信度权重和所述m个客户端对应的本地模型参数，对所述全局模型进行曲率聚合与参数更新，得到训练好的全局模型；以及第二全局模型下发模块，用于将所述训练好的全局模型下发至所述m个客户端；以使所述m个客户端接收所述训练好的全局模型；基于所述训练好的全局模型，对所述m个客户端对应的本地模型进行微调训练，获得所述m个客户端对应的本地审批模型；其中，所述m个客户端的本地审批模型用于所述m个客户端对用户的业务申请进行业务审批。

15、根据本技术的第七方面，提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，其中，上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。

16、根据本技术的第八方面，还提供了一种计算机可读存储介质，其上存储有计算机程序或指令，上述计算机程序或指令被处理器执行时实现上述方法的步骤。

17、根据本技术的第九方面，还提供了一种计算机程序产品，包括计算机程序或指令，上述计算机程序或指令被处理器执行时实现上述方法的步骤。