个性化多视图联邦推荐系统的制作方法

技术特征：
1.一种个性化多视图联邦推荐系统，其特征在于，该系统包括一个中央服务器及数个用户客户端，其中，任意一个用户客户端的内部结构均相同，任意一个用户客户端之内包含训练模块及预测模块；中央服务器内部、中央服务器与任意一个用户客户端之间、任意一个用户客户端内部都有着数据流传输；同时，这种数据流的传输是采用同步传输的方式，即各模块间的数据交换是非异步且由统一时钟信号调配；所述的训练模块和预测模块各自包含数个分别用于完成训练任务和预测任务的子模块；所述中央服务器，包括更新协调模块及数据计算模块；所述数据计算模块分别对来自数个用户客户端的物品梯度数据与用户梯度数据执行聚合操作，所述聚合操作在中央服务器与任意一个用户客户端之间进行；所述更新协调模块协调来自任意用户客户端的单一梯度数据和来自数据计算模块的聚合梯度数据在任意用户客户端内的训练模块与中央服务器内的更新协调模块之间的传输；所述协调，这一操作在中央服务器内部完成，并通过安全聚合协议来保障数据传输过程中进入数据计算模块内部的单一梯度数据被远程安全聚合；远程安全聚合是指在安全聚合协议的控制之下对来自数个用户客户端的用户梯度数据或物品梯度数据执行加密并上传至中央服务器，中央服务器对梯度数据完成解密后再对其执行聚合；所述任意用户客户端内的训练模块，包括数据分发子模块、梯度计算子模块、梯度聚合子模块、模型更新子模块、模型微调子模块、用户数据仓库及物品数据仓库；训练模块内部的子模块与数据仓库相互协作完成训练算法的执行；所述用户数据仓库和物品数据仓库，分别在任意用户客户端的本地设备之中存储用户数据和物品数据；用户数据是指任意用户客户端上用户在各应用视图之内产生的历史交互行为数据集；物品数据是指推荐服务提供商经由中央服务器分发至任意用户客户端上的待推荐物品数据集；所述数据分发子模块与中央服务器内的更新协调模块以及训练模块内的模型更新子模块发生交互，承担着承上启下的数据枢纽的作用；一方面，上传来自模型更新子模块的本地安全聚合后的梯度数据至中央服务器，接收来自中央服务器的物品数据集与远程安全聚合后的梯度数据；另一方面，把来自中央服务器的远程安全聚合后的梯度数据传递给模型更新子模块；本地安全聚合是指对任意用户客户端内部产生的梯度数据执行随机采样、梯度裁剪以及高斯加噪后再进行聚合；所述梯度计算子模块计算训练算法中物品子模型和用户子模型依据目标函数进行迭代拟合后的梯度下降结果，缓存来自梯度聚合子模块的本地梯度下降聚合结果；所述梯度聚合子模块聚合梯度计算子模块中产生的梯度下降结果，并对梯度下降结果执行随机采样、梯度裁剪以及高斯加噪，从而实现梯度下降结果的本地安全聚合；所述模型更新子模块对当前轮次的模型训练进行更新，即从数据分发子模块中分别获取来自中央服务器的远程安全聚合后的物品子模型梯度和用户子模型梯度，分别利用物品子模型梯度和用户子模型梯度对物品子模型和用户子模型执行梯度下降；一旦当前的训练次数达到预设的迭代上限值或全局模型已收敛，模型更新子模块便将全局模型发送给模型微调子模块；全局模型是指模型更新子模块利用远程聚合梯度对用户子模型和物品子模型执行梯度下降之后得到的用户子模型和物品子模型；所述模型微调子模块调用本地的用户数据和物品数据，对全局用户子模型和全局物品
子模型分别进行有限轮次的本地训练迭代，使全局模型更加符合任意用户自身本地数据的数据分布，从而完成全局模型在任意用户客户端上的个性化微调；个性化微调后的全局模型的模型参数分别存储于用户数据仓库和物品数据仓库之中，并通过训练模块和预测模块之间的数据管道被进一步传送至与训练模块相邻的预测模块中的用户模型仓库和物品模型仓库之中；所述任意用户客户端内的预测模块，包括语义计算子模块、交互计算子模块、概率聚合子模块、概率排序子模块、推荐输出子模块、用户模型仓库及物品模型仓库；预测模块内的子模块与模型仓库相互协作完成预测算法的执行；所述用户模型仓库和物品模型仓库，分别在任意客户端的本地设备之中存储用户模型和物品模型；所述用户模型是指任意用户客户端利用本地的用户数据，经由训练算法进行用户模型训练后，获得的一组关于用户数据的深度语义匹配模型的神经网络参数；所述物品模型是指任意用户客户端利用本地的物品数据，经由训练算法进行物品模型训练后，获得的一组关于物品数据的深度语义匹配模型的神经网络参数；所述语义计算子模块分别利用用户模型与物品模型，通过深度语义匹配网络的前向传播过程，获得用户模型对应的用户语义向量和物品模型对应的物品语义向量；所述交互计算子模块计算任一用户语义向量与物品语义向量之间发生潜在交互的后验概率值；所述概率聚合子模块对交互计算子模块输出的数个后验概率值执行聚合，获得任一待推荐物品在当前用户客户端上发生交互的后验概率值；所述概率排序子模块将概率聚合子模块输出的若干个待推荐物品在当前用户客户端上发生交互的后验概率值，按照降序或升序进行排序；所述推荐输出子模块输出概率排序中任一概率所对应的待推荐物品，获得推荐物品序列，完成个性化多视图联邦推荐。2.根据权利要求1所述的个性化多视图联邦推荐系统，其特征在于，所述训练算法具体包括：数据分发阶段将某一待推荐应用后台系统所提供的待推荐物品数据集由中央服务器分发至各个用户客户端；梯度计算阶段在任意一个用户客户端视图内，将依据第个视图的私有用户数据以及本地共享的物品数据集来计算用户子模型和物品子模型的梯度；梯度聚合阶段用户子模型和物品子模型的梯度先分别在本地进行聚合，本地聚合完毕后的本地用户子模型梯度和本地物品子模型梯度再被分别加密传输至中央服务器完成全局聚合；模型更新阶段中央服务器将全局聚合完毕后的全局用户子模型梯度和全局物品子模型梯度回传给各个用户客户端进行用户子模型和物品子模型的更新；
模型微调阶段当全局模型训练收敛或达到设定的最大迭代次数后，用户客户端上的子模型将随机采样自身的私有数据，在本地再次进行有限批次的训练，最终得到经过多方、多视图联邦训练且个性化适应与微调的推荐模型。3.根据权利要求1所述的个性化多视图联邦推荐系统，其特征在于，所述预测算法具体包括：语义计算阶段用户客户端利用物品子模型提供的参数，通过深度语义匹配模型的前向传播过程，预先计算出所有的个待推荐物品的语义向量；交互计算阶段用户客户端利用用户子模型提供的参数，通过深度语义匹配模型的前向传播过程，依次计算出任一用户视图的语义向量；然后，计算出任一用户视图的语义向量与任一待推荐物品的语义向量发生潜在交互的后验概率值；概率聚合阶段对若干个发生潜在交互的后验概率值进行本地安全聚合，得到任一待推荐物品在该用户客户端上发生交互的后验概率值；概率排序阶段对若干个后验概率值进行降序或升序排列；推荐输出阶段取出前个概率值所对应的待推荐物品序列，这一待推荐物品序列即是为该用户客户端所推荐的物品序列。

技术总结
本发明公开了一种个性化多视图联邦推荐系统，该系统包括一个中央服务器及数个用户客户端，任意用户客户端内包含训练模块与预测模块；其中，训练模块包括数据分发子模块、梯度计算子模块、梯度聚合子模块、模型更新子模块、模型微调子模块、用户数据仓库及物品数据仓库，相互协作完成训练算法的执行，获得用户子模型及物品子模型；预测模块则包括语义计算子模块、交互计算子模块、概率聚合子模块、概率排序子模块、推荐输出子模块、用户模型仓库及物品模型仓库，相互协作完成预测算法的执行，获得任意用户客户端对应的推荐物品序列。本发明场景适应性更强、底层模型对特征的挖掘更深、原始输入涵盖的数据来源更广、全局模型的本地化微调更佳。微调更佳。微调更佳。


技术研发人员：张胜博 高明 束金龙 徐林昊 杜蓓 蔡文渊
受保护的技术使用者：上海嗨普智能信息科技股份有限公司
技术研发日：2022.02.18
技术公布日：2022/6/1