数据处理方法、装置、存储介质及设备

1.本技术涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、存储介质及设备。


背景技术：

2.随着互联网技术的发展，在线阅读文本内容(如书籍、公众号文章)、在线收听音乐、观看在线视频、在线网络购物等各种基于网络的内容交互行为以逐渐成为人们日常生活的一部分，因此可以向用户进行对象(如广告、书籍、文章或者视频等)推荐，实现相关对象的推广。
3.目前，可以通过神经网络模型预测出向用户进行推荐的推荐对象，但相关技术在训练用于预测推荐对象的模型的过程中，是根据模型的预测结果，选择收益期望最大的推荐对象投放给用户，并获取用户的反馈信息，根据用户的反馈信息进行模型训练，该相关技术的训练方法一味的选择模型输出的收益期望最大的推荐对象投放给用户，可能会反复的给用户推荐同样的推荐对象，而欠缺了对其他推荐对象的探索，导致不能准确的找到用户真正感兴趣的推荐对象，从而导致最终训练得到的模型所预测的推荐对象的准确率较低。


技术实现要素：

4.本技术实施例所要解决的技术问题在于，提供一种数据处理方法、装置、存储介质及设备，可以提高目标预测模型进行对象推荐的预测准确率。
5.本技术实施例一方面提供一种数据处理方法，包括：
6.获取样本推荐对象集合；样本推荐对象集合包括n个候选推荐对象，n为正整数；
7.将n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象；n个候选推荐对象包括目标推荐对象；
8.根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度；调整度具备随机性；
9.根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数；
10.根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型；目标预测模型用于为用户预测推荐对象。
11.其中，将n个候选推荐对象中每个候选推荐对象分别对应的对象特征以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象，包括：
12.获取n个候选推荐对象中每个候选推荐对象分别对应的对象特征以及目标用户对
应的用户特征；
13.将n个对象特征分别与用户特征进行组合，得到每个候选推荐对象分别对应的组合特征；
14.将每个候选推荐对象分别对应的组合特征输入初始预测模型中，通过初始预测模型输出每个候选推荐对象分别对应的预测推荐概率；
15.将最大的预测推荐概率所对应的候选推荐对象确定为目标推荐对象。
16.其中，将每个候选推荐对象分别对应的组合特征输入初始预测模型中，通过初始预测模型输出每个候选推荐对象分别对应的预测推荐概率，包括：
17.将每个候选推荐对象分别对应的组合特征输入初始预测模型中，通过初始预测模型中的嵌入层，对每个候选推荐对象分别对应的组合特征进行特征编码，得到每个候选推荐对象分别对应的嵌入特征向量；
18.基于初始预测模型中的连接层，对每个候选推荐对象分别对应的嵌入特征向量进行拼接处理，得到拼接特征向量；
19.将拼接特征向量输入至初始预测模型中的全连接隐藏层，通过全连接隐藏层输出n个候选推荐对象对应的预测推荐特征；
20.基于初始预测模型中的分类器，对n个候选推荐对象对应的预测推荐特征进行分类处理，得到每个候选推荐对象分别对应的预测推荐概率。
21.其中，全连接隐藏层包括第一全连接层、第二全连接层以及激活层；
22.基于初始预测模型中的全连接隐藏层，通过全连接隐藏层输出n个候选推荐对象对应的预测推荐特征，包括：
23.将拼接特征向量输入第一全连接层中，通过第一全连接层对应的权重矩阵，对拼接特征向量进行卷积处理，得到第一推荐特征向量；
24.将第一推荐特征向量输入第二全连接层，通过第二全连接层对应的权重矩阵，对第一推荐特征向量进行卷积处理，得到第二推荐特征向量；
25.将第二推荐特征向量输入激活层，通过激活层对第二推荐特征向量进行激活处理，得到n个候选推荐对象对应的预测推荐特征。
26.其中，数据处理方法还包括：
27.将目标推荐对象发送给用户终端，以使用户终端获取针对目标推荐对象的用户转化反馈信息；
28.接收用户终端返回的用户转化反馈信息，根据用户转化反馈信息生成目标推荐对象对应的用户反馈标签。
29.其中，根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度，包括：
30.根据用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的损失函数；
31.根据损失函数，确定用于对初始预测模型中的初始模型参数进行参数调整的候选模型参数；
32.根据候选模型参数和初始预测模型中的初始模型参数，确定候选模型参数对应的调整度。
33.其中，根据候选模型参数和初始预测模型中的初始模型参数，确定候选模型参数对应的调整度，包括：
34.从更新系数区间中随机选择目标更新系数；
35.获取目标更新系数与初始预测模型中的初始模型参数的第一乘积；
36.根据第一乘积以及候选模型参数，确定候选模型参数对应的调整度。
37.其中，根据第一乘积以及候选模型参数，确定候选模型参数对应的调整度，包括：
38.根据第一乘积，对候选模型参数进行调整，得到更新候选模型参数；
39.获取更新候选模型参数与候选模型参数之间的参数差值；
40.根据参数差值确定候选模型参数对应的调整度。
41.其中，根据参数差值确定候选模型参数对应的调整度，包括：
42.从随机度系数区间中随机获取目标随机度系数；
43.获取目标随机度系数与参数差值之间的第二乘积，将第二乘积确定为候选模型参数对应的调整度。
44.其中，根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数，包括：
45.将候选模型参数确定为参数均值，将调整度确定为标准差，根据参数均值以及标准差，确定与候选模型参数相关联的正态分布，将正态分布确定为初始预测模型对应的参数随机采样区间；
46.在参数随机采样区间中进行随机采样，得到初始预测模型对应的目标模型参数。
47.其中，根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定目标预测模型，包括：
48.根据目标模型参数，对初始预测模型中的初始模型参数进行参数更新，得到参数更新后的初始预测模型；
49.若参数更新后的初始预测模型对应的调整度为目标调整阈值，则确定参数更新后的初始预测模型满足收敛条件，将满足收敛条件的参数更新后的初始预测模型确定为目标预测模型。
50.其中，数据处理方法还包括：
51.获取目标用户对应的目标用户特征，获取待推荐对象集合中每个待推荐对象分别对应的对象特征；
52.将目标用户特征以及每个待推荐对象分别对应的对象特征输入目标预测模型中，通过目标预测模型输出每个待推荐对象分别对应的推荐概率；
53.根据每个待推荐对象分别对应的推荐概率，从待推荐对象集合中确定用于向目标用户进行推荐的用户推荐对象，将用户推荐对象发送至目标用户所属的目标用户终端，以使目标用户终端输出用户推荐对象。
54.本技术实施例一方面提供一种数据处理装置，包括：
55.第一获取模块，用于获取样本推荐对象集合；样本推荐对象集合包括n个候选推荐对象，n为正整数；
56.预测模块，用于将n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐
用户进行推荐的目标推荐对象；n个候选推荐对象包括目标推荐对象；
57.第一确定模块，用于根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度；调整度具备随机性；
58.第二确定模块，用于根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数；
59.参数更新模块，用于根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型；目标预测模型用于为用户预测推荐对象。
60.其中，预测模块包括：
61.第一获取单元，用于获取n个候选推荐对象中每个候选推荐对象分别对应的对象特征以及目标用户对应的用户特征；
62.组合单元，用于将n个对象特征分别与用户特征进行组合，得到每个候选推荐对象分别对应的组合特征；
63.输出单元，用于将每个候选推荐对象分别对应的组合特征输入初始预测模型中，通过初始预测模型输出每个候选推荐对象分别对应的预测推荐概率；
64.第一确定单元，用于将最大的预测推荐概率所对应的候选推荐对象确定为目标推荐对象。
65.其中，输出单元包括：
66.特征编码子单元，用于将每个候选推荐对象分别对应的组合特征输入初始预测模型中，通过初始预测模型中的嵌入层，对每个候选推荐对象分别对应的组合特征进行特征编码，得到每个候选推荐对象分别对应的嵌入特征向量；
67.拼接处理子单元，用于基于初始预测模型中的连接层，对每个候选推荐对象分别对应的嵌入特征向量进行拼接处理，得到拼接特征向量；
68.输出子单元，用于将拼接特征向量输入至初始预测模型中的全连接隐藏层，通过全连接隐藏层输出n个候选推荐对象对应的预测推荐特征；
69.分类处理子单元，用于基于初始预测模型中的分类器，对n个候选推荐对象对应的预测推荐特征进行分类处理，得到每个候选推荐对象分别对应的预测推荐概率。
70.其中，全连接隐藏层包括第一全连接层、第二全连接层以及激活层；
71.输出子单元具体用于：
72.将拼接特征向量输入第一全连接层中，通过第一全连接层对应的权重矩阵，对拼接特征向量进行卷积处理，得到第一推荐特征向量；
73.将第一推荐特征向量输入第二全连接层，通过第二全连接层对应的权重矩阵，对第一推荐特征向量进行卷积处理，得到第二推荐特征向量；
74.将第二推荐特征向量输入激活层，通过激活层对第二推荐特征向量进行激活处理，得到n个候选推荐对象对应的预测推荐特征。
75.其中，数据处理装置还包括：
76.发送模块，用于将目标推荐对象发送给用户终端，以使用户终端获取针对目标推荐对象的用户转化反馈信息；
77.接收模块，用于接收用户终端返回的用户转化反馈信息，根据用户转化反馈信息生成目标推荐对象对应的用户反馈标签。
78.其中，第一确定模块包括：
79.第二确定单元，用于根据用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的损失函数；
80.第三确定单元，用于根据损失函数，确定用于对初始预测模型中的初始模型参数进行参数调整的候选模型参数；
81.第四确定单元，用于根据候选模型参数和初始预测模型中的初始模型参数，确定候选模型参数对应的调整度。
82.其中，第四确定单元包括：
83.选择子单元，用于从更新系数区间中随机选择目标更新系数；
84.获取子单元，用于获取目标更新系数与初始预测模型中的初始模型参数的第一乘积；
85.确定子单元，用于根据第一乘积以及候选模型参数，确定候选模型参数对应的调整度。
86.其中，确定子单元具体用于：
87.根据第一乘积，对候选模型参数进行调整，得到更新候选模型参数；
88.获取更新候选模型参数与候选模型参数之间的参数差值；
89.根据参数差值确定候选模型参数对应的调整度。
90.其中，确定子单元还具体用于：
91.从随机度系数区间中随机获取目标随机度系数；
92.获取目标随机度系数与参数差值之间的第二乘积，将第二乘积确定为候选模型参数对应的调整度。
93.其中，第二确定模块包括：
94.第五确定单元，用于将候选模型参数确定为参数均值，将调整度确定为标准差，根据参数均值以及标准差，确定与候选模型参数相关联的正态分布，将正态分布确定为初始预测模型对应的参数随机采样区间；
95.随机采样单元，用于在参数随机采样区间中进行随机采样，得到初始预测模型对应的目标模型参数。
96.其中，参数更新模块包括：
97.参数更新单元，用于根据目标模型参数，对初始预测模型中的初始模型参数进行参数更新，得到参数更新后的初始预测模型；
98.第六确定单元，用于若参数更新后的初始预测模型对应的调整度为目标调整阈值，则确定参数更新后的初始预测模型满足收敛条件，将满足收敛条件的参数更新后的初始预测模型确定为目标预测模型。
99.其中，数据处理装置还包括：
100.第二获取模块，用于获取目标用户对应的目标用户特征，获取待推荐对象集合中每个待推荐对象分别对应的对象特征；
101.输出模块，用于将目标用户特征以及每个待推荐对象分别对应的对象特征输入目
标预测模型中，通过目标预测模型输出每个待推荐对象分别对应的推荐概率；
102.第三确定模块，用于根据每个待推荐对象分别对应的推荐概率，从待推荐对象集合中确定用于向目标用户进行推荐的用户推荐对象，将用户推荐对象发送至目标用户所属的目标用户终端，以使目标用户终端输出用户推荐对象。
103.本技术一方面提供了一种计算机设备，包括：处理器及存储器；
104.其中，存储器用于存储计算机程序，处理器用于调用上述计算机程序，以执行如下步骤：
105.获取样本推荐对象集合；样本推荐对象集合包括n个候选推荐对象，n为正整数；
106.将n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象；n个候选推荐对象包括目标推荐对象；
107.根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度；调整度具备随机性；
108.根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数；
109.根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型；目标预测模型用于为用户预测推荐对象。
110.本技术实施例一方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，计算机程序当被处理器执行时，以执行如下步骤：
111.获取样本推荐对象集合；样本推荐对象集合包括n个候选推荐对象，n为正整数；
112.将n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象；n个候选推荐对象包括目标推荐对象；
113.根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度；调整度具备随机性；
114.根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数；
115.根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型；目标预测模型用于为用户预测推荐对象。
116.本技术一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一方面中的方法。
117.本技术实施例中，通过获取样本推荐对象集合，将样本推荐对象集合中所包含的n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特
征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象。根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度，根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数。由于初始预测模型对应的候选模型参数具有不确定性，而且候选模型参数的不确定性与初始预测模型输出的预测结果的不确定性是相关联的，即不同的目标模型参数对初始预测模型进行参数更新后，参数更新后的初始预测模型进行推荐对象预测时，所得到的预测结果是不同的。因此可以根据候选模型参数以及调整度，生成目标模型参数，可以增加目标模型参数的随机性。根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型。用候选模型参数的不确定性引导生成具有不确定性的目标模型参数，这样可以增加目标模型参数的随机性，从而达到有针对性地探索用户可能感兴趣的推荐对象，可以使初始预测模型收敛在准确的收敛方向上，可以提高目标预测模型进行对象推荐的预测准确性。
附图说明
118.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
119.图1是本技术实施例提供的一种数据处理系统的架构示意图；
120.图2是本技术实施例提供的一种数据处理的应用场景示意图；
121.图3是本技术实施例提供的一种数据处理方法的流程示意图；
122.图4是本技术实施例提供的一种初始预测模型的网络结构的结构示意图；
123.图5是本技术实施例提供的一种初始预测模型训练的示意图；
124.图6是本技术实施例提供的一种数据处理方法的流程示意图；
125.图7是本技术实施例提供的一种参数随机采样区间的示意图；
126.图8是本技术实施例提供的一种根据目标模型参数对初始预测模型进行参数更新的示意图；
127.图9是本技术实施例提供的一种书籍推荐的应用场景图；
128.图10是本技术实施例提供的一种数据处理装置的结构示意图；
129.图11是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
130.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
131.见图1，图1是本技术实施例提供的一种数据处理系统的结构示意图。如图1所示，
该数据处理系统可以包括服务器10和用户终端集群。该用户终端集群可以包括一个或者多个用户终端，这里将不对用户终端的数量进行限制。如图1所示，具体可以包括用户终端100a、用户终端100b、用户终端100c、
…
、用户终端100n。如图1所示，用户终端100a、用户终端100b、用户终端100c、
…
、用户终端100n可以分别与上述服务器10进行网络连接，以便于每个用户终端可以通过该网络连接与服务器10进行数据交互。
132.其中，该用户终端集群中的每个用户终端均可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、可穿戴设备、智能家居、头戴设备等具有轨迹识别的智能终端。应当理解，如图1所示的用户终端集群中的每个用户终端均可以安装有目标应用(即应用客户端)，当该应用客户端运行于各用户终端中时，可以分别与上述图1所示的服务器10之间进行数据交互。
133.其中，如图1所示，该服务器10可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
134.为便于理解，本技术实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端，该目标用户终端可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视等携带数据处理功能的智能终端。例如，为便于理解，本技术实施例可以将图1所示的用户终端100a作为目标用户终端，用户终端100a可以将当前需要进行推荐对象推荐的用户(即被推荐用户)对应的用户特征发送给服务器10。服务器10可以接收目标用户终端100a发送的被推荐对象对应的用户特征，并获取样本推荐对象集合中的n个候选推荐对象，将n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象。服务器10得到用于向被推荐对象进行推荐的目标推荐对象后，可以将该目标推荐对象发送给目标用户终端100a，以使目标用户终端100a向被推荐用户输出目标推荐对象，并获取被推荐用户针对目标推荐对象的用户转化反馈信息(如点击反馈信息或者购买反馈信息)。目标用户终端100a可以向服务器10发送用户转化反馈信息，服务器10接收到目标用户终端发送的用户转化反馈信息后，可以根据该用户转化反馈信息生成目标推荐对象的用户反馈标签。服务器10可以根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的参数随机采样区间，并从该参数采样区间中获取初始预测模型对应的目标模型参数，根据该目标模型参数对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定目标预测模型，该目标预测模型用于为用户预测推荐模型。
135.例如，本技术实施例可以将图1所示的用户终端100a作为目标用户终端，服务器10训练得到目标预测模型后，用户终端100a可以将目标用户(即当前需要进行推荐对象预测的用户)对应的目标用户特征，以及待推荐对象集合中每个待推荐对象分别对应的对象特征发送给服务器10。服务器10接收到目标用户特征以及每个待推荐对象分别对应的对象特征后，可以将目标用户特征以及每个待推荐对象分别对应的对象特征输入目标预测模型，通过目标预测模型输出每个待推荐对象分别对应的推荐概率，并根据该每个待推荐对象分别对应的推荐概率，从待推荐对象集合中确定用于向目标用户进行推荐的用户推荐对象。
其中，目标预测模型可以是由服务器10预先训练好的。服务器10获得用户推荐对象后，可以将用户推荐对象发送给目标用户终端100a，目标用户终端100a可以接收服务器10返回的用户推荐对象，并向目标用户输出该用户推荐对象。通过本方案中的目标预测模型，可以更准确向目标用户进行推荐的用户推荐对象，可以提高对象推荐的预测准确性。
136.如图2所示，图2是本技术实施例提供的一种数据处理的应用场景示意图，如图2所示，待推荐对象可以是指商品广告，待推荐对象集合可以是指多个商品对应的待推荐商品广告集合，若当前需要向用户a投放商品广告，此时可以将用户a称为目标用户。若当前需要在用户终端1的浏览界面上显示商品广告，即向用户a投放商品广告，如图2所示的用户终端1可以将当前需要进行商品广告推荐的用户a确定为目标用户，并获取目标用户对应的目标用户特征，将目标用户对应的目标用户特征，以及待推荐商品广告集合中每个待推荐商品广告分别对应的商品广告特征上传至服务器1。服务器1可以接收用户终端1上传的目标用户特征以及待推荐商品广告集合中每个待推荐商品广告分别对应的商品广告特征，并将每个推荐广告特征与目标用户特征进行组合，得到每个待推荐商品广告分别对应的组合特征，一个待推荐商品广告与目标用户特征进行组合，得到一个组合特征《商品广告特征，目标用户特征》。服务器1可以将每个待推荐商品广告分别对应的组合特征输入预先训练好的目标预测模型中，通过该目标预测模型对每个待推荐商品广告分别对应的组合特征进行特征提取，得到每个待推荐商品广告分别对应的推荐概率。服务器1可以根据每个待推荐商品广告分别对应的推荐概率，从待推荐商品广告集合中确定用于向目标用户进行推荐的目标商品广告，并将该目标商品广告发送给目标用户所属的用户终端1。用户终端1可以接收服务器1发送的目标商品广告，并向目标用户输出该目标商品广告，即在用户终端1中的浏览界面中对目标商品广告进行显示。
137.请参见图3，图3是本技术实施例提供的一种数据处理方法的流程示意图。该数据处理方法可由计算机设备执行，该计算机设备可以为服务器(如上述图1中的服务器10)，或者用户终端(如上述图1的用户终端集群中的任一用户终端)，或者为服务器和用户终端组成的系统，本技术对此不做限定。如图2所示，该数据处理方法可以包括步骤s101-s105。
138.s101，获取样本推荐对象集合；样本推荐对象集合包括n个候选推荐对象。
139.具体的，计算机设备可以对初始预测模型进行训练，得到用于为用户预测推荐对象的目标预测模型，该目标预测模型用于为用户预测推荐对象，该推荐对象可以是广告、商品、视频、音乐、书籍等。计算机设备可以获取样本推荐对象集合，该样本推荐对象集合包括n各候选推荐对象，n为正整数，如n可以取值为1,2,3
…
，该样本推荐对象集合用于训练初始预测模型，以得到目标预测模型。如样本推荐对象集合可以是书籍库，候选推荐对象可以是书籍库中的书籍。
140.s102，将n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象。
141.具体的，计算机设备可以获取n个候选推荐对象中每个候选推荐分别对应的对象特征，该对象特征可以是指推荐对象的类别、所属地、价格、使用权限等特征，如当推荐对象为商品广告时，商品广告对应的对象特征可以是指商品类别、商品价格、商品所属地等等，当推荐对象为音乐时，音乐对应的对象特征可以是指音乐类别、音乐所属地等。计算机设备
还可以获取被推荐用户对应的用户特征，该被推荐用户可以是指需要向其推送推荐对象的用户，如当前需要向用户a推荐化妆品商品广告，则用户a可以称为被推荐用户，被推荐用户对应的用户特征可以是指用户年龄、用户性别、用户所在地等信息。计算机设备可以将n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测向被推荐用户进行推荐的目标推荐对象，n个候选推荐对象包括目标推荐对象。即初始预测模型可以根据推荐对象的对象特征以及被推荐用户对应的用户特征，从n个候选推荐对象中预测用于向被推荐用户进行推荐的目标推荐对象。其中，目标推荐对象的数量可以为一个或者多个，本技术实施例在此不做限制。
142.可选的，计算机设备通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象的具体方式可以包括：获取n个候选推荐对象中每个候选推荐对象分别对应的对象特征以及目标用户对应的用户特征。将n个对象特征分别与用户特征进行组合，得到每个候选推荐对象分别对应的组合特征，将每个候选推荐对象分别对应的组合特征输入初始预测模型中，通过初始预测模型输出每个候选推荐对象分别对应的预测推荐概率，将最大的预测推荐概率所对应的候选推荐对象确定为目标推荐对象。
143.具体的，计算机设备可以获取每个候选推荐对象分别对应的对象特征以及被推荐用户对应的用户特征，将n个候选推荐对象对应的n个对象特征分别与用户特征进行组合，得到每个候选推荐对象分别对应的组合特征，一个候选推荐对象对应的对象特征与被推荐用户对应的用户特征进行组合，得到一个组合特征。如候选推荐对象1对应的对象特征1与用户特征进行组合，得到组合特征《对象特征1，用户特征》，候选推荐对象2对应的对象特征2与用户特征进行组合，得到组合特征《对象特征2，用户特征》。将每个候选推荐对象分别对应的组合特征输入初始预测模型中，通过初始预测模型对每个候选推荐对象对应的组合特征进行特征分析，输出每个候选推荐对象分别对应的预测推荐概率。该预测推荐概率是指对应候选推荐对象被推送给被推荐用户的概率或者被推荐用户对候选推荐对象感兴趣的程度，预测推荐概率越大，则被推送给被推荐用户的可能性越大或者被推荐用户对其感兴趣的程度较大，预测推荐概率越小，则被推送给被推荐用户的可能性越小或者被推荐用户对其感兴趣的程度较小。计算机设备获得每个候选推荐对象对应的预测推荐概率后，当目标推荐对象的数量为1时，可以将最大的预测推荐概率所对应的候选推荐对象确定为目标推荐对象，当目标推荐对象的数量为多个时，则可以将预测推荐概率排名靠前的候选推荐对象确定为目标推荐对象。
144.可选的，计算机设备在通过初始预测模型输出每个候选推荐对象分别对应的预测推荐概率的具体方式可以包括：将每个候选推荐对象分别对应的组合特征输入初始预测模型中，通过初始预测模型中的嵌入层，对每个候选推荐对象分别对应的组合特征进行特征编码，得到每个候选推荐对象分别对应的嵌入特征向量。基于初始预测模型中的连接层，对每个候选推荐对象分别对应的嵌入特征向量进行拼接处理，得到拼接特征向量，将拼接特征向量输入至初始预测模型中的全连接隐藏层，通过全连接隐藏层输出n个候选推荐对象对应的预测推荐特征。基于初始预测模型中的分类器，对n个候选推荐对象对应的预测推荐特征进行分类处理，得到每个候选推荐对象分别对应的预测推荐概率。
145.具体的，初始预测模型可以包括嵌入层、连接层、全连接隐藏层以及分类器，计算机设备可以将每个候选推荐对象分别对应的组合特征输出初始预测模型中，通过初始预测
模型中的嵌入层，对每个候选推荐对象分别对应的组合特征进行特征编码，得到每个候选推荐对象分别对应的嵌入特征向量。初始预测模型中的嵌入层可以将每个组合特征对应的稀疏矩阵，通过线性变换(如通过查表操作，对组合特征转换成特征编码，生成特定的编码矩阵(如包含0或者1的编码矩阵))，变成了一个密集矩阵，用这个密集矩阵来表征每个待推荐对象对应的组合特征，该密集矩阵中蕴含了大量特征信息相互之间的关联关系。计算机设备得到每个候选推荐对象分别对应的嵌入特征向量后，计算机设备可以基于初始预测模型中的连接层，对每个候选推荐对象分别对应的嵌入特征向量进行拼接处理，得到n个嵌入特征向量对应的拼接特征向量，即对n个嵌入特征向量进行拼接，得到一个拼接特征向量。将n个嵌入向量对应的拼接特征向量输入至初始预测模型中的全连接隐藏层，通过全连接隐藏层对拼接特征向量进行卷积处理，输出n个候选推荐对象对应的预测推荐特征。全连接隐藏层的作用是指将拼接特征向量，抽象到另一个维度空间，来展现其更抽象化的特征，以便更好的进行线性分类。得到预测推荐特征后，计算机设备可以基于初始预测模型中的分类器，对n个候选推荐对象对应的预测推荐特征进行分类处理，得到每个候选推荐对象分别对应的预测推荐概率。
146.可选的，全连接隐藏层包括第一全连接层、第二全连接层以及激活层，计算机设备通过全连接网络层输出n个候选推荐对象对应的预测推荐特征的具体方式可以包括：将拼接特征向量输入第一全连接层中，通过第一全连接层对应的权重矩阵，对拼接特征向量进行卷积处理，得到第一推荐特征向量。将第一推荐特征向量输入第二全连接层，通过第二全连接层对应的权重矩阵，对第一推荐特征向量进行卷积处理，得到第二推荐特征向量，将第二推荐特征向量输入激活层，通过激活层对第二推荐特征向量进行激活处理，得到n个候选推荐对象对应的预测推荐特征。
147.具体的，由于全连接隐藏层中一次输入一个特征向量，因此可以对n个候选推荐对象分别对应的嵌入特征向量进行拼接处理，得到一个拼接特征向量，可以减少对n个候选推荐对象进行特征提取的计算量，以此提高特征提取的效率。计算机设备可以将n个候选推荐对象对应的拼接特征向量输入第一全连接层中，通过第一全连接层中的权重矩阵，对拼接特征向量进行卷积处理，得到第一推荐特征向量。计算机设备可以将第一推荐特征向量输入第二全连接层，通过第二全连接层中的权重矩阵，对第一推荐特征向量进行卷积处理，得到第二推荐特征向量。将第二推荐特征向量输入激活层，通过激活层对第二推荐特征向量进行激活处理，得到n个候选推荐对象对应的预测推荐特征。其中，全连接隐藏层中的全连接层本质就是将一个特征空间线性变换到另一个特征空间，用于将学到的拼接特征向量(即分布式特征表示)映射到样本标记空间，以便后续进行分类。全连接隐藏层中的全连接层的数量可以为一个或者多个，可以根据具体需求进行设置，本技术实施例对全连接隐藏层中的全连接层的数量不做限制。
148.如图4所示，图4是本技术实施例提供的一种初始预测模型的网络结构的结构示意图，如图4所示，初始预测模型可以包括嵌入层、连接层、全连接隐藏层以及分类器。计算机设备可以将每个候选推荐对象对应的组合特征输入嵌入层中，该嵌入层中包括嵌入层1、嵌入层2
…
嵌入层n-1、嵌入层n，一个嵌入层用于对一个推荐对象对应的特征组合进行特征编码，如可以用嵌入层1对推荐对象1进行特征编码，得到推荐对象1对应的嵌入特征向量，可以用嵌入层2对推荐对象2进行特征编码，得到推荐对象2对应的嵌入特征向量。通过初始预
测模型中的嵌入层，采用one-hot编码(one-hot编码是采用n位状态寄存器来对n个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效)，对每个特征组合对应的特征矩阵进行线性变换，得到每个候选推荐对象分别对应的嵌入特征向量。计算机设备得到每个候选推荐对象分别对应的嵌入特征向量后，可以基于初始预测模型中的连接层，对每个候选推荐对象分别对应的嵌入特征向量进行拼接处理，得到n个嵌入特征向量对应的拼接特征向量，即对n个嵌入特征向量进行拼接，得到一个拼接特征向量，由于全连接层中一次仅可以输入一个特征向量，因此对n个嵌入特征向量进行拼接得到一个拼接特征向量，可以减少计算量，提高特征提取效率。将n个嵌入向量对应的拼接特征向量输入至初始预测模型中的全连接隐藏层，通过全连接隐藏层对拼接特征向量进行卷积处理，输出n个候选推荐对象对应的预测推荐特征。该全连接隐藏层可以包括第一全连接成和第二全连接层，可以通过第一全连接层和第二全连接层，对拼接特征向量进行卷积处理。得到预测推荐特征后，计算机设备可以基于初始预测模型中的分类器，对n个候选推荐对象对应的预测推荐特征进行分类处理，得到每个候选推荐对象分别对应的预测推荐概率。
149.其中，初始预测模型可以是任意中间结构的深度神经网络模型，可以根据具体需求修改初始预测模型中的网络结构、增减网络层数、改变隐藏层以及嵌入层大小等方式，来改善初始预测模型对应的预测效果，如初始预测模型中可以包括卷积网络层或者循环网络层，可以得到每个候选推荐对象对应的预测推荐概率即可，本技术实施例对初始预测模型中的网络结构以及各网络结构中的网络层的数量(如全连接隐藏层中全连接层的数量)不做限制，可以根据具体需求进行设置。
150.可选的，计算机设备从样本推荐对象中确定用于向被推荐用户进行推荐的目标推荐对象后，还可以将目标推荐对象发送给用户终端，以使用户终端获取针对目标推荐对象的用户转化反馈信息，接收用户终端返回的用户转化反馈信息，根据用户转化反馈信息生成目标推荐对象对应的用户反馈标签。
151.具体的，计算机设备可以将目标推荐对象发送给用户终端，即被推荐用户所属的用户终端，以使用户终端向被推荐用户输出目标推荐对象，并获取被推荐用户针对目标推荐对象的用户转化反馈信息。如当目标推荐对象为目标商品广告时，用户终端可以向被推荐用户显示该目标商品广告，被推荐用户针对目标推荐对象的用户转化反馈信息可以是被推荐用户的点击行为(如点击行为或者未点击行为)，如当目标推荐对象为书籍时，被推荐用户针对目标推荐对象的用户转化反馈信息可以是购买行为(如购买行为或者未购买行为)。用户终端获得被推荐用户针对目标推荐对象的用户转化反馈行为后，可以将该用户转化反馈信息发送给本技术实施例中的计算机设备。本技术实施例中的计算机设备可以接收用户终端返回的用户转化反馈信息，根据用户转化反馈信息生成目标推荐对象对应的用户反馈标签。如目标推荐对象为商品广告，目标推荐对象对应的用户转化反馈信息为是否点击行为时，若被推荐用户点击了目标推荐对象时，则目标推荐对象对应的用户反馈标签可以设置为1，若被推荐用户未点击目标推荐对象时，目标推荐对象对应的用户反馈标签可以设置为0。如目标推荐对象为书籍，当目标推荐对象对应的用户转换反馈信息为是否阅读行为时，若被推荐用户阅读了目标推荐对象时，则目标推荐对象对应的用户反馈标签可以设置为1，若被推荐用户未阅读目标推荐对象时，目标推荐对象对应的用户反馈标签可以设置为0。
152.可选的，本技术实施例中的计算机设备可以为服务器和用户终端组成的系统，当计算机设备中的服务器从样本推荐对象中确定目标推荐对象后，可以将目标推荐对象发送给计算机设备中的用户终端。用户终端可以接收服务器发送的目标推荐对象，并向被推荐用户输出目标推荐对象，获取被推荐用户针对目标推荐对象的用户转化反馈信息，将该用户转化反馈信息发送给服务器。服务器可以接收用户终端发送的用户转化反馈信息，并根据该用户转化反馈信息生成目标推荐对象对应的用户反馈标签。
153.s103，根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度。
154.具体的，计算机设备获得目标推荐对象对应的用户反馈标签后，可以根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的损失函数，根据该初始预测模型对应的损失函数确定初始预测模型对应的初始调整模型参数，将该初始调整模型参数确定为初始预测模型对应的候选模型参数。根据候选模型参数以及初始预测模型中的初始模型参数之间的变化幅度，确定候选模型参数对应的调整度，该调整度具备随机性，该调整度用于对候选模型参数进行调整，以得到目标模型参数，该目标模型参数用户对初始模型参数进行参数更新。
155.可选的，计算机设备确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度的方式可以包括：根据用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的损失函数。根据损失函数，确定用于对初始预测模型进行参数调整的候选模型参数，根据候选模型参数和初始预测模型中的初始模型参数，确定候选模型参数对应的调整度。
156.具体的，计算机设备可以根据目标推荐对象对应的用户反馈标签(该用户反馈标签是通过被推荐用户的用户转化反馈信息得到的)以及目标推荐对象的预测推荐特征(该预测推荐特征是指通过初始预测模型进行特征提取得到的)，确定初始预测模型对应的损失函数。根据该损失函数，计算初始预测模型当前的损失值(即确定初始预测模型对应的预测推荐特征与用户反馈标签之间的差距)，根据该损失值确定当前初始预测模型对应的候选模型参数，该候选模型参数用于对初始预测模型中的模型参数进行调整。如可以根据梯度下降法计算当前初始预测模型对应的候选模型参数，即用初始预测模型输出的预测推荐特征与用户反馈标签计算误差，反向传播误差到初始预测模型中网络的每一个结点，并更新每个结点的参数。根据候选模型参数以及初始预测模型中的初始模型参数，确定候选模型参数对应的调整度。
157.可选的，计算机设备根据候选模型参数以及初始预测模型中的初始模型参数，确定候选模型参数对应的调整度的具体方式可以包括：从更新系数区间中随机选择目标更新系数，获取目标更新系数与初始预测模型中的初始模型参数之间的第一乘积，根据第一乘积以及候选模型参数，确定候选模型参数对应的调整度。
158.具体的，计算机设备可以从更新系数区间中随机挑选目标更新系数，如更新系数区间为(0，1)，目标更新系数可以是更新系数区间(0，1)中的任意一个值，如0.1、0.3或者0.7等，目标更新系数可以又称指数移动平均系数(decay),用于确定候选模型参数对应的调整度。获取目标更新系数与初始预测模型中的初始模型参数之间的第一乘积，根据该第一乘积对候选模型参数进行调整，确定候选模型参数对应的调整度。
159.可选的，计算机设备根据第一乘积以及候选模型参数，确定候选模型参数对应的调整度的具体方式可以包括：根据第一乘积，对候选模型参数进行调整，得到更新候选模型参数，获取更新候选模型参数与候选模型参数之间的参数差值，根据参数差值确定候选模型参数对应的调整度。
160.具体的，计算机设备可以获取目标阈值与目标更新系数之间的差值，获取该目标阈值与目标更新系数之间的差值，与候选模型参数之间的第三乘积，目标阈值可以是指自然数1，也可以是其他阈值。获取第一乘积(即目标更新系数与初始预测模型中初始模型参数之间的乘积)与第三乘积(即目标阈值与目标更新系数之间的差值，与候选模型参数之间的乘积)的和，将第一乘积与第三乘积的和确定为更新候选模型参数。获取候选模型参数与更新候选模型参数之间的参数差值，即候选模型参数与更新候选模型参数之间的变化幅度，根据该参数差值确定候选模型参数对应的调整度。
161.其中，计算机设备得到更新候选模型参数的计算方式可以为如下公式(1)：
[0162][0163]
其中，公式(1)中的是指更新候选模型参数，decay是指指数移动平均系数(即目标随机度系数)，decay的取值区间为(0，1)，是指初始预测模型中的初始模型参数，θa是指候选模型参数。
[0164]
其中，计算机设备获取候选模型参数与更新候选模型参数之间的参数差值的计算方式可以为如下公式(2)：
[0165][0166]
其中，公式(2)中的δθa是指候选模型参数与更新候选模型参数之间的参数差值，abs()用于求绝对值，θa是指候选模型参数，是指更新候选模型参数。
[0167]
可选的，计算机设备根据参数差值确定候选模型参数对应的调整度的具体方式可以包括：从随机度系数区间中随机获取目标随机度系数，获取目标随机度系数与参数差值之间的第二乘积，将第二乘积确定为候选模型参数对应的调整度。
[0168]
具体的，计算机设备可以从随机度系数区间中随机获取目标随机度系数，目标随机度系数可以又称参数不确定度与参数变化量之间的线性系数，该随机度系数区间的取值范围可以为(0， ∞)，目标随机度系数可以是区间为(0， ∞)中的任意一个值，获取目标随机度系数与参数差值之间的第二乘积，即通过目标随机度系数对参数差值进行调整，将第二乘积确定为候选模型参数对应的调整度。
[0169]
其中，计算机设备根据参数差值确定候选模型参数对应的调整度的计算方式可以为如下公式(3)：
[0170]
σ(δθa)＝α
·
δθaꢀꢀ
(3)
[0171]
其中，公式(3)中的σ(δθa)是指调整度，α是指目标随机度系数，δθa是指参数差值。
[0172]
需要说明的是，在获取初始预测模型中模型参数变化的不确定性时，即获取候选模型参数对应的调整度，可以采用除上述方法之外的其他方法，包括但不限于改变目标随机度系数decay，改变目标随机度系数α的值，以及用其他形式的表达式获取调整度σ(δθa)
的值，本技术实施例在此不作限制。
[0173]
s104，根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数。
[0174]
具体的，计算机设备得到候选模型参数以及候选模型参数对应的调整度后，可以根据该候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间。如可以根据调整度对候选模型参数进行调整，得到调整后的候选模型参数，可以根据没有进行调整的候选模型参数与调整后的候选模型参数，确定初始预测模型对应的参数随机采样区间，并从参数随机采样区间中确定初始预测模型对应的目标模型参数，该目标模型参数用于对初始预测模型进行参数更新。
[0175]
s105，根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型；目标预测模型用于为用户预测推荐对象。
[0176]
具体的，计算机设备得到目标模型参数后，可以根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，可以将满足收敛条件的初始预测模型确定为目标预测模型；当参数更新后的初始预测模型不满足收敛条件时，则继续根据参数更新后的初始预测模型，从样本推荐对象中预测用于向被推荐用户进行推荐的目标推荐对象，并根据目标推荐对象对应的用户反馈标签和目标推荐对象对应的预测推荐特征，对参数更新后的初始预测模型进行训练，得到再次进行参数更新后的初始预测模型，直到参数更新后的初始预测模型满足收敛条件时，停止对初始预测模型进行训练。
[0177]
其中，目标模型参数是在根据调整度以及候选模型参数随机生成的参数随机采样区间中，随机挑选得到的，具有随机性，即利用候选模型参数的不确定性来引导生成具有不确定性的目标模型参数，可以增加参数更新后的初始预测模型的随机性，这样参数更新后的初始预测模型可以探索其他类型的推荐对象投放给用户，进而获取更多的训练数据进行模型训练，从而提高目标预测模型的准确率，而不是一味将初始预测模型中的初始模型参数更新为候选模型参数。在参数随机采样区间中随机挑选的目标模型参数不同，根据目标模型参数更新后的初始预测模型在下一轮预测出来的目标推荐对象也是不同的，即参数采样的不确定性会影响初始预测模型的预测结果的不确定性。在对初始预测模型进行训练的过程中，当初始预测模型对应的预测结果逐渐准确时，初始预测模型对应的候选模型参数对应的调整度也会逐渐变小，初始预测模型对应的参数随机采样区间也会逐渐变小，这样，目标模型参数的不确定性也会随之变小，可以使初始预测模型的训练过程是可控的、有目的的、高效的，可以减少探索过程中的资源浪费，以及避免给用户推荐用户不感兴趣的推荐对象，影响用户体验感，从而提高目标预测模型进行对象推荐的预测准确度。
[0178]
其中，本技术可以应用于广告推荐场景，广告推荐场景也是一个探索与利用的应用场景，探索是指随机探索，即随机选择候选广告投放给用户，探索用户对不同广告的喜好，收集更多数据对初始预测模型进行训练，以使得到的目标预测模型能够更准确进行推荐广告预测。利用是指贪婪利用，即利用初始预测模型的预测结果，选择收益期望(收益期望是指对一次广告投放后能产生的收益的数学期望，其值可以等于对该次广告投放点击率的预测值)最大的候选广告投放给用户，以求最大化当前收益。通过初始预测模型来预测特定广告推送给特定用户能够带来的收益期望，当有足够多的样本训练数据来对初始预测模
型进行训练的时候，初始预测模型能够相对准确地预测出候选广告对应的收益期望(如广告点击率，该广告点击率是指频率上等于广告点击数与广告曝光数的比值，概率上可表示广告曝光后被点击的概率)，采用上述贪婪利用法，可以最大化每次推荐的收益。但是在实际的广告推荐场景中，新广告和新用户会源源不断地出现，用户的兴趣也可能产生变化，仅仅采用上述贪婪利用法，会导致初始预测模型对新的《广告，用户》组合的收益期望的预测是不准确的。因此，初始预测模型进行广告推荐时需要考虑进行适当的探索(即随机选择候选广告投放给用户，探索用户对不同广告的喜好)，通过主动投放新广告和不同类型的广告给用户，收集用户的反馈信息，以提供更多的样本训练数据给初始预测模型进行训练，以使初始预测模型收敛在准确的收敛方向上，这样才能更加准确地预测出用户感兴趣的广告。通过本技术，可以将广告池中的所有候选广告分别对应的广告特征与当前用户(即当前需要对其进行广告推荐的用户)对应的用户特征进行组合，得到每个候选广告对应的特征组合《广告特征，用户特征》，将每个候选广告对应的特征组合输入初始预测模型中，通过初始预测模型输出每个候选广告对应的预测推荐概率，基于一定的投放策略(如选取预测推荐概率最大的候选广告)，确定用于向当前用户进行推荐的目标推荐广告，即通过初始预测模型，从广告池中确定当前用户可能感兴趣的目标推荐广告，将目标推荐广告推荐给当前用户。然后计算机设备可以接收到当前用户的用户转化反馈信息，根据该用户转化反馈信息确定目标推荐广告的用户反馈标签，然后将当前用户对应的用户特征、目标推荐广告对应的广告特征以及目标推荐广告对应的用户反馈标签作为样本训练数据，对初始预测模型进行训练，得到初始预测模型对应的候选模型参数(该候选模型参数是根据初始预测模型的输出和输出之间的误差得到)，并获取该候选模型参数对应的调整度(如参数更新的幅度)，根据该调整度以及候选模型参数确定目标模型参数，将初始预测模型中的初始模型参数更新为目标模型参数。该目标模型参数是根据调整度以及候选模型参数随机生成的参数随机采样区间中挑选的，具有随机性，这样，利用候选模型参数的不确定性来引导生成具有不确定性的目标模型参数，可以增加参数更新后的初始预测模型的随机性，这样参数更新后的初始预测模型可以探索其他类型的广告推荐给用户，进而获取更多的训练数据进行模型训练，提高目标预测模型的准确率，而不是一味将初始预测模型中的初始模型参数更新为候选模型参数。如在参数随机采样区间中随机挑选的目标模型参数不同，根据目标模型参数更新后的初始预测模型在下一轮预测出来的目标推荐广告也是不同的，即参数采样的不确定性会影响初始预测模型的预测结果的不确定性。在对初始预测模型进行训练的过程中，当初始预测模型对应的预测结果逐渐准确时，初始预测模型对应的候选模型参数对应的调整度也会逐渐变小，初始预测模型对应的参数随机采样区间也会逐渐变小，这样，目标模型参数的不确定性也会随之变小，可以使初始预测模型的训练过程是可控的、有目的的、高效的，可以减少探索过程中的资源浪费，以及避免给用户推荐用户不感兴趣的广告，影响用户的体验感，从而提高目标预测模型进行广告推荐的预测准确度。
[0179]
具体的，由于广告池中广告的数量以及需要进行广告推荐的用户数量都是巨大的，因此，在预测每个组合《广告，用户》对应的预测收益(如点击率)时，可以根据每个广告对应的广告特征以及用户对应的用户特征进行组合得到的组合特征《广告特征，用户特征》进行预测。其中，用户对应的用户特征可以是指用户的年龄、性别、所在地等，广告对应的广告特征可以是指广告类型、广告对应的商品价格等等。得到每个广告对应的特征组合后，可
以通过特征组合与最终收益(如点击率)之间的函数关系，获取每个广告对应的收益期望(如每个广告对应的点击率)，而深度神经网络就相当于一种通用的函数近似器，可以将每个广告对应的特征组合作为深度神经网络的输入，将最终收益(如每个广告对应的点击率)作为输出，便可以对初始预测模型进行训练，得到用于为用户预测推荐广告的目标预测模型，如图4所示，图4提供了一种基于深度神经网络的初始预测模型的结构图，初始预测模型中具体的结构内容可以参看图4所描述的内容，本技术实施例在此不再累述。例如，当将初始预测模型输出的最终收益确定为广告的点击率时，目标预测模型便可以对每个广告对应的点击率进行预测，即目标预测模型可以为点击率预测模型。在对初始预测模型进行训练的过程中，可以通过初始预测模型对应的输入和输出，确定初始预测模型对应的误差(即损失值)，反向传播误差到初始预测模型中网络的每个节点，并更新每个节点对应的参数，即更新初始预测模型中的初始模型参数。以此对初始预测模型进行训练，直到初始预测模型满足收敛条件，则将满足收敛条件的初始预测模型确定为目标预测模型，收敛条件可以是初始预测模型对应的误差在目标误差阈值范围内，或者初始预测模型对应的训练次数达到目标训练次数等。
[0180]
具体的，如图5所示，图5是本技术实施例提供的一种初始预测模型训练的示意图，如图5所示，样本推荐对象可以为广告，训练模型a、参数平滑模型b以及预测模型c均具有相同的模型参数。计算机设备可以将广告池501(即样本推荐对象集合)中的每个广告对应的广告特征，与用户b502(即被推荐用户)对应的用户特征进行组合，得到每个广告对应的广告特征组合，即广告特征 用户特征503。将每个广告对应的广告特征组合输入预测模型c中，通过预测模型c对每个广告对应的广告特征组合进行特征提取，输出广告池中所有广告对应的点击率列表505，该点击率列表505包含了所有广告对应的点击率(即预测推荐概率)选取点击率列表中点击率最大的广告，作为本轮的目标推荐广告506。将该目标推荐广告506投放给用户b502，并获取用户b502针对目标推荐广告的用户转化反馈信息(如用户是否对目标推荐广告实施点击行为)，根据该用户b502针对目标推荐广告506的用户转化反馈信息生成目标推荐广告506对应的用户反馈标签。如当用户b502点击了目标推荐广告506时，则可以将目标推荐广告506对应的用户反馈标签设置为1，当用户b502没有点击目标推荐广告506时，则可以将目标推荐广告506对应的用户反馈标签设置为0。计算机设备得到目标推荐广告506对应的用户反馈标签后，可以将目标推荐广告506对应的广告特征、目标推荐广告506对应的用户反馈标签以及用户b502对应的用户特征作为一组训练样本507，将样本507输入训练模型a508中。通过训练模型a508对目标推荐广告506对应的广告特征以及用户b502对应的用户特征进行特征提取，得到目标推荐广告506对应的预测推荐特征，并根据该目标推荐广告506对应的预测推荐特征以及目标推荐广告506对应的用户反馈标签，确定训练模型a508对应的损失函数，并根据该损失函数确定训练模型a508对应的损失值。根据该损失值确定训练模型a508对应的调整模型参数(相当于初始预测模型对应的候选模型参数)，根据该调整模型参数对训练模型a508进行参数更新，得到参数更新后的训练模型a。根据参数更新后的训练模型a，以指数移动平均方式更新参数平滑模型b509中的模型参数，得到参数更新后的参数平滑模型b(相当于更新候选模型参数)。获取参数更新后的参数平滑模型b与参数更新后的训练模型a之间的参数差值，根据该参数差值确定参数更新后的训练模型a中的模型参数(即候选模型参数)对应的调整度。根据该调整度以及参数更新后的训
练模型a，确定预测模型c504对应的参数随机采样区间，从参数随机采样区间中确定用于对预测模型c进行更新的目标模型参数，并根据该目标模型参数对预测模型c进行更新，得到参数更新后的预测模型c，当参数更新后的预测模型c满足收敛条件时，则将满足收敛条件的参数更新后的预测模型c确定为目标预测模型，目标预测模型用于为用户预测推荐广告。当参数更新后的预测模型c不满足收敛条件时，则继续上述步骤，对参数更新后的预测模型c进行训练，直到参数更新的预测模型c满足收敛条件。
[0181]
本技术实施例中，通过获取样本推荐对象集合，将样本推荐对象集合中所包含的n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象。根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度，根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数。由于初始预测模型对应的候选模型参数具有不确定性，而且候选模型参数的不确定性与初始预测模型输出的预测结果的不确定性是相关联的，即不同的目标模型参数对初始预测模型进行参数更新后，参数更新后的初始预测模型进行推荐对象预测时，所得到的预测结果是不同的。因此可以根据候选模型参数以及调整度，生成目标模型参数，可以增加目标模型参数的随机性。根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型。用候选模型参数的不确定性引导生成具有不确定性的目标模型参数，这样可以增加目标模型参数的随机性，从而达到有针对性地探索用户可能感兴趣的推荐对象，可以使初始预测模型收敛在准确的收敛方向上，可以提高目标预测模型进行推荐对象预测的准确性。在对初始预测模型进行训练的过程中，当初始预测模型对应的预测结果逐渐准确时，初始预测模型对应的候选模型参数对应的调整度也会逐渐变小，初始预测模型对应的参数随机采样区间也会逐渐变小，这样，目标模型参数的不确定性也会随之变小，可以使初始预测模型的训练过程是可控的、有目的的、高效的，可以减少探索过程中的资源浪费，以及避免给用户推荐用户不感兴趣的推荐对象，影响用户体验感，从而提高目标预测模型进行对象推荐的预测准确度。
[0182]
请参见图6，图6是本技术实施例提供的一种数据处理方法的流程示意图。该数据处理方法可由计算机设备执行，该计算机设备可以为服务器(如上述图1中的服务器10)，或者用户终端(如上述图1的用户终端集群中的任一用户终端)，或者为服务器和用户终端组成的系统，本技术对此不做限定。如图2所示，该数据处理方法可以包括步骤s201-s206。
[0183]
s201，获取样本推荐对象集合。
[0184]
s202，将n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象。
[0185]
s203，根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度。
[0186]
本技术实施例中步骤s201-s203的内容可以参看图3中步骤s101-s103的具体内容，本技术实施例在此不再累述。
[0187]
s204，将候选模型参数确定为参数均值，将调整度确定为标准差，根据参数均值以及标准差，确定与候选模型参数相关联的正态分布，将正态分布确定为初始预测模型对应的参数随机采样区间。
[0188]
具体的，计算机设备得到候选模型参数以及候选模型参数对应的调整度后，可以将候选模型参数确定参数均值，将调整度确定标准差，根据该参数均值以及标准差，生成与候选模型参数相关联的正态分布，将该正态分布确定为初始预测模型对应的参数随机采样区间。其中，也可以采用其他分布来抽样生成初始预测模型对应的参数随机采样区间，如三角分布(即根据候选模型参数和调整度，确定三角分布的上界和下界，根据该三角分布对应的上界和下界生成初始预测模型对应的参数随机采样区间)、反正正弦分布(即将候选模型参数确定为期望，将调整度确定为标准差，确定反正弦分布对应的上界和下界，根据该反正弦分布对应的上界和下界生成初始预测模型对应的参数随机采样区间)等等，可以根据具体需求选择生成初始预测模型对应的参数随机采样区间，本技术实施例在此对生成初始预测模型对应的参数随机采样区间的具体方式不做限制。
[0189]
如图7所示，图7是本技术实施例提供的一种参数随机采样区间的示意图，如图7所示，可以用于正态分布来生成初始预测模型对应的参数随机采样区间，可以将候选模型参数作为正态分布n(μ,σ)中的均值μ，将候选模型参数对应的调整度作为正态分布n(μ,σ)中的标准差σ，生成与候选模型参数相关联的参数随机采样区间，均值μ和标准差σ的取值范围均为正整数。参数随机采样区间的区间大小取决于候选模型参数对应的调整度，当初始预测模型对应的损失值较大时，候选模型参数对应的不确定性越大，对应的调整度越大，因而初始预测模型对应的参数随机采样区间则越大；当初始预测模型对应的损失值较小时，候选模型参数对应的不确定性越小，对应的调整度越小，因而初始预测模型对应的参数随机采样区间越小。如图7中的正态分布1所示，当候选模型参数对应的不确定性越大时(如在初始预测模型训练初期，用于对初始预测模型进行调整的候选模型参数对应的不确定性较大)，候选模型参数对应的调整度越大(可以根据公式(3)得到)，因而初始预测模型对应的参数随机采样区间越大。如图7中的正态分布2所示，当候选模型参数对应的不确定性越小时(如在初始预测模型训练后期，用于对初始预测模型进行调整的候选模型参数对应的不确定性较小)，候选模型参数对应的调整度越小(可以根据公式(3)得到)，因而初始预测模型对应的参数随机采样区间越小。
[0190]
s205，在参数随机采样区间中进行随机采样，得到初始预测模型对应的目标模型参数。
[0191]
具体的，计算机设备确定初始预测模型对应的参数随机采样区间后，可以在参数随机采样区间中进行随机采样，即在初始预测模型对应的参数随机采样区间中随机挑选一个模型参数，作为初始预测模型对应的目标模型参数。由于在对初始预测模型进行训练，确定用于对初始预测模型进行参数更新的候选模型参数是不确定的，若一味的利用初始预测模型输出的预测推荐特征与用户反馈标签之间的损失值，确定用于对初始预测模型进行的候选模型参数后，直接将该候选模型参数确定为目标模型参数，对初始预测模型进行参数更新，会导致最终得到的目标预测模型会反复给用户推荐同类别的推荐对象，而欠缺了对其他类型的推荐对象的探索，从而不能找到用户真正感兴趣的推荐对象，导致目标预测模型对应的预测准确率较低。而本方案通过利用初始预测模型输出的预测推荐特征与用户反
馈标签之间的损失值，确定用于对初始预测模型进行的候选模型参数后，可以根据候选模型参数对应的不确定度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中随机确定用于对初始预测模型进行参数更新的目标模型参数。在确定目标模型参数时，引入了候选模型参数的不确定度(即调整度)，因此根据目标模型参数进行参数更新后的初始预测模型对应的预测结果，也会随候选参数的不确定性和随机采样而改变。随着对初始预测模型进行多轮的训练，初始预测模型与收敛条件的距离也会逐渐减小，即初始预测模型对应的损失值逐渐减小，初始预测模型对应的候选模型参数对应的不确定性(即调整度)也会逐渐变小，即逐渐趋近于0，从而逐渐趋近初始预测模型对应的收敛条件。这样，在随机采样生成目标模型参数后，根据该目标模型参数进行参数更新的初始预测模型在进行预测时，所得到的预测结果也是随机的，因而可以减少反复给用户推荐同类别的推荐对象，可以随机对其他类别的推荐对象进行探索，以更准确的确定用户真正感兴趣的推荐对象，可以提高推荐对象预测的准确性。
[0192]
其中，根据候选模型参数以及候选模型参数对应的调整度，确定初始预测模型对应的参数随机采样区间的计算公式可以为如下公式(4)：
[0193]
θc＝samplem(θa,σ(δθa))
ꢀꢀ
(4)
[0194]
其中，公式(4)中的θc是指目标模型参数，sample(d)是指从数据分布d中进行一次采样，n(θa,σ(δθa))是指以候选模型参数θa为均值，以候选模型参数对应的调整度σ(δθa)为标准差的正态分布。
[0195]
s206，根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型。
[0196]
具体的，计算机设备根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型的具体方式可以包括：根据目标模型参数，对初始预测模型中的模型参数进行参数更新，得到参数更新后的初始预测模型。若参数更新后的初始预测模型对应的调整度为目标调整阈值，则确定参数更新后的初始预测模型满足收敛条件，将满足收敛条件的参数更新后的初始预测模型确定为目标预测模型。
[0197]
具体的，计算机设备确定初始预测模型对应的目标模型参数后，可以根据目标模型参数对初始预测模型中的初始模型参数进行参数更新，得到参数更新后的初始预测模型，如可以将初始预测模型中的初始模型参数替换成目标模型参数，得到参数更新后的初始预测模型。若参数更新后的初始预测模型对应的调整度满足目标调整阈值时，则可以确定参数更新后的初始预测模型满足收敛条件，将满足收敛条件的参数更新后的初始预测模型确定为目标预测模型。目标调整阈值可以是指0、0.06或者0.02等阈值，可以根据具体需求进行设置，本技术实施例在此不作限制。如目标调整阈值为0时，则说明初始预测模型对应的候选模型参数的不确定性为0，即本轮训练确定的候选模型参数与上一轮训练确定的候选模型参数相同，说明初始预测模型对应的损失值为0，初始预测模型中的初始模型参数不需要进行调整。因此当参数更新后的初始预测模型对应的调整度满足目标调整阈值时，则可以确定参数更新后的初始预测模型满足收敛条件。当然，若对初始预测模型对应的精度要求不高时，可以设置目标调整阈值为0.06或者0.02等其他阈值。
[0198]
其中，通过上述对初始预测模型进行训练，得到训练完成的目标预测模型后，可以
将目标预测模型应用在广告推荐应用场景、视频推荐应用场景、文本内容推荐应用场景等场景中。
[0199]
可选的，通过上述对初始预测模型进行训练，得到训练完成的目标预测模型后，计算机设备可以获取目标用户对应的目标用户特征，获取待推荐对象集合中每个待推荐对象分别对应的对象特征，将目标用户特征以及每个待推荐对象分别对应的对象特征输入目标预测模型中，通过目标预测模型输出每个待推荐对象分别对应的推荐概率。根据每个待推荐对象分别对应的推荐概率，从待推荐对象集合中确定用于向目标用户进行推荐的用户推荐对象，将用户推荐对象发送至目标用户所属的目标用户终端，以使目标用户终端输出用户推荐对象。
[0200]
具体的，计算机设备获取目标用户对应的目标用户特征，以及获取待推荐对象集合中每个待推荐对象分别对应的对象特征，目标用户可以是指当前需要进行推荐对象预测的用户，待推荐对象可以是指当前用于向目标用户进行投放的推荐对象。如当前需要从小说库中确定用于向用户c进行推荐的小说，则用户c可以称为目标用户，待推荐对象可以为小说。将目标用户特征以及每个待推荐对象分别对应的对象特征进行组合，即每个待推荐对象对应的对象特征与目标用户特征进行组合，得到每个待推荐对象对应的组合特征，将该每个待推荐对象对应的组合特征输入目标预测模型中，通过目标预测模型输出每个待推荐对象对应的推荐概率。根据每个待推荐对象对应的推荐概率，从待推荐对象集合中确定用于向目标用户进行推荐的用户推荐对象。如可以将推荐概率最大的待推荐对象确定为用户推荐对象，也可以将推荐概率排名(如根据降序的排列顺序对每个待推荐对象对应的推荐概率进行排序，得到推荐概率排名)前三的待推荐对象确定为用户推荐对象，用户推荐对象的数量可以为一个或者多个，可以根据具体需求进行设置，本技术实施例在此不作限制。
[0201]
如图8所示，图8是本技术实施例提供的一种根据目标模型参数对初始预测模型进行参数更新的示意图，如图8所示，计算机设备获得目标推荐对象对应的用户反馈标签80a后，可以根据目标推荐对象对应的预测推荐特征80b，以及目标推荐对象对应的用户反馈标签80a，确定初始预测模型对应的损失函数，并根据该损失函数确定初始预测模型对应的损失值(即初始预测模型对应的预测误差)，根据该初始预测模型对应的损失值，确定初始预测模型对应的候选模型参数80c。根据候选模型参数对应的不确定性(即与初始预测模型中的初始模型参数相比得到的变化幅度)，确定候选模型参数对应的调整度80d，怎样确定候选模型参数对应的调整度的具体内容可以参看图3中步骤s103的内容，本技术实施例在此不再累述。计算机设备得到初始预测模型对应的候选模型参数以及候选模型参数对应的调整度后，可以将候选模型参数作为均值，调整度作为标准差，生成与候选模型参数相关联的正态分布，将该正态分布确定为初始预测模型对应的参数随机采样区间80e，如图8所示，参数随机采样区间中下界c1和下界c2可以是指调整度的负值和正值，该正态分布中的y值可以是指模型参数。得到初始预测模型对应的参数随机采样区间后，可以在该参数随机采样区间的多个模型参数中随机挑选一个模型参数，作为目标模型参数80f。根据目标模型参数对初始预测模型中的初始模型参数进行参数更新，即将初始预测模型中的初始模型参数替换成目标模型参数，得到参数更新后的初始预测模型。
[0202]
如图9所示，图9是本技术实施例提供的一种书籍推荐的应用场景图，如图9所示，待推荐对象可以是指书籍，用户90b可以在用户终端90a中的阅读平台中进行书籍阅读，同
时用户终端可以为用户90b推荐用户90b感兴趣的书籍。当用户90b在用户终端90a中进行书籍阅读，需要用户终端90a中的阅读平台进行书籍推荐时，可以在用户终端90a显示的展示界面90c中点击阅读平台中的书籍推荐按钮，用户终端可以进行界面跳转，显示展示界面90d，告知用户90b当前正在生成推荐书籍。用户终端可以响应用户90b针对书籍推荐按钮的触发操作，获取用户90b对应的用户特征以及书籍库中每个待推荐书籍分别对应的书籍特征，根据用户90b对应的用户特征以及书籍库中每个待推荐书籍分别对应的书籍特征生成针对目标推荐书籍(即推荐给用户90b的推荐书籍)的获取请求，并将该获取请求发送给服务器90e。服务器90e接收到用户终端90a发送的获取请求后，可以将从获取请求中获取用户90b对应的用户特征以及书籍库中每个待推荐书籍分别对应的书籍特征，将用户90b对应的用户特征以及书籍库中每个待推荐书籍分别对应的书籍特征输入预先训练好的目标预测模型90f中，通过目标预测模型90f，输出每个待推荐书籍对应的推荐概率，具体内容可以参看图3中步骤s102所描述的内容，本技术实施例在此不再累述。服务器90e可以根据每个待推荐书籍对应的推荐概率，从书籍库中确定目标推荐书籍，该目标推荐书籍的数量可以为一个或者多个，并将该目标推荐书籍发送给用户终端90a。用户终端90a接收到服务器90e发送的目标推荐后，可以对展示界面90d进行更新，生成展示界面90g，输出目标推荐书籍，即向用户90b显示目标推荐书籍。
[0203]
本技术实施例中，通过获取样本推荐对象集合，将样本推荐对象集合中所包含的n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象。根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度，根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数。由于初始预测模型对应的候选模型参数具有不确定性，而且候选模型参数的不确定性与初始预测模型输出的预测结果的不确定性是相关联的，即不同的目标模型参数对初始预测模型进行参数更新后，参数更新后的初始预测模型进行推荐对象预测时，所得到的预测结果是不同的。因此可以根据候选模型参数以及调整度，生成目标模型参数，可以增加目标模型参数的随机性。根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型。用候选模型参数的不确定性引导生成具有不确定性的目标模型参数，这样可以增加目标模型参数的随机性，从而达到有针对性地探索用户可能感兴趣的推荐对象，可以使初始预测模型收敛在准确的收敛方向上，可以提高目标预测模型进行对象推荐的预测准确性。同时，本技术通过具有随机性的目标模型参数对初始预测模型进行训练，可以使对初始预测模型对应的训练过程更加受控，即有目的性且高效的，可以减少探索(即探索用户感兴趣的推荐对象)过程中的资源浪费，以及减少推荐用户不感兴趣的推荐对象。
[0204]
请参见图10，图10是本技术实施例提供的一种数据处理装置的结构示意图。上述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该数据处理装置为一个应用软件；该数据处理装置可以用于执行本技术实施例提供的数据处理方法中的相应步骤。如图10所示，该数据处理装置可以包括：第一获取模块11、预测模块12、第
一确定模块13、第二确定模块14、参数更新模块15、发送模块16、接收模块17、第二获取模块18、输出模块19以及第三确定模块20。
[0205]
第一获取模块11，用于获取样本推荐对象集合；样本推荐对象集合包括n个候选推荐对象；n为正整数；
[0206]
预测模块12，用于将n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象；n个候选推荐对象包括目标推荐对象；
[0207]
第一确定模块13，用于根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度；调整度具备随机性；
[0208]
第二确定模块14，用于根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数；
[0209]
参数更新模块15，用于根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型；目标预测模型用于为用户预测推荐对象。
[0210]
其中，预测模块12包括：
[0211]
第一获取单元1201，用于获取n个候选推荐对象中每个候选推荐对象分别对应的对象特征以及目标用户对应的用户特征；
[0212]
组合单元1202，用于将n个对象特征分别与用户特征进行组合，得到每个候选推荐对象分别对应的组合特征；
[0213]
输出单元1203，用于将每个候选推荐对象分别对应的组合特征输入初始预测模型中，通过初始预测模型输出每个候选推荐对象分别对应的预测推荐概率；
[0214]
第一确定单元1204，用于将最大的预测推荐概率所对应的候选推荐对象确定为目标推荐对象。
[0215]
其中，输出单元1203包括：
[0216]
特征编码子单元120301，用于将每个候选推荐对象分别对应的组合特征输入初始预测模型中，通过初始预测模型中的嵌入层，对每个候选推荐对象分别对应的组合特征进行特征编码，得到每个候选推荐对象分别对应的嵌入特征向量；
[0217]
拼接处理子单元120302，用于基于初始预测模型中的连接层，对每个候选推荐对象分别对应的嵌入特征向量进行拼接处理，得到拼接特征向量；
[0218]
输出子单元120303，用于将拼接特征向量输入至初始预测模型中的全连接隐藏层，通过全连接隐藏层输出n个候选推荐对象对应的预测推荐特征；
[0219]
分类处理子单元120304，用于基于初始预测模型中的分类器，对n个候选推荐对象对应的预测推荐特征进行分类处理，得到每个候选推荐对象分别对应的预测推荐概率。
[0220]
其中，全连接隐藏层包括第一全连接层、第二全连接层以及激活层；
[0221]
输出子单元120303具体用于：
[0222]
将拼接特征向量输入第一全连接层中，通过第一全连接层对应的权重矩阵，对拼接特征向量进行卷积处理，得到第一推荐特征向量；
[0223]
将第一推荐特征向量输入第二全连接层，通过第二全连接层对应的权重矩阵，对
第一推荐特征向量进行卷积处理，得到第二推荐特征向量；
[0224]
将第二推荐特征向量输入激活层，通过激活层对第二推荐特征向量进行激活处理，得到n个候选推荐对象对应的预测推荐特征。
[0225]
其中，数据处理装置还包括：
[0226]
发送模块16，用于将目标推荐对象发送给用户终端，以使用户终端获取针对目标推荐对象的用户转化反馈信息；
[0227]
接收模块17，用于接收用户终端返回的用户转化反馈信息，根据用户转化反馈信息生成目标推荐对象对应的用户反馈标签。
[0228]
其中，第一确定模块13包括：
[0229]
第二确定单元1301，用于根据用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的损失函数；
[0230]
第三确定单元1302，用于根据损失函数，确定用于对初始预测模型中的初始模型参数进行参数调整的候选模型参数；
[0231]
第四确定单元1303，用于根据候选模型参数和初始预测模型中的初始模型参数，确定候选模型参数对应的调整度。
[0232]
其中，第四确定单元1303包括：
[0233]
选择子单元130301，用于从更新系数区间中随机选择目标更新系数；
[0234]
获取子单元130302，用于获取目标更新系数与初始预测模型中的初始模型参数的第一乘积；
[0235]
确定子单元130303，用于根据第一乘积以及候选模型参数，确定候选模型参数对应的调整度。
[0236]
其中，确定子单元130303具体用于：
[0237]
根据第一乘积，对候选模型参数进行调整，得到更新候选模型参数；
[0238]
获取更新候选模型参数与候选模型参数之间的参数差值；
[0239]
根据参数差值确定候选模型参数对应的调整度。
[0240]
其中，确定子单元130303还具体用于：
[0241]
从随机度系数区间中随机获取目标随机度系数；
[0242]
获取目标随机度系数与参数差值之间的第二乘积，将第二乘积确定为候选模型参数对应的调整度。
[0243]
其中，第二确定模块14包括：
[0244]
第五确定单元1401，用于将候选模型参数确定为参数均值，将调整度确定为标准差，根据参数均值以及标准差，确定与候选模型参数相关联的正态分布，将正态分布确定为初始预测模型对应的参数随机采样区间；
[0245]
随机采样单元1402，用于在参数随机采样区间中进行随机采样，得到初始预测模型对应的目标模型参数。
[0246]
其中，参数更新模块15包括：
[0247]
参数更新单元1501，用于根据目标模型参数，对初始预测模型中的初始模型参数进行参数更新，得到参数更新后的初始预测模型；
[0248]
第六确定单元1502，用于若参数更新后的初始预测模型对应的调整度为目标调整
阈值，则确定参数更新后的初始预测模型满足收敛条件，将满足收敛条件的参数更新后的初始预测模型确定为目标预测模型。
[0249]
其中，数据处理装置还包括：
[0250]
第二获取模块18，用于获取目标用户对应的目标用户特征，获取待推荐对象集合中每个待推荐对象分别对应的对象特征；
[0251]
输出模块19，用于将目标用户特征以及每个待推荐对象分别对应的对象特征输入目标预测模型中，通过目标预测模型输出每个待推荐对象分别对应的推荐概率；
[0252]
第三确定模块20，用于根据每个待推荐对象分别对应的推荐概率，从待推荐对象集合中确定用于向目标用户进行推荐的用户推荐对象，将用户推荐对象发送至目标用户所属的目标用户终端，以使目标用户终端输出用户推荐对象。
[0253]
根据本技术的一个实施例，图3所示的数据处理方法所涉及的步骤可由图10所示的数据处理装置中的各个模块来执行。例如，图3中所示的步骤s101可由图10中的第一获取模块11来执行，图3中所示的步骤s102可由图10中的预测模块12来执行，图3中所示的步骤s103可由图10中的第一确定模块13来执行，图3中所示的步骤s104可由图10中的第二确定模块14来执行，图3中所示的步骤s105可由图10中的参数更新模块15来执行等等。
[0254]
根据本技术的一个实施例，图10所示的数据处理装置中的各个模块可以分别或全部合并为一个或若干个单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个子单元，可以实现同样的操作，而不影响本技术的实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由多个单元来实现，或者多个模块的功能由一个单元实现。在本技术的其它实施例中，测试装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0255]
本技术实施例中，通过获取样本推荐对象集合，将样本推荐对象集合中所包含的n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象。根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度，根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数。由于初始预测模型对应的候选模型参数具有不确定性，而且候选模型参数的不确定性与初始预测模型输出的预测结果的不确定性是相关联的，即不同的目标模型参数对初始预测模型进行参数更新后，参数更新后的初始预测模型进行推荐对象预测时，所得到的预测结果是不同的。因此可以根据候选模型参数以及调整度，生成目标模型参数，可以增加目标模型参数的随机性。根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型。用候选模型参数的不确定性引导生成具有不确定性的目标模型参数，这样可以增加目标模型参数的随机性，从而达到有针对性地探索用户可能感兴趣的推荐对象，可以使初始预测模型收敛在准确的收敛方向上，可以提高目标预测模型进行对象推荐的预测准确性。同时，本技术通过具有随机性的目标模型参数对初始预测模型进行训练，可以使对初始预测模型对应的训练过程更加受控，即有目的性且高效的，可以减少探索(即探索用户感兴趣的推荐对象)过程中的资源浪费，以及减少向用户推荐不感兴趣的推荐
对象。在对初始预测模型进行训练的过程中，当初始预测模型对应的预测结果逐渐准确时，初始预测模型对应的候选模型参数对应的调整度也会逐渐变小，初始预测模型对应的参数随机采样区间也会逐渐变小，这样，目标模型参数的不确定性也会随之变小，可以使初始预测模型的训练过程是可控的、有目的的、高效的，可以减少探索过程中的资源浪费，以及避免给用户推荐用户不感兴趣的推荐对象，影响用户体验感，从而提高目标预测模型进行对象推荐的预测准确度。
[0256]
请参见图11，图11是本技术实施例提供的一种计算机设备的结构示意图。如图11所示，上述计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：目标用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，目标用户接口1003可以包括显示屏(display)、键盘(keyboard)，可选目标用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、目标用户接口模块以及设备控制应用程序。
[0257]
在图11所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而目标用户接口1003主要用于为目标用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
[0258]
获取样本推荐对象集合；样本推荐对象集合包括n个候选推荐对象，n为正整数；
[0259]
将n个候选推荐对象中每个候选推荐对象分别对应的对象特征，以及被推荐用户对应的用户特征输入初始预测模型中，通过初始预测模型预测用于向被推荐用户进行推荐的目标推荐对象；n个候选推荐对象包括目标推荐对象；
[0260]
根据目标推荐对象对应的用户反馈标签以及目标推荐对象对应的预测推荐特征，确定初始预测模型对应的候选模型参数以及候选模型参数对应的调整度；调整度具备随机性；
[0261]
根据候选模型参数以及调整度，确定初始预测模型对应的参数随机采样区间，从参数随机采样区间中确定初始预测模型对应的目标模型参数；
[0262]
根据目标模型参数，对初始预测模型进行参数更新，当参数更新后的初始预测模型满足收敛条件时，将满足收敛条件的初始预测模型确定为目标预测模型；目标预测模型用于为用户预测推荐对象。
[0263]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备可执行前文图3或者图6所对应实施例中对数据处理方法的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
[0264]
作为示例，上述程序指令可被部署在一个计算机设备上执行，或者被部署位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块
链网络。
[0265]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁盘、光盘、只读存储器(read-only memory，rom)或随机存储器(random access memory，ram)等。
[0266]
以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。