一种基于深度学习的推荐算法库的制作方法

技术特征：
1.一种基于深度学习的推荐算法库，其特征在于：包括推荐系统算法包deeprs，所述推荐系统算法包deeprs包括框架层、抽象层和算法层三层架构，所述框架层采用tensorflow开源框架，所述tensorflow开源框架为上层服务提供自动微分、张量计算、gpu计算以及数值优化算法多个接口；所述抽象层利用框架层中提供的多个接口实现嵌入层、全连接层、多层感知机层、预测层、因子分解机层、注意力网络层、交叉层、交叉网络层多个接口；所述算法层基于抽象层和框架层实现dcn算法、deepfm算法、nfm算法和afm算法四个深度学习推荐系统算法。2.根据权利要求1所述的一种基于深度学习的推荐算法库，其特征在于：所述tensorflow开源框架基于数据流图进行数值计算，所述数据流图将各个节点分配到不同的计算设备上完成异步并行计算；所述tensorflow开源框架的核心组件由分发式中心、数据流执行器、内核实现以及最底端的设备层和网络层组成。3.根据权利要求2所述的一种基于深度学习的推荐算法库，其特征在于：所述tensorflow开源框架的运行过程如下：a1：所述分发式中心从输入的数据流图中提取子图，将其划分为操作片段并启动数据流执行器；a2：所述分发式中心处理数据流图时会预先进行设定好的优化操作，包括消去公共子表达式和常量折叠的优化方式；a3：所述数据流执行器负责操作图在设备和进程中运行，收发其它所述数据流执行器的结果；所述数据流执行器在调度本地设备时会优先选择并行计算和gpu计算加速；a4：所述内核实现负责单一图操作，包括数学基础运算、数组操作、控制流操作和状态管理操作；所述内核实现使用内部引擎执行张量的并行计算、gpu加速和低精度数值计算；a5：所述网络层为上层提供rpc和rdma通信接口；设备层控制底层设备的处理，使其对上层提供统一的设备管理接口。4.根据权利要求1所述的一种基于深度学习的推荐算法库，其特征在于：所述抽象层包括了嵌入层、全连接层、多层感知机层、预测层、因子分解机层、注意力网络层、交叉层和交叉网络层；所述嵌入层将经过one
‑
hot编码的高维稀疏的特征向量进行处理，保证深度推荐模型可以找到最优值；所述全连接层作为深度推荐模型的基石和学习输入中的表示，所述全连接层用于将深度推荐模型学到的“分布式特征表示”映射到样本标记空间；所述多层感知机层是由多个全连接层组成的网络，用于将深度推荐模型学习过程中属于复杂输入的视频和图像进行抽象表示；所述预测层用于将最后一层的输入数据进行一个函数变换；所述因子分解层用于在推荐系统中自动学习特征交互功能，解决大规模稀疏数据下的特征组合问题；所述注意力网络层用于在推荐系统中给与不同特征组合赋予不同的权重，在推荐系统中识别不同特征交互的重要性；所述交叉层用于学习交叉特征，所述交叉网络层是由多层交叉层组成的网络，用于高效的学习显式交叉特征。
5.根据权利要求4所述的一种基于深度学习的推荐算法库，其特征在于：所述嵌入层的表达式为：需要估计的参数为m∈r
m
×
n
(n＜＜m)，其中，x∈r
m
表示类别特征one
‑
hot编码后的向量，x
t
m∈r
n
表示该类别特征经过映射后的嵌入向量，m表示类别特征的总数，n表示嵌入向量空间的大小；所述全连接层的表达式为：a
(l 1)
＝f(w
(l)
a
(l)
b
(l)
)需要估计的参数有w
l
∈r
n
×
m
，b
(l)
∈r
n
×1，其中，l表示第l层全连接层，f是激活函数，w
(l)
和b
(l)
分别被称为第l层权重矩阵和偏置，a
(l)
表示第l层的输入，m和n分别表示第l层的神经元数量、第l 1层的神经元数量；所述多层感知机层的表达式为：a1＝xa
(2)
＝f(w
(1)
a
(1)
b
(1)
)........a
(l
‑
1)
＝f(w
(l
‑
2)
a
(l
‑
2)
b
(l
‑
2)
)y
mlp
(x)＝f(w
(l
‑
1)
a
(l
‑
1)
b
(l
‑
1)
)其中，l是多层感知机层的深度，f是激活函数，w
(l)
和b
(l)
分别被称为第l层权重矩阵和偏置，a
(l)
和a
(l 1)
分别表示第l层的输入和输出；多层感知机层的输入为x，输出为y
mlp
(x)，输出维度由多层感知机层中最后一层的隐藏单元数量决定；所述预测层的表达式为：y
predict
(x)＝f(x b)；其中，x,b∈r
n
分别表示输入和偏置参数，f表示变换函数；所述因子分解机层表达式为：式中需要估计的参数是w0∈r，w∈r
n
，v∈r
n
×
k
，其中，<v
i
，v
j
>表示两个长度为k的向量的点积，w
i
反应一阶特征的重要性，v表示嵌入向量集；所述注意力网络层的表达式为：d
i,j
＝h
t
relu(w(v
i
⊙
v
j
) b)需要估计的参数是w∈r
t
×
k
,b∈r
t
×1,h∈r
t
×1；其中，t表示注意力网络层中隐藏单元的数量，通常被称为注意力因子，k表示输入向量的长度；所述交叉层的表达式为：x
l 1
＝f(x
l
,x0)＝x0x
lt
w
l
b
l
x
l
其中，x0∈r
d
，x
l
,x
l 1
∈r
d
分别表示第l层的输入和输出向量，w
l
,b
l
∈r
d
分别表示第l层的权重和偏置参数，f表示拟合一个x
l 1
‑
x
l
残差的映射函数；所述交叉网络层的表达式为：
其中，x0,x1,...,x
l 1
∈r
d
，x
l
列向量表示第l交叉层的输入，而x
l 1
表示第l交叉层的输出；w
l
，b
l
∈r
d
表示第l交叉层的权重参数和偏置参数，均可以通过训练得到。6.根据权利要求1所述的一种基于深度学习的推荐算法库，其特征在于：所述afm算法、nfm算法和deepfm算法均属于可以学习任何实值特征向量的通用机器学习器，所述nfm算法用于学习推荐场景中稀疏数据之间的高低阶交互，所述deepfm算法用于学习推荐场景中稀疏数据之间的低阶交互和非线性表示。

技术总结
本发明公开了一种基于深度学习的推荐算法库，属于推荐系统技术领域。一种基于深度学习的推荐算法库，包括推荐系统算法包DeepRS，所述推荐系统算法包DeepRS包括框架层、抽象层和算法层三层架构，所述框架层采用Tensorflow开源框架，所述Tensorflow开源框架为上层服务提供自动微分、张量计算、GPU计算以及数值优化算法多个接口；本发明中的推荐系统算法包DeepRS是一种开源的、易扩展的算法包，丰富了推荐系统算法工具箱，填补了基于深度学习的推荐系统算法包缺口，使基于深度学习的推荐模型结果再现更容易，降低开发基于深度学习的推荐模型的门槛，同时又提高了实用性。同时又提高了实用性。同时又提高了实用性。


技术研发人员：陶红伟 袁书泽 胡英辉 张秋闻 王晓 马江涛
受保护的技术使用者：郑州轻工业大学
技术研发日：2021.07.30
技术公布日：2021/11/2