一种基于人体姿态识别的个性化推荐服务系统的制作方法

1.本发明涉及个性化推荐领域，具体涉及一种基于人体姿态识别的个性化推荐服务系统。


背景技术：

2.人体姿态是人体重要的生物特征之一，有很多的应用场景，如：步态分析、视频监控、增强现实、人机交互、金融、移动支付、娱乐和游戏、体育科学等。姿态识别能让计算机知道人在做什么、识别出这个人是谁。而个性化推荐系统是互联网和电子商务发展的产物，它是建立在海量数据挖掘基础上的一种高级商务智能平台，向顾客提供个性化的信息服务和决策支持。近年来已经出现了许多非常成功的大型推荐系统实例，与此同时，个性化推荐系统也逐渐成为学术界的研究热点之一。
3.近年来，人类表演、直播等产业日趋成熟，为观看者提供表演或直播视频的个性化推荐服务逐渐成为业界和学术界的研究热点。然而，现有的个性化推荐算法均采取直接从提取图像特征和以及从用户记录中提取特征的方式来完成推荐任务。这些方法并没有考虑到视频中的人体姿态所带来的丰富语义。即，目前暂时缺乏利用人体姿态识别技术完成个人性化推荐的推荐系统。


技术实现要素：

4.针对上述问题，本发明的目的是通过挖掘用户历史观看视频，借助深度学习方法对视频进行人体姿态估计，使用人体姿态结果获取用户偏好；使用深度学习方式对商品抽取特征；通过匹配用户偏好和商品特征，完成对商品的推荐兴趣排序，从而提高推荐精度，较好的发掘用户历史浏览信息中的人体姿态语义信息。
5.为实现上述目的，本发明提供一种基于人体姿态识别的个性化推荐服务系统，包括以下步骤：
6.(1)、提取用户的浏览记录，使用算法获取含有人体表演的视频；
7.(2)、通过时序信息预测视频中人体的3d关节点；
8.(3)、将多个视频中的3d关节点编码为同一个用户偏好特征向量，同时，获取商品信息，使用深度学习方法将商品信息编码为特征向量；
9.(4)、使用图神经网络的特征交互算法交互商品特征向量，获取更有表征力的特征；
10.(5)、计算用户偏好特征向量和商品特征向量相似度，排序并推荐。
11.进一步的，所述步骤(1)中，为获取人体表演的视频，对用户浏览数据进行分类识别；具体来说，获得用户浏览数据库字段后，使用文本分类网络，获得该浏览记录浏览内容是否为视频，若是，判断该内容是否为人体表演视频。
12.进一步的，所述步骤(2)中，由获得的人体表演视频中预测人体的3d关节点；预测方式为：使用图像特征提取骨干网络和3d卷积获取时序图像特征图，将特征图编码为关节
点热图，从热图中直接预测3d关节点坐标x,y,z，所预测人体3d关节点数量最少为18个。
13.进一步的，所述步骤(3)中，编码用户偏好特征向量，对于每个人体，将其关节点坐标输入全连接网络，编码为长度为c的特征向量；对于所有的n个人体，将得到n个长度为c的特征向量，对n个特征向量，使用注意力机制加权的方式，聚合为一个长度为c的用户偏好特征向量。
14.进一步的，所述步骤(3)中，编码商品特征向量，对于每个商品，记录其所有特征，该特征使用文本描述；使用深度神经网络将其编码为商品特征向量；
15.具体编码方式为：对所有文本进行编码，文本编码模型采用bert或其他编码模型均可，得到长度为c的特征向量；对于所有的n个文本，将得到n个长度为c的特征向量，对n个特征向量，使用注意力机制加权的方式，聚合为一个长度为c的商品特征向量。
16.进一步的，所述步骤(4)中，将用户偏好特征向量和所有商品特征向量使用图神经网络进行深层次特征抽取，使得所有特征向量更加具有表征能力。
17.进一步的，所述步骤(5)中，计算用户偏好特征向量和所有商品特征向量之间的余弦相似度，该相似度值越大，代表该商品更应该被推荐，使用该相似度对所有商品进行排序，得到商品推荐顺序。
18.本发明的技术效果和优点：
19.1、本发明使用视频中提取的人体姿态数据来完成推荐任务，能够十分巧妙的利用人体姿态所反应的丰富语义信息，该类推荐方式能够更好的适用于推荐表演型商品。
20.2、本发明将人体姿态信息和商品信息都编码到同一特征空间向量，能够显著降低用户浏览数据和商品描述文本之间的差异，从而提高推荐精度。
21.3、本发明使用注意力加权方法从庞杂的用户浏览记录中获取用户偏好和商品特征向量，能够有效地减小信息冗余，使得推荐算法更加精准。
附图说明
22.图1是本技术实施例提供的一种基于人体姿态识别的个性化推荐服务系统的流程图。
具体实施方式
23.下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
24.实施例
25.请参阅图1，在本实施例中提供一种基于人体姿态识别的个性化推荐服务系统，包括以下步骤：
26.(1)、提取用户的浏览记录，使用算法获取含有人体表演的视频；为获取人体表演的视频，对用户浏览数据进行分类识别；
27.具体来说，获得用户浏览数据库字段后，使用文本分类网络，获得该浏览记录浏览
内容是否为视频，若是，判断该内容是否为人体表演视频。
28.(2)、通过时序信息预测视频中人体的3d关节点；由获得的人体表演视频中预测人体的3d关节点；
29.预测方式为：使用图像特征提取骨干网络和3d卷积获取时序图像特征图，将特征图编码为关节点热图，从热图中直接预测3d关节点坐标x,y,z，所预测人体3d关节点数量最少为18个，可使用blazepose获取人体3d关节点，其中，图像特征提取骨干网络包括但不局限于resnet，可以用resnet，vgg，mobilenet；
30.(3)、将多个视频中的3d关节点编码为同一个用户偏好特征向量，同时，获取商品信息，使用深度学习方法将商品信息编码为特征向量；
31.编码用户偏好特征向量：对于每个人体，将其关节点坐标输入全连接网络，编码为长度为c的特征向量；对于所有的n个人体，将得到n个长度为c的特征向量，对n个特征向量，使用注意力机制加权的方式，聚合为一个长度为c的用户偏好特征向量。
32.编码商品特征向量，对于每个商品，记录其所有特征，该特征使用文本描述；使用深度神经网络将其编码为商品特征向量；
33.具体编码方式为：对所有文本进行编码，得到长度为c的特征向量；对于所有的n个文本，将得到n个长度为c的特征向量，对n个特征向量，使用注意力机制加权的方式，聚合为一个长度为c的商品特征向量，文本编码模型采用bert或其他编码模型均可。
34.(4)、使用图神经网络的特征交互算法交互商品特征向量，获取更有表征力的特征；将用户偏好特征向量和所有商品特征向量使用图神经网络进行深层次特征抽取，使得所有特征向量更加具有表征能力。
35.(5)、计算用户偏好特征向量和商品特征向量相似度，排序并推荐；计算用户偏好特征向量和所有商品特征向量之间的余弦相似度，该相似度值越大，代表该商品更应该被推荐，使用该相似度对所有商品进行排序，得到商品推荐顺序。
36.以下为使用上述个性化推荐服务系统的应用事例。
37.应用案例1：
38.用户输入：用户室内跳舞视频。
39.待推荐商品：包括但不限于多个沙发、茶几、水杯等若干家具类物体，该家具特指美术手工制作的家具cad模型。
40.待推荐商品文本描述：家具的尺寸、颜色、类别、风格等各种文本信息。
41.使用方式：
42.(1)用户室内跳舞视频为上图所示用户浏览记录，将其输入人体识别网络预测3d关节点，将一个视频的用户关节点使用用户偏好特征向量。
43.(2)将所有家具的描述文本，使用商品特征编码网络编码，对每个家具获得一个商品特征向量。
44.(3)使用特征交互网络交互前两步得到的特征向量。
45.(4)计算用户偏好特征向量和其他特征向量直接的余弦相似度，获得推荐顺序。
46.应用效果：得到推荐顺序后，可取推荐度最高的家具，使用增强现实技术或其他技术，将该家具添加到跳舞的虚拟场景中，该家具的特点和所跳舞蹈所表达氛围之间将会十分契合。
47.应用案例2:
48.用户输入：男性用户室外抖音视频。
49.待推荐商品：若干量豪车，该家具特指美术手工制作的豪车cad模型。
50.待推荐商品文本描述：豪车的品牌、尺寸、颜色、类别、风格、内饰、价格等各种文本信息。
51.使用方式:同案例1；
52.应用效果：得到推荐顺序后，可取推荐度最高的豪车，使用增强现实技术或其他技术，将该豪车添加到男性视频中，所推荐豪车将会符合视频中男性的行为气质。
53.显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。本发明中未具体描述和解释说明的结构、装置以及操作方法，如无特别说明和限定，均按照本领域的常规手段进行实施。