一种商品推荐方法、装置、终端设备和存储介质与流程

1.本发明涉及通信技术领域，特别是涉及一种商品推荐方法、装置、终端设备和存储介质。


背景技术：

2.随着互联网技术不断发展，网络直播以新颖的形式、丰富的内容吸引了越来越多的观看用户，直播带货成为了线上一种新兴的销售模式，随着观看用户规模迅速增长，在一场直播中通常带货商品会有很多个，例如50-100个左右，主播通常只能在留言去来获取观看用户感兴趣的商品，且无法实时的获取到观看用户对直播中的各个商品的反馈情况，从而无法实时根据观看用户的反馈来进行直播调整。


技术实现要素：

3.鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种商品推荐方法、装置、终端设备和存储介质。
4.第一个方面，本发明实施例提供一种商品推荐方法，所述方法包括：
5.获取收看直播的目标用户的人脸图像；
6.根据预先训练好的情绪识别模型，确定所述人脸图像对应的情绪特征；
7.根据预先建立的商品信息和情绪特征的对应关系，确定与所述情绪特征对应的商品信息；其中，所述商品信息和情绪特征的对应关系与收看直播的目标用户相对应；
8.根据所述情绪特征的类型，将与所述情绪特征对应的所述商品信息推荐给收看直播的目标用户。
9.可选地，所述预先建立的商品信息和情绪特征的对应关系通过如下方式获得：
10.在预设时刻，获取直播的第一商品信息、所述预设时刻的收看直播的用户信息，以及获取与所述用户信息对应的第一人脸图像；
11.将所述第一人脸图像输入到预先训练好的情绪识别模型，得到与所述第一人脸图像对应的第一情绪特征；
12.根据预设时刻的第一商品信息和第一情绪特征，确定与所述用户信息对应的所述商品信息和情绪特征的对应关系。
13.可选地，所述根据所述情绪特征的类型，将与所述情绪特征对应的所述商品信息推荐给收看直播的目标用户，包括：
14.若目标用户的所述情绪特征的类型与预设情绪特征相匹配，则将与所述情绪特征对应的商品信息发送至与所述情绪特征对应的收看直播的目标用户。
15.可选地，所述预先训练好的情绪识别模型是通过采用情绪样本数据对神经网络分类模型进行训练得到的。
16.第二个方面，本发明实施例提供一种商品推荐装置，所述装置包括：
17.获取模块，用于获取收看直播的目标用户的人脸图像；
18.识别模块，用于根据预先训练好的情绪识别模型，确定所述人脸图像对应的情绪特征；
19.查找模块，用于根据预先建立的商品信息和情绪特征的对应关系，确定与所述情绪特征对应的商品信息；其中，所述商品信息和情绪特征的对应关系与收看直播的目标用户相对应；
20.推荐模块，用于根据所述情绪特征的类型，将与所述情绪特征对应的所述商品信息推荐给收看直播用户。
21.可选地，所述装置还包括建立模块，所述建立模块用于：
22.在预设时刻，获取直播的第一商品信息、所述预设时刻的收看直播的用户信息，以及获取与所述用户信息对应的第一人脸图像；
23.将所述第一人脸图像输入到预先训练好的情绪识别模型，得到与所述第一人脸图像对应的第一情绪特征；
24.根据预设时刻的第一商品信息和第一情绪特征，确定与所述用户信息对应的所述商品信息和情绪特征的对应关系。
25.可选地，所述推荐模块用于：
26.若目标用户的所述情绪特征的类型与预设情绪特征相匹配，则将与所述情绪特征对应的商品信息发送至与所述情绪特征对应的收看直播的目标用户。
27.可选地，所述预先训练好的情绪识别模型是通过采用情绪样本数据对神经网络分类模型进行训练得到的。
28.第三个方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；
29.所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的商品推荐方法。
30.第四个方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的商品推荐方法。
31.本发明实施例包括以下优点：
32.本发明实施例提供的商品推荐方法、装置、终端设备和存储介质，通过获取收看直播的目标用户的人脸图像；根据预先训练好的情绪识别模型，确定人脸图像对应的情绪特征；根据预先建立的商品信息和情绪特征的对应关系，确定与情绪特征对应的商品信息；其中，商品信息和情绪特征的对应关系与收看直播的目标用户相对应；根据情绪特征的类型，将与情绪特征对应的商品信息推荐给收看直播的目标用户，通过本发明实施例获取收看直播用户的情绪特征，确定与该用户情绪特征对应的商品信息，进而将直播中的确定好的商品信息推荐给该收看直播用户，这样，可以根据用户不同的情绪特征来推荐不同的商品，从而实现根据用户的喜好来进行直播调整。
附图说明
33.图1是本发明的一种商品推荐方法实施例的步骤流程图；
34.图2是本发明的另一种商品推荐方法实施例的步骤流程图；
35.图3是本发明的商品推荐场景的示意图；
36.图4是本发明的又一种商品推荐方法实施例的步骤流程图；
37.图5是本发明的一种商品推荐装置实施例的结构框图；
38.图6是本发明的一种终端设备的结构示意图。
具体实施方式
39.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
40.本发明一实施例提供一种商品推荐方法，用于在直播过程中根据不同用户进行不同商品推荐。本实施例的执行主体为商品推荐装置，设置在终端设备上，其中，终端设备可以为平板电脑和手机终端等。
41.参照图1，示出了本发明的一种商品推荐方法实施例的步骤流程图，该方法具体可以包括如下步骤：
42.s101、获取收看直播的目标用户的人脸图像；
43.具体地，随着互联网技术的不断发展，直播带货的方式也逐渐走进人们的生活，主播在进行直播带货时，收看直播的用户可以采用手机或平板进行收看，在手机或平板上安装有摄像头，则在直播过程中，通过手机上的摄像头采集收看直播用户的人脸图像，然后将该人脸图像发送至主播终端上。
44.s102、根据预先训练好的情绪识别模型，确定人脸图像对应的情绪特征；
45.具体地，主播终端上预先训练好的情绪识别模型，当接收到收看终端发送的人脸图像时，采用预先训练好的情绪识别模型对人脸图像进行识别，得到每个人脸图像中的情绪特征，例如，识别出收看直播的用户的情绪为高兴、悲伤等。
46.s103、根据预先建立的商品信息和情绪特征的对应关系，确定与情绪特征对应的商品信息；其中，商品信息和情绪特征的对应关系与收看直播的目标用户相对应；
47.具体地，直播终端上存储有与某一个收看用户对应的商品信息和情绪特征的对应关系，从而，当直播终端在获取到收看直播用户的情绪特征后，根据对应关系，获取到与情绪特征对应的商品信息，其中，商品信息包括商品名称、商品种类和商品话术等。
48.s104、根据情绪特征的类型，将与情绪特征对应的商品信息推荐给收看直播的目标用户。
49.具体地，直播终端判断情绪特征的类型，例如，若情绪特征为高兴，则与高兴对应的商品信息为商品a,这时，直播终端会将商品a的商品信息发送至收看直播的目标用户。
50.示例性地，在一场直播中，主播可能会直播多个商品，例如50-100个，从直播开始，直播终端就会实时获取收看直播的用户的情绪特征，例如在10:00时，直播的商品为口红，用户a的情绪特征为高兴，说明用户a是对应口红感兴趣的，在10：04时，直播的商品为电脑，用户a的情绪特征为麻木，说明用户a对电脑是不感兴趣的，因此，在直播终端上建立用户a的情绪特征和商品信息的对应关系，在后续的直播过程中，主播会将各种品牌的口红推荐给用户a，如果是电脑，则不向用户a推荐。
51.本发明实施例提供的商品推荐方法，通过获取收看直播的目标用户的人脸图像；根据预先训练好的情绪识别模型，确定人脸图像对应的情绪特征；根据预先建立的商品信息和情绪特征的对应关系，确定与情绪特征对应的商品信息；其中，商品信息和情绪特征的对应关系与收看直播的目标用户相对应；根据情绪特征的类型，将与情绪特征对应的商品
信息推荐给收看直播的目标用户，通过本发明实施例获取收看直播用户的情绪特征，确定与该用户情绪特征对应的商品信息，进而将直播中的确定好的商品信息推荐给该收看直播用户，这样，可以根据用户不同的情绪特征来推荐不同的商品，从而实现根据用户的喜好来进行直播调整。
52.本发明又一实施例对上述实施例提供的商品推荐方法做进一步补充说明。
53.如图2所示，示出了本发明的另一种商品推荐方法实施例的步骤流程图，该商品推荐方法包括：
54.s201、在预设时刻，获取直播的第一商品信息、预设时刻的收看直播的用户信息，以及获取与用户信息对应的第一人脸图像；
55.具体地，在直播终端上，主播开始进行多个商品的直播时，直播终端会记录每个时刻在直播的商品信息，例如，在预设时刻，获取直播过程中的第一商品信息、收看直播的用户信息，并获取该预设时刻的该用户的第一人脸图像，其中，用户信息至少包括用户名称，用户ip地址等，第一直播信息至少包括商品名称、话术等。
56.示例性地，在10：00时，主播在直播终端上直播的商品为商品a，获取用户a的第一人脸图像。
57.s202、将第一人脸图像输入到预先训练好的情绪识别模型，得到与第一人脸图像对应的第一情绪特征；
58.其中，直播终端预先获取大量的情绪样本数据，然后对神经网络分类模型进行训练，得到情绪识别模型，其中，神经网络分类模型可以是tensorflow分类模型，也可以是其他分类模型，在本发明实施例中不做具体限定。
59.直播终端将获取到的第一人脸图像输入到预先训练好的情绪识别模型中，得到与第一人脸图像对应的第一情绪特征，也就是说，在10:00时，对第一人脸图像进行识别，得到用户a在10:00的情绪特征为高兴。
60.s203、根据预设时刻的第一商品信息和第一情绪特征，确定与用户信息对应的商品信息和情绪特征的对应关系。
61.具体地，直播终端获取到某一个收看直播用户的预设时间与直播商品信息的对应关系，还获取到预设时间与用户的情绪特征，在预设时刻，确定直播商品信息和用户的情绪特征的对应关系。
62.示例性地，在10：00，用户a对应的商品信息和用户的情绪特征的对应关系是，商品a与高兴对应；
63.在如，在10：05,用户a对应的商品信息和用户的情绪特征的对应关系是，商品b与麻木对应；这样，将一段时间内的，对于一个用户，建立每个商品和用户的情绪特征的对应关系。
64.s204、获取收看直播的目标用户的人脸图像；
65.具体地，在具体的直播过程中，需要向获取到收看直播的目标用户的人脸图像；根据目标用户的人脸图像的情绪特征来调整直播内容。
66.s205、根据预先训练好的情绪识别模型，确定人脸图像对应的情绪特征；
67.在本发明实施例中，直播终端将目标用户的人脸图像输入到预先训练好的情绪识别模型中，从而识别出与人脸图像对应的情绪特征，例如，可以识别出用户的情绪是开心、
高兴或者悲伤等。
68.s206、根据预先建立的商品信息和情绪特征的对应关系，确定与情绪特征对应的商品信息；其中，商品信息和情绪特征的对应关系与收看直播的目标用户相对应；
69.在本发明实施例中，直播终端根据建立好的商品信息和情绪特征的对应关系，也就是在直播过程的一段时间内根据用户的情绪来确定用户感兴趣的商品信息，从而在后续的直播过程中，可以根据用户的情绪特征进行直播商品的调整，将用户感兴趣的商品多推荐给用户。
70.s207、若目标用户的情绪特征的类型与预设情绪特征相匹配，则将与情绪特征对应的商品信息发送至与情绪特征对应的收看直播的目标用户。
71.在本发明实施例中，直播终端在获取到目标用户的情绪特征后，判断该情绪特征是高兴或是麻木，其中，预设情绪特征可以分为两种，一种感兴趣的情绪类型，例如高兴、开心，另一种是不感兴趣的情绪类型，例如麻木、悲伤等，当目标用户的情绪特征是第一种感兴趣的情绪类型，例如目标用户的情绪特征是高兴，则将与高兴对应的商品信息推送给目标用户，若目标用户的情绪特征是悲伤，则不向目标用户推送与悲伤对应的商品信息，只推送用户感兴趣的商品信息。
72.示例性性，对于用户b，与高兴对应的商品信息为化妆品，与悲伤对应的商品信息为电脑，则在直播的过程中，主播会更多的直播与化妆品相关的商品信息，而减少与电脑相关的商品信息。
73.图3是本发明的商品推荐场景的示意图，如图3所示，本发明实施例可以将直播过程中用户的情绪进行识别，进而分析出用户的喜好，得到直播带货的用户画像，实现精准营销。本发明实施例中通过用户观看直播时视频画面的表情的识别，实现建模和机器学习，进而实现用户兴趣的探测。
74.本发明实施例提供的商品推荐方法包括：
75.1.在直播过程中，主播通过话术、商品等信息与观众交互。
76.2.通过观众端的摄像头获取收看直播用户的人脸图像，并捕捉观众的表情。
77.3.直播终端通过情绪识别模型对收看直播用户端的人脸图像进行表情分析，如麻木、高兴、悲伤、无聊等等。
78.4.直播终端通过内容匹配模块将商品及话术与用户观看表情即情绪特征进行匹配，进而完成用户画像，也就是根据用户的情绪特征来确定用户喜好的商品，并将用户喜好的商品进行推荐。
79.图4是本发明的又一种商品推荐方法实施例的步骤流程图，本发明实施例中包含摄像头信息采集、情绪分析、内容匹配等几个部分组成。
80.1.摄像头信息采集模块：
81.摄像头信息采集模块主要依托于智能手机的前置摄像头，通过对观众画面的分析，获取人脸的实时数据，供情绪识别模型分析使用。
82.2.情绪识别装置：
83.1)情绪识别装置通过机器学习算法将人脸信息进行分类。例如：麻木、开心、愤怒、无聊、鄙视、不屑、专注等等。
84.2)情绪识别模块将采集到的视频数据以时间线形式打上情绪标签，生成情绪时间
线a。
85.3.内容匹配装置
86.1)内容匹配装置根据情绪识别模型给出的时间线和标签，匹配每一个标签时间点上的商品信息、话术信息。
87.2)内容匹配装置分析出商品信息和主播的关键话术信息，并生成一个新的内容时间线b。
88.3)情绪时间线a和内容时间线b确定用户的情绪特征的商品信息的对应关系。
89.通过本发明实施例，获取收看直播用户的情绪特征，确定用户的商品的喜好信息，进而再后续的直播过程中，可以根据用户的喜好进行产品的推荐，从而可以实时地根据用户的需求来调整直播内容。
90.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
91.本发明实施例提供的商品推荐方法，通过获取收看直播的目标用户的人脸图像；根据预先训练好的情绪识别模型，确定人脸图像对应的情绪特征；根据预先建立的商品信息和情绪特征的对应关系，确定与情绪特征对应的商品信息；其中，商品信息和情绪特征的对应关系与收看直播的目标用户相对应；根据情绪特征的类型，将与情绪特征对应的商品信息推荐给收看直播的目标用户，通过本发明实施例获取收看直播用户的情绪特征，确定与该用户情绪特征对应的商品信息，进而将直播中的确定好的商品信息推荐给该收看直播用户，这样，可以根据用户不同的情绪特征来推荐不同的商品，从而实现根据用户的喜好来进行直播调整。
92.本发明另一实施例提供一种商品推荐装置，用于执行上述实施例提供的商品推荐方法。
93.参照图5，示出了本发明的一种商品推荐装置实施例的结构框图，该装置具体可以包括如下模块：获取模块501、识别模块502、查找模块503和推荐模块504，其中：
94.获取模块501用于获取收看直播的目标用户的人脸图像；
95.识别模块502用于根据预先训练好的情绪识别模型，确定人脸图像对应的情绪特征；
96.查找模块503用于根据预先建立的商品信息和情绪特征的对应关系，确定与情绪特征对应的商品信息；其中，商品信息和情绪特征的对应关系与收看直播的目标用户相对应；
97.推荐模块504用于根据情绪特征的类型，将与情绪特征对应的商品信息推荐给收看直播用户。
98.本发明实施例提供的商品推荐装置，通过获取收看直播的目标用户的人脸图像；根据预先训练好的情绪识别模型，确定人脸图像对应的情绪特征；根据预先建立的商品信息和情绪特征的对应关系，确定与情绪特征对应的商品信息；其中，商品信息和情绪特征的对应关系与收看直播的目标用户相对应；根据情绪特征的类型，将与情绪特征对应的商品
信息推荐给收看直播的目标用户，通过本发明实施例获取收看直播用户的情绪特征，确定与该用户情绪特征对应的商品信息，进而将直播中的确定好的商品信息推荐给该收看直播用户，这样，可以根据用户不同的情绪特征来推荐不同的商品，从而实现根据用户的喜好来进行直播调整。
99.本发明又一实施例对上述实施例提供的商品推荐装置做进一步补充说明。
100.可选地，装置还包括建立模块，建立模块用于：
101.在预设时刻，获取直播的第一商品信息、预设时刻的收看直播的用户信息，以及获取与用户信息对应的第一人脸图像；
102.将第一人脸图像输入到预先训练好的情绪识别模型，得到与第一人脸图像对应的第一情绪特征；
103.根据预设时刻的第一商品信息和第一情绪特征，确定与用户信息对应的商品信息和情绪特征的对应关系。
104.可选地，推荐模块用于：
105.若目标用户的情绪特征的类型与预设情绪特征相匹配，则将与情绪特征对应的商品信息发送至与情绪特征对应的收看直播的目标用户。
106.可选地，预先训练好的情绪识别模型是通过采用情绪样本数据对神经网络分类模型进行训练得到的。
107.需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本技术不做限定。
108.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
109.本发明实施例提供的商品推荐装置，通过获取收看直播的目标用户的人脸图像；根据预先训练好的情绪识别模型，确定人脸图像对应的情绪特征；根据预先建立的商品信息和情绪特征的对应关系，确定与情绪特征对应的商品信息；其中，商品信息和情绪特征的对应关系与收看直播的目标用户相对应；根据情绪特征的类型，将与情绪特征对应的商品信息推荐给收看直播的目标用户，通过本发明实施例获取收看直播用户的情绪特征，确定与该用户情绪特征对应的商品信息，进而将直播中的确定好的商品信息推荐给该收看直播用户，这样，可以根据用户不同的情绪特征来推荐不同的商品，从而实现根据用户的喜好来进行直播调整。
110.本发明再一实施例提供一种终端设备，用于执行上述实施例提供的商品推荐方法。
111.图6是本发明的一种终端设备的结构示意图，如图6所示，该终端设备包括：至少一个处理器601和存储器602；
112.存储器存储计算机程序；至少一个处理器执行存储器存储的计算机程序，以实现上述实施例提供的商品推荐方法。
113.本实施例提供的终端设备，通过获取收看直播的目标用户的人脸图像；根据预先训练好的情绪识别模型，确定人脸图像对应的情绪特征；根据预先建立的商品信息和情绪特征的对应关系，确定与情绪特征对应的商品信息；其中，商品信息和情绪特征的对应关系与收看直播的目标用户相对应；根据情绪特征的类型，将与情绪特征对应的商品信息推荐
给收看直播的目标用户，通过本发明实施例获取收看直播用户的情绪特征，确定与该用户情绪特征对应的商品信息，进而将直播中的确定好的商品信息推荐给该收看直播用户，这样，可以根据用户不同的情绪特征来推荐不同的商品，从而实现根据用户的喜好来进行直播调整。
114.本技术又一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被执行时实现上述任一实施例提供的商品推荐方法。
115.根据本实施例的计算机可读存储介质，通过获取收看直播的目标用户的人脸图像；根据预先训练好的情绪识别模型，确定人脸图像对应的情绪特征；根据预先建立的商品信息和情绪特征的对应关系，确定与情绪特征对应的商品信息；其中，商品信息和情绪特征的对应关系与收看直播的目标用户相对应；根据情绪特征的类型，将与情绪特征对应的商品信息推荐给收看直播的目标用户，通过本发明实施例获取收看直播用户的情绪特征，确定与该用户情绪特征对应的商品信息，进而将直播中的确定好的商品信息推荐给该收看直播用户，这样，可以根据用户不同的情绪特征来推荐不同的商品，从而实现根据用户的喜好来进行直播调整。
116.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
117.本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
118.本发明实施例是参照根据本发明实施例的方法、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理电子设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
119.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
120.这些计算机程序指令也可装载到计算机或其他可编程数据处理电子设备上，使得在计算机或其他可编程电子设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程电子设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
121.尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
122.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者电子设备中还存在另外的相同要素。
123.以上对本发明所提供的一种商品推荐方法和一种商品推荐装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。