一种用户画像构建的方法、信息推荐的方法以及相关装置与流程

1.本技术涉及人工智能领域以及大数据领域，尤其涉及一种用户画像构建的方法、信息推荐的方法以及相关装置。


背景技术：

2.用户画像包括用户相关的属性标签，利用这些属性标签能够对用户进行多方面的特征描述。基于用户画像可以针对性地为用户提供服务，例如，基于用户画像推送商品信息，基于用户画像推送音乐，或者基于用户画像推送好友信息等，基于此，用户画像在各领域得到了广泛的应用。
3.目前，在用户画像的构建主要依赖于打标签的方式，例如，用户在手机应用或者购物网站留下了浏览信息，这些浏览信息可作为挖掘属性标签的依据，经过挖掘后，将挖掘到的属性标签作为该用户的用户画像。
4.然而，通过数据挖掘方式得到的用户画像是片面的，例如，对于某个用户而言，虽然会经常搜索与“电脑”相关的信息，但并不意味着该用户对“电脑”感兴趣，如果基于该用户的用户画像为其推荐“电脑”相关的信息，会导致推荐效果较差。


技术实现要素：

5.本技术实施例提供了一种用户画像构建的方法、信息推荐的方法以及相关装置，可以在构建用户画像的过程中加入了情感分类标签，由此，更加深入地刻画了用户对于属性标签的情感倾向程度，从而增强对于用户的全面理解，进而能够提升信息推荐效果。
6.有鉴于此，本技术一方面提供一种用户画像构建的方法，包括：
7.获取目标用户的目标属性标签，其中，目标用户对应于目标用户标识；
8.根据目标属性标签获取m个信息类别所对应的关联信息，其中，m个信息类别所对应的关联信息包括文本类别所对应的文本信息、图像类别所对应的图像信息以及视频类别所对应的视频信息中的至少一种，m为大于或等于1的整数；
9.基于m个信息类别所对应的关联信息以及目标属性标签，通过情感预测模型获取目标情感分类标签，其中，目标情感分类标签用于表示目标用户针对于目标属性标签的情感倾向程度；
10.根据目标属性标签、目标用户标识以及目标情感分类标签，构建目标用户所对应的用户画像。
11.本技术另一方面提供一种信息推荐的方法，包括：
12.获取目标用户所对应的用户画像，其中，用户画像包括目标属性标签、目标用户标识以及目标情感分类标签之间的对应关系，目标情感分类标签为情感预测模型基于m个信息类别所对应的关联信息以及目标属性标签获取的，目标情感分类标签用于表示目标用户针对于目标属性标签的情感倾向程度，m个信息类别所对应的关联信息包括文本类别所对应的文本信息、图像类别所对应的图像信息以及视频类别所对应的视频信息中的至少一
种，m为大于或等于1的整数；
13.若用户画像所包括的目标情感分类标签满足信息推荐条件，则根据目标属性标签确定推荐信息；
14.向目标用户标识所对应的终端设备发送推荐信息，以使终端设备展示推荐信息。
15.本技术另一方面提供一种用户画像构建装置，包括：
16.获取模块，用于获取目标用户的目标属性标签，其中，目标用户对应于目标用户标识；
17.获取模块，还用于根据目标属性标签获取m个信息类别所对应的关联信息，其中，m个信息类别所对应的关联信息包括文本类别所对应的文本信息、图像类别所对应的图像信息以及视频类别所对应的视频信息中的至少一种，m为大于或等于1的整数；
18.获取模块，还用于基于m个信息类别所对应的关联信息以及目标属性标签，通过情感预测模型获取目标情感分类标签，其中，目标情感分类标签用于表示目标用户针对于目标属性标签的情感倾向程度；
19.构建模块，用于根据目标属性标签、目标用户标识以及目标情感分类标签，构建目标用户所对应的用户画像。
20.在一种可能的设计中，在本技术实施例的另一方面的一种实现方式中，
21.获取模块，具体用于根据目标属性标签获取文本类别所对应的文本信息，其中，文本类别属于m个信息类别中的一个信息类别；
22.基于文本信息，通过情感预测模型所包括的文本编码器获取文本特征向量；
23.基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
24.基于文本特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
25.根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
26.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，
27.获取模块，具体用于基于文本特征向量以及标签特征向量，通过情感预测模型所包括的文本注意力网络获取第一特征向量；
28.基于第一特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
29.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，
30.获取模块，具体用于根据目标属性标签获取图像类别所对应的图像信息，其中，图像类别属于m个信息类别中的一个信息类别；
31.基于图像信息，通过情感预测模型所包括的图像编码器获取图像特征向量；
32.基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
33.基于图像特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
34.根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
35.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，
36.获取模块，具体用于基于图像特征向量以及标签特征向量，通过情感预测模型所
包括的图像注意力网络获取第二特征向量；
37.基于是第二特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
38.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，
39.获取模块，具体用于根据目标属性标签获取视频类别所对应的视频信息，其中，视频类别属于m个信息类别中的一个信息类别；
40.基于视频信息，通过情感预测模型所包括的视频编码器获取视频特征向量；
41.基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
42.基于视频特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
43.根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
44.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，
45.获取模块，具体用于基于视频特征向量以及标签特征向量，通过情感预测模型所包括的视频注意力网络获取第三特征向量；
46.基于是第三特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
47.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，
48.获取模块，具体用于根据目标属性标签获取文本类别所对应的文本信息、图像类别所对应的图像信息以及视频类别所对应的视频信息，其中，文本类别、图像类别以及视频类别均属于m个信息类别中的信息类别；
49.基于文本信息，通过情感预测模型所包括的文本编码器获取文本特征向量；
50.基于图像信息，通过情感预测模型所包括的图像编码器获取图像特征向量；
51.基于视频信息，通过情感预测模型所包括的视频编码器获取视频特征向量；
52.基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
53.基于文本特征向量、图像特征向量、视频特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
54.根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
55.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，
56.获取模块，具体用于基于文本特征向量以及标签特征向量，通过情感预测模型所包括的文本注意力网络获取第一特征向量；
57.基于图像特征向量以及标签特征向量，通过情感预测模型所包括的图像注意力网络获取第二特征向量；
58.基于视频特征向量以及标签特征向量，通过情感预测模型所包括的视频注意力网络获取第三特征向量；
59.基于第一特征向量、第二特征向量以及第三特征向量，通过情感预测模型所包括的目标注意力网络获取目标特征向量；
60.基于目标特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
61.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，用户画像构建装置还包括训练模块；
62.获取模块，还用于获取k个待训练数据，其中，每个待训练数据对应于属性标注标签以及情感分类标注标签，且每个待训练数据包括m个信息类别所对应的待训练关联信息，k为大于或等于1的整数；
63.获取模块，还用于针对于每个待训练数据以及每个待训练数据所对应的属性标注标签，通过待训练情感预测模型获取情感分类预测标签；
64.训练模块，用于根据每个待训练数据所对应的情感分类预测标签以及情感分类标注标签，采用损失函数对待训练情感预测模型进行训练，直至满足模型训练条件，得到情感预测模型。
65.本技术另一方面提供一种信息推荐装置，包括：
66.获取模块，用于获取目标用户所对应的用户画像，其中，用户画像包括目标属性标签、目标用户标识以及目标情感分类标签之间的对应关系，目标情感分类标签为情感预测模型基于m个信息类别所对应的关联信息以及目标属性标签获取的，目标情感分类标签用于表示目标用户针对于目标属性标签的情感倾向程度，m个信息类别所对应的关联信息包括文本类别所对应的文本信息、图像类别所对应的图像信息以及视频类别所对应的视频信息中的至少一种，m为大于或等于1的整数；
67.确定模块，用于若用户画像所包括的目标情感分类标签满足信息推荐条件，则根据目标属性标签确定推荐信息；
68.发送模块，用于向目标用户标识所对应的终端设备发送推荐信息，以使终端设备展示推荐信息。
69.本技术另一方面提供一种计算机设备，包括：存储器、收发器、处理器以及总线系统；
70.其中，存储器用于存储程序；
71.处理器用于执行存储器中的程序，处理器用于根据程序代码中的指令执行上述各方面所提供的方法；
72.总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。
73.本技术的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
74.本技术的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方面所提供的方法。
75.从以上技术方案可以看出，本技术实施例具有以下优点：
76.本技术实施例中，提供了一种用户画像构建的方法，首先获取目标用户的目标属性标签，然后可以根据目标属性标签获取m个信息类别所对应的关联信息，再基于m个信息类别所对应的关联信息以及目标属性标签，通过情感预测模型获取目标情感分类标签，最后根据目标属性标签、目标用户标识以及目标情感分类标签，构建目标用户所对应的用户画像。通过上述方式，在构建用户画像的过程中加入了情感分类标签，由此，更加深入地刻
画了用户对于属性标签的情感倾向程度，从而增强对于用户的全面理解，进而能够提升信息推荐效果。
附图说明
77.图1为本技术实施例中信息推荐系统的一个架构示意图；
78.图2为本技术实施例中用户画像构建方法的一个流程示意图；
79.图3为本技术实施例中用户画像构建方法的一个实施例示意图；
80.图4为本技术实施例中采集文本信息的一个界面示意图；
81.图5为本技术实施例中单模态情感预测模型的一个结构示意图；
82.图6为本技术实施例中基于注意力机制的单模态情感预测模型的一个结构示意图；
83.图7为本技术实施例中采集图像信息的一个界面示意图；
84.图8为本技术实施例中单模态情感预测模型的一个结构示意图；
85.图9为本技术实施例中基于注意力机制的单模态情感预测模型的另一个结构示意图；
86.图10为本技术实施例中采集视频信息的一个界面示意图；
87.图11为本技术实施例中单模态情感预测模型的一个结构示意图；
88.图12为本技术实施例中基于注意力机制的单模态情感预测模型的另一个结构示意图；
89.图13为本技术实施例中多模态情感预测模型的一个结构示意图；
90.图14为本技术实施例中基于注意力机制的多模态情感预测模型的一个结构示意图；
91.图15为本技术实施例中多模态情感预测模型的另一个结构示意图；
92.图16为本技术实施例中多模态情感预测模型的另一个结构示意图；
93.图17为本技术实施例中多模态情感预测模型的另一个结构示意图；
94.图18为本技术实施例中信息推荐方法的一个实施例示意图；
95.图19为本技术实施例中基于用户画像实现信息推荐的一个示意图；
96.图20为本技术实施例中用户画像构建装置的一个实施例示意图；
97.图21为本技术实施例中信息推荐装置的一个实施例示意图；
98.图22为本技术实施例中计算机设备的一个结构示意图。
具体实施方式
99.本技术实施例提供了一种用户画像构建的方法、信息推荐的方法以及相关装置，可以在构建用户画像的过程中加入了情感分类标签，由此，更加深入地刻画了用户对于属性标签的情感倾向程度，从而增强对于用户的全面理解，进而能够提升信息推荐效果。
100.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任
何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
101.在数据越来越重要的年代，基于云技术(cloud technology)得到的大数据(big data)成为了非常重要的资源。基于大数据刻画不同用户的用户画像已经成为了信息化的基础，用户画像是通过分析和挖掘用户尽可能多的数据得到的。用户画像的应用方式有多种。
102.下面将分别介绍几种用户画像的应用方式。
103.第一种为广告推荐，例如，用户在搜索引擎、信息流产品、视频网站以及电视上看到的广告，可能都是经过对用户画像进行分析后定向推送的。对于企业而言，通过用户画像中不同的属性标签组合，可以圈定一批目标用户进行精准营销。
104.第二种为日常取数，支撑业务部门的日常取数的需求，也可作为其他系统的数据支撑来源，便于跟进业务情况，及时调整或改进现有业务。
105.第三种为业务分析，属性标签可以更好地连接数据和业务人员，降低数据获取和操作的难度，使得业务人员能够参与到数据分析中，并且便于业务人员维度和开发业务。
106.下面将结合云技术再对大数据进行介绍。
107.云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
108.大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
109.为了更好地理解本技术提供的方法，下面将介绍一些术语和概念。
110.1、属性标签，表示某个类目下的具体分类，例如，类目为“游戏”，其对应的属性标签可以包括“三国杀”、“爱跑酷”以及“射击游戏”等。又例如，类目为“教育”，其对应的属性标签可以包括“本科”、“研究生”以及“留学”等。
111.2、情感分类标签，表示用户针对于属性标签的情感倾向程度，例如，情感分类标签为“正向(positive)”，即表示用户对某个属性标签是感兴趣的。又例如，情感分类标签为“负向(negative)”，即表示用户对某个属性标签是讨厌的。又例如，情感分类标签为“中性(neutral)”，即表示用户对某个属性标签既不讨厌也不喜欢。实际情况下，还可以对情感分类标签做更细致的划分。
112.3、情感分类语料，例如，文本信息为“我很喜欢这家餐厅的烤鱼，非常好吃。”，其中，“烤鱼”为属性标签，属性标签“烤鱼”对应的情感分类标签为“正向”。“价格”也为属性标签，属性标签“价格”对应的情感分类标签为“负向”。
113.4、用户标识，用于识别用户身份的标识，同一个用户具有相同的用户标识。用户标识的类型有多种，包含但不仅限于序列号、用户名、邮箱地址、手机号码、固定电话、社交账号、媒体访问控制(media access control，mac)地址以及国际移动设备识别码(international mobile equipment identity，imei)等。
114.5、情感分析(sentiment analysis)，也称为观点(意见)挖掘(opinion mining)，是指用自然语言处理(nature language processing，nlp)、文本挖掘以及计算机语言学等方法来识别和提取原素材中的主观信息。
115.自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
116.通常来说，情感分析的目的是为了找出用户在某些话题上或者针对一个文本的观点和态度。这个态度或许是个人判断或评估，也许是当时的情感状态，就是说用户在做出这个言论时的情绪状态，或是用户有意向的情感交流，即用户想要读者体验的情绪。
117.6、分词系统，用于对文本进行分词处理。文本的粒度一般包含单字、词语、句子、段落以及篇章等级别，例如，文本为“今天天气真好”，其中，单字级别为“今”、“天”、“天”、“气”、“真”和“好”。词语级别为“今天”，“天气”，“真”，“好”。句子级别为“今天天气真好”。段落和篇章级别均是针对更广泛的定义。分词系统则可以将输入文本切分为词语级别的表示形式。
118.7、人工智能，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
119.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
120.本技术提出了一种信息推荐的方法，该方法应用于图1所示的信息推荐系统，如图所示，信息推荐系统包括服务器和终端设备，且客户端部署于终端设备上，客户端包含但不仅限于社交类客户端、游戏客户端、网购客户端、视频客户端、音乐客户端以及浏览器客户端等，用户通过客户端输入文本信息，或者通过客户端查看图像信息以及视频信息等，这些信息均可上报至服务器，由服务器按照用户标识进行信息分析，提取同一个用户标识下的属性标签。服务器通过情感预测模型输出每个属性标签所对应的情感分类标签，并将属性标签及其对应的情感分类标签添加至该用户标识对应的用户画像中。由此，在向用户推荐
speech recognition，asr)和语音合成技术(text to speech，tts)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来被看好的人机交互方式之一。
134.103、基于m个信息类别所对应的关联信息以及目标属性标签，通过情感预测模型获取目标情感分类标签，其中，目标情感分类标签用于表示目标用户针对于目标属性标签的情感倾向程度；
135.本实施例中，用户画像构建装置将每个信息类别下的关联信息以及目标属性标签，输入至已训练好的情感预测模型中，由情感预测模型输出一个目标情感分类标签，该目标情感分类标签表示目标用户对于目标属性标签的情感倾向程度。其中，目标情感分类标签为情感分类标签集合中的某一个情感分类标签，可以理解的是，情感分类标签集合中包括至少两类情感分类标签，例如，情感分类标签集合包括“正向”的情感分类标签以及“负向”的情感分类标签。又例如，情感分类标签集合包括“正向”的情感分类标签、“中性”的情感分类标签以及“负向”的情感分类标签。又例如，情感分类标签集合包括“非常正向”的情感分类标签、“正向”的情感分类标签、“中性”的情感分类标签、“负向”的情感分类标签以及“非常负向”的情感分类标签，本技术不做限定。
136.104、根据目标属性标签、目标用户标识以及目标情感分类标签，构建目标用户所对应的用户画像。
137.本实施例中，用户画像构建装置根据目标属性标签和目标情感分类标签，将其加入至目标用户标识对应的用户画像。假设目标属性标签为“三国杀”，目标情感分类标签为“正向”的情感分类标签，目标用户标识为“42837597843547896”，基于此，以表1为例，表1为目标用户标识对应的用户画像的一个示意。
138.表1
[0139][0140]
其中，“42837597843547896”为目标用户的目标用户标识，目标属性标签为“三国杀”，目标情感分类标签为“正向”，其他的属性标签及其对应的情感分类标签也属于该目标用户的用户画像。由于用户在不同时间段内对同一个属性标签可能会有不同的情感，因此，用户画像中的情感分类标签也可以做周期性更新，例如，每间隔1个月对全量的情感分类标签进行一次更新，或，在检测到某个情感分类标签发生变化时进行更新，此处不做限定。
[0141]
需要说明的是，在本技术中，以获取目标用户在目标属性标签所对应的目标情感分类标签为例进行说明，在实际情况下，用户画像构建装置可以获取大量用户的属性标签集合，并基于属性标签集合分别获取每个属性标签对应的情感分类标签。
[0142]
本技术实施例中，提供了一种用户画像构建的方法，首先获取目标用户的目标属性标签，然后可以根据目标属性标签获取m个信息类别所对应的关联信息，再基于m个信息类别所对应的关联信息以及目标属性标签，通过情感预测模型获取目标情感分类标签，最后根据目标属性标签、目标用户标识以及目标情感分类标签，构建目标用户所对应的用户画像。通过上述方式，在构建用户画像的过程中加入了情感分类标签，由此，更加深入地刻画了用户对于属性标签的情感倾向程度，从而增强对于用户的全面理解，进而能够提升信息推荐效果。
[0143]
可选地，在上述图3对应的各个实施例的基础上，本技术实施例提供的另一个可选实施例中，根据目标属性标签获取m个信息类别所对应的关联信息，具体包括如下步骤：
[0144]
根据目标属性标签获取文本类别所对应的文本信息，其中，文本类别属于m个信息类别中的一个信息类别；
[0145]
基于m个信息类别所对应的关联信息以及目标属性标签，通过情感预测模型获取目标情感分类标签，具体包括如下步骤：
[0146]
基于文本信息，通过情感预测模型所包括的文本编码器获取文本特征向量；
[0147]
基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
[0148]
基于文本特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
[0149]
根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
[0150]
本实施例中，介绍了一种针对文本信息预测情感分类标签的方法。以信息类别为文本类别为例，首先，可基于目标用户标识获取目标用户发表的文本内容，基于这些文本内容可提取目标属性标签，进而获取与目标属性标签相关的文本信息。其中，文本信息可以包括一个或多个文本，如果包括多个文本，即可将多个文本拼接起来，得到一个长文本，可以理解的是，本实施例以文本信息中包括一条文本为例进行说明，然而这不应理解为对本技术的限定。
[0151]
具体地，为了便于理解，请参阅图4，图4为本技术实施例中采集文本信息的一个界面示意图，如图所示，以微博评论场景为例，目标用户可在评论区发表评论，例如，“上周跟哥们去吃烤鱼，真的是太赞了，推荐大家团建的时候一起去吃呀”，基于此，该评论即作为文本信息，目标属性标签为“烤鱼”，目标用户标识为“42837597843547896”。
[0152]
基于此，请参阅图5，图5为本技术实施例中单模态情感预测模型的一个结构示意图，如图所示，将文本信息(例如，“上周跟哥们去吃烤鱼，真的是太赞了，推荐大家团建的时候一起去吃呀”)输入至情感预测模型所包括的文本编码器(encoder-text)，由该文本编码器输出文本特征向量。类似地，将目标属性标签(例如，“烤鱼”)输入至情感预测模型所包括的标签编码器(encoder-tag)，由该标签编码器输出标签特征向量。
[0153]
再对文本特征向量以及标签特征向量进行拼接，得到合并特征向量，或者，对文本特征向量以及标签特征向量进行求平均处理，得到合并特征向量。将合并特征向量输入至情感预测模型所包括的全连接网络，由全连接网络输出情感分类向量。假设情感分类标签集合包括3类情感分类标签，则情感分类向量包括3个概率值，即n等于情感分类标签的类别数量，基于此，得到的情感分类向量可以表示为(a,b,c)，且a b c＝1。其中，概率值a对应于“正向”的情感分类标签，概率值b对应于“中性”的情感分类标签，概率值c对应于“负向”的情感分类标签。假设情感分类向量为(0.7,0.1,0.2)，则概率值0.7对应的“正向”情感分类标签即为目标情感分类标签。即得到目标用户对目标属性标签“烤鱼”的情感态度是正向的。
[0154]
需要说明的是，文本特征向量和标签特征向量可以为128维或者256维，还可以是其他的维度，合并特征向量可以为128维或者256维，此处不做限定。
[0155]
其次，本技术实施例中，提供了一种针对文本信息预测情感分类标签的方法，通过上述方式，利用单模态的情感预测模型对文本信息进行分析，能够有效地将目标属性标签和文本信息结合起来，输出所需的目标情感分类标签。基于此，可以结合实际情况，选择针对文本信息进行分析的单模态情感预测模型，从而提升方案的灵活性。
[0156]
可选地，在上述图3对应的各个实施例的基础上，本技术实施例提供的另一个可选实施例中，基于文本特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，具体包括如下步骤：
[0157]
基于文本特征向量以及标签特征向量，通过情感预测模型所包括的文本注意力网络获取第一特征向量；
[0158]
基于第一特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
[0159]
本实施例中，介绍了一种基于注意力机制输出情感分类向量的方法，下面将结合前述实施例进行介绍。
[0160]
具体地，请参阅图6，图6为本技术实施例中基于注意力机制的单模态情感预测模型的一个结构示意图，如图所示，结合上述实施例可知，将文本编码器输出的文本特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的文本注意力网络(attention-text)，由文本注意力网络输出第一特征向量。即利用标签特征向量对每个词语的特征向量采用注意力机制的运算，即得到文本信息和目标属性标签同时作用的向量表示，最后，通过全连接层输出对应的情感分类向量，根据情感分类向量确定目标情感分类标签。
[0161]
需要说明的是，文本编码器包含分词以及对分词后的文本信息进行编码操作，而标签编码器可以直接对目标属性标签进行编码。需要说明的是，编码方式可以采用transformer的变种双向编码器表示(bidirectional encoder representation from transformers，bert)、长短期记忆(long short-term memory，lstm)网络、门控循环单元(gated recurrent unit，gru)网络或者卷积神经网络(convolutional neural networks，cnn)等，此处不做限定。
[0162]
其中，bert是一种先进的文本表示方法，可以将输入的文本表示为一个低维密集的向量，低维密集向量通常不超过一千维，向量中每个元素均不是0，而是一个小数。对应的高维稀疏向量一般超过一千维，向量中绝大部分元素是0。
[0163]
lstm网络是一种时间循环神经网络，是为了解决一般的循环神经网络(recurrent neural network，rnn)存在的长期依赖问题而专门设计出来的，所有的rnn都具有一种重复神经网络模块的链式形式。
[0164]
gru网络是lstm网络的一种效果很好的变体，相较于lstm网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。gru网络也是可以解决rnn网络中的长
依赖问题。在lstm网络中引入了三个门函数，即输入门、遗忘门和输出门来分别控制输入值、记忆值和输出值。而在gru网络中只有两个门，分别是更新门和重置门。
[0165]
cnn中的卷积操作可以集中于某个视野域进行局部运算，以窗口的形式进行立体滑动，即可得到输入整体的一种高阶表示。多层卷机和视野分层很相似。
[0166]
再次，本技术实施例中，提供了一种基于注意力机制输出情感分类向量的方法，通过上述方式，由于不同的文本信息对目标属性标签的作用不一致，因此，基于注意力机制可以有效注意到对目标属性标签的最重要的一些文本内容，从而提高情感预测模型的性能。
[0167]
可选地，在上述图3对应的各个实施例的基础上，本技术实施例提供的另一个可选实施例中，根据目标属性标签获取m个信息类别所对应的关联信息，具体包括如下步骤：
[0168]
根据目标属性标签获取图像类别所对应的图像信息，其中，图像类别属于m个信息类别中的一个信息类别；
[0169]
基于m个信息类别所对应的关联信息以及目标属性标签，通过情感预测模型获取目标情感分类标签，具体包括如下步骤：
[0170]
基于图像信息，通过情感预测模型所包括的图像编码器获取图像特征向量；
[0171]
基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
[0172]
基于图像特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
[0173]
根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
[0174]
本实施例中，介绍了一种针对图像信息预测情感分类标签的方法。以信息类别为图像类别为例，首先，可基于目标用户标识获取目标用户浏览的图像内容，基于这些图像内容可提取目标属性标签，进而获取与目标属性标签相关的图像信息。其中，图像信息可以包括一个或多个图像，如果包括多个图像，即可对多个图像求平均，得到一个图像，可以理解的是，本实施例以图像信息中包括一个图像为例进行说明，然而这不应理解为对本技术的限定。
[0175]
具体地，为了便于理解，请参阅图7，图7为本技术实施例中采集图像信息的一个界面示意图，如图所示，以搜索引擎场景为例，目标用户可在搜索栏中输入词语，例如，“烤鱼”，搜索引擎反馈至少一张与“烤鱼”相关的图像信息，目标用户可以查看这些图像，也可以点赞图像。其中，目标属性标签为“烤鱼”，目标用户标识为“42837597843547896”。
[0176]
基于此，请参阅图8，图8为本技术实施例中单模态情感预测模型的一个结构示意图，如图所示，将图像信息(例如，包括“烤鱼”的图像)输入至情感预测模型所包括的图像编码器(encoder-figure)，由该图像编码器输出图像特征向量。类似地，将目标属性标签(例如，“烤鱼”)输入至情感预测模型所包括的标签编码器，由该标签编码器输出标签特征向量。
[0177]
再对图像特征向量以及标签特征向量进行拼接，得到合并特征向量，或者，对图像特征向量以及标签特征向量进行求平均处理，得到合并特征向量。将合并特征向量输入至情感预测模型所包括的全连接网络，由全连接网络输出情感分类向量。假设情感分类标签集合包括3类情感分类标签，则情感分类向量包括3个概率值，即n等于情感分类标签的类别数量，基于此，得到的情感分类向量可以表示为(a,b,c)，且a b c＝1。其中，概率值a对应于“正向”的情感分类标签，概率值b对应于“中性”的情感分类标签，概率值c对应于“负向”的情感分类标签。假设情感分类向量为(0.7,0.1,0.2)，则概率值0.7对应的“正向”情感分类标签即为目标情感分类标签。即得到目标用户对目标属性标签“烤鱼”的情感态度是正向的。
[0178]
需要说明的是，图像特征向量和标签特征向量可以为128维或者256维，还可以是其他的维度，合并特征向量可以为128维或者256维，此处不做限定。
[0179]
其次，本技术实施例中，提供了一种针对图像信息预测情感分类标签的方法，通过上述方式，利用单模态的情感预测模型对图像信息进行分析，能够有效地将目标属性标签和图像信息结合起来，输出所需的目标情感分类标签。基于此，可以结合实际情况，选择针对图像信息进行分析的单模态情感预测模型，从而提升方案的灵活性。
[0180]
可选地，在上述图3对应的各个实施例的基础上，本技术实施例提供的另一个可选实施例中，基于图像特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，具体包括如下步骤：
[0181]
基于图像特征向量以及标签特征向量，通过情感预测模型所包括的图像注意力网络获取第二特征向量；
[0182]
基于是第二特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
[0183]
本实施例中，介绍了一种基于注意力机制输出情感分类向量的方法，下面将结合前述实施例进行介绍。
[0184]
具体地，请参阅图9，图9为本技术实施例中基于注意力机制的单模态情感预测模型的另一个结构示意图，如图所示，结合上述实施例可知，将图像编码器输出的图像特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的图像注意力网络(attention-figure)，由图像注意力网络输出第二特征向量。即利用标签特征向量对图像区域的特征向量采用注意力机制的运算，即得到图像信息和目标属性标签同时作用的向量表示，最后，通过全连接层输出对应的情感分类向量，根据情感分类向量确定目标情感分类标签。
[0185]
需要说明的是，图像编码器包含对图像信息进行编码操作，而标签编码器可以直接对目标属性标签进行编码。需要说明的是，对图像信息进行编码的方式可以采用胶囊(capsule)网络或者cnn等。对目标属性标签进行编码的方式可以采用bert、lstm网络、gru网络或者cnn等，此处不做限定。
[0186]
其中，capsule网络是一组神经元，它们在其输入上执行一些非常复杂的内部计算，可以对客观世界进行更好的描述(如加入概率值、形状以及大小等)，可以避免只使用一个向量刻画客观世界的局限性。遵循这一概念，可以为每个要素设计一个单独的胶囊，以此可以更好的进行建模。
[0187]
本技术中，对图像信息进行识别的技术即为计算机视觉技术(computer vision，cv)，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉
技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(optical character recognition，ocr)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
[0188]
再次，本技术实施例中，提供了一种基于注意力机制输出情感分类向量的方法，通过上述方式，由于不同的图像信息对目标属性标签的作用不一致，因此，基于注意力机制可以有效注意到对目标属性标签的最重要的一些图像内容，从而提高情感预测模型的性能。
[0189]
可选地，在上述图3对应的各个实施例的基础上，本技术实施例提供的另一个可选实施例中，根据目标属性标签获取m个信息类别所对应的关联信息，具体包括如下步骤：
[0190]
根据目标属性标签获取视频类别所对应的视频信息，其中，视频类别属于m个信息类别中的一个信息类别；
[0191]
基于m个信息类别所对应的关联信息以及目标属性标签，通过情感预测模型获取目标情感分类标签，具体包括如下步骤：
[0192]
基于视频信息，通过情感预测模型所包括的视频编码器获取视频特征向量；
[0193]
基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
[0194]
基于视频特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
[0195]
根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
[0196]
本实施例中，介绍了一种针对视频信息预测情感分类标签的方法。以信息类别为视频类别为例，首先，可基于目标用户标识获取目标用户浏览的视频内容，基于这些视频内容可提取目标属性标签，进而获取与目标属性标签相关的视频信息。其中，视频信息可以包括一个或多个视频，如果包括多个视频，即可将多个视频连接在一起，得到一个视频，可以理解的是，本实施例以视频信息中包括一个视频为例进行说明，然而这不应理解为对本技术的限定。
[0197]
具体地，为了便于理解，请参阅图10，图10为本技术实施例中采集视频信息的一个界面示意图，如图所示，以视频平台场景为例，目标用户可在搜索栏中输入视频相关的名称，例如，“烤鱼”，视频平台反馈与“烤鱼”相关的视频信息，目标用户可以播放这些视频。其中，目标属性标签为“烤鱼”，目标用户标识为“42837597843547896”。
[0198]
基于此，请参阅图11，图11为本技术实施例中单模态情感预测模型的一个结构示意图，如图所示，将视频信息(例如，包括“烤鱼”的视频)输入至情感预测模型所包括的视频编码器(encoder-video)，由该视频编码器输出视频特征向量。类似地，将目标属性标签(例如，“烤鱼”)输入至情感预测模型所包括的标签编码器，由该标签编码器输出标签特征向量。
[0199]
再对视频特征向量以及标签特征向量进行拼接，得到合并特征向量，或者，对视频特征向量以及标签特征向量进行求平均处理，得到合并特征向量。将合并特征向量输入至情感预测模型所包括的全连接网络，由全连接网络输出情感分类向量。假设情感分类标签集合包括3类情感分类标签，则情感分类向量包括3个概率值，即n等于情感分类标签的类别数量，基于此，得到的情感分类向量可以表示为(a,b,c)，且a b c＝1。其中，概率值a对应于“正向”的情感分类标签，概率值b对应于“中性”的情感分类标签，概率值c对应于“负向”的情感分类标签。假设情感分类向量为(0.7,0.1,0.2)，则概率值0.7对应的“正向”情感分类标签即为目标情感分类标签。即得到目标用户对目标属性标签“烤鱼”的情感态度是正向的。
[0200]
需要说明的是，视频特征向量和标签特征向量可以为128维或者256维，还可以是其他的维度，合并特征向量可以为128维或者256维，此处不做限定。
[0201]
其次，本技术实施例中，提供了一种针对视频信息预测情感分类标签的方法，通过上述方式，利用单模态的情感预测模型对视频信息进行分析，能够有效地将目标属性标签和视频信息结合起来，输出所需的目标情感分类标签。基于此，可以结合实际情况，选择针对视频信息进行分析的单模态情感预测模型，从而提升方案的灵活性。
[0202]
可选地，在上述图3对应的各个实施例的基础上，本技术实施例提供的另一个可选实施例中，基于视频特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，具体包括如下步骤：
[0203]
基于视频特征向量以及标签特征向量，通过情感预测模型所包括的视频注意力网络获取第三特征向量；
[0204]
基于是第三特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
[0205]
本实施例中，介绍了一种基于注意力机制输出情感分类向量的方法，下面将结合前述实施例进行介绍。
[0206]
具体地，请参阅图12，图12为本技术实施例中基于注意力机制的单模态情感预测模型的另一个结构示意图，如图所示，结合上述实施例可知，将视频编码器输出的视频特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的视频注意力网络(attention-video)，由视频注意力网络输出第三特征向量。即利用标签特征向量对视频中每帧图像的特征向量采用注意力机制的运算，即得到视频信息和目标属性标签同时作用的向量表示，最后，通过全连接层输出对应的情感分类向量，根据情感分类向量确定目标情感分类标签。
[0207]
需要说明的是，视频编码器包含对视频信息进行编码操作，而标签编码器可以直接对目标属性标签进行编码。需要说明的是，对视频信息进行编码的方式可以采用capsule网络或cnn网络，结合lstm网络或gru网络等。对目标属性标签进行编码的方式可以采用bert、lstm网络、gru网络或者cnn等，此处不做限定。
[0208]
再次，本技术实施例中，提供了一种基于注意力机制输出情感分类向量的方法，通过上述方式，由于不同的视频信息对目标属性标签的作用不一致，因此，基于注意力机制可以有效注意到对目标属性标签的最重要的一些视频内容，从而提高情感预测模型的性能。
[0209]
可选地，在上述图3对应的各个实施例的基础上，本技术实施例提供的另一个可选实施例中，根据目标属性标签获取m个信息类别所对应的关联信息，具体包括如下步骤：
[0210]
根据目标属性标签获取文本类别所对应的文本信息、图像类别所对应的图像信息以及视频类别所对应的视频信息，其中，文本类别、图像类别以及视频类别均属于m个信息类别中的信息类别；
[0211]
基于m个信息类别所对应的关联信息以及目标属性标签，通过情感预测模型获取
目标情感分类标签，具体包括如下步骤：
[0212]
基于文本信息，通过情感预测模型所包括的文本编码器获取文本特征向量；
[0213]
基于图像信息，通过情感预测模型所包括的图像编码器获取图像特征向量；
[0214]
基于视频信息，通过情感预测模型所包括的视频编码器获取视频特征向量；
[0215]
基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
[0216]
基于文本特征向量、图像特征向量、视频特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
[0217]
根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
[0218]
本实施例中，介绍了一种针对文本信息、图像信息以及视频信息共同预测情感分类标签的方法。以m个信息类别包括文本类别、图像类别和视频类别为例，可基于目标用户标识获取目标用户发表的文本内容，基于这些文本内容可提取目标属性标签，进而获取与目标属性标签相关的文本信息。基于目标用户标识获取目标用户浏览的图像内容，基于这些图像内容可提取目标属性标签，进而获取与目标属性标签相关的图像信息。基于目标用户标识获取目标用户浏览的视频内容，基于这些视频内容可提取目标属性标签，进而获取与目标属性标签相关的视频信息。其中，文本信息可以包括一个或多个文本，图像信息可以包括一个或多个图像，视频信息可以包括一个或多个视频。
[0219]
具体地，请参阅图13，图13为本技术实施例中多模态情感预测模型的一个结构示意图，如图所示，将文本信息(例如，“上周跟哥们去吃烤鱼，真的是太赞了，推荐大家团建的时候一起去吃呀”)输入至情感预测模型所包括的文本编码器，由该文本编码器输出文本特征向量。类似地，将图像信息(例如，包括“烤鱼”的图像)输入至情感预测模型所包括的图像编码器，由该图像编码器输出图像特征向量。类似地，将视频信息(例如，包括“烤鱼”的视频)输入至情感预测模型所包括的视频编码器，由该视频编码器输出视频特征向量。类似地，将目标属性标签(例如，“烤鱼”)输入至情感预测模型所包括的标签编码器，由该标签编码器输出标签特征向量。
[0220]
再对文本特征向量、图像特征向量、视频特征向量以及标签特征向量进行拼接，得到合并特征向量，或者，对文本特征向量、图像特征向量、视频特征向量以及标签特征向量进行求平均处理，得到合并特征向量。将合并特征向量输入至情感预测模型所包括的全连接网络，由全连接网络输出情感分类向量。假设情感分类标签集合包括3类情感分类标签，则情感分类向量包括3个概率值，即n等于情感分类标签的类别数量，基于此，得到的情感分类向量可以表示为(a,b,c)，且a b c＝1。其中，概率值a对应于“正向”的情感分类标签，概率值b对应于“中性”的情感分类标签，概率值c对应于“负向”的情感分类标签。假设情感分类向量为(0.7,0.1,0.2)，则概率值0.7对应的“正向”情感分类标签即为目标情感分类标签。即得到目标用户对目标属性标签“烤鱼”的情感态度是正向的。
[0221]
需要说明的是，文本特征向量、图像特征向量、视频特征向量以及标签特征向量可以为128维或者256维，还可以是其他的维度，合并特征向量可以为128维或者256维，此处不做限定。
[0222]
可以理解的是，文本编码器和标签编码器可以采用bert、lstm网络、gru网络或者cnn等。图像编码器可以采用capsule网络或者cnn等。视频编码器可以采用capsule网络或
cnn网络，结合lstm网络或gru网络等，此处不做限定。
[0223]
其次，本技术实施例中，提供了一种针对文本信息、图像信息以及视频信息共同预测情感分类标签的方法，通过上述方式，利用多模态的情感预测模型对多个维度的信息进行分析，能够有效地将目标属性标签与不同类型的信息结合起来，输出所需的目标情感分类标签。基于此，能够从多个角度分析用户对属性标签的情感，从而提升情感分类标签的准确性，有利于更好地分析用户的喜好。
[0224]
可选地，在上述图3对应的各个实施例的基础上，本技术实施例提供的另一个可选实施例中，基于文本特征向量、图像特征向量、视频特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，具体包括如下步骤：
[0225]
基于文本特征向量以及标签特征向量，通过情感预测模型所包括的文本注意力网络获取第一特征向量；
[0226]
基于图像特征向量以及标签特征向量，通过情感预测模型所包括的图像注意力网络获取第二特征向量；
[0227]
基于视频特征向量以及标签特征向量，通过情感预测模型所包括的视频注意力网络获取第三特征向量；
[0228]
基于第一特征向量、第二特征向量以及第三特征向量，通过情感预测模型所包括的目标注意力网络获取目标特征向量；
[0229]
基于目标特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
[0230]
本实施例中，介绍了一种基于注意力机制输出情感分类向量的方法，下面将结合前述实施例进行介绍。
[0231]
具体地，请参阅图14，图14为本技术实施例中基于注意力机制的多模态情感预测模型的一个结构示意图，如图所示，结合上述实施例可知，将文本编码器输出的文本特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的文本注意力网络，由文本注意力网络输出第一特征向量。并且，将图像编码器输出的图像特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的图像注意力网络，由图像注意力网络输出第二特征向量。并且，将视频编码器输出的视频特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的视频注意力网络，由视频注意力网络输出第三特征向量。最后，将第一特征向量、第二特征向量和第三特征向量输入至全连接层，由此输出对应的情感分类向量，根据情感分类向量确定目标情感分类标签。
[0232]
基于上述介绍可知，多模态的情感预测模型还可以有如下几种变形，在实际应用中，还可以增加更多维度的信息类别作为衡量情感分类标签的依据，例如，使用语音信息分析等，此处不做详述。下面将介绍三种多模态情感预测模型的变形。
[0233]
第一种，结合文本信息与图像信息输出目标情感分类标签；
[0234]
为了便于说明，请参阅图15，图15为本技术实施例中多模态情感预测模型的另一个结构示意图，如图15中的(a)图所示，将文本信息输入至文本编码器，由该文本编码器输出文本特征向量。类似地，将图像信息输入至图像编码器，由该图像编码器输出图像特征向量。类似地，将目标属性标签输入至情感预测模型所包括的标签编码器，由该标签编码器输出标签特征向量。再根据文本特征向量、图像特征向量以及标签特征向量得到合并特征向量。将合并特征向量输入至全连接网络，由全连接网络输出情感分类向量，进而预测得到目
标情感分类标签。
[0235]
如图15中的(b)图所示，将文本编码器输出的文本特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的文本注意力网络，由文本注意力网络输出第一特征向量。并且，将图像编码器输出的图像特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的图像注意力网络，由图像注意力网络输出第二特征向量。最后，将第一特征向量和第二特征向量输入至全连接层，由此输出对应的情感分类向量，进而预测得到目标情感分类标签。
[0236]
第二种，结合文本信息与视频信息输出目标情感分类标签；
[0237]
为了便于说明，请参阅图16，图16为本技术实施例中多模态情感预测模型的另一个结构示意图，如图16中的(a)图所示，将文本信息输入至文本编码器，由该文本编码器输出文本特征向量。类似地，将视频信息输入至视频编码器，由该视频编码器输出视频特征向量。类似地，将目标属性标签输入至情感预测模型所包括的标签编码器，由该标签编码器输出标签特征向量。再根据文本特征向量、视频特征向量以及标签特征向量得到合并特征向量。将合并特征向量输入至全连接网络，由全连接网络输出情感分类向量，进而预测得到目标情感分类标签。
[0238]
如图16中的(b)图所示，将文本编码器输出的文本特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的文本注意力网络，由文本注意力网络输出第一特征向量。并且，将视频编码器输出的视频特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的视频注意力网络，由视频注意力网络输出第三特征向量。最后，将第一特征向量和第三特征向量输入至全连接层，由此输出对应的情感分类向量，进而预测得到目标情感分类标签。
[0239]
第三种，结合图像信息与视频信息输出目标情感分类标签；
[0240]
为了便于说明，请参阅图17，图17为本技术实施例中多模态情感预测模型的另一个结构示意图，如图17中的(a)图所示，将图像信息输入至图像编码器，由该图像编码器输出图像特征向量。类似地，将视频信息输入至视频编码器，由该视频编码器输出视频特征向量。类似地，将目标属性标签输入至情感预测模型所包括的标签编码器，由该标签编码器输出标签特征向量。再根据图像特征向量、视频特征向量以及标签特征向量得到合并特征向量。将合并特征向量输入至全连接网络，由全连接网络输出情感分类向量，进而预测得到目标情感分类标签。
[0241]
如图17中的(b)图所示，将图像编码器输出的图像特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的图像注意力网络，由图像注意力网络输出第二特征向量。并且，将视频编码器输出的视频特征向量与标签编码器输出的标签特征向量，共同输入至情感预测模型所包括的视频注意力网络，由视频注意力网络输出第三特征向量。最后，将第二特征向量和第三特征向量输入至全连接层，由此输出对应的情感分类向量，进而预测得到目标情感分类标签。
[0242]
再次，本技术实施例中，提供了一种基于注意力机制输出情感分类向量的方法，通过上述方式，由于不同的文本信息、图像信息和视频信息对目标属性标签的作用不一致，因此，基于注意力机制可以有效注意到对目标属性标签的最重要的内容，从而提高情感预测模型的性能。
[0243]
可选地，在上述图3对应的各个实施例的基础上，本技术实施例提供的另一个可选实施例中，还包括如下步骤：
[0244]
获取k个待训练数据，其中，每个待训练数据对应于属性标注标签以及情感分类标注标签，且每个待训练数据包括m个信息类别所对应的待训练关联信息，k为大于或等于1的整数；
[0245]
针对于每个待训练数据以及每个待训练数据所对应的属性标注标签，通过待训练情感预测模型获取情感分类预测标签；
[0246]
根据每个待训练数据所对应的情感分类预测标签以及情感分类标注标签，采用损失函数对待训练情感预测模型进行训练，直至满足模型训练条件，得到情感预测模型。
[0247]
本实施例中，介绍了一种训练情感预测模型的方法。在训练情感预测模型之前，需要构建数据集，数据集包括三个部分，分别为训练集、验证集和测试集。为了便于说明，本实施例以数据集中取出的k个待训练数据为例进行介绍，在实际训练中，还可以结合更多的待训练数据进行训练，此处不做赘述。
[0248]
具体地，k个待训练数据的每个待训练数据包括m个信息类别所对应的待训练关联信息，待训练关联信息可以是待训练的文本信息、待训练的图像信息、待训练的视频信息以及待训练的语音信息中的至少一种。其中，m个信息类别与实际预测的信息类别一致，即训练和预测具有一致性，k个待训练数据中的每个待训练数据均对应于已标注的属性标注标签以及已标注的情感分类标注标签，情感分类标注标签即为真实值。
[0249]
由此，将每个待训练数据及其对应的属性标注标签输入至训练情感预测模型，由该训练情感预测模型输出预测得到的情感分类预测标签，其中，情感分类预测标签即为预测值。基于k个情感分类预测标签以及k个已标注的情感分类标注标签，采用交叉熵损失函数可计算得到损失值，可以理解的是，还可以采用其他类型的损失函数进行计算，此处不做限定。
[0250]
假设情感预测模型预测的情感分类标签包括“正向”情感分类标签以及“负向”情感分类标签，则采用如下的二分类交叉熵损失函数即可计算损失值：
[0251][0252]
其中，l表示损失值，i表示第i个待训练数据，t表示待训练数据的总数，li表示第i个损失值，yi表示第i个待训练数据对应的情感分类标注标签，pi表示第i个待训练数据为“正向”情感分类标签的概率。
[0253]
假设情感预测模型预测的情感分类标签包括三个或三个以上的情感分类标签，则采用如下的多分类交叉熵损失函数即可计算损失值：
[0254][0255]
其中，l表示损失值，i表示第i个待训练数据，t表示待训练数据的总数，n表示情感分类标签的类别总数，li表示第i个损失值，y
ic
表示第i个待训练数据对应的情感分类标注标签，p
ic
表示第i个待训练数据为第c类情感分类标签的概率。
[0256]
当损失值达到收敛时，可以确定满足模型训练条件，或者，当训练迭代次数达到阈
值时，也可以确定满足模型训练条件，本技术不做限定。
[0257]
本技术采用机器学习(machine learning，ml)实现模型训练，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
[0258]
进一步地，本技术实施例中，提供了一种训练情感预测模型的方法，通过上述方式，利用已经标注好的数据集训练情感预测模型，从而提升方案的可行性。
[0259]
结合上述介绍，下面将对本技术中信息推荐的方法进行介绍，请参阅图18，本技术实施例中信息推荐方法的一个实施例包括：
[0260]
201、获取目标用户所对应的用户画像，其中，用户画像包括目标属性标签、目标用户标识以及目标情感分类标签之间的对应关系，目标情感分类标签为情感预测模型基于m个信息类别所对应的关联信息以及目标属性标签获取的，目标情感分类标签用于表示目标用户针对于目标属性标签的情感倾向程度，m个信息类别所对应的关联信息包括文本类别所对应的文本信息、图像类别所对应的图像信息以及视频类别所对应的视频信息中的至少一种，m为大于或等于1的整数；
[0261]
本实施例中，信息推荐装置可以调用数据库中大量用户的用户画像，以向任意一个用户(即，目标用户)推送信息为例，首先获取目标用户的用户画像，其中，目标用户所对应的用户画像包括目标属性标签、目标用户标识以及目标情感分类标签之间的对应关系，而目标情感分类标签的获取方式已在前述实施例中进行介绍，故此处不做赘述。
[0262]
需要说明的是，信息推荐装置部署于计算机设备，该计算机设备具体可以是服务器，也可以是终端设备，本技术以信息推荐装置部署于服务器为例进行介绍，然而这不应理解为本技术的限定。
[0263]
202、若用户画像所包括的目标情感分类标签满足信息推荐条件，则根据目标属性标签确定推荐信息；
[0264]
本实施例中，信息推荐装置获取目标用户所对应的用户画像之后，可以根据该用户画像确定对应的类目以及每个类目下的属性标签，确定目标用户可能感兴趣的内容，例如，目标用户的用户画像中包括目标属性标签“烤鱼”，于是进一步确定目标属性标签“烤鱼”对应的目标情感分类标签是否满足信息推荐条件。
[0265]
具体地，目标情感分类标签为情感分类标签集合中的某一个情感分类标签，可以理解的是，情感分类标签集合中包括至少两类情感分类标签。
[0266]
示例性地，假设情感分类标签集合包括“正向”的情感分类标签以及“负向”的情感分类标签，那么目标情感分类标签为“正向”的情感分类标签，即认为目标情感分类标签满足信息推荐条件，于是确定目标情感分类标签对应的目标属性标签是目标用户感兴趣的，由此可确定推荐信息。
[0267]
示例性地，假设情感分类标签集合包括“正向”的情感分类标签、“中性”的情感分类标签以及“负向”的情感分类标签，那么目标情感分类标签为“正向”的情感分类标签或者“中性”的情感分类标签，即认为目标情感分类标签满足信息推荐条件，于是确定目标情感
分类标签对应的目标属性标签是目标用户感兴趣的，由此可确定推荐信息。
[0268]
示例性地，情感分类标签集合包括“非常正向”的情感分类标签、“正向”的情感分类标签、“中性”的情感分类标签、“负向”的情感分类标签以及“非常负向”的情感分类标签，那么目标情感分类标签为“非常正向”的情感分类标签或者“正向”的情感分类标签，即认为目标情感分类标签满足信息推荐条件，于是确定目标情感分类标签对应的目标属性标签是目标用户感兴趣的，由此可确定推荐信息。
[0269]
203、向目标用户标识所对应的终端设备发送推荐信息，以使终端设备展示推荐信息。
[0270]
本实施例中，信息推荐装置向目标用户标识所对应的终端设备发送推荐信息，该终端设备展示推荐信息。
[0271]
为了便于介绍，请参阅图19，图19为本技术实施例中基于用户画像实现信息推荐的一个示意图，如图所示，数据库中可以存储大量用户的用户画像，以美食公司为例，该美食公司具有调取用户画像的权限，即美食公司可通过服务器a从数据库中获取用户画像。由此可知，用户标识为“42837597843547896”的用户对“烤鱼”具有“非常正向”的情感分类标签，于是美食公司可通过服务器a向用户标识为“42837597843547896”的用户推送与“烤鱼”相关的推荐信息。
[0272]
类似地，以游戏公司为例，该游戏公司具有调取用户画像的权限，即游戏公司可通过服务器b从数据库中获取用户画像。由此可知，用户标识为“858135978447541842”的用户对“爱跑酷”具有“非常正向”的情感分类标签，于是美食公司可通过服务器a向用户标识为“58135978447541842”的用户推送与“爱跑酷”相关的推荐信息。
[0273]
本技术实施例中，提供了一种信息推荐的方法，首先获取目标用户所对应的用户画像，若用户画像所包括的目标情感分类标签满足信息推荐条件，则根据目标属性标签确定推荐信息，最后，即可向目标用户标识所对应的终端设备发送推荐信息，以使终端设备展示推荐信息。通过上述方式，广告系统在使用具备情感分类标签的用户画像时，可以有效利用情感倾对进行用户过滤，从而减少运算量。例如，即假设一个广告是属于售卖某款手机的广告，这种情况下，广告系统无需对所有具有该手机标签的用户进行运算，而是利用情感分类标签进行过滤，只选择对该手机的态度为正向的用户进行运算，可以很大程度上减少计算量。此外，推荐系统还可以基于情感分类标签实现精准定位，有效提升推荐的准确度。
[0274]
下面对本技术中的用户画像构建装置进行详细描述，请参阅图20，图20为本技术实施例中用户画像构建装置的一个实施例示意图，用户画像构建装置30包括：
[0275]
获取模块301，用于获取目标用户的目标属性标签，其中，目标用户对应于目标用户标识；
[0276]
获取模块301，还用于根据目标属性标签获取m个信息类别所对应的关联信息，其中，m个信息类别所对应的关联信息包括文本类别所对应的文本信息、图像类别所对应的图像信息以及视频类别所对应的视频信息中的至少一种，m为大于或等于1的整数；
[0277]
获取模块301，还用于基于m个信息类别所对应的关联信息以及目标属性标签，通过情感预测模型获取目标情感分类标签，其中，目标情感分类标签用于表示目标用户针对于目标属性标签的情感倾向程度；
[0278]
构建模块302，用于根据目标属性标签、目标用户标识以及目标情感分类标签，构
建目标用户所对应的用户画像。
[0279]
本技术实施例中，提供了一种用户画像构建装置，采用上述装置，在构建用户画像的过程中加入了情感分类标签，由此，更加深入地刻画了用户对于属性标签的情感倾向程度，从而增强对于用户的全面理解，进而能够提升信息推荐效果。
[0280]
可选地，在上述图20所对应的实施例的基础上，本技术实施例提供的用户画像构建装置30的另一实施例中，
[0281]
获取模块301，具体用于根据目标属性标签获取文本类别所对应的文本信息，其中，文本类别属于m个信息类别中的一个信息类别；
[0282]
基于文本信息，通过情感预测模型所包括的文本编码器获取文本特征向量；
[0283]
基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
[0284]
基于文本特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
[0285]
根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
[0286]
本技术实施例中，提供了一种用户画像构建装置，采用上述装置，利用单模态的情感预测模型对文本信息进行分析，能够有效地将目标属性标签和文本信息结合起来，输出所需的目标情感分类标签。基于此，可以结合实际情况，选择针对文本信息进行分析的单模态情感预测模型，从而提升方案的灵活性。
[0287]
可选地，在上述图20所对应的实施例的基础上，本技术实施例提供的用户画像构建装置30的另一实施例中，
[0288]
获取模块301，具体用于基于文本特征向量以及标签特征向量，通过情感预测模型所包括的文本注意力网络获取第一特征向量；
[0289]
基于第一特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
[0290]
本技术实施例中，提供了一种用户画像构建装置，采用上述装置，由于不同的文本信息对目标属性标签的作用不一致，因此，基于注意力机制可以有效注意到对目标属性标签的最重要的一些文本内容，从而提高情感预测模型的性能。
[0291]
可选地，在上述图20所对应的实施例的基础上，本技术实施例提供的用户画像构建装置30的另一实施例中，
[0292]
获取模块301，具体用于根据目标属性标签获取图像类别所对应的图像信息，其中，图像类别属于m个信息类别中的一个信息类别；
[0293]
基于图像信息，通过情感预测模型所包括的图像编码器获取图像特征向量；
[0294]
基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
[0295]
基于图像特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
[0296]
根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
[0297]
本技术实施例中，提供了一种用户画像构建装置，采用上述装置，利用单模态的情感预测模型对图像信息进行分析，能够有效地将目标属性标签和图像信息结合起来，输出所需的目标情感分类标签。基于此，可以结合实际情况，选择针对图像信息进行分析的单模
态情感预测模型，从而提升方案的灵活性。
[0298]
可选地，在上述图20所对应的实施例的基础上，本技术实施例提供的用户画像构建装置30的另一实施例中，
[0299]
获取模块301，具体用于基于图像特征向量以及标签特征向量，通过情感预测模型所包括的图像注意力网络获取第二特征向量；
[0300]
基于是第二特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
[0301]
本技术实施例中，提供了一种用户画像构建装置，采用上述装置，由于不同的图像信息对目标属性标签的作用不一致，因此，基于注意力机制可以有效注意到对目标属性标签的最重要的一些图像内容，从而提高情感预测模型的性能。
[0302]
可选地，在上述图20所对应的实施例的基础上，本技术实施例提供的用户画像构建装置30的另一实施例中，
[0303]
获取模块301，具体用于根据目标属性标签获取视频类别所对应的视频信息，其中，视频类别属于m个信息类别中的一个信息类别；
[0304]
基于视频信息，通过情感预测模型所包括的视频编码器获取视频特征向量；
[0305]
基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
[0306]
基于视频特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
[0307]
根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
[0308]
本技术实施例中，提供了一种用户画像构建装置，采用上述装置，利用单模态的情感预测模型对视频信息进行分析，能够有效地将目标属性标签和视频信息结合起来，输出所需的目标情感分类标签。基于此，可以结合实际情况，选择针对视频信息进行分析的单模态情感预测模型，从而提升方案的灵活性。
[0309]
可选地，在上述图20所对应的实施例的基础上，本技术实施例提供的用户画像构建装置30的另一实施例中，
[0310]
获取模块301，具体用于基于视频特征向量以及标签特征向量，通过情感预测模型所包括的视频注意力网络获取第三特征向量；
[0311]
基于是第三特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
[0312]
本技术实施例中，提供了一种用户画像构建装置，采用上述装置，由于不同的视频信息对目标属性标签的作用不一致，因此，基于注意力机制可以有效注意到对目标属性标签的最重要的一些视频内容，从而提高情感预测模型的性能。
[0313]
可选地，在上述图20所对应的实施例的基础上，本技术实施例提供的用户画像构建装置30的另一实施例中，
[0314]
获取模块301，具体用于根据目标属性标签获取文本类别所对应的文本信息、图像类别所对应的图像信息以及视频类别所对应的视频信息，其中，文本类别、图像类别以及视频类别均属于m个信息类别中的信息类别；
[0315]
基于文本信息，通过情感预测模型所包括的文本编码器获取文本特征向量；
[0316]
基于图像信息，通过情感预测模型所包括的图像编码器获取图像特征向量；
[0317]
基于视频信息，通过情感预测模型所包括的视频编码器获取视频特征向量；
[0318]
基于目标属性标签，通过情感预测模型所包括的标签编码器获取标签特征向量；
[0319]
基于文本特征向量、图像特征向量、视频特征向量以及标签特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量，其中，情感分类向量包括至少n个概率值，每个概率值对应于一个情感分类标签，n为大于1的整数；
[0320]
根据情感分类向量，从n个情感分类标签中确定目标情感分类标签。
[0321]
本技术实施例中，提供了一种用户画像构建装置，采用上述装置，利用多模态的情感预测模型对多个维度的信息进行分析，能够有效地将目标属性标签与不同类型的信息结合起来，输出所需的目标情感分类标签。基于此，能够从多个角度分析用户对属性标签的情感，从而提升情感分类标签的准确性，有利于更好地分析用户的喜好。
[0322]
可选地，在上述图20所对应的实施例的基础上，本技术实施例提供的用户画像构建装置30的另一实施例中，
[0323]
获取模块301，具体用于基于文本特征向量以及标签特征向量，通过情感预测模型所包括的文本注意力网络获取第一特征向量；
[0324]
基于图像特征向量以及标签特征向量，通过情感预测模型所包括的图像注意力网络获取第二特征向量；
[0325]
基于视频特征向量以及标签特征向量，通过情感预测模型所包括的视频注意力网络获取第三特征向量；
[0326]
基于第一特征向量、第二特征向量以及第三特征向量，通过情感预测模型所包括的目标注意力网络获取目标特征向量；
[0327]
基于目标特征向量，通过情感预测模型所包括的全连接网络获取情感分类向量。
[0328]
本技术实施例中，提供了一种用户画像构建装置，采用上述装置，由于不同的文本信息、图像信息和视频信息对目标属性标签的作用不一致，因此，基于注意力机制可以有效注意到对目标属性标签的最重要的内容，从而提高情感预测模型的性能。
[0329]
可选地，在上述图20所对应的实施例的基础上，本技术实施例提供的用户画像构建装置30的另一实施例中，用户画像构建装置30还包括训练模块303；
[0330]
获取模块301，还用于获取k个待训练数据，其中，每个待训练数据对应于属性标注标签以及情感分类标注标签，且每个待训练数据包括m个信息类别所对应的待训练关联信息，k为大于或等于1的整数；
[0331]
获取模块301，还用于针对于每个待训练数据以及每个待训练数据所对应的属性标注标签，通过待训练情感预测模型获取情感分类预测标签；
[0332]
训练模块303，用于根据每个待训练数据所对应的情感分类预测标签以及情感分类标注标签，采用损失函数对待训练情感预测模型进行训练，直至满足模型训练条件，得到情感预测模型。
[0333]
本技术实施例中，提供了一种用户画像构建装置，采用上述装置，利用已经标注好的数据集训练情感预测模型，从而提升方案的可行性。
[0334]
下面对本技术中的信息推荐装置进行详细描述，请参阅图21，图21为本技术实施例中信息推荐装置的一个实施例示意图，信息推荐装置40包括：
[0335]
获取模块401，用于获取目标用户所对应的用户画像，其中，用户画像包括目标属性标签、目标用户标识以及目标情感分类标签之间的对应关系，目标情感分类标签为情感预测模型基于m个信息类别所对应的关联信息以及目标属性标签获取的，目标情感分类标签用于表示目标用户针对于目标属性标签的情感倾向程度，m个信息类别所对应的关联信息包括文本类别所对应的文本信息、图像类别所对应的图像信息以及视频类别所对应的视频信息中的至少一种，m为大于或等于1的整数；
[0336]
确定模块402，用于若用户画像所包括的目标情感分类标签满足信息推荐条件，则根据目标属性标签确定推荐信息；
[0337]
发送模块403，用于向目标用户标识所对应的终端设备发送推荐信息，以使终端设备展示推荐信息。
[0338]
本技术实施例中，提供了一种信息推荐装置，采用上述装置，广告系统在使用具备情感分类标签的用户画像时，可以有效利用情感倾对进行用户过滤，从而减少运算量。例如，即假设一个广告是属于售卖某款手机的广告，这种情况下，广告系统无需对所有具有该手机标签的用户进行运算，而是利用情感分类标签进行过滤，只选择对该手机的态度为正向的用户进行运算，可以很大程度上减少计算量。此外，推荐系统还可以基于情感分类标签实现精准定位，有效提升推荐的准确度。
[0339]
图22是本技术实施例提供的一种计算机设备结构示意图，该计算机设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在计算机设备500上执行存储介质530中的一系列指令操作。
[0340]
计算机设备500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，和/或，一个或一个以上操作系统541，例如windows server
tm
，mac os x
tm
，unix
tm
,linux
tm
，freebsd
tm
等等。
[0341]
上述实施例中由计算机设备所执行的步骤可以基于该图22所示的计算机设备结构。
[0342]
本技术实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如前述各个实施例描述的方法。
[0343]
本技术实施例中还提供一种包括程序的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例描述的方法。
[0344]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0345]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论
的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0346]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0347]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0348]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0349]
以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。