用户标签识别方法、装置、电子设备和计算机可读存储介质与流程

1.本技术涉及人工智能技术领域，特别是涉及一种用户标签识别方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.随着互联网技术的快速发展，多种多样的社交媒体平台应运而生。用户在使用社交媒体平台的过程中生成了丰富的用户行为数据，且在获得用户授权的条件下，对这些用户行为数据进行分析可以得到每个用户的用户行为标签。
3.其中，用户行为标签指的是对不同用户的用户行为数据进行抽象分类及概括所得到的标签。基于用户行为标签可以精准地向用户推荐相关信息，以使用户更便捷地获取到所需要的信息。但是，采用传统方法对用户行为数据进行分析所生成的用户行为标签的准确性较低。


技术实现要素：

4.本技术实施例提供了一种用户标签识别方法、装置、电子设备、计算机可读存储介质，可以提高用户行为标签识别的准确性。
5.一方面，提供了一种用户标签识别方法，包括：
6.获取与用户标识对应的历史行为数据矩阵；所述历史行为数据矩阵包括与所述用户标识的历史行为数据对应的行为特征及属性特征；所述属性特征包括对所述历史行为数据进行属性分析所得到的特征；
7.基于所述用户标识的当前行为数据及所述用户标识的历史行为数据矩阵，计算所述用户标识的当前行为数据矩阵；
8.将所述用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与所述用户标识对应的用户行为标签。
9.另一方面，提供了一种用户标签识别装置，包括：
10.历史行为数据矩阵获取模块，用于获取与用户标识对应的历史行为数据矩阵；所述历史行为数据矩阵包括与所述用户标识的历史行为数据对应的行为特征及属性特征；所述行为特征包括从所述用户标识的历史行为数据中所提取的与行为相关的特征；所述属性特征包括对所述历史行为数据进行属性分析所得到的特征；
11.当前行为数据矩阵获取模块，用于基于所述用户标识的当前行为数据及所述用户标识的历史行为数据矩阵，计算所述用户标识的当前行为数据矩阵；
12.用户行为标签生成模块，用于将所述用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与所述用户标识对应的用户行为标签。
13.另一方面，提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的对焦控制方法的步骤。
14.另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
15.另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述方法的步骤。
16.上述用户标签识别方法和装置、电子设备、计算机可读存储介质，获取与用户标识对应的历史行为数据矩阵，其中，历史行为数据矩阵包括与用户标识的历史行为数据对应的行为特征及属性特征，属性特征包括对历史行为数据进行属性分析所得到的特征。基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算用户标识的当前行为数据矩阵。将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签。
17.所获取的与用户标识对应的历史行为数据矩阵中既包括行为特征，又包括属性特征，且由于属性特征包括对历史行为数据进行属性分析所得到的特征，因此，本技术相比较于传统技术，增加了属性特征，即相当于从历史行为数据中挖掘出了高维特征，实现了更加深入地挖掘历史行为数据中的特征。再基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算用户标识的当前行为数据矩阵。将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签。通过标签识别模型进行用户行为标签识别，进一步提高了用户行为标签识别的准确性。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为一个实施例中用户标签识别方法的应用环境图；
20.图2为一个实施例中用户标签识别方法的流程图；
21.图3为另一个实施例中用户标签识别方法的流程图；
22.图4为图3中从历史行为数据中，提取历史行为数据的目标行为特征及目标属性特征方法的流程图；
23.图5为一个实施例中cbow模型的模型结构的示意图；
24.图6为图3中构建用户标识的历史行为数据矩阵方法的流程图；
25.图7为图2中基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算用户标识的当前行为数据矩阵方法的流程图；
26.图8为图2中将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签方法的流程图；
27.图9为一个实施例中标签识别模型的网络结构示意图；
28.图10为再一个实施例中用户标签识别方法的示意图；
29.图11为一个具体的实施例中用户标签识别方法的示意图；
30.图12为一个实施例中用户标签识别装置的结构框图；
31.图13为另一个实施例中用户标签识别装置的结构框图；
32.图14为一个实施例中电子设备的内部结构示意图。
具体实施方式
33.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
34.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本技术的范围的情况下，可以将第一卷积层称为第二卷积层，且类似地，可将第二卷积层称为第一卷积层。第一卷积层和第二卷积层两者都是卷积层，但其不是同一卷积层。
35.图1为一个实施例中用户标签识别方法的应用环境示意图。如图1所示，该应用环境包括电子设备120。其中，电子设备120可以从服务器140中获取与用户标识对应的历史行为数据矩阵，其中，历史行为数据矩阵包括与用户标识的历史行为数据对应的行为特征及属性特征，属性特征包括对历史行为数据进行属性分析所得到的特征。基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算用户标识的当前行为数据矩阵。将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签。其中，电子设备可以是手机、平板电脑、pda(personal digital assistant，个人数字助理)、穿戴式设备(智能手环、智能手表、智能眼镜、智能手套、智能袜子、智能腰带等)、vr(virtual reality，虚拟现实)设备、智能家居、无人驾驶汽车等任意终端设备。
36.图2为一个实施例中用户标签识别方法的流程图。本实施例中的用户标签识别方法，以运行于图1中的电子设备上为例进行描述。如图2所示，用户标签识别方法包括步骤220至步骤240，其中，
37.步骤220，获取与用户标识对应的历史行为数据矩阵；历史行为数据矩阵包括与用户标识的历史行为数据对应的行为特征及属性特征；属性特征包括对历史行为数据进行属性分析所得到的特征。
38.电子设备获取与用户标识对应的历史行为数据矩阵，其中，用户标识用于表示用户的身份信息，例如，各种网页或各种应用程序中的用户id(identity document，身份标识号)等。其中，历史行为数据矩阵可以理解为基于用户标识的历史行为数据所生成的矩阵，历史行为数据用于记录用户标识在各网页或各应用程序中的历史行为所对应的数据。这里的历史行为用于表征用户标识在使用各网页或各应用程序的历史过程中所产生的操作指令。
39.其中，历史行为数据矩阵包括与用户标识的历史行为数据对应的行为特征及属性特征，具体在历史行为数据矩阵中依次记录了用户标识在各网页或各应用程序中的历史行为数据对应的行为特征及属性特征。行为特征可以理解为从用户标识的历史行为数据的文本数据中直接提取的与行为相关的特征，例如，在各网页或各应用程序中的使用次数、单次使用时长、使用总时长以及浏览、搜索、收藏、点赞、打赏、购买、退货、评价等行为的相关特征。属性特征包括对历史行为数据进行属性分析所得到的特征，这里的属性特征区别于行
为特征，行为特征可以为从用户标识的历史行为数据的文本数据中直接提取得到，而属性特征不能直接从历史行为数据的文本数据中进行提取所获得，需要通过对历史行为数据对应的文本数据进行上下文分析，实现对历史行为数据进行属性分析，从而生成历史行为数据的属性特征。即从历史行为数据中挖掘出属性特征，相当于是从历史行为数据中挖掘出了高维特征，属性特征能够更加深入地体现历史行为数据中的隐藏特征。例如，属性特征可以是用户行为类型、用户转化率、产品转化率等，需要基于历史行为数据进行属性分析所得到的特征。其中，用户转换率(the user conversion rate)包括注册用户转换率、登录用户转换率和付费用户转换率等，本技术对此不做限定。其中，注册用户转换率指的是在网页或应用程序中通过新闻、广告等媒介吸引前来的用户转换成为注册用户的比率。同理，登录用户转换率指的是在网页或应用程序中通过新闻、广告等媒介吸引前来的用户转换成为登录用户的比率；付费用户转换率指的是在网页或应用程序中通过新闻、广告等媒介吸引前来的用户转换成为付费用户的比率。
40.具体的，电子设备可以从与各种网页或各种应用程序对应的数据库中，获取与用户标识对应的历史行为数据矩阵。与各种网页或各种应用程序对应的数据库中记录了大量用户标识在使用该网页或该应用程序的过程中所生成的历史数据，这些历史数据中包括历史行为数据。即电子设备可以从与各种网页或各种应用程序对应的数据库中，获取与用户标识对应的历史行为数据，进而基于历史行为数据生成用户标识对应的历史行为数据矩阵。
41.步骤240，基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算用户标识的当前行为数据矩阵。
42.电子设备还可以获取用户标识的当前行为数据，具体的，电子设备还可以从与各种网页或各种应用程序对应的数据库中，获取用户标识的当前行为数据。当前行为数据用于记录用户标识在各网页或各应用程序中的当前行为所对应的数据。与历史行为类似，这里的当前行为用于表征用户标识在使用各网页或各应用程序的当前过程中所产生的操作指令，例如，当前行为包括但不限于使用次数、单次使用时长、使用总时长、以及浏览、搜索、收藏、点赞、打赏、购买、退货、评价等操作指令。
43.进一步，基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算用户标识的当前行为数据矩阵。具体的，在电子设备获取了用户标识的当前行为数据之后，从当前行为数据中，提取与当前行为数据对应的行为特征及属性特征。将当前行为数据对应的行为特征及属性特征按照用户标识的历史行为数据矩阵中的行为特征及属性特征的矩阵排列顺序进行排列，生成用户标识的当前行为数据矩阵。即同一用户标识的当前行为数据矩阵与历史行为数据矩阵中的行为特征及属性特征的排列顺序是一致的。
44.步骤260，将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签。
45.在基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算出用户标识的当前行为数据矩阵之后，将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签。
46.其中，标签识别模型为预先基于训练集中的与多个用户标识对应的当前行为数据矩阵及与多个用户标识对应的标注用户行为标签进行用户行为标签识别训练，所得到的卷
积神经网络模型。由于标签识别模型为基于海量数据进行训练所生成的，因此，采用标签识别模型进行用户行为标签识别，相比较与采用固定的规则进行用户标签识别，更具有灵活性。用户行为标签指的是与用户行为所匹配的标签，例如，与用户标识在某个网页或应用程序上的使用次数、单次使用时长、使用总时长、以及浏览、搜索、收藏、点赞、打赏、购买、退货、评价等行为所匹配的标签。
47.在生成与用户标识对应的用户行为标签之后，可以进一步基于用户标识的用户行为标签，生成用户标识对应的用户画像。再根据用户标识对应的用户画像，对用户标识进行个性化推荐。当然，还可以基于用户标识对应的用户画像，进行一系列的数据分析，本技术对此不做限定。
48.本技术实施例中，所获取的与用户标识对应的历史行为数据矩阵中既包括行为特征，又包括属性特征，且由于属性特征包括对历史行为数据进行属性分析所得到的特征。传统技术中，在识别用户标签时，仅仅采用对用户标识的行为特征增设权重的方式进行识别，缺少对行为特征背后的高维特征的挖掘。因此，本技术相比较于传统技术，增加了属性特征，即相当于从历史行为数据中挖掘出了高维特征，实现了更加深入地挖掘历史行为数据中的特征。再基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算用户标识的当前行为数据矩阵。将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签。通过标签识别模型进行用户行为标签识别，进一步提高了用户行为标签识别的准确性。
49.接前一个实施例，描述了获取与用户标识对应的历史行为数据矩阵，基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算用户标识的当前行为数据矩阵；将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签的过程。本技术实施例中，如图3所示，提供了一种用户标签识别方法，在步骤220，获取与用户标识对应的历史行为数据矩阵之前，还包括：
50.步骤320，获取用户标识在各应用程序中的历史行为数据；历史行为数据用于记录用户标识在各应用程序中的历史行为所对应的数据。
51.电子设备获取用户标识在各应用程序中的历史行为数据。这里的应用程序可以包括社交类应用程序、生活实用类应用程序、办公类应用程序、摄像美图类应用程序、购物类应用程序、娱乐类应用程序、旅游出行类应用程序、金融类应用程序等，当然，本技术对此不做限定。其中，历史行为数据用于记录用户标识在各网页或各应用程序中的历史行为所对应的数据。这里的历史行为用于表征用户标识在使用各网页或各应用程序的历史过程中所产生的操作指令，例如，历史行为包括但不限于使用次数、单次使用时长、使用总时长以及浏览、搜索、收藏、点赞、打赏、购买、退货、评价等操作指令。
52.步骤340，针对用户标识在各应用程序中的历史行为数据，从历史行为数据中，提取历史行为数据的目标行为特征及目标属性特征。
53.在步骤320中获取了用户标识在各应用程序中的历史行为数据，那么，针对用户标识在各应用程序中的历史行为数据，就可以从每个应用程序的历史行为数据中提取出目标行为特征及目标属性特征。例如，针对用户标识a在应用程序1中的历史行为数据，就可以从该历史行为数据中提取出目标行为特征及目标属性特征。针对用户标识a在应用程序2中的历史行为数据，就可以从该历史行为数据中提取出目标行为特征及目标属性特征。依次类
推，就可以得到用户标识a在各应用程序中的历史行为数据的目标行为特征及目标属性特征。
54.这里，可以先从历史行为数据中提取出行为特征及属性特征之后，进一步基于特征的特征重要度，从该行为特征中筛选出特征重要度高于预设特征重要度阈值的行为特征作为目标行为特征，从该属性特征中筛选出特征重要度高于预设特征重要度阈值的属性特征作为目标属性特征。
55.其中，行为特征可以理解为从用户标识的历史行为数据的文本数据中直接提取的与行为相关的特征，例如，在各网页或各应用程序中的使用次数、单次使用时长、使用总时长以及浏览、搜索、收藏、点赞、打赏、购买、退货、评价等行为的相关特征。属性特征包括对历史行为数据进行属性分析所得到的特征，这里的属性特征区别于行为特征，行为特征可以为从用户标识的历史行为数据的文本数据中直接提取得到，而属性特征不能直接从历史行为数据的文本数据中进行提取所获得，需要通过对历史行为数据对应的文本进行上下文分析，实现对历史行为数据进行属性分析，从而生成历史行为数据的属性特征。
56.步骤360，基于历史行为数据的目标行为特征及目标属性特征，构建用户标识的历史行为数据矩阵。
57.在得到了用户标识a在各应用程序中的历史行为数据的目标行为特征及目标属性特征之后，就可以基于历史行为数据的目标行为特征及目标属性特征，构建用户标识的历史行为数据矩阵。具体的，可以将用户标识a在各应用程序下的目标行为特征及目标属性特征依次按照矩阵排布，生成用户标识a的历史行为数据矩阵。其中，用户标识a的历史行为数据矩阵a可以参考下表1-1所示：
58.表1-1
59.用户标识a应用程序1应用程序3应用程序2
……
应用程序n次数次数1次数3次数2
……
次数n时长时长1时长3时长2
……
时长n第一属性特征第一属性特征1第一属性特征3第一属性特征2
……
第一属性特征n第二属性特征第二属性特征1第二属性特征3第二属性特征2
……
第二属性特征n
………………………………
60.本技术实施例中，在构建用户标识的历史行为数据矩阵时，不仅从历史行为数据中提取行为特征，还从历史行为数据中挖掘出属性特征。由于属性特征能够更加深入地体现历史行为数据中的隐藏特征，因此相当于是从历史行为数据中挖掘出了高维特征。所以，针对用户标识在各应用程序中的历史行为数据，从历史行为数据中，提取历史行为数据的目标行为特征及目标属性特征。再基于历史行为数据的目标行为特征及目标属性特征，构建用户标识的历史行为数据矩阵。显然，所构建的历史行为数据矩阵能够更全面、更深入地表征用户标识的行为数据，提升了每个样本数据的特征维度。进而，在后续基于该历史行为特征矩阵计算用户标识的当前行为数据矩阵，并将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别的过程中，进一步提高了标签识别模型的拟合能力。最终，提高了所生成的用户标识对应的用户行为标签的准确性。
61.接前一个实施例，描述了用户标识的历史行为数据矩阵的构建过程。本技术实施例中，如图4所示，进一步详细说明步骤340，针对用户标识在各应用程序中的历史行为数
据，从历史行为数据中，提取历史行为数据的目标行为特征及目标属性特征的具体实现步骤，包括：
62.步骤342，针对用户标识在各应用程序中的历史行为数据，从历史行为数据中，提取与历史行为相关的特征作为历史行为数据的初始行为特征；
63.其中，历史行为数据用于记录用户标识在各网页或各应用程序中的历史行为所对应的数据。这里的历史行为用于表征用户标识在使用各网页或各应用程序的历史过程中所产生的操作指令，例如，历史行为包括但不限于使用次数、单次使用时长、使用总时长以及浏览、搜索、收藏、点赞、打赏、购买、退货、评价等操作指令。以上浏览、搜索、收藏、点赞、打赏、购买、退货、评价等行为，均涉及到作用对象及作用次数，例如，收藏行为中涉及到收藏对象、针对收藏对象的收藏次数；点赞行为中涉及到点赞对象、针对点赞对象的点赞次数；打赏行为中涉及到打赏对象、针对打赏对象的打赏次数等。
64.针对用户标识在各应用程序中的历史行为数据，从历史行为数据中，提取与历史行为相关的特征。其中，与历史行为相关的特征即为与用户标识在使用各网页或各应用程序的历史过程中所产生的操作指令相关的特征。例如，与上述使用次数、单次使用时长、使用总时长以及浏览、搜索、收藏、点赞、打赏、购买、退货、评价等行为。以上浏览、搜索、收藏、点赞、打赏、购买、退货、评价等操作指令相关的特征。
65.然后，可以将从历史行为数据中所提取的与历史行为相关的全部或部分特征，作为历史行为数据的初始行为特征。
66.步骤344，对历史行为数据进行属性分析，生成历史行为数据的初始属性特征。
67.针对用户标识在各应用程序中的历史行为数据，对历史行为数据进行属性分析，生成历史行为数据的初始属性特征。其中，这里的属性分析可以是从历史行为数据对应的文本中提取词向量的过程，还可以是对历史行为数据的初始行为特征进行特征工程处理，生成高维特征的过程。这里的高维特征包括高维组合特征以及基于初始行为特征进行特征工程处理所生成的新的特征。其中，特征工程是指采用一系列工程化的方式从原始数据中筛选出更好的数据特征，以提升模型的训练效果的过程。
68.因此，对历史行为数据进行属性分析之后，可以从历史行为数据对应的文本中提取词向量，将词向量作为历史行为数据的初始属性特征。还可以将对历史行为数据的初始行为特征进行特征工程处理所生成的高维特征，作为历史行为数据的初始属性特征。本技术对此不做限定。
69.步骤346，采用极值梯度提升算法从历史行为数据的初始行为特征及初始属性特征中，提取历史行为数据的目标行为特征及目标属性特征。
70.其中，极值梯度提升算法(xgboost，extreme gradient boosting)，以下简称xgboost算法。xgboost算法的核心就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树其实就是学习一个新函数的过程，去拟合上次预测的残差。
71.针对用户标识在各应用程序中的历史行为数据，采用极值梯度提升算法计算该历史行为数据的初始行为特征的特征重要度及初始属性特征的特征重要度，并从该初始行为特征中筛选出特征重要度高于预设特征重要度阈值的行为特征作为目标行为特征，从该初始属性特征中筛选出特征重要度高于预设特征重要度阈值的属性特征作为目标属性特征。例如，从多个初始行为特征中提取出m个初始行为特征作为目标行为特征，从多个初始属性
特征中提取出m个初始属性特征作为目标属性特征。这里，并不对m的数值大小做出限定。
72.本技术实施例中，针对用户标识在各应用程序中的历史行为数据，从历史行为数据中，提取与历史行为相关的特征作为历史行为数据的初始行为特征。对历史行为数据进行属性分析之后，可以从历史行为数据对应的文本中提取词向量，将词向量作为历史行为数据的初始属性特征。还可以将对历史行为数据的初始行为特征进行特征工程处理所生成的高维特征，作为历史行为数据的初始属性特征。如此，不管是经过上述提取词向量还是上述进行特征工程处理的过程得到初始属性特征，都相当于是从历史行为数据中挖掘出了高维特征，提升了每个样本数据的特征维度。
73.同时，采用极值梯度提升算法基于特征重要度从历史行为数据的初始行为特征及初始属性特征中，提取历史行为数据的目标行为特征及目标属性特征。如此，基于特征重要度对初始行为特征及初始属性特征进行了精简处理，保留特征重要度高于预设特征重要度阈值的目标行为特征及目标属性特征。从而，在实现减小后续用户标签识别过程的计算量的同时，保证了所识别出的用户标签的准确性。
74.接前一个实施例，描述了用户标识的历史行为数据矩阵的构建过程中，如何从历史行为数据中，提取历史行为数据的目标行为特征及目标属性特征的步骤。本技术实施例中，进一步详细说明步骤344，对历史行为数据进行属性分析，生成历史行为数据的初始属性特征的具体实现步骤，包括：
75.对历史行为数据进行文本切分，生成历史行为数据的文本切分结果；
76.将历史行为数据的文本切分结果输入至word2vec神经网络模型进行词向量提取，生成历史行为数据的多个词向量；
77.将历史行为数据的多个词向量，作为历史行为数据的初始属性特征。
78.具体的，获取历史行为数据对应的文本数据，对历史行为数据进行文本切分，生成历史行为数据的文本切分结果。其中，文本切分至少包括句子切分、词语切分这两个过程。在一种情况下，这里的文本切分结果包括对文本数据进行句子切分之后所得的句子，以及对句子进行词语切分之后所得的词语；在另一种情况下，这里的文本切分结果包括词语切分之后所得的词语。
79.进一步，将历史行为数据的文本切分结果输入至word2vec神经网络模型进行词向量提取，生成历史行为数据的多个词向量。其中，word2vec神经网络模型是一个nlp工具，其特点为将所有的词语进行向量化处理，这样就可以定量的去度量词语与词语之间的关系，挖掘词语与词语之间的联系。在这里，word2vec神经网络模型可以具体采用cbow模型提取词向量。其中，cbow是continuous bag-of-words model的缩写，cbow模型是一种根据上下文的词语预测当前词语的出现概率的模型。具体的，将历史行为数据的文本切分结果输入至cbow模型中进行映射编码，生成历史行为数据的多个词向量。
80.其中，cbow模型的模型结构如图5所示，cbow模型包括输入层、隐藏层(映射层)及输出层。假设这里的语料库中的词汇总数为v；上下文词语的个数为c，分别表示为x
1k
、x
2k
……
x
ck
；映射层/词向量维度为n；
81.首先，获取每个用户标识在各应用程序中的历史行为数据的文本数据；在输入层将每个文本数据中的上下文词语x
1k
、x
2k
……
x
ck
输入至隐藏层，即输入层的节点为c个上下文词语；
82.其次，在隐藏层中，将输入层每个节点乘以权重矩阵w
v*n
所得到的词向量(word embedding)进行计算平均值，得到隐藏层的输出h，具体的计算公式如下所示；
[0083][0084]
再次，输出层每个节点的输入为：其中是输出矩阵w
′
的第j列；在输出层中经过损失函数之后，输出中心词为某个词向量j时的概率分布为：
[0085][0086]
其中，这里的损失函数为：
[0087][0088]
其中，输出权重矩阵w
′
的更新规则：
[0089][0090]
权重矩阵w的更新规则：
[0091][0092]
最后，基于所生成的词向量及词向量的概率生成历史行为数据的多个词向量，并将历史行为数据的多个词向量，作为历史行为数据的初始属性特征。
[0093]
本技术实施例中，对历史行为数据进行属性分析，生成历史行为数据的初始属性特征的具体实现步骤，包括：首先，对历史行为数据进行文本切分，生成历史行为数据的文本切分结果。其次，将历史行为数据的文本切分结果输入至word2vec神经网络模型进行词向量提取，生成历史行为数据的多个词向量。最后，将历史行为数据的多个词向量，作为历史行为数据的初始属性特征。通过word2vec神经网络模型进行词向量提取，将从历史行为数据中所提取的多个词向量，作为历史行为数据的初始属性特征。基于词向量可以更好地体现历史行为数据中词语与词语之间的关系，因此，基于词向量所得到的历史行为数据的初始属性特征，可以挖掘出历史行为数据中的高维特征。再基于历史行为数据的目标行为特征及目标属性特征，构建用户标识的历史行为数据矩阵。显然，所构建的历史行为数据矩阵能够更全面、更深入地表征用户标识的行为数据，提升了每个样本数据的特征维度。进而，在后续基于该历史行为特征矩阵计算用户标识的当前行为数据矩阵，并将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别的过程中，进一步提高了标签识别模型的拟合能力。最终，提高了所生成的用户标识对应的用户行为标签的准确性。
[0094]
在一个实施例中，如图6所示，步骤360，基于历史行为数据的目标行为特征及目标属性特征，构建用户标识的历史行为数据矩阵，包括：
[0095]
步骤362，将历史行为数据的目标行为特征及目标属性特征，按照矩阵排布方式进行排布，生成用户标识的初始历史行为数据矩阵。
[0096]
在得到了用户标识a在各应用程序中的历史行为数据的目标行为特征及目标属性特征之后，就可以基于历史行为数据的目标行为特征及目标属性特征，按照矩阵排布方式进行排布，生成用户标识的初始历史行为数据矩阵。这里，按照矩阵排布方式进行排布，可以针对各应用程序，将一个应用程序中的历史行为数据的目标行为特征及目标属性特征排
布在一列中，如此依次对每个应用程序中的历史行为数据的目标行为特征及目标属性特征进行排布，最终得到了用户标识的初始历史行为数据矩阵。在初始历史行为数据矩阵中，各个应用程序之间并没有唯一的排布先后顺序，本技术对此不做限定。其中，用户标识a的初始历史行为数据矩阵可以参考下表1-2所示：
[0097]
表1-2
[0098]
用户标识a应用程序1应用程序2应用程序3
……
应用程序n次数次数1次数2次数3
……
次数n时长时长1时长2时长3
……
时长n第一属性特征第一属性特征1第一属性特征2第一属性特征3
……
第一属性特征n第二属性特征第二属性特征1第二属性特征2第二属性特征3
……
第二属性特征n
………………………………
[0099]
步骤364，针对各历史行为数据，计算历史行为数据的目标属性特征与各历史行为数据中的其他历史行为数据的目标属性特征之间的相似度。
[0100]
由于在初始历史行为数据矩阵中，各个应用程序之间并没有唯一的排布先后顺序，不能体现各个应用程序的历史行为数据之间的关联。因此，针对各历史行为数据，可以计算历史行为数据的目标属性特征与各历史行为数据中的其他历史行为数据的目标属性特征之间的相似度。并通过该相似度来体现各个应用程序的历史行为数据之间的关联。
[0101]
具体的，可以计算历史行为数据的所有或部分目标属性特征与各历史行为数据中的其他历史行为数据的所有或部分目标属性特征之间的相似度。例如，结合表1-2，针对用户标识a的应用程序1的历史行为数据，计算应用程序1的历史行为数据中所有或部分的目标属性特征与应用程序2的历史行为数据中所有或部分的目标属性特征之间的相似度。再计算应用程序1的历史行为数据中所有或部分的目标属性特征与应用程序3的历史行为数据中所有或部分的目标属性特征之间的相似度。依次计算应用程序1的历史行为数据中所有或部分的目标属性特征与其他每一个应用程序的历史行为数据中所有或部分的目标属性特征之间的相似度。
[0102]
如此，依次计算应用程序2的历史行为数据中所有或部分的目标属性特征与其他每一个应用程序的历史行为数据中所有或部分的目标属性特征之间的相似度。依次计算应用程序3的历史行为数据中所有或部分的目标属性特征与其他每一个应用程序的历史行为数据中所有或部分的目标属性特征之间的相似度。如此，就得到了任意两个应用程序的历史行为数据中所有或部分的目标属性特征之间的相似度。
[0103]
步骤366，基于相似度对初始历史行为数据矩阵中的各历史行为数据进行排序，生成用户标识的历史行为数据矩阵。
[0104]
针对应用程序1的历史行为数据，假设得到应用程序1的历史行为数据中所有或部分的目标属性特征与应用程序3的历史行为数据中所有或部分的目标属性特征之间的相似度最高，则将应用程序3的历史行为数据中的目标行为特征及目标属性特征移动至紧邻应用程序1进行排布。同理，对用户标识a的所有应用程序的历史行为数据中的目标行为特征及目标属性特征进行重新排序，如此，生成用户标识的历史行为数据矩阵。其中，用户标识a的历史行为数据矩阵可以参考表1-1所示，在此不再赘述。
[0105]
本技术实施例中，将历史行为数据的目标行为特征及目标属性特征，按照矩阵排
布方式进行排布，生成用户标识的初始历史行为数据矩阵。针对各历史行为数据，计算历史行为数据的目标属性特征与各历史行为数据中的其他历史行为数据的目标属性特征之间的相似度。基于相似度对初始历史行为数据矩阵中的各历史行为数据进行排序，生成用户标识的历史行为数据矩阵。基于相似度将各个应用程序的多维特征(目标行为特征及目标属性特征)从无序排布转换为有序排布，如此，在获取了用户标识的当前行为数据的多维特征之后，就可以准确地将用户标识的当前行为数据的多维特征对应到历史行为数据矩阵中。进而，也提高了后续将用户标识的历史行为数据矩阵输入至标签识别模型中所识别的用户标签的准确性。
[0106]
在一个实施例中，如图7所示，步骤240，基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算用户标识的当前行为数据矩阵，包括：
[0107]
步骤242，获取用户标识的当前行为数据；当前行为数据用于记录用户标识在各应用程序中的当前行为所对应的数据。
[0108]
电子设备获取用户标识在各应用程序中的当前行为数据。这里的应用程序可以包括社交类应用程序、生活实用类应用程序、办公类应用程序、摄像美图类应用程序、购物类应用程序、娱乐类应用程序、旅游出行类应用程序、金融类应用程序等，当然，本技术对此不做限定。其中，当前行为数据用于记录用户标识在各网页或各应用程序中的当前行为所对应的数据。这里的当前行为用于表征用户标识当前使用各网页或各应用程序的过程中所产生的操作指令，例如，当前行为包括但不限于使用次数、单次使用时长、使用总时长以及浏览、搜索、收藏、点赞、打赏、购买、退货、评价等操作指令。
[0109]
步骤244，针对用户标识在各应用程序中的当前行为数据，从当前行为数据中，提取与当前行为数据对应的行为特征及属性特征。
[0110]
在步骤242中获取了用户标识在各应用程序中的当前行为数据，那么，针对用户标识在各应用程序中的当前行为数据，就可以从每个应用程序的当前行为数据中提取出行为特征及属性特征。例如，针对用户标识a在应用程序1中的当前行为数据，就可以从该当前行为数据中提取出行为特征及属性特征。针对用户标识a在应用程序2中的当前行为数据，就可以从该当前行为数据中提取出行为特征及属性特征。依次类推，就可以得到用户标识a在各应用程序中的当前行为数据的行为特征及属性特征。
[0111]
其中，行为特征可以理解为从用户标识的当前行为数据的文本数据中直接提取的与行为相关的特征，例如，在各网页或各应用程序中的使用次数、单次使用时长、使用总时长以及浏览、搜索、收藏、点赞、打赏、购买、退货、评价等行为的相关特征。属性特征包括对当前行为数据进行属性分析所得到的特征，这里的属性特征区别于行为特征，行为特征可以为从用户标识的当前行为数据的文本数据中直接提取得到，而属性特征不能直接从当前行为数据的文本数据中进行提取所获得，需要通过对当前行为数据对应的文本进行上下文分析，实现对当前行为数据进行属性分析，从而生成当前行为数据的属性特征。
[0112]
步骤246，根据当前行为数据的行为特征及属性特征及用户标识的历史行为数据矩阵，生成用户标识的当前行为数据矩阵。
[0113]
获取当前行为数据的行为特征及属性特征的过程，与从历史行为数据中获取行为特征及属性特征的过程类似，在此不再赘述。在得到了当前行为数据的多维特征(行为特征及属性特征)之后，参照用户标识的历史行为数据矩阵a中多维特征的矩阵排布方式，对当
前行为数据的多维特征进行矩阵排布，生成用户标识的当前行为数据矩阵。即该历史行为数据矩阵中的某一个维度特征，与该当前行为数据矩阵的该维度特征，在矩阵中处于同一位置。且一般情况下，用户标识a对应的当前行为数据矩阵中的多维特征，少于或等于该用户标识a的历史行为数据矩阵中的多维特征，本技术对此不做限定。
[0114]
本技术实施例中，构建用户标识的当前行为数据矩阵的过程，包括：获取用户标识的当前行为数据，针对用户标识在各应用程序中的当前行为数据，从当前行为数据中，提取与当前行为数据对应的行为特征及属性特征。根据当前行为数据的行为特征及属性特征及用户标识的历史行为数据矩阵，生成用户标识的当前行为数据矩阵。参考用户标识的历史行为数据矩阵，将用户标识的当前行为数据转化为当前行为数据矩阵，从而，就可以将当前行为数据矩阵输入至标签识别模型中识别该用户标识在当前行为中的用户标签。
[0115]
接前一个实施例，描述了用户标识的当前行为数据矩阵的构建过程。本技术实施例中，，进一步详细说明步骤246，根据当前行为数据的行为特征及属性特征及用户标识的历史行为数据矩阵，生成用户标识的当前行为数据矩阵的具体实现步骤，包括：
[0116]
将当前行为数据的行为特征及属性特征，按照用户标识的历史行为数据矩阵的矩阵排布方式进行排布，生成用户标识的当前行为特征原始矩阵；
[0117]
对当前行为特征原始矩阵中的行为特征及属性特征进行归一化处理，生成当前行为数据矩阵。
[0118]
在得到了当前行为数据的多维特征(行为特征及属性特征)之后，将当前行为数据的行为特征及属性特征，按照用户标识的历史行为数据矩阵的矩阵排布方式进行排布，生成用户标识的当前行为特征原始矩阵。可以将当前行为数据的行为特征及属性特征映射到历史行为数据矩阵中的对应位置，如此生成用户标识的当前行为特征原始矩阵。
[0119]
其中，将当前行为数据的行为特征及属性特征映射到历史行为数据矩阵中的对应位置，如此生成用户标识的当前行为特征原始矩阵可以采用以下方式实现：结合用户标识的历史行为数据矩阵a，构建与历史行为数据矩阵大小相同的矩阵b。假设当前行为数据具有多维特征中的第j维特征，则将矩阵b中的第j维特征置为1；假设当前行为数据不具有多维特征中的第j维特征，则将矩阵b中的第j维特征置为0。其中，用户标识a的矩阵b可以参考下表1-3所示：
[0120]
表1-3
[0121]
用户标识a101
……
0次数101
……
0时长101
……
0第一属性特征101
……
0第二属性特征101
……0………………………………
[0122]
如此，将用户标识a的矩阵b与用户标识的历史行为数据矩阵a进行点积之后，就生成了用户标识的当前行为数据原始矩阵c。例如，将用户标识a的矩阵b(表1-3)与用户标识的历史行为数据矩阵a(表1-1)进行点积之后，就生成了用户标识的当前行为数据原始矩阵c。其中，用户标识a的当前行为数据原始矩阵c可以参考下表1-4所示：
[0123]
表1-4
[0124]
用户标识a应用程序10应用程序2
……
0次数次数10次数2
……
0时长时长10时长2
……
0第一属性特征第一属性特征10第一属性特征2
……
0第二属性特征第二属性特征10第二属性特征2
……0………………………………
[0125]
在生成了用户标识a的当前行为数据原始矩阵c之后，可以对当前行为特征原始矩阵中的行为特征及属性特征进行归一化或标准化处理，生成当前行为数据矩阵。
[0126]
其中，对当前行为特征原始矩阵中的行为特征及属性特征进行归一化处理，可以采用以下公式进行计算：
[0127][0128]
x
scaled
＝x
std
*(max-min) min
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1-7)
[0129]
其中，x.max、x.min指的是给定放缩范围的最大值和最小值，例如，可以将x.max设置为1，可以将x.min设置为0；x是当前行为数据原始矩阵c中的多维特征；x
std
指的是当前行为数据原始矩阵c中的多维特征的方差；x
scaled
指的是当前行为数据原始矩阵c中的多维特征的标准差。
[0130]
具体的，因为将x.max设置为1，可以将x.min设置为0，所以对当前行为数据原始矩阵c中的多维特征进行归一化处理之后，实现了将当前行为数据原始矩阵c中的多维特征缩放至0-1之间。
[0131]
最后，基于当前行为数据原始矩阵c中的多维特征的标准差，生成了当前行为数据矩阵。
[0132]
本技术实施例中，在构建用户标识的当前行为数据矩阵的过程中，首先，将当前行为数据的行为特征及属性特征，按照用户标识的历史行为数据矩阵的矩阵排布方式进行排布，生成用户标识的当前行为特征原始矩阵；其次，对当前行为特征原始矩阵中的行为特征及属性特征进行归一化处理，生成当前行为数据矩阵。基于历史行为数据矩阵，实现了准确地将当前行为数据转换为矩阵形式。并对当前行为特征原始矩阵进行归一化处理，实现了对当前行为特征原始矩阵中的数据进行压缩处理，减小了数据量。便于后续将当前行为数据矩阵输入至标签识别模型中进行用户标签识别，在提高用户标签识别准确性的同时，减小了用户标签识别过程的计算量。
[0133]
在一个实施例中，标签识别模型为基于alexnet卷积神经网络和vggnet卷积神经网络所构建的卷积神经网络模型。
[0134]
其中，alexnet卷积神经网络依次包括5个卷积层(简称)及3个全连接层(全连接层fc6、全连接层fc7、全连接层fc8)。这里的5个卷积层包括卷积层c1、卷积层c2、卷积层c3、卷积层c4、卷积层c5。其中，卷积层c1及卷积层c2的处理流程均为：先对输入的特征图进行卷积处理，再采用relu函数作为卷积层c1的激活函数进行非线性处理，然后再进行池化层进行池化处理，最后，对池化处理的结果进行归一化处理。其中，卷积层c3及卷积层c4的处理流程均为：先对输入的特征图进行卷积处理，再采用relu函数作为激活函数进行非线性处理。其中，卷积层c5的处理流程均为：先对输入的特征图进行卷积处理，再采用relu函数作
为卷积层c5的激活函数进行非线性处理，然后再进行池化层进行池化处理。
[0135]
这里的3个全连接层包括全连接层fc6、全连接层fc7、全连接层fc8。其中，全连接层fc6、全连接层fc7、全连接层fc8的处理流程均为：先对输入的特征图进行全连接处理，再采用relu函数作为激活函数进行非线性处理，最后经过dropout层避免过拟合处理。
[0136]
其中，可以将vggnet卷积神经网络划分为vgg16和vgg19等，本技术对此不做限定。这里vgg16包含16层网络结构，vgg19包含19层网络结构。vgg16、vgg19中最后三层的全连接层完全一样，且vgg16、vgg19在整体网络结构上都包含5组卷积层，并且在卷积层之后均连接了一个最大池化层maxpool。vgg16与vgg19两者之间的区别在于这5组卷积层中所包含的级联卷积层的数目不同，vgg19相对于vgg16来说多了3层级联卷积层。
[0137]
另外，vggnet卷积神经网络中所采用的卷积核的大小是3*3。vggnet卷积神经网络通过使用多个较小卷积核的卷积层代替一个卷积核较大的卷积层，一方面可以减少参数，另一方面相当于进行了更多的非线性映射，增加了网络的拟合表达能力。
[0138]
本技术实施例中，标签识别模型为基于alexnet卷积神经网络和vggnet卷积神经网络所构建的卷积神经网络模型。具体的，标签识别模型采用alexnet卷积神经网络的网络结构，并将alexnet卷积神经网络中的卷积层较大的卷积核替换为较小的卷积核。其一，采用了alexnet卷积神经网络中简单的网络结构；其二，将alexnet卷积神经网络中的卷积层较大的卷积核替换为较小的卷积核，一方面可以减少参数，另一方面相当于进行了更多的非线性映射，增加了网络的拟合表达能力。
[0139]
在一个实施例中，标签识别模型包括至少四个卷积层、至少两个池化层及至少三个全连接层；
[0140]
如图8所示，步骤260，将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签，包括：
[0141]
步骤262，将用户标识的当前行为数据矩阵输入至卷积层进行卷积处理，生成第一中间信息矩阵；
[0142]
步骤264，将第一中间信息矩阵输入至池化层进行池化处理，生成第二中间信息矩阵；
[0143]
步骤266，将第二中间信息矩阵输入至全连接层进行处理，生成与用户标识对应的用户行为标签。
[0144]
本技术实施例中的标签识别模型为基于alexnet卷积神经网络和vggnet卷积神经网络所构建的卷积神经网络模型。具体的，标签识别模型采用alexnet卷积神经网络的网络结构，并将alexnet卷积神经网络中的卷积层较大的卷积核替换为较小的卷积核。标签识别模型包括至少四个卷积层、至少两个池化层及至少三个全连接层。这里并不对标签识别模型的具体结构做出限定，例如标签识别模型可以是包括四个卷积层、两个池化层及三个全连接层；当然，标签识别模型还可以是包括五个卷积层、两个池化层及三个全连接层；当然，标签识别模型还可以是包括四个卷积层、两个池化层及四个全连接层。
[0145]
具体的，如图9所示，为一个实施例中标签识别模型的网络结构示意图，标签识别模型包括至少四个卷积层、至少两个池化层及至少三个全连接层。其中，至少四个卷积层包括第一卷积层c1、第二卷积层c2、第三卷积层c3及第四卷积层c4，至少两个池化层包括第一池化层pooling1、第二池化层pooling2，至少三个全连接层包括第一全连接层fc5、第二全
连接层fc6及第三全连接层fc7。第一卷积层的输出与第一池化层连接的输入连接，第一池化层的输出与第二卷积层连接的输入连接，第二卷积层的输出与第二池化层连接的输入连接，第二池化层的输出与第三卷积层连接的输入连接，第三卷积层的输出与第四卷积层连接的输入连接，第四卷积层的输出依次连接第一全连接层、第二全连接层及第三全连接层。且这里的卷积层采用较小的卷积核，例如3*3或5*5等，本技术对此不做限定。
[0146]
可以将用户标识的当前行为数据矩阵视为灰度图像帧，当前行为数据矩阵中的元素(多维特征)可以视为灰度图像帧的像素，多维特征的值可以视为灰度图像帧的像素值。那么，在将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签的过程，包括：将用户标识的当前行为数据矩阵(视为灰度图像帧)输入至卷积层进行卷积处理，生成第一中间信息矩阵；将第一中间信息矩阵输入至池化层进行池化处理，生成第二中间信息矩阵；将第二中间信息矩阵输入至全连接层进行处理，生成与用户标识对应的用户行为标签。
[0147]
具体的，将用户标识的当前行为数据矩阵作为灰度图像帧依次输入至标签识别模型中的卷积层进行卷积处理，生成第一中间特征图(feature map)，相当于第一中间信息矩阵；将第一中间特征图输入至池化层进行池化处理，生成第二中间特征图(feature map)，相当于第二中间信息矩阵；最后，将第二中间特征图(feature map)输入至全连接层进行处理，生成与用户标识对应的用户行为标签。假设，全连接层中的输出层包括1000个卷积核即神经元，则经过1000个卷积核训练后将输出1000个float型的值，这1000个float型的值即为预测结果，即用户标识对应的用户行为标签。当然，这里并不对输出层的卷积核的个数做出限定。
[0148]
本技术实施例中，标签识别模型包括至少四个卷积层、至少两个池化层及至少三个全连接层，且这里的卷积层采用较小的卷积核。那么，可以将用户标识的当前行为数据矩阵视为灰度图像帧，然后，将用户标识的当前行为数据矩阵(视为灰度图像帧)输入至卷积层进行卷积处理，生成第一中间信息矩阵；再将第一中间信息矩阵输入至池化层进行池化处理，生成第二中间信息矩阵；最后，将第二中间信息矩阵输入至全连接层进行处理，生成与用户标识对应的用户行为标签。其一，采用了alexnet卷积神经网络中简单的网络结构；其二，将alexnet卷积神经网络中的卷积层较大的卷积核替换为较小的卷积核，一方面可以减少参数，另一方面相当于进行了更多的非线性映射，增加了网络的拟合表达能力及泛化能力。从而，通过标签识别模型可以预测更多的数据，提高标签识别模型的鲁棒性以及召回率。
[0149]
在一个实施例中，至少四个卷积层、第一全连接层、第二全连接层所采用的激活函数为relu函数，第三全连接层所采用的激活函数为softmax函数。
[0150]
具体的，标签识别模型包括至少四个卷积层、至少两个池化层及至少三个全连接层，且这里的卷积层采用较小的卷积核。例如，至少四个卷积层的卷积核大小为3
×
3，当然，这里并不对卷积核的大小做出限定。在卷积层中采用较小的卷积核，一方面可以减少参数，另一方面相当于进行了更多的非线性映射。
[0151]
其中，标签识别模型中的至少四个卷积层、第一全连接层、第二全连接层所采用的激活函数为relu函数。线性整流函数(linear rectification function，relu函数)，又称修正线性单元，是一种人工神经网络中的激活函数(activation function)，通常指代以斜
坡函数及其变种为代表的非线性函数。其中，relu函数的公式如下所示：
[0152]
f(x)＝max(0,x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1-8)
[0153]
其中，第三全连接层即输出层所采用的激活函数为softmax函数。softmax函数一般为指数函数，因为指数函数的曲线呈现递增趋势，且曲线的斜率逐渐增大，所以通过指数形式的softmax函数可以实现将在x轴上较小的变化，在y轴上进行放大。softmax函数的公式如下所示：
[0154][0155]
其中，n表示类别数，a表示全连接层(fc层)的输出向量，aj表示向量a的第j个值。
[0156]
本技术实施例中，在标签识别模型的至少四个卷积层、第一全连接层、第二全连接层中采用relu函数作为激活函数，采用relu函数作为激活函数，可以更加有效地进行梯度下降以及反向传播，进而可以避免出现梯度爆炸和梯度消失的问题。且在第三全连接层即输出层所采用的激活函数为softmax函数。通过指数形式的softmax函数可以实现将在x轴上较小的变化，在y轴上进行放大。因此，在标签识别模型中采用不同的激活函数进行非线性处理，可以全面地提取特征。进而，提高用户行为标签识别的准确性。
[0157]
在一个实施例中，如图10所示，提供了一种用户标签识别方法，还包括：
[0158]
步骤1020，获取训练集，训练集中包括与多个用户标识对应的当前行为数据矩阵及与多个用户标识对应的标注用户行为标签。
[0159]
这里提供了标签识别模型的训练过程，首先，从各种网页或各种应用程序中，获取多个用户标识对应的当前行为数据矩阵及与多个用户标识对应的标注用户行为标签。其中，用户标识对应的当前行为数据矩阵可以是基于用户标识的当前行为数据以及用户标识的历史行为数据矩阵进行计算所得。用户标识对应的标注用户行为标签可以是通过人工进行标注所生成的标签，本技术对此不做限定。基于与多个用户标识对应的当前行为数据矩阵及与多个用户标识对应的标注用户行为标签，就得到了训练集。
[0160]
步骤1040，将多个用户标识对应的当前行为数据矩阵，输入至初始标签识别模型进行用户行为标签识别，生成与用户标识对应的预测用户行为标签。
[0161]
这里，初始标签识别模型包括包括至少四个卷积层、至少两个池化层及至少三个全连接层。其中，至少四个卷积层包括第一卷积层、第二卷积层、第三卷积层及第四卷积层，至少两个池化层包括第一池化层、第二池化层，至少三个全连接层包括第一全连接层、第二全连接层及第三全连接层。第一卷积层的输出与第一池化层连接的输入连接，第一池化层的输出与第二卷积层连接的输入连接，第二卷积层的输出与第二池化层连接的输入连接，第二池化层的输出与第三卷积层连接的输入连接，第三卷积层的输出与第四卷积层连接的输入连接，第四卷积层的输出依次连接第一全连接层、第二全连接层及第三全连接层。并预先给初始标签识别模型中的各参数均预设初始值，且这里的卷积层采用较小的卷积核，例如3*3或5*5等，本技术对此不做限定。
[0162]
其次，将多个用户标识对应的当前行为数据矩阵，输入至初始标签识别模型进行用户行为标签识别，生成与用户标识对应的预测用户行为标签。具体的，将多个用户标识对应的当前行为数据矩阵，输入至初始标签识别模型中的卷积层进行卷积处理，生成第一中间信息矩阵；将第一中间信息矩阵输入至池化层进行池化处理，生成第二中间信息矩阵；将
第二中间信息矩阵输入至全连接层进行处理，生成与用户标识对应的预测用户行为标签。
[0163]
步骤1060，根据与用户标识对应的标注用户行为标签及与用户标识对应的预测用户行为标签，计算损失函数的值。
[0164]
再次，在得到了各用户标识对应的预测用户行为标签之后，就可以根据与用户标识对应的标注用户行为标签及与用户标识对应的预测用户行为标签，计算损失函数的值。
[0165]
其中，第三全连接层即输出层所采用的激活函数为softmax函数。softmax函数的公式如下所示：
[0166][0167]
其中，n表示类别数，a表示全连接层(fc层)的输出向量，aj表示向量a的第j个值。
[0168]
那么，通过si对aj求导，并采用梯度下降法计算梯度值djsi。通过si对aj求导的公式如下所示：
[0169][0170]
其中，输出层的损失函数l的公式为：
[0171]
其次，计算损失函数l对输入xi的导数，得到损失函数l的值：
[0172][0173]
其中，k即为j，-yi(1-pj)即为i＝j时的梯度值djsi，-pkpi即为i≠j时的梯度值djsi；pi指的是预测结果的概率，yi指的是与预测结果对应的实际结果。
[0174]
步骤1080，基于损失函数的值调整初始标签识别模型的参数，生成标签识别模型。
[0175]
最后，基于损失函数l的值就可以调整初始标签识别模型的参数，得到标签识别模型。即基于损失函数l的值调整初始标签识别模型的参数的初始值，使得经过参数调整后的标签识别模型所计算出的预测用户行为标签，越接近标注用户行为标签即可。
[0176]
本技术实施例中，提供了标签识别模型的训练过程，首先，获取训练集，训练集中包括与多个用户标识对应的当前行为数据矩阵及与多个用户标识对应的标注用户行为标签。其次，将多个用户标识对应的当前行为数据矩阵，输入至初始标签识别模型进行用户行为标签识别，生成与用户标识对应的预测用户行为标签。再次，根据与用户标识对应的标注用户行为标签及与用户标识对应的预测用户行为标签，计算损失函数的值。最后，基于损失函数的值调整初始标签识别模型的参数，生成标签识别模型。基于训练集中大量用户标识对应的当前行为数据矩阵及与大量用户标识对应的标注用户行为标签，对初始标签识别模型进行训练，提高了最终所得到的标签识别模型的准确性。进而，提高了将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，所生成的与用户标识对应的用
户行为标签的准确性。
[0177]
在一个实施例中，提供了一种用户标签识别方法，还包括：
[0178]
基于用户标识的用户行为标签，生成用户标识对应的用户画像；
[0179]
根据用户标识对应的用户画像，对用户标识进行个性化推荐。
[0180]
具体的，电子设备通过获取与用户标识对应的历史行为数据矩阵，历史行为数据矩阵包括与用户标识的历史行为数据对应的行为特征及属性特征；属性特征包括对历史行为数据进行属性分析所得到的特征。基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算用户标识的当前行为数据矩阵。将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签。
[0181]
然后，就可以基于用户标识的用户行为标签，生成用户标识对应的用户画像。其中，用户画像是指根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。构建用户画像的核心即是给用户贴“标签”，而标签是通过对用户信息分析而来的高度精炼的特征标识。
[0182]
最后，就可以根据用户标识对应的用户画像，对用户标识进行个性化推荐。即根据标签化的用户模型，针对该用户模型中的用户行为标签，确定与用户行为标签对应的个性化推荐信息。并将个性化推荐信息发送至用户标识所登录的网页或应用程序中，即完成了根据用户标识对应的用户画像，对用户标识进行个性化推荐的过程。例如，根据用户标识对应的用户画像，对用户标识进行产品推荐、广告投放等，本技术对此不做限定。
[0183]
例如，某个用户标识a的用户模型中的用户行为标签包括：炒股、装修、培训班、美妆等，则就可以基于这些用户行为标签确定个性化推荐信息：a股信息、装修公司、英语口语视频课、口红等信息。并将个性化推荐信息发送至用户标识所登录的网页或应用程序中，以便用户标识在登录或浏览网页或应用程序的过程中，获取到这些个性化推荐信息。
[0184]
本技术实施例中，实现了基于用户画像的个性化推荐，提高了推荐效率，且能够推荐用户真正感兴趣的产品或内容，从而提高了推荐的准确度。进而，提高产品的转换率或提升推送内容的点击率。
[0185]
在一个具体的实施例中，如图11所示，提供了一种用户标签识别方法，包括：
[0186]
步骤1102，获取用户标识在各应用程序中的历史行为数据；历史行为数据用于记录用户标识在各应用程序中的历史行为所对应的数据；
[0187]
步骤1104，针对用户标识在各应用程序中的历史行为数据，从历史行为数据中，提取与历史行为相关的特征作为历史行为数据的初始行为特征；
[0188]
步骤1106，对历史行为数据进行属性分析，生成历史行为数据的初始属性特征；
[0189]
其中，步骤1106，包括步骤1106a，对历史行为数据进行文本切分，生成历史行为数据的文本切分结果；步骤1106b，将历史行为数据的文本切分结果输入至word2vec神经网络模型进行词向量提取，生成历史行为数据的多个词向量；步骤1106c，将历史行为数据的多个词向量，作为历史行为数据的初始属性特征；
[0190]
步骤1108，采用极值梯度提升算法从历史行为数据的初始行为特征及初始属性特征中，提取历史行为数据的目标行为特征及目标属性特征；
[0191]
步骤1110，将历史行为数据的目标行为特征及目标属性特征，按照矩阵排布方式进行排布，生成用户标识的初始历史行为数据矩阵；
[0192]
步骤1112，针对各历史行为数据，计算历史行为数据的目标属性特征与各历史行为数据中的其他历史行为数据的目标属性特征之间的相似度；
[0193]
步骤1114，基于相似度对初始历史行为数据矩阵中的各历史行为数据进行排序，生成用户标识的历史行为数据矩阵；
[0194]
步骤1116，获取用户标识的当前行为数据；当前行为数据用于记录用户标识在各应用程序中的当前行为所对应的数据；
[0195]
步骤1118，针对用户标识在各应用程序中的当前行为数据，从当前行为数据中，提取与当前行为数据对应的行为特征及属性特征；
[0196]
步骤1120，将当前行为数据的行为特征及属性特征，按照用户标识的历史行为数据矩阵的矩阵排布方式进行排布，生成用户标识的当前行为特征原始矩阵；
[0197]
步骤1122，对当前行为特征原始矩阵中的行为特征及属性特征进行归一化处理，生成当前行为数据矩阵；
[0198]
步骤1124，将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签。这里的标签识别模型为基于alexnet卷积神经网络和vggnet卷积神经网络所构建的卷积神经网络模型。其中，标签识别模型包括至少四个卷积层、至少两个池化层及至少三个全连接层；至少四个卷积层包括第一卷积层、第二卷积层、第三卷积层及第四卷积层，至少两个池化层包括第一池化层、第二池化层，至少三个全连接层包括第一全连接层、第二全连接层及第三全连接层；
[0199]
第一卷积层的输出与第一池化层连接的输入连接，第一池化层的输出与第二卷积层连接的输入连接，第二卷积层的输出与第二池化层连接的输入连接，第二池化层的输出与第三卷积层连接的输入连接，第三卷积层的输出与第四卷积层连接的输入连接，第四卷积层的输出依次连接第一全连接层、第二全连接层及第三全连接层。
[0200]
本技术实施例中，所获取的与用户标识对应的历史行为数据矩阵中既包括行为特征，又包括属性特征，且由于属性特征包括对历史行为数据进行属性分析所得到的特征，因此，本技术相比较于传统技术，增加了属性特征，即相当于从历史行为数据中挖掘出了高维特征，实现了更加深入地挖掘历史行为数据中的特征。再基于用户标识的当前行为数据及用户标识的历史行为数据矩阵，计算用户标识的当前行为数据矩阵。将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签。
[0201]
其中，标签识别模型为基于alexnet卷积神经网络和vggnet卷积神经网络所构建的卷积神经网络模型。其一，采用了alexnet卷积神经网络中简单的网络结构；其二，将alexnet卷积神经网络中的卷积层较大的卷积核替换为较小的卷积核，一方面可以减少参数，另一方面相当于进行了更多的非线性映射，增加了网络的拟合表达能力。最终，通过标签识别模型进行用户行为标签识别，进一步提高了用户行为标签识别的准确性。
[0202]
在一个实施例中，如图12所示，提供了一种用户标签识别装置1200，包括：
[0203]
历史行为数据矩阵获取模块1220，用于获取与用户标识对应的历史行为数据矩阵；历史行为数据矩阵包括与用户标识的历史行为数据对应的行为特征及属性特征；属性特征包括对历史行为数据进行属性分析所得到的特征；
[0204]
当前行为数据矩阵获取模块1240，用于基于用户标识的当前行为数据及用户标识
的历史行为数据矩阵，计算用户标识的当前行为数据矩阵；
[0205]
用户行为标签生成模块1260，用于将用户标识的当前行为数据矩阵输入至标签识别模型进行用户行为标签识别，生成与用户标识对应的用户行为标签。
[0206]
在一个实施例中，如图13所示，提供了一种用户标签识别装置1200，还包括：历史行为数据矩阵构建模块1280；其中，历史行为数据矩阵构建模块1280，包括：
[0207]
历史行为数据获取单元1282，用于获取用户标识在各应用程序中的历史行为数据；历史行为数据用于记录用户标识在各应用程序中的历史行为所对应的数据；
[0208]
第一特征提取单元1284，用于针对用户标识在各应用程序中的历史行为数据，从历史行为数据中，提取历史行为数据的目标行为特征及目标属性特征；
[0209]
历史行为数据矩阵构建单元1286，用于基于历史行为数据的目标行为特征及目标属性特征，构建用户标识的历史行为数据矩阵。
[0210]
在一个实施例中，特征提取单元1284，还用于针对用户标识在各应用程序中的历史行为数据，从历史行为数据中，提取与历史行为相关的特征作为历史行为数据的初始行为特征；对历史行为数据进行属性分析，生成历史行为数据的初始属性特征；采用极值梯度提升算法从历史行为数据的初始行为特征及初始属性特征中，提取历史行为数据的目标行为特征及目标属性特征。
[0211]
在一个实施例中，特征提取单元1284，还用于对历史行为数据进行文本切分，生成历史行为数据的文本切分结果；将历史行为数据的文本切分结果输入至word2vec神经网络模型进行词向量提取，生成历史行为数据的多个词向量；将历史行为数据的多个词向量，作为历史行为数据的初始属性特征。
[0212]
在一个实施例中，历史行为数据矩阵构建单元1286，还用于将历史行为数据的目标行为特征及目标属性特征，按照矩阵排布方式进行排布，生成用户标识的初始历史行为数据矩阵；针对各历史行为数据，计算历史行为数据的目标属性特征与各历史行为数据中的其他历史行为数据的目标属性特征之间的相似度；基于相似度对初始历史行为数据矩阵中的各历史行为数据进行排序，生成用户标识的历史行为数据矩阵。
[0213]
在一个实施例中，当前行为数据矩阵获取模块1240，包括：
[0214]
当前行为数据获取单元，用于获取用户标识的当前行为数据；当前行为数据用于记录用户标识在各应用程序中的当前行为所对应的数据；
[0215]
第二特征提取单元，用于针对用户标识在各应用程序中的当前行为数据，从当前行为数据中，提取与当前行为数据对应的行为特征及属性特征；
[0216]
当前行为数据矩阵生成单元，用于根据当前行为数据的行为特征及属性特征及用户标识的历史行为数据矩阵，生成用户标识的当前行为数据矩阵。
[0217]
在一个实施例中，当前行为数据矩阵生成单元，还用于将当前行为数据的行为特征及属性特征，按照用户标识的历史行为数据矩阵的矩阵排布方式进行排布，生成用户标识的当前行为特征原始矩阵；对当前行为特征原始矩阵中的行为特征及属性特征进行归一化处理，生成当前行为数据矩阵。
[0218]
在一个实施例中，标签识别模型为基于alexnet卷积神经网络和vggnet卷积神经网络所构建的卷积神经网络模型。
[0219]
在一个实施例中，标签识别模型包括至少四个卷积层、至少两个池化层及至少三
个全连接层；
[0220]
用户行为标签生成模块1260，还用于将用户标识的当前行为数据矩阵输入至卷积层进行卷积处理，生成第一中间信息矩阵；将第一中间信息矩阵输入至池化层进行池化处理，生成第二中间信息矩阵；将第二中间信息矩阵输入至全连接层进行处理，生成与用户标识对应的用户行为标签。
[0221]
在一个实施例中，至少四个卷积层包括第一卷积层、第二卷积层、第三卷积层及第四卷积层，至少两个池化层包括第一池化层、第二池化层，至少三个全连接层包括第一全连接层、第二全连接层及第三全连接层；
[0222]
第一卷积层的输出与第一池化层连接的输入连接，第一池化层的输出与第二卷积层连接的输入连接，第二卷积层的输出与第二池化层连接的输入连接，第二池化层的输出与第三卷积层连接的输入连接，第三卷积层的输出与第四卷积层连接的输入连接，第四卷积层的输出依次连接第一全连接层、第二全连接层及第三全连接层。
[0223]
在一个实施例中，至少四个卷积层的卷积核大小为3
×
3。
[0224]
在一个实施例中，至少四个卷积层、第一全连接层、第二全连接层所采用的激活函数为relu函数，第三全连接层所采用的激活函数为softmax函数。
[0225]
在一个实施例中，提供了一种用户标签识别装置，还包括：标签识别模型训练模块，用于获取训练集，训练集中包括与多个用户标识对应的当前行为数据矩阵及与多个用户标识对应的标注用户行为标签；将多个用户标识对应的当前行为数据矩阵，输入至初始标签识别模型进行用户行为标签识别，生成与用户标识对应的预测用户行为标签；根据与用户标识对应的标注用户行为标签及与用户标识对应的预测用户行为标签，计算损失函数的值；基于损失函数的值调整初始标签识别模型的参数，生成标签识别模型。
[0226]
在一个实施例中，提供了一种用户标签识别装置，还包括：
[0227]
用户画像生成模块，用于基于用户标识的用户行为标签，生成用户标识对应的用户画像；
[0228]
个性化推荐模块，用于根据用户标识对应的用户画像，对用户标识进行个性化推荐。
[0229]
上述用户标签识别装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将用户标签识别装置按照需要划分为不同的模块，以完成上述用户标签识别装置的全部或部分功能。
[0230]
关于用户标签识别装置的具体限定可以参见上文中对于用户标签识别方法的限定，在此不再赘述。上述用户标签识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0231]
图14为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、pda(personal digital assistant，个人数字助理)、pos(point of sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为cpu(central processing unit,中央处理单元)或dsp(digital signal processing，
数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种用户标签识别方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
[0232]
本技术实施例中提供的用户标签识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本技术实施例中所描述方法的步骤。
[0233]
本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行用户标签识别方法的步骤。
[0234]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行用户标签识别方法。
[0235]
本技术所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括rom(read-only memory，只读存储器)、prom(programmable read-only memory，可编程只读存储器)、eprom(erasable programmable read-only memory，可擦除可编程只读存储器)、eeprom(electrically erasable programmable read-only memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括ram(random access memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如sram(static random access memory，静态随机存取存储器)、dram(dynamic random access memory，动态随机存取存储器)、sdram(synchronous dynamic random access memory，同步动态随机存取存储器)、双数据率ddr sdram(double data rate synchronous dynamic random access memory，双数据率同步动态随机存取存储器)、esdram(enhanced synchronous dynamic random access memory，增强型同步动态随机存取存储器)、sldram(sync link dynamic random access memory，同步链路动态随机存取存储器)、rdram(rambus dynamic random access memory，总线式动态随机存储器)、drdram(direct rambus dynamic random access memory，接口动态随机存储器)。
[0236]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。