一种信息推荐的方法、模型训练的方法以及相关装置与流程

1.本技术实施例涉及车联网、人工智能(artificial intelligence，ai)技术领域，具体涉及一种信息推荐的方法、模型训练的方法以及相关装置。


背景技术：

2.在互联网大数据时代，如何精准地向目标对象进行信息推荐，既满足用户个性化需求，又保证信息推荐的有效性，如今已经成为很多网络平台关注的重点。
3.在相关技术中，主要是基于传统的二分类算法对第t周期的对象特征、推荐信息特征和用户对推荐信息的查看情况进行训练，进而利用训练得到的二分类模型，根据第t 1周期的对象特征、推荐信息特征和预测阶段的状态转移概率，预测用户对于推荐信息的感兴趣概率，并基于该感兴趣概率确定是否向用户推荐上述的推荐信息。
4.然而，在上述相关技术的推荐方式中，并没有考虑到特征数据中存在的大量稀疏特征，从而使用训练得到的二分类模型预测出的感兴趣概率往往分布较为集中，不利于准确地分辨目标对象对于推荐信息是否感兴趣，进而影响信息推荐的效果。而且，上述相关技术在模型训练的过程中，对特征数据之间的交叉处理需要大量的人工来完成，无法做到自动生成特征数据交叉的高阶特征，导致模型训练和预测的效率大大地降低。


技术实现要素：

5.本技术实施例提供了一种信息推荐的方法、模型训练的方法以及相关装置，能够基于预测得到的感兴趣概率准确地分辨出目标对象对于目标推荐信息的感兴趣程度，提升了信息推荐效果，并且无需人工处理特征交叉的过程，有效地提升了模型训练和模型预测的效率。
6.第一方面，本技术实施例提供了一种信息推荐的方法。该信息推荐的方法可以应用在车联网领域等。该信息推荐的方法包括：获取预测数据集，预测数据集包括多个目标对象对应的预测数据，预测数据包括第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、以及预测标签，预测标签是根据第t周期内目标对象对目标推荐信息的查看情况确定的，t＞1、且t为整数；根据预测标签确定预测状态转移概率；对第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据进行融合处理，得到预测嵌入特征数据；将第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据作为信息推荐模型的输入，得到第t 1周期内目标对象对目标推荐信息的感兴趣概率；在感兴趣概率大于预设阈值时，在第t 1周期内向目标对象推荐目标推荐信息。
7.第二方面，本技术实施例还提供了一种模型训练的方法。该模型训练的方法可以应用在车联网领域等。该模型训练的方法包括：获取训练样本数据集，训练样本数据集包括多个对象各自对应的训练样本数据，每个对象对应的训练样本数据包括第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、第一训练标签、训练状态转移概
率以及嵌入样本特征数据，其中，训练状态转移概率是基于第二训练标签得到，第一训练标签是第t周期内对象对推荐信息的查看情况确定的，第二训练标签是第t-1周期内对象对推荐信息的查看情况确定的，嵌入样本特征数据是由第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据确定的，t＞1、且t为整数；基于第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，对信息推荐模型进行迭代训练。
8.第三方面，本技术实施例提供了一种信息推荐装置。例如该信息推荐装置可以是车联网领域中的车联网设备等等，本技术不做具体限定。该信息推荐装置包括获取单元和处理单元。其中，获取单元用于获取预测数据集，预测数据集包括多个目标对象对应的预测数据，预测数据包括第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、以及预测标签，预测标签是根据第t周期内目标对象对目标推荐信息的查看情况确定的，t＞1、且t为整数。处理单元，用于根据预测标签，确定预测状态转移概率；对第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据进行融合处理，得到预测嵌入特征数据；将第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据作为信息推荐模型的输入，得到第t 1周期内目标对象对目标推荐信息的感兴趣概；在感兴趣概率大于预设阈值时，在第t 1周期内向目标对象推荐目标推荐信息。
9.在一些可选的示例中，处理单元还用于：从第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据中，确定稀疏特征数据；通过神经网络模型对稀疏特征数据进行处理，得到第一特征数据；将第一特征数据、第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据作为信息推荐模型的输入，得到第t 1周期内目标对象对目标推荐信息的感兴趣概率。
10.在另一些可选的示例中，处理单元还用于：从第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据中，确定稠密特征数据；对稠密特征数据进行预处理，得到第二特征数据；将第二特征数据、第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据作为信息推荐模型的输入，得到第t 1周期内目标对象对目标推荐信息的感兴趣概率。
11.在另一些可选的示例中，处理单元用于：基于神经网络模型计算第t周期内目标对象的对象特征数据中的每个对象特征数据、与第t周期内推荐信息的信息特征数据中的每个信息特征数据之间的笛卡尔值；将笛卡尔值作为预测嵌入特征数据。
12.在另一些可选的示例中，处理单元用于：根据预测标签，计算预测数据集中的正负样本比例；将预测数据集中的正负样本比例作为预测状态转移概率。
13.在另一些可选的示例中，处理单元还用于：在感兴趣概率不大于预设阈值时，则在第t 1周期内不推荐目标推荐信息给目标对象。
14.在另一些可选的示例中，对象特征数据包括用于表征对象基本信息的基础属性数据、用于表征对象操作活跃度的活跃属性数据以及用于表征对象购买情况的消费属性数据中的一种或多种。
15.在另一些可选的示例中，获取单元还用于：获取训练样本数据集，训练样本数据集包括多个对象各自对应的训练样本数据，每个对象对应的训练样本数据包括第t-1周期内
对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、第一训练标签、训练状态转移概率以及嵌入样本特征数据，其中，训练状态转移概率是基于第二训练标签得到，第一训练标签是第t周期内对象对推荐信息的查看情况确定的，第二训练标签是第t-1周期内对象对推荐信息的查看情况确定的，嵌入样本特征数据是由第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据确定的，t＞1、且t为整数。处理单元还用于：基于第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，对信息推荐模型进行迭代训练。
16.在另一些可选的示例中，处理单元用于：基于神经网络模型计算第t-1周期内对象的对象特征数据中的每个对象特征数据、与第t-1周期内推荐信息的信息特征数据中的每个信息特征数据之间的笛卡尔值；将笛卡尔值作为嵌入样本特征数据。
17.在另一些可选的示例中，处理单元还用于：按照预设比例将每个训练样本数据分别划分为训练子样本数据集和测试子样本数据集；基于训练子样本数据集中的第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，对信息推荐模型进行迭代训练。处理单元，还用于在对信息推荐模型进行迭代训练之后，基于测试子样本数据集中的第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，确定信息推荐模型的模型性能；在信息推荐模型的模型性能满足预设条件时，确定信息推荐模型的迭代训练完成，其中，预设条件包括以下至少一种：查全率不小于第一预设阈值、查准率不小于第二预设阈值、接受者操作特性曲线的下方面积auc不小于第三预设阈值。
18.在另一些可选的示例中，处理单元还用于：从第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据中，确定稀疏特征数据；通过神经网络模型对稀疏特征数据进行处理，得到第一训练特征数据；基于第一训练特征数据、第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，对信息推荐模型进行迭代训练。
19.在另一些可选的示例中，处理单元还用于：从第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据中，确定稠密特征数据；对稠密特征数据进行预处理，得到第二训练特征数据；基于第二训练特征数据、第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、第一训练标签、训练状态转移概率以及嵌入样本特征数据，对信息推荐模型进行迭代训练。
20.在另一些可选的示例中，处理单元用于：根据第二训练标签，确定训练样本数据集中的正负样本比例；将训练样本数据集中的正负样本比例作为训练状态转移概率。
21.本技术实施例第四方面提供了一种信息推荐装置，包括：存储器、输入/输出(i/o)接口和存储器。存储器用于存储程序指令。处理器用于执行存储器中的程序指令，以执行上述第一方面的实施方式对应的信息推荐的方法；以及执行上述第二方面的实施方式对应的模型训练的方法。
22.本技术实施例第五方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行以执行上述第一方面的实施方式对应的信息推荐的方法；以及执行上述第二方面的实施方式对应的模型训练的方法。
23.本技术实施例第六方面提供了一种包含指令的计算机程序产品，当其在计算机或者处理器上运行时，使得计算机或者处理器执行上述以执行上述第一方面的实施方式对应的信息推荐的方法；以及执行上述第二方面的实施方式对应的模型训练的方法。
24.从以上技术方案可以看出，本技术实施例具有以下优点：
25.本技术实施例中，在获取到多个目标对象对应的预测数据，即第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、以及预测标签后，可以基于预测标签确定出预测状态转移概率，以及基于第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据确定预测嵌入特征数据。然后，将第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、该预测转移概率以及预测嵌入特征数据作为信息推荐模型的输入，从而预测得到下一周期(即第t 1周期)内目标对象对目标推荐信息的感兴趣概率。这样，能够在感兴趣概率大于预设阈值时，在第t 1周期内向目标对象推荐该目标推荐信息。通过上述方式，本技术实施例在训练信息推荐模型的过程中，将上一周期的状态转移概率纳入到模型训练中，使得信息推荐模型在预测感兴趣概率的过程中也综合考虑到状态转移概率，利用状态转移概率修正信息推荐模型的处理过程，从而降低信息推荐模型预测出的感兴趣概率的集中度，进而能够基于预测得到的感兴趣概率准确地分辨出目标对象对于目标推荐信息的感兴趣程度，提升了信息推荐效果。另外，在本技术在训练信息推荐模型的过程中，还基于第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据自动生成特征交叉的嵌入特征数据，无需人工处理，不仅有效地提升了模型训练的效率，而且还提升了模型预测的效率。
附图说明
26.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1示出了本技术实施例提供的一种数据共享系统的示意图；
28.图2示出了相关技术提供的信息推荐的网络架构示意图；
29.图3示出了本技术实施例提供的信息推荐的网络架构示意图；
30.图4示出了本技术实施例提供的信息推荐的方法的应用场景示意图；
31.图5示出了本技术实施例提供的信息推荐的方法的流程示意图；
32.图6示出了本技术实施例提供的模型训练的方法的流程示意图；
33.图7示出了本技术实施例提供的信息推荐装置的结构示意图；
34.图8示出了本技术实施例提供的信息推荐装置的另一种结构示意图。
具体实施方式
35.本技术实施例提供了一种信息推荐的方法、模型训练的方法以及相关装置，能够基于预测得到的感兴趣概率准确地分辨出目标对象对于目标推荐信息的感兴趣程度，提升了信息推荐效果，并且无需人工处理特征交叉的过程，有效地提升了模型训练和模型预测的效率。
36.可以理解的是，在本技术的具体实施方式中，涉及到用户信息等相关的数据，当本技术以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
37.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
38.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
39.随着人工智能(artificial intelligence,ai)技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
40.在互联网大数据时代，如何在满足用户个性化需求和保证信息推荐的有效性的基础上，向目标对象准确地进行信息推荐，已经成为了当下网络平台比较热门且重要的关注点。
41.本技术实施例提供了一种信息推荐的方法。本技术实施例提供的信息推荐的方法是基于人工智能实现的。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
42.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
43.在本技术实施例中，主要涉及的人工智能技术包括上述所提及的机器学习等方向。例如涉及机器学习(machine learning，ml)中的深度学习(deep learning)，包括深度神经网络(deep neural networks，dnn)等神经网络。
44.本技术提供的信息推荐的方法可以应用于具有数据处理能力的信息推荐装置，如终端设备、服务器等。其中，终端设备可以包括但不限于智能手机、台式计算机、笔记本电脑、平板电脑、智能音箱、车载设备、智能手表、可穿戴智能设备等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器等，本技术不做具体限定。另外，所提及的终端设备以及服务器可以通
过有线通信或无线通信等方式进行直接连接或间接连接，本技术不做具体限定。
45.上述所提及的信息推荐装置可以具备机器学习能力。机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、强化学习、迁移学习、归纳学习、式教学习等技术。
46.在本技术实施例提供的信息推荐的方法中的采用人工智能模型，主要涉及对神经网络模型的应用，通过神经网络模型实现对目标对象感兴趣的商品等消费对象进行信息推荐。
47.上述所提及的信息推荐装置还可以结合云技术(cloud technology)来实现的。云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算(cloud computing)来实现。
48.云计算指互联网技术(internet technology，it)基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是it和软件、互联网相关，也可是其他服务。云计算是网格计算(grid computing)、分布式计算(distributedcomputing)、并行计算(parallel computing)、效用计算(utility computing)、网络存储(network storage technologies)、虚拟化(virtualization)、负载均衡(load balance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
49.另外，本技术实施例提供的信息推荐的方法还可以应用在信息共享的场景中。示例性地，图1示出了本技术实施例提供的一种数据共享系统的示意图。如图1所示，该数据共享系统100是指用于进行节点与节点之间数据共享的系统，该数据共享系统中可以包括多个节点101，多个节点101可以是指数据共享系统中各个终端设备等。每个节点101在进行正常工作可以接收到输入信息，并基于接收到的输入信息维护该数据共享系统内的共享数据。为了保证数据共享系统内的信息互通，数据共享系统中的每个节点之间可以存在信息连接，节点之间可以通过上述信息连接进行信息传输。例如，当数据共享系统中的任意节点接收到输入信息时，数据共享系统中的其他节点便根据共识算法获取该输入信息，将该输入信息作为共享数据中的数据进行存储，使得数据共享系统中全部节点上存储的数据均一致。
50.上述所提及的信息推荐的方法还可以应用在车联网(vehicle to everything，v2x)领域中。车联网是指通过装载在车辆上的传感器及电子标签等来实现环境感知、信息交互与协同控制，为行驶中的车辆提供各种服务的网络。例如，车联网能够为车辆提供实时地导航；或者，车联网能够控制车辆之间的车距；又或者，车联网还能基于神经网络模型等将对象感兴趣的商品，如出行服务中的加油券、停车优惠券等消费对象推荐给目标对象等。应理解，上述所提及的信息推荐装置还可以是车联网领域中的车联网设备等，本技术不做具体限定。所描述的车联网设备可以包括但不限于汽车、智能车辆、卡车、公共汽车等等，本技术不做具体限定。
51.图2示出了相关技术提供的信息推荐的网络架构示意图。
52.如图2所示，在基于相关技术的方式进行信息推荐时，需要先利用第t(t＞1、且t为整数)周期内的对象特征、推荐信息特征和用户对推荐信息的查看情况确定的标签对二分类模型进行训练，进而利用训练得到的二分类模型，根据第t 1周期的对象特征、推荐信息特征和预测阶段的状态转移概率，预测用户对于推荐信息的感兴趣概率，并基于该感兴趣概率确定是否向用户推荐上述的推荐信息。
53.然而，上述相关技术提供的信息推荐方式并没有考虑到特征数据中存在的大量稀疏特征，从而使用训练得到的二分类模型预测出的感兴趣概率往往分布较为集中，不利于准确地分辨目标对象对于推荐信息是否感兴趣，进而影响信息推荐的效果。而且，上述相关技术在模型训练的过程中，对特征数据之间的交叉处理需要大量的人工来完成，无法做到自动生成特征数据交叉的高阶特征，导致模型训练和预测的效率大大地降低。再者，在训练二分类模型的过程中，也没有将上一周期的状态转移概率应用到模型训练的梯度迭代中，而是仅仅在模型训练完成之后，在模型预测中纳入了预测状态转移概率来计算目标对象对于推荐信息的感兴趣概率，导致感兴趣概率无法精准确定，从而无法提升推荐效果。
54.因此，为了解决上述图2提及的技术问题，本技术实施例提供了一种信息推荐的方法。该方法可以应用于图3示出的信息推荐的系统架构中。如图3所示，在该信息推荐的系统架构中，需要先获取训练样本数据集，该训练样本数据集包括多个对象各自对应的训练样本数据，每个对象对应的训练样本数据中都包括有第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、第一训练标签、训练状态转移概率以及嵌入样本特征数据。其中，训练状态转移概率是基于第二训练标签得到，嵌入样本特征数据则是通过例如cnn模型等神经网络模型对第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据进行处理得到。然后，利用该训练样本数据集对信息推荐模型进行迭代训练。
55.这样，在模型预测过程中，可以先获取到包括有多个目标对象对应的预测数据的预测数据集，每个预测数据包括第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据以及预测标签。然后，基于预测标签确定出预测状态转移概率。以及，对第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据进行融合处理，得到预测嵌入特征数据。进一步地，将第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据作为上述训练得到的信息推荐模型的输入，从而预测得到第t 1周期内该目标对象对目标推荐信息的感兴趣概率。最终，基于该感兴趣概率确定在第t 1周期内是否向该目标用户推荐该目标推荐信息。
56.换句话说，申请实施例在训练信息推荐模型的过程中，将上一周期的状态转移概率纳入到模型训练中，使得信息推荐模型在预测感兴趣概率的过程中也综合考虑到状态转移概率，利用状态转移概率修正信息推荐模型的处理过程，从而降低信息推荐模型预测出的感兴趣概率的集中度，进而能够预测得到的感兴趣概率准确地分辨出目标对象对于目标推荐信息的感兴趣程度，提升了信息推荐效果。另外，在本技术在训练信息推荐模型的过程中，还基于第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据自动生成特征交叉的嵌入特征数据，无需人工处理，不仅有效地提升了模型训练的效率，而且还提升了模型预测的效率。
57.应理解，本技术实施例提供的信息推荐方法可以应用于具备数据处理能力的信息推荐设备，如包括但不限于前述所描述的终端设备、服务器、区块链节点等，本技术不做具体限定说明。为了便于理解本技术实施例提供的信息推荐的方法，后续仅以该信息推荐的方法的执行主体为服务器为例，对该信息推荐的方法适用的应用场景进行示例性介绍。
58.图4为本技术实施例提供的信息推荐的方法的应用场景示意图。如图4所示，该应用场景中包括服务器、数据库1和数据库2，服务器可以通过网络访问数据库1和数据库2，或者数据库1和数据库2也可以集成在服务器中。其中，服务器用于执行本技术实施例提供的信息推荐的方法，以通过图3示出的信息推荐模型，根据第t周期内目标对象的对象特征数据、目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据，确定在第t 1周期内是否向目标对象推荐目标推荐信息。数据库1用于存储目标网络平台上的对象的对象特征数据，数据库2用于存储目标网络平台上的推荐信息的信息特征数据。
59.需理解，上述所提及的周期，如第t周期、第t 1周期、第t-1周期等，周期的长度可以根据实际应用需求设定。例如，可以以秒、分钟、小时、天、周、月、年等为单位设置周期长度，本技术在此不对上述周期长度做任何限定。举例来说，若一个周期的长度为一天，则服务器需要根据第t天内目标对象的对象特征数据和第t天内目标推荐信息的信息特征数据、以及基于第t天内目标对象对于目标推荐信息的查看情况确定的预测状态转移概率、以及基于第t天内目标对象的对象特征数据和第t天内目标推荐信息的信息特征数据确定出的预测嵌入特征数据，预测第t 1天内目标对象查看目标推荐信息的感兴趣概率。
60.在实际应用中，服务器需要先获取预测数据集。具体的，服务器可以针对多个目标对象构建其各自对应的预测数据，进而利用这多个目标对象各自对应的预测数据组成预测数据集。示例性的，服务器针对某个目标对象构建对应的预测数据时，可以从数据库1中调取该目标对象在第t周期内的对象特征数据，从数据库2中调取在第t周期内向该目标对象推荐的目标推荐信息的信息特征数据。然后，服务器可以根据该目标对象在第t周期内对目标推荐信息的查看情况确定预测标签进而，服务器可以利用所获取得到的对象特征数据、信息特征数据以及所确定的预测标签，构成该目标对象对应的预测数据。
61.然后，服务器可以根据该预测数据集中各预测数据包括的预测标签，确定该预测数据集中的正负样本比例作为预测状态转移概率。应理解，预测数据中包括的预测标签通常分为两种。譬如说，一种预测标签可以用于反映目标对象在第t周期内查看了目标推荐信息(对应于正样本)，另一种用于反映目标用在第t周期内未查看目标推荐信息(对应于负样本)。服务器可以根据预测数据集中各预测数据包括的预测标签的类型，确定预测数据集中两种不同的预测标签各自的占比，并将该占比作为预测状态转移概率。以及，服务器还可以
基于从数据库1中获取到的第t周期内的目标对象的对象特征数据和从数据库2中获取到的第t周期内的目标推荐信息的信息特征数据进行融合处理后，确定出预测嵌入特征数据。
62.进而，服务器可以通过预先训练好的信息推荐模型，根据目标对象对应的预测数据中包括的第t周期内的对象特征数据、信息特征数据、以及上述预测状态转移概率和预测嵌入特征数据，预测该目标对象在第t 1周期内对目标推荐信息的感兴趣概率。
63.需要说明的是，该信息推荐模型是预先基于训练样本数据集训练得到的，该训练样本数据集中包括多个对象各自对应的训练样本数据，训练样本数据具体包括第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、第一训练标签、训练状态转移概率以及嵌入样本特征数据。应理解的是，此处的第一训练标签是根据第t周期内对象对推荐信息的查看情况确定的。所描述的训练状态转移概率是利用到基于训练样本数据集中各个第二训练标签来确定得到。所描述的第二训练标签是根据第t-1周期内对象对推荐信息的查看情况确定的。另外，嵌入样本特征数据也是服务器基于神经网络模型对第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据进行融合处理得到的。
64.最后，服务器通过信息推荐模型预测出目标对象在第t 1周期内对目标推荐信息的感兴趣概率后，可以根据该感兴趣概率，确定是否在第t 1周期内向该目标对象推荐目标推荐信息。譬如，在感兴趣概率大于预设阈值的情况下，服务器可以执行在第t 1周期内向目标对象推荐该目标推荐信息的操作。
65.应理解，图4所示的应用场景仅为示例，在实际应用中，本技术实施例提供的信息推荐的方法还可以应用于其它应用场景，例如，可以由终端设备执行本技术实施例提供的信息推荐的方法，本技术在此不对该信息推荐方法的应用场景做任何限定。
66.下面通过方法实施例对本技术提供的信息推荐方法进行详细介绍。
67.图5示出了本技术实施例提供的信息推荐的方法的流程示意图。为了便于描述，下述实施例仍以该信息推荐的方法的执行主体为服务器为例进行介绍。如图5所示，该信息推荐的方法包括以下步骤：
68.501、获取预测数据集，预测数据集包括多个目标对象对应的预测数据，预测数据包括第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、以及预测标签，预测标签是根据第t周期内目标对象对目标推荐信息的查看情况确定的，t＞1、且t为整数。
69.该示例中，在服务器需要确定是否在第t 1周期内向目标对象推荐目标推荐信息时，服务器需要先获取预测目标对象对目标推荐信息的感兴趣概率时所需依据的预测数据集。需说明，该预测数据集中包括多个目标对象各自对应的预测数据，每个目标对象对应的预测数据中包括第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据以及预测标签。所描述的预测标签是根据第t周期内目标对象对于目标推荐信息的查看情况确定的，其能够反映目标对象是否查看了该目标推荐信息。
70.应理解，对于预测数据集的获取方式，服务器可以自主构建预测数据集，也可以从其他相关设备中获取已构建的预测数据来组成预测数据集，具体本技术不做具体限定。
71.举例来说，针对服务器自主构建预测数据集的方式，服务器可以将第t周期内目标网络平台上的所有登录对象均视为目标对象，并且针对每个目标对象构建对应的预测数据，进而利用各目标对象各自对应的预测数据组成预测数据集，其具体构建的过程也可以
参照前述图4中所描述的构建过程进行理解，此处不做赘述。
72.示例性地，针对服务器从其它相关设备处获取已构建的预测数据，组成预测数据集的方式，具体可以在第t周期结束后，相关设备可以针对第t周期内目标网络平台上的每个登录对象，根据其在第t周期内的对象特征数据、在第t周期内目标推荐信息的信息特征数据、以及基于其对目标推荐信息的查看情况确定的预测标签，构建对应的预测数据。当服务器需要预测第t 1周期内目标网络平台上登录的各目标对象对于目标推荐信息的感兴趣概率时，服务器可以从相关设备处获取其构建的各目标对象各自对应的预测数据，组成预测数据集。
73.应理解，在实际应用中，服务器也可以通过其它方式获取预测数据集，本技术在此不对服务器获取该预测数据集的方式做任何限定。
74.需理解，上述所提及的多个目标对象，可以是第t周期内目标网络平台上的所有登录对象或部分登录对象。或者，也可以是第t 1周期内目标网络平台上的所有登录对象或部分登录对象。又或者，还可以是在第t周期和第t 1周期均在目标网络平台上登录的全部对象或部分对象。具体本技术实施例对多个目标对象不做具体限定。
75.所提及的目标网络平台可以是任意一种具有信息推荐业务的平台。举例来说，目标网络平台可以包括但不限于：购物平台、音频播放平台、视频播放平台、新闻推荐平台等，本技术对目标网络平台的类型不做任何限定。另外，不同的目标网络平台所推荐的目标推荐信息也会有所差别，本技术不做具体限定说明。譬如说，对于购物网络平台，其推荐的目标推荐信息可以包括但不限于商品信息、商品优惠券等。又例如，对于音视频播放平台，其推荐的目标推荐信息可以包括音频资源、视频资源等，本技术不做具体限定说明。
76.在一些示例中，上述所提及的目标对象的对象特征数据，可以包括用于表征对象基本信息的基础属性数据、用于表征对象操作活跃度的活跃属性数据以及用于表征对象购买情况的消费属性数据中的一种或多种。
77.所描述的基础属性数据可以包括但不限于目标对象的基本个人信息，例如性别、年龄、所在地域等，本技术实施例不做具体限定。所描述的活跃属性数据可以包括但不限于能够用来表示出对象操作活跃度的信息，譬如持续活跃时长、活跃功能数量、第t周期距离对象注册时间的时间间隔、活跃天数等，本技术不做具体限定说明。另外，所描述的消费属性数据也可以包括但不限于能够用来表示出对象购买情况的信息。譬如说，该消费属性数据包括但不限于充值金额、消费金额、充值次数、充值天数、第t周期距离首次充值时间的时间间隔、所领取的优惠券的相关信息等，本技术实施例对对象特征数据不做具体限定。所领取的优惠券的相关信息可以包括但不限于对象功能点击、对象领域礼包和/或礼券类型(如：数量、次数、价值)、使用礼包和/或礼券类型(如：数量、价值)、过期礼包和/或礼券类型(如：数量、价值)等，本技术不做具体限定说明。
78.在一些示例中，目标推荐信息的信息特征数据可以用于指示出多个目标对象在预设周期内对于消费对象的使用情况。所描述的消费对象可以包括但不限于商品信息、商品优惠券等。举例来说，目标推荐信息的信息特征数据可以包括但不限于对商品的各个功能点的点击率、优惠券下载率、费率、优惠券id、曝光量、点击量、优惠券优惠金额、优惠券核销率、优惠券领取率、领取人数等。所描述的各个功能点可以是理解成对应商品中的服务模块。譬如说，在出行服务这类商品中，各个功能点可以包括该出行服务中的优惠加油、洗车、
挪车、充电等服务模块，本技术不做具体限定说明。
79.另外，所描述的预测标签可以是根据第t周期内目标对象对目标推荐信息的查看情况确定的。或者说，预测标签也可以是根据第t-1周期内目标对象对目标推荐信息的执行情况、与第t周期内目标对象对目标推荐信息的查看情况确定的。所提及的查看情况可以包括但不限于目标对象执行下载目标推荐信息所对应商品的操作、目标对象不执行下载目标推荐信息所对应商品的操作等，本技术不做具体说明。所描述的执行情况可以理解成在该目标推荐信息所对应的商品上进行点击等操作。
80.举例来说，以购物平台为例，在目标推荐信息为商品优惠券的情况下，若目标对象在第t-1周期内点击了出行服务等商品，并且在第t周期内下载了该商品信息，则可以确定该目标对象对应的预测数据中的预测标签为1。若目标对象在在第t-1周期内点击了出行服务等商品，并且在第t周期内未下载该商品优惠券，则可以确定该目标对象对应的预测数据中的预测标签为0。本技术在此不对预测数据中预测标签的确定方式做任何限定。
81.502、根据预测标签确定预测状态转移概率。
82.该示例中，服务器获取到预测数据集后，可以根据其中各预测数据包括的预测标签确定出预测状态转移概率。
83.在一些可选的示例中，服务器根据预测标签确定预测状态转移概率，可以通过如下方式来实现。即：根据预测标签计算预测数据集中的正负样本比例；将预测数据集中的正负样本比例作为预测状态转移概率。
84.该示例中，服务器可以计算该预测数据集中正样本和负样本各自在该预测数据集中所占的比例，并将计算得到的正负样本比例作为预测状态转移概率。示例性的，服务器可以将所包括的预测标签为1的预测数据视为正样本，将所包括的预测标签为0的预测数据视为负样本。基于此，服务器可以计算预测数据集中所包括的预测标签为0的预测数据在预测数据集中的占比，作为预测数据集中的负样本占比，即f
t0
。同样地，服务器还可以计算预测数据集中所包括的预测标签为1的预测数据在预测数据集中的占比，作为预测数据集中的正样本占比，即1-f
t0
。这样，将计算得到的正负样本作为预测状态转移概率(p
t
，1-p
t
)的无偏估计。所提及的无偏估计是指估计量的数学期望等于被估参数的真实值。
85.503、对第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据进行融合处理，得到预测嵌入特征数据。
86.该示例中，在特征处理过程中，由于相关技术中需要大量人工来执行特征交叉操作，导致模型训练和模型预测的效率较低。基于此，本技术实施例还可以将该执行特征交叉的操作实现自动化处理。示例性地，服务器在获取得到第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据后，可以将第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据进行融合处理，进而得到预测嵌入特征数据。
87.在一些可选的示例中，对于预测嵌入特征数据的获取方式，可以通过以下方式来实现。即，服务器可以基于神经网络模型计算第t周期内目标对象的对象特征数据中的每个对象特征数据、与第t周期内推荐信息的信息特征数据中的每个信息特征数据之间的笛卡尔值，并将笛卡尔值作为预测嵌入特征数据。
88.该示例中，此处的神经网络模型可以是特征交叉算法，如
其中，表示预测嵌入特征数据，xi表示第t周期内目标对象的对象特征数据中的第i个对象特征数据，xj表示第t周期内目标推荐信息的信息特征数据中的第j个信息特征数据。这样，通过将第t周期内目标对象的对象特征数据中的每个对象特征数据、与第t周期内推荐信息的信息特征数据中的每个信息特征数据计算对应特征数据之间的乘积，得到相应的笛卡尔值。然后，将相应的笛卡尔值作为对应的预测嵌入特征数据。
89.需说明，上述步骤502与步骤503的先后执行顺序，除了上述提及的先执行步骤502和步骤503以外。在实际应用中，也可以先执行步骤503后执行步骤502；或者，步骤502和步骤503也可以同步执行。本技术实施例中不做具体限定。
90.504、将第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据作为信息推荐模型的输入，得到第t 1周期内目标对象对目标推荐信息的感兴趣概率。
91.该示例中，所描述的感兴趣概率可以理解成目标对象对该目标推荐信息的感兴趣程度。服务器调用预先训练好的信息推荐模型，将目标对象对应的预测数据中包括的第t周期内的对象特征数据和信息特征数据、以及通过步骤502计算得到的预测状态转移概率、以及步骤503计算得到的预测嵌入特征数据输入该信息推荐模型。然后，由信息推荐模型对输入的特征数据(即第t周期内的对象特征数据和信息特征数)、预测状态转移概率、以及预测嵌入特征数据进行相应地处理，并输出对应的处理结果，该处理结果即为第t 1周期内目标对象对目标推荐信息的感兴趣概率。
92.需说明，针对多个目标对象中的任意一个目标对象，都可以通过上述步骤501至步骤504所描述的内容，计算得到相应的目标对象在第t 1周期内对目标推荐信息的感兴趣概率。
93.需理解，上述信息推荐模型是基于训练样本数据集训练得到的；该训练样本数据集中包括多个对象各自对应的训练样本数据，每个训练样本数据包括第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、第一训练标签、训练状态转移概率以及嵌入样本特征数据，其中，训练状态转移概率是基于第二训练标签得到，第一训练标签是第t周期内对象对推荐信息的查看情况确定的，第二训练标签是第t-1周期内对象对推荐信息的查看情况确定的，嵌入样本特征数据是由第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据确定的。
94.训练信息推荐模型时，可以根据训练样本数据集中各训练样本数据包括的第二训练标签，确定训练样本数据集中的正负样本比例作为训练状态转移概率。并且，还根据第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据进行融合处理，得到嵌入样本特征数据。这样，再利用训练样本数据集中训练样本数据包括的训练特征数据(即第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据)、第一训练标签、训练状态转移概率以及嵌入样本特征数据对信息推荐模型进行迭代训练。并且，通过梯度下降算法迭代调整所训练的信息推荐模型的模型参数。此处通过梯度下降算法求解的过程会受到状态转移概率的影响，可以在一定程度上提高模型的收敛速度，进而提升模型训
练的效率。该信息推荐模型的训练过程可以通过后续图6所描述的实施例进行理解，此处先不做赘述。
95.示例性的，上述信息推荐模型可以为用于预测为正样本的模型，具体如下述公式所示：
[0096][0097]
其中，y
t
∈{0,1}取0或1，表示这两个状态的概率分别为p
t
和1-p
t
。表示第t周期的对象特征数据和信息特征数据，p
t-1
和1-p
t-1
为第t-1周期内输入的训练状态转移概率，和信息推荐模型的模型参数，需要基于训练样本数据集训练得到；表示第t周期内的特征交叉函数，用于计算预测嵌入特征数据。表示第t周期内的稀疏特征经过嵌入处理后的稠密特征，表示截距向量，σ表示激活函数(sigmoid)。
[0098]
需说明，在模型预测的过程中，应当使用第t周期计算得到的预测状态转移概率p
t
和1-p
t
，代入该公式中p
t-1
和1-p
t-1
的位置，以此结合其他参数预测得到相应的感兴趣概率。
[0099]
考虑到信息推荐模型处理的预测特征数据中通常包括大量的稀疏特征，这可能导致模型泛化能力不足、预测效果不佳。针对此问题，在一些可选的示例中，该信息推荐的方法还包括：服务器可以从第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据中，确定稀疏特征数据；并且，通过神经网络模型模型对稀疏特征数据进行处理，得到第一特征数据。相应地，将第t周期内目标对象的对象特征数据、以及第t周期内目标推荐信息的信息特征数据、以及预测状态转移概率作为信息推荐模型的输入，得到第t 1周期内目标对象对目标推荐信息的感兴趣概率，包括：将第一特征数据、第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据作为信息推荐模型的输入，得到第t 1周期内目标对象对目标推荐信息的感兴趣概率。
[0100]
该示例中，所描述的稀疏特征数据可以包括但不限于对象性别、对象标识、对象年龄等稀疏型的特征数据。这样，服务器可以将预测特征数据中的稀疏特征数据提取出来，进而利用dnn模型等，对所提取出的稀疏特征数据进行处理。譬如，服务器可以利用dnn模型对稀疏特征数据进行嵌入(embedding)处理，得到对应的embedding特征数据(即第一特征数据)。相应地，服务器通过信息推荐模型预测目标对象在第t 1周期内对目标推荐信息的感兴趣概率时，可以将通过dnn模型处理得到的embedding特征数据、第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、前述步骤502获取得到的预测状态转移概率、以及步骤503获取得到预测嵌入特征数据，输入到该信息推荐模型。
[0101]
在一些可选的示例中，该方法还可以包括：从第t周期内目标对象的对象特征数据
和第t周期内目标推荐信息的信息特征数据中，确定稠密特征数据；对稠密特征数据进行预处理，得到第二特征数据。将第t周期内目标对象的对象特征数据、以及第t周期内目标推荐信息的信息特征数据、以及预测状态转移概率作为信息推荐模型的输入，得到第t 1周期内目标对象对目标推荐信息的感兴趣概率，包括：将第二特征数据、第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据作为信息推荐模型的输入，得到第t 1周期内目标对象对目标推荐信息的感兴趣概率。
[0102]
该示例中，稠密特征数据可以理解成连续性的特征数据。譬如说，稠密特征数据可以包括但不限于点击率、优惠券下载率、优惠券领取率、充值金额、消费金额、活跃时间长度以及商品的购买人数等，本技术不做具体限定说明。这样，服务器可以从第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据中，将稠密特征数据提取出来。然后，服务器对所提取出的稠密特征数据进行主元分析(principal component analysis，pca)去相关性处理、归一化处理、特征离散化处理等等，得到第二特征数据。相应地，服务器通过信息推荐模型预测目标对象在第t 1周期内对目标推荐信息的感兴趣概率时，可以将经上述预处理得到的第二特征数据、第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据、前述步骤502获取得到的预测状态转移概率、以及步骤503获取得到预测嵌入特征数据，输入该信息推荐模型。
[0103]
应理解，在实际应用中，除了可以采用上述处理方式对稠密特征数据进行预处理外，也可以根据实际需求采用其它处理方式对稠密特征数据进行预处理，本技术在此不对预处理时采用的处理方式做任何限定。
[0104]
在另一些可选的示例中，为了使信息推荐模型可以更准确地预测目标对象在第t 1周期内对目标推荐信息的感兴趣概率，服务器可以既通过dnn模型对上述提及的稀疏特征数据进行处理，又可以对上述提及的稠密特征数据进行预处理。也就是理解成，服务器可以在目标对象对应的预测特征数据(即第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据)中，区分出稀疏特征数据和稠密特征数据。然后，服务器利用dnn模型处理稀疏特征数据得到对应的第一特征数据，以及对稠密特征数据进行pca去相关性处理、归一化处理、特征离散化处理等预处理，得到对应的第二特征数据。最后，服务器通过信息推荐模型，根据上述第一特征数据、第二特征数据、预测状态转移概率以及预测嵌入特征数据，预测目标对象在第t 1周期内对目标推荐信息的感兴趣概率。
[0105]
需说明，在实际应用中，还可能通过其他的方式来预测得到目标对象在第t 1周期内对于目标推荐信息的感兴趣概率，本技术实施例不做具体限定说明。
[0106]
505、在感兴趣概率大于预设阈值时，在第t 1周期内向目标对象推荐目标推荐信息。
[0107]
该示例中，服务器在计算得到第t 1周期内目标对象对于目标推荐信息的感兴趣概率后，可以根据第t 1周期内目标对象对目标推荐信息的感兴趣概率，确定在第t 1周期内是否向目标对象推荐目标推荐信息。示例性地，服务器可以预先设置预设阈值，服务器获取到感兴趣概率模型后，可以将该感兴趣概率与预设阈值进行比较。并且，服务器在比较出感兴趣概率大于预设阈值时，在第t 1周期内向目标对象推荐目标推荐信息。
[0108]
需说明，在感兴趣概率大于预设阈值时，可以说明该目标对象在第t 1周期内查看
目标推荐信息的可能性较大，进而服务器可以在第t 1周期内向该目标对象推荐该目标推荐信息。
[0109]
在另一些可选的示例中，若服务器判断出感兴趣概率不大于预设阈值，则说明该目标对象在第t 1周期内查看该目标推荐信息的可能性较小。相应地，在感兴趣概率不大于预设阈值时，服务器则在第t 1周期内不推荐目标推荐信息给目标对象。
[0110]
本技术实施例中，在获取到多个目标对象对应的预测数据，即第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、以及预测标签后，可以基于预测标签确定出预测状态转移概率，以及基于第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据确定预测嵌入特征数据。然后，将第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、该预测转移概率以及预测嵌入特征数据作为信息推荐模型的输入，从而预测得到下一周期(即第t 1周期)内目标对象对目标推荐信息的感兴趣概率。这样，能够在感兴趣概率大于预设阈值时，在第t 1周期内向目标对象推荐该目标推荐信息。通过上述方式，本技术实施例在训练信息推荐模型的过程中，将上一周期的状态转移概率纳入到模型训练中，使得信息推荐模型在预测感兴趣概率的过程中也综合考虑到状态转移概率，利用状态转移概率修正信息推荐模型的处理过程，从而降低信息推荐模型预测出的感兴趣概率的集中度，进而能够预测得到的感兴趣概率准确地分辨出目标对象对于目标推荐信息的感兴趣程度，提升了信息推荐效果。另外，在本技术在训练信息推荐模型的过程中，还基于第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据自动生成特征交叉的嵌入特征数据，无需人工处理，不仅有效地提升了模型训练的效率，而且还提升了模型预测的效率。
[0111]
本技术实施例提供的信息推荐的方法能否准确地进行信息推荐，在极大程度上取决于上述所提及的信息推荐模型的模型性能，下面通过方法实施例对该信息推荐模型的训练方法进行详细介绍。
[0112]
图6示出了本技术实施例提供的模型训练的方法的流程示意图。为了便于描述，下述实施例以模型训练的方法的执行主体为服务器为例进行介绍。如图6所示，该模型训练的方法包括如下步骤：
[0113]
601、获取训练样本数据集，训练样本数据集包括多个对象各自对应的训练样本数据，每个对象对应的训练样本数据包括第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、第一训练标签、训练状态转移概率以及嵌入样本特征数据，其中，训练状态转移概率是基于第二训练标签得到，第一训练标签是第t周期内对象对推荐信息的查看情况确定的，第二训练标签是第t-1周期内对象对推荐信息的查看情况确定的，嵌入样本特征数据是由第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据确定的，t＞1、且t为整数。
[0114]
该示例中，训练样本数据集的获取过程，与前述图5中步骤501中获取预测数据集的方式类似。示例性地，服务器在获取训练样本数据集时，既可以自主构建训练样本数据集，也可以从其他相关设备处获取已构建的训练样本数据后组成训练样本数据集，具体可以参照前述步骤501提及的获取预测数据集的过程进行理解，此处不做赘述。
[0115]
需说明的是，此处获取的训练样本数据集与前述的预测数据集的差别在于，所需要获取的对象特征数据、信息特征数据的工作周期不相同。并且，在获取训练样本数据集
时，还需要额外获取训练状态转移概率、第一训练标签。
[0116]
在一些可选的示例中，本技术实施例提供的训练状态转移概率，可以由服务器基于根据第二训练标签，确定训练样本数据集中的正负样本比例；将训练样本数据集中的正负样本比例作为训练状态转移概率。
[0117]
该示例中，服务器可以将包括第二训练标签为1的训练样本数据视为正样本，将包括第二训练标签为0的训练样本数据视为负样本。然后，服务器可以计算训练样本数据集中所包括的第二训练标签为0的训练样本数据在训练样本数据集中的占比，作为训练样本数据集中的负样本占比相应地，服务器计算训练样本数据集中所包括的第二训练标签为1的训练样本数据在训练样本数据集中的占比，作为训练样本数据集中的正样本占比最后，服务器将正负样本比例作为训练状态转移概率(p
t-1
，1-p
t-1
)的无偏估计。
[0118]
在另一些可选的示例中，嵌入样本特征数据是由第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据确定的，具体也可以通过如下方式来实现，即：基于神经网络模型计算第t-1周期内对象的对象特征数据中的每个对象特征数据、与第t-1周期内推荐信息的信息特征数据中的每个信息特征数据之间的笛卡尔值；将笛卡尔值作为嵌入样本特征数据。
[0119]
该示例中，具体计算嵌入样本特征数据的过程，也可以参照前述图5中步骤503中计算预测嵌入特征数据的过程进行理解，此处不做赘述。区别在于用于计算嵌入样本特征数据的对象特征数据和信息特征数据的工作周期，与用于计算预测嵌入特征数据的对象特征数据和信息特征数据的工作周期不相同。
[0120]
这样，服务器在计算得到嵌入样本特征数据、训练状态转移概率以后，可以结合第t-1周期内的对象特征数据、信息特征数据以及第一训练标签构建每个对象的训练样本数据。
[0121]
602、基于第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，对信息推荐模型进行迭代训练。
[0122]
该示例中，服务器可以将训练样本数据中包括的训练特征数据(即第t-1周期的对象特征数据和信息特征数据)、训练状态转移概率以及嵌入样本特征数据，输入待训练的信息推荐模型，并获取该信息推荐模型对该训练特征数据、训练状态转移概率以及嵌入样本特征数据进行处理后得到的输出结果。然后，服务器可以基于该输出结果与该训练样本数据中包括的第一训练标签之间的差异，通过状态转移下的梯度下降算法(即在梯度下降求解的过程中均受到训练状态转移概率的影响)，对该信息推荐模型的模型参数进行调整。这样，利用训练样本数据集中的训练样本数据，通过上述过程对该信息推荐模型的模型参数进行不断的调整，实现对于该信息推荐模型的反复迭代训练。
[0123]
示例性的，上述待训练的信息推荐模型可以为用于预测为正样本的模型，具体如下述公式所示：
[0124][0125]
其中，y
t
∈{0,1}取0或1，表示这两个状态的概率分别为p
t-1
和1-p
t-1
；表示第t-1周期的对象特征数据和信息特征数据，p
t-1
和1-p
t-1
为第t-1周期内输入的训练状态转移概率，和为带训练的信息推荐模型的模型参数，需要基于训练样本数据集训练得到；表示第t-1周期内的特征交叉函数，用于计算嵌入样本特征数据。表示第t-1周期内的稀疏特征经过嵌入处理后的稠密特征，表示截距向量，σ表示激活函数(sigmoid)。
[0126]
需说明，在模型训练的过程中，应当使用第t-1周期计算得到的预测状态转移概率p
t-1
和1-p
t-1
，以此结合其他参数进行迭代训练。
[0127]
在一些可选的示例中，考虑到训练信息推荐模型时使用的训练特征数据中通常包括大量的稀疏特征，采用这种稀疏特征对信息推荐模型进行训练，可能导致模型泛化能力不足，预测效果不佳。为此，本技术实施例提供的模型训练的方法还可以包括：从第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据中，确定稀疏特征数据；通过神经网络模型对稀疏特征数据进行处理，得到第一训练特征数据；基于第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，对信息推荐模型进行迭代训练，包括：基于第一训练特征数据、第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，对信息推荐模型进行迭代训练。
[0128]
该示例中，服务器可以将第t-1周期内的对象特征数据和信息特征数据构成的训练特征数据中，将稀疏特征数据提取出来。然后，利用dnn模型处理所提取出的稀疏特征数据，得到对应的第一训练特征数据。相应地，服务器可以基于通过dnn模型处理得到的第一训练特征数据、第t-1周期内的对象特征数据、第t-1周期内的信息特征数据、第一训练标签以及前述计算得到的训练状态转移概率和嵌入样本特征数据，对信息推荐模型进行迭代训练。
[0129]
需理解，此处提及的稀疏特征数据也可以参照前述图5中的步骤504中提及的稀疏特征数据的内容进行理解，此处不做赘述。另外，对稀疏特征数据进行处理，具体也可以参照图5中的步骤504中提及的对稀疏特征数据进行embedding处理的过程进行理解，此处不做赘述。
[0130]
在另一些可选的示例中，为了使训练得到的信息推荐模型能够取得更好的预测效果，在本技术实施例提供的模型训练的方法中，该模型训练的方法还包括：从第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据中，确定稠密特征数据；对稠
密特征数据进行预处理，得到第二训练特征数据；基于第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，对信息推荐模型进行迭代训练，包括：基于第二训练特征数据、第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、第一训练标签、训练状态转移概率以及嵌入样本特征数据，对信息推荐模型进行迭代训练。
[0131]
该示例中，服务器可以在训练样本数据包括的第t-1周期内对象的对象特征数据和第t-1周期内目标推荐信息的信息特征数据中，提取出稠密特征数据。然后，服务器对稠密特征数据进行预处理，得到第二训练特征数据。相应地，服务器可以基于该第二训练特征数据、第t-1周期内对象的对象特征数据、第t-1周期内目标推荐信息的信息特征数据、训练状态概率、第一训练标签以及嵌入样本特殊数据，对信息推荐模型进行迭代训练。
[0132]
需理解，此处提及的稠密特征数据也可以参照前述图5中的步骤504中提及的稠密特征数据的内容进行理解，此处不做赘述。另外，对稠密特征数据进行处理，具体也可以参照图5中的步骤504中提及的对稠密特征数据进行pca去相关性处理、归一化处理、特征离散化处理等内容进行理解，此处不做赘述。
[0133]
应理解，在实际应用中，服务器还可以在训练特征数据中区分出稀疏特征数据和稠密特征数据，利用dnn模型处理稀疏特征数据得到对应的第一训练特征数据，对稠密特征数据进行pca去相关性处理、归一化处理、特征离散化处理等预处理，得到对应的第二训练特征数据。并且，服务器可以基于上述第一训练特征数据、第二训练特征数据、训练状态转移概率嵌入样本特征数据、以及第一训练标签，对信息推荐模型进行迭代训练，使训练得到的信息推荐模型具有更好的模型性能。
[0134]
在另一些可选的示例中，在训练样本数据集被划分为训练子样本数据集和测试子样本数据集的情况下，执行上述信息推荐模型的训练过程时，服务器需要使用训练子样本数据集中训练样本数据包括的第t-1周期内的对象特征数据、第t-1周期内的信息特征数据、第一训练标签、以及训练状态转移概率和嵌入样本特征数据，对该信息推荐模型进行迭代训练。并且，在完成一轮对于信息推荐模型的迭代训练后，服务器可以利用测试子样本数据集中训练样本数据测试该信息推荐模型的模型性能。具体地，在对信息推荐模型进行迭代训练之后，该模型训练的方法还包括：
[0135]
基于测试子样本数据集中的第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，确定信息推荐模型的模型性能；在信息推荐模型的模型性能满足预设条件时，确定信息推荐模型的迭代训练完成，其中，预设条件包括以下至少一种：查全率不小于第一预设阈值、查准率不小于第二预设阈值、接受者操作特性曲线的下方面积auc不小于第三预设阈值。
[0136]
该示例中，服务器可以使用测试子样本数据集中包括的第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，测试经迭代训练得到的信息推荐模型的模型性能是否满足预设条件。所描述的预设条件可以包括以下至少一种：查全率达到第一预设阈值、查准率达到第二预设阈值、接受者操作特性曲线的下方面积(area under curve，auc)达到第三预设阈值。并在确定信息推荐模型的模型性能满足上述预设条件的情况下，相应地确定完成对于该信息推荐模型的训练。
[0137]
需要说明的是，上述所提及的查全率是指预测正确的正训练样本数据占测试时采用的真正为正训练样本数据的比例。所描述的查准率是指预测正确的正训练样本数据占所有预测为正训练样本数据的比例。上述提及的auc是接受者操作特性曲线(receiver operating characteristic curve，roc)与坐标值围成的面积，是用于判断信息推荐模型优劣的标准。在实际应用中，上述第一预设阈值、第二预设阈值和第三预设阈值均可以根据实际需求设定，本技术在此不对上述第一预设阈值、第二预设阈值和第三预设阈值做任何限定。
[0138]
本技术实施例提供的信息推荐模型的模型训练的方法，在迭代训练信息推荐模型的过程中融入了训练状态转移概率，使得梯度下降的过程可以受到训练状态转移概率的影响，可以在一定程度上提高该信息推荐模型的收敛速度。而且，在迭代训练信息推荐模型的过程中还融入了嵌入样本特征数据，使得自动完成特征交叉的过程，无需人工处理，提高了模型训练的效率。
[0139]
为了便于进一步理解本技术实施例提供的信息推荐的方法，下面将结合前述图3中示出的信息推荐的系统架构，以本技术实施例提供的信息推荐的方法应用于出行服务中加油优惠券下载预估的场景为例，对该信息推荐的方法进行整体介绍。出行服务中加油优惠券下载预估的主要实现目的在于，根据目标对象在第t周期内对于出行服务中的加油优惠券的点击操作，预测目标对象在第t 1周期内是否会下载该出行服务器中的加油优惠券。
[0140]
具体地，结合前述图3示出的信息推荐的系统架构，本技术实施例提供的信息推荐的方法主要可以分为九个阶段：数据采集阶段、样本数据集处理、状态转移概率计算阶段、特征交叉阶段、状态转移下的模型构建阶段、状态转移下的模型训练阶段、状态转移下的模型测试阶段、状态转移下的模型预测阶段、分类下载推荐阶段。接下来，分别对这九个阶段进行详细介绍：
[0141]
在数据采集阶段：在加油优惠券下载预估的场景中，获取第t-1周期内的信息特征数据和对象特征数据，以及获取第t周期内的信息特征数据和对象特征数据。所描述的信息特征数据和对象特征数据，具体可以参照前述图5中的步骤501的内容进行理解，此处不做赘述。
[0142]
在样本数据集处理阶段，服务器可以构建标签，以及构建训练样本数据(其中包括训练样本和测试样本)和预测数据。在构建标签时，服务器可以使用第t-1周期内的信息特征数据和对象特征数据，与第t周期内的信息特征数据和对象特征数据进行交叉匹配，构建得到相应的对象标签，例如包括模型训练阶段的训练标签、以及模型预测阶段的预测标签。譬如说，如果对象在第t-1周期内点击出行服务商品的页面，并且在第t周期内领取，则相应的对象标签标记为该对象在第t周期内下载加油优惠券(记为1)，否则标记为该对象在第t周期内不下载加油优惠券(记为0)。
[0143]
构建训练样本数据时，服务器可以使用第t-1周期的对象特征数据、信息特征数据、对象标签以及第t周期的对象标签构建训练样本数据，并在对象特征数据和信息特征数据中区分出稀疏特征数据和稠密特征数据。其中，稀疏特征数据需要经过dnn模型处理，稠密特征数据需要经过pca去相关性处理、归一化处理、特征离散化处理等。按照预设比例，随机地将所构建的训练样本数据划分至训练子样本数据集(比例为a)和测试子样本数据集(比例为1-a)，例如，按照通用经验使训练子样本数据集中的训练样本数据与测试子样本数
据集中的训练样本数据的比例为8:2。
[0144]
构建预测数据时，服务器可以使用第t周期的对象特征数据、信息特征数据、对象标签构建预测数据，并在对象特征数据和信息特征数据区分出稀疏特征数据和稠密特征数据。其中，稀疏特征数据需要经过dnn模型处理，稠密特征数据需要经过pca去相关性处理、归一化处理、特征离散化处理等。
[0145]
上述对象特征数据主要包括：对象性别、年龄、地域等基础属性数据，活跃天数、活跃时长、活跃功能数量、当前时间距离注册时间的天数间隔等活跃属性数据，充值金额、消费金额、充值次数、充值天数、当前时间距离首次充值时间的天数间隔等充值属性数据，点击优惠券次数、领取优惠券的信息(如数量、次数、价值)、使用优惠券的信息(如数量、价值)、过期优惠券的信息(如数量、价值)等优惠券属性数据。在加油优惠券下载预估的场景中，对象标签为1表示对象点击且下载优惠券，包括该对象标签的样本数据为正样本；对象标签为0表示对象点击而未下载优惠券，包括该对象标签的样本数据为负样本。
[0146]
在状态转移概率计算阶段，服务器需要确定模型训练阶段的训练状态转移概率，即利用第t-1周期的对象标签计算正负样本比例(负样本占比为正样本占比为)作为训练状态转移概率(p
t-1
，1-p
t-1
)的无偏估计。服务器还需要确定模型预测阶段的预测状态转移概率，即利用第t周期的对象标签计算正负样本比例(负样本占比为正样本占比为)作为预测状态转移概率(p
t
，1-p
t
)的无偏估计。
[0147]
在特征交叉阶段，服务器需要确定出模型训练阶段的嵌入样本特征数据，即可以输入第t-1周期内的对象特征数据和信息特征数据，并采用特征交叉算法自动进行二阶特征交叉，得到嵌入样本特征数据。同样地，服务器还需要确定出模型预测阶段的预测嵌入特征数据，即可以输入第t周期内的对象特征数据和信息特征数据，并采用特征交叉算法自动进行二阶特征交叉，得到预测嵌入特征数据。
[0148]
在状态转移下的模型训练阶段，服务器可以利用训练样本数据中对象特征数据、信息特征数据、第t周期的对象标签、嵌入样本特征数据以及训练状态转移概率(即p
t-1
和1-p
t-1
)，基于状态转移下的梯度下降法对感兴趣概率预测模型进行训练，得到模型权重和其中，表示第t期信息推荐模型的权重，表示第t期dnn模型的权重。
[0149]
在状态转移下的模型测试阶段，服务器可以采用测试子样本数据集中的训练样本数据，对基于模型权重和的信息推荐模型进行测试，并且在测试过程中代入训练状态转移概率(即p
t-1
和1-p
t-1
)。具体可以测试该信息推荐模型的测评指标(如查全率、查准率、auc等)是否达到预设的测评效果。若达到测评效果，则可以保存基于模型权重
和的信息推荐模型。若未达到测评效果，则需要回到状态转移下的模型训练阶段，继续对该信息推荐模型进行训练，直到测评指标达到预设的测评效果为止。
[0150]
在状态转移下的模型预测阶段，服务器可以通过模型权重为和的信息推荐模型，根据预测数据中的第t周期的对象特征数据和信息特征数据、预测状态转移概率(即p
t
和1-p
t
)，以及预测嵌入特征数据，计算对象在第t 1周期对加油优惠券的感兴趣概率，即对于加油优惠券的下载概率。
[0151]
在分类下载推荐阶段，服务器可以对预测得到的下载概率按照一定阈值(如0.5)进行正负样本的划分，其中，正样本对应的对象有意愿下载加油优惠券，可以将其标记为1，负样本对应的对象没有意愿下载加油优惠券，可以将其标记为0；进而，对被标记为1的对象进行加油优惠券的推荐。
[0152]
应理解，本技术实施例提供的信息推荐的方法还可以应用于商品推荐、音视频推荐、文章推荐、链接推荐、加油服务推荐、歌曲推荐等场景，在不同的场景下，基于相应场景中的对象特征数据和信息特征数据构建训练样本数据和预测数据，在此不对本技术实施例提供的信息推荐方法所适用的场景，以及对应场景下应当使用的对象特征数据和信息特征数据做任何限定。
[0153]
上述主要从方法的角度对本技术实施例提供的方案进行了介绍。可以理解的是为了实现上述功能，包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本技术中所公开的实施例描述的各示例的模块及算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0154]
本技术实施例可以根据上述方法示例对装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0155]
下面对本技术实施例中的信息推荐装置进行详细描述，图7为本技术实施例中提供的信息推荐装置一个实施例示意图。如图7所示，该信息推荐装置可以包括获取单元701和处理单元702。
[0156]
其中，获取单元701用于获取预测数据集，预测数据集包括多个目标对象对应的预测数据，预测数据包括第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、以及预测标签，预测标签是根据第t周期内目标对象对目标推荐信息的查看情况确定的，t＞1、且t为整数。
[0157]
处理单元702，用于根据预测标签，确定预测状态转移概率；对第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据进行融合处理，得到预测嵌入特征数据；将第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据作为信息推荐模型的输入，得到第t 1周期内
目标对象对目标推荐信息的感兴趣概；在感兴趣概率大于预设阈值时，在第t 1周期内向目标对象推荐目标推荐信息。
[0158]
在一些可选的示例中，处理单元702还用于：从第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据中，确定稀疏特征数据；通过神经网络模型对稀疏特征数据进行处理，得到第一特征数据；将第一特征数据、第t周期内目标对象的对象特征数据、第t周期内目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据作为信息推荐模型的输入，得到第t 1周期内目标对象对目标推荐信息的感兴趣概率。
[0159]
在另一些可选的示例中，处理单元702还用于：从第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据中，确定稠密特征数据；对稠密特征数据进行预处理，得到第二特征数据；将第二特征数据、第t周期内目标对象的对象特征数据和第t周期内目标推荐信息的信息特征数据、预测状态转移概率以及预测嵌入特征数据作为信息推荐模型的输入，得到第t 1周期内目标对象对目标推荐信息的感兴趣概率。
[0160]
在另一些可选的示例中，处理单元702用于：基于神经网络模型计算第t周期内目标对象的对象特征数据中的每个对象特征数据、与第t周期内推荐信息的信息特征数据中的每个信息特征数据之间的笛卡尔值；将笛卡尔值作为预测嵌入特征数据。
[0161]
在另一些可选的示例中，处理单元702用于：根据预测标签，计算预测数据集中的正负样本比例；将预测数据集中的正负样本比例作为预测状态转移概率。
[0162]
在另一些可选的示例中，处理单元702还用于：在感兴趣概率不大于预设阈值时，则在第t 1周期内不推荐目标推荐信息给目标对象。
[0163]
在另一些可选的示例中，对象特征数据包括用于表征对象基本信息的基础属性数据、用于表征对象操作活跃度的活跃属性数据以及用于表征对象购买情况的消费属性数据中的一种或多种。
[0164]
在另一些可选的示例中，获取单元701还用于：获取训练样本数据集，训练样本数据集包括多个对象各自对应的训练样本数据，每个对象对应的训练样本数据包括第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、第一训练标签、训练状态转移概率以及嵌入样本特征数据，其中，训练状态转移概率是基于第二训练标签得到，第一训练标签是第t周期内对象对推荐信息的查看情况确定的，第二训练标签是第t-1周期内对象对推荐信息的查看情况确定的，嵌入样本特征数据是由第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据确定的，t＞1、且t为整数。处理单元702还用于：基于第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，对信息推荐模型进行迭代训练。
[0165]
在另一些可选的示例中，处理单元702用于：基于神经网络模型计算第t-1周期内对象的对象特征数据中的每个对象特征数据、与第t-1周期内推荐信息的信息特征数据中的每个信息特征数据之间的笛卡尔值；将笛卡尔值作为嵌入样本特征数据。
[0166]
在另一些可选的示例中，处理单元702还用于：按照预设比例将每个训练样本数据分别划分为训练子样本数据集和测试子样本数据集；基于训练子样本数据集中的第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，对信息推荐模型进行迭代训练。处理单元702，还用于在对信息推荐模型进行迭代训练之后，基于测试子样本数据集中的第t-1周期内对象的对
象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，确定信息推荐模型的模型性能；在信息推荐模型的模型性能满足预设条件时，确定信息推荐模型的迭代训练完成，其中，预设条件包括以下至少一种：查全率不小于第一预设阈值、查准率不小于第二预设阈值、接受者操作特性曲线的下方面积auc不小于第三预设阈值。
[0167]
在另一些可选的示例中，处理单元702还用于：从第t-1周期内对象的对象特征数据和第t-1周期内推荐信息的信息特征数据中，确定稀疏特征数据；通过神经网络模型对稀疏特征数据进行处理，得到第一训练特征数据；基于第一训练特征数据、第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、训练状态转移概率、第一训练标签以及嵌入样本特征数据，对信息推荐模型进行迭代训练。
[0168]
在另一些可选的示例中，处理单元702还用于：从第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据中，确定稠密特征数据；对稠密特征数据进行预处理，得到第二训练特征数据；基于第二训练特征数据、第t-1周期内对象的对象特征数据、第t-1周期内推荐信息的信息特征数据、第一训练标签、训练状态转移概率以及嵌入样本特征数据，对信息推荐模型进行迭代训练。
[0169]
在另一些可选的示例中，处理单元702用于：根据第二训练标签，确定训练样本数据集中的正负样本比例；将训练样本数据集中的正负样本比例作为训练状态转移概率。
[0170]
上面从模块化功能实体的角度对本技术实施例中的信息推荐装置进行描述，下面从硬件处理的角度对本技术实施例中的信息推荐装置进行描述。图8是本技术实施例提供的信息推荐装置的结构示意图。该信息推荐装置可因配置或性能不同而产生比较大的差异。该信息推荐装置可以至少一个处理器801，总线807，存储器803以及至少一个通信接口804。
[0171]
处理器801可以是一个通用中央处理器(central processing unit，cpu)，微处理器，特定应用集成电路(application-specific integrated circuit，服务器ic)，或一个或多个用于控制本技术方案程序执行的集成电路。
[0172]
总线807可包括一通路，在上述组件之间传送信息。
[0173]
通信接口804，使用任何收发器一类的装置，用于与其他装置或通信网络通信，如以太网，无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)等。
[0174]
存储器803可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储装置，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储装置，存储器可以是独立存在，通过总线807与处理器相连接。存储器也可以和处理器集成在一起。
[0175]
其中，存储器803用于存储执行本技术方案的计算机执行指令，并由处理器801来控制执行。处理器801用于执行存储器803中存储的计算机执行指令，从而实现本技术上述实施例提供的信息推荐的方法和模型训练的方法。
[0176]
可选的，本技术实施例中的计算机执行指令也可以称之为应用程序代码，本技术实施例对此不作具体限定。
[0177]
在具体实现中，作为一种实施例，该信息推荐装置可以包括多个处理器，例如图8
中的处理器801和处理器802。这多个处理器中的每一个处理器可以是一个单核(single-cpu)处理器，也可以是一个多核(multi-cpu)处理器。例如，图8中的处理器801和处理器802中均包括n个cpu，n≥1、且n为整数。这里的处理器可以指一个或多个装置、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
[0178]
在具体实现中，作为一种实施例，该信息推荐装置还可以包括输出设备805和输入设备806。输出设备805和处理器801通信，可以以多种方式来显示信息。输入设备806和处理器801通信，可以以多种方式接收目标对象的输入。例如，输入设备806可以是鼠标、触摸屏装置或传感装置等。
[0179]
上述的该信息推荐装置可以是一个通用装置或者是一个专用装置。在具体实现中，该信息推荐装置可以是服务器、终端等或有图8中类似结构的装置。本技术实施例不限定该信息推荐装置的类型。
[0180]
需说明，图8中的处理器801可以通过调用存储器803中存储的计算机执行指令，使得信息推荐装置执行如图5和图6对应的方法实施例中的问题答案选取的方法。
[0181]
具体的，图7中的处理单元702的功能/实现过程可以通过图8中的处理器801调用存储器803中存储的计算机执行指令来实现。图7中的获取单元701的功能/实现过程可以通过图8中的通信接口804来实现。
[0182]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0183]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0184]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征数据可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0185]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0186]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0187]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介
质。
[0188]
上述实施例，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现，当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0189]
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如ssd))等。
[0190]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征数据进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。