多模型融合的用户行为预测方法、装置、设备及存储介质与流程
本发明属于人工智能,应用于金融科技领域以及医疗健康领域,尤其涉及一种多模型融合的用户行为预测方法、装置、设备及存储介质。
背景技术:
1、目前,推荐系统已广泛应用于各类业务场景中,通过挖掘用户的历史行为数据来预测用户对推荐对象的兴趣偏好,从而为用户提供个性化的推荐服务。现有推荐系统通常采用单一预测模型对用户行为数据进行建模,利用该模型输出的预测分数来衡量用户对推荐对象的感兴趣程度,再根据预测分数由高到低的顺序向用户进行推荐。
2、然而,上述基于单一预测模型的推荐方案存在明显的技术缺陷。当用户行为数据较为丰富时,单一模型能够从大量交互记录中学习到较为准确的用户偏好表征,尚可取得较好的预测效果。但是,当用户行为数据稀疏时,单一模型能够获取的训练信号十分有限,导致模型难以充分学习用户的真实偏好,从而使得预测准确性和泛化能力均出现明显下降。
3、以寿险业务场景为例,保险代理人需要持续学习各类保险产品知识、销售技巧和行业政策资讯,以提升自身的专业能力和销售业绩。为此,许多保险公司为代理人搭建了资讯推荐平台,通过向代理人推荐与其业务相关的保险资讯文章(如产品解读、政策法规、销售技巧等),帮助代理人及时获取有价值的行业信息。然而,保险代理人在资讯推荐平台上的行为数据往往比较单一且数量有限,代理人通常仅有浏览资讯文章的行为记录,而转发、评论、收藏等深度交互行为则更为稀少,单个代理人的历史交互样本量严重不足。在此类数据稀疏场景下,采用单一预测模型对代理人进行资讯推荐时,模型的预测准确率显著偏低,无法精准匹配代理人的实际资讯需求。
4、以医疗健康业务场景为例,医疗健康平台通过向用户推荐医学科普文章,帮助用户获取疾病预防、健康管理等方面的知识。然而,用户在医疗健康平台上的行为数据同样存在稀疏性问题,用户通常仅浏览少量与自己病症相关的科普文章,点赞、收藏、分享等行为更为稀少,且大量医学科普文章缺乏足够的用户交互记录。在此类数据稀疏场景下,采用单一预测模型进行推荐时,针对冷门资讯和低活跃度用户,模型难以有效建模其真实兴趣,推荐准确性大幅降低。
5、针对上述数据稀疏场景下预测能力不足的问题,现有技术中已经提出了若干改进方案。
6、一种常见的改进方案是从业务角度挖掘用户的其他行为数据以扩充训练样本。例如,在代理人资讯推荐场景中,尝试收集代理人的线下培训记录、产品销售业绩等数据作为补充特征。然而,这种方案的缺点在于:用户的其他行为同样比较有限,且与目标预测任务(资讯阅读兴趣)的关联性较弱,难以形成有效的监督信号,实际上对数据增强的帮助不大。在医疗健康推荐场景中,也面临类似的困难,用户线下就诊记录、购药记录等数据获取难度大,且与线上医学科普阅读行为之间的关联并不直接。
7、另一种改进方案是利用多模态技术从多个数据源挖掘用户行为信息。例如,在代理人资讯推荐场景中,除了代理人的点击行为数据之外,还可以通过自然语言处理(natural language processing,nlp)技术对资讯文章的图片、视频等多模态内容进行分析,提取更多维度的特征信息;在医疗健康推荐场景中,可通过对医学文献、诊疗指南等文本数据进行语义挖掘来补充特征。然而,该方案的实施成本较高,需要引入额外的计算资源、跨模态特征对齐技术和大量标注数据,且在多模态特征融合过程中容易引入噪声,导致效果不一定明显。
8、由此可见,在用户行为数据稀疏的条件下,现有推荐模型的预测准确性和泛化能力仍存在进一步提升的空间。
技术实现思路
1、本发明提供一种多模型融合的用户行为预测方法、装置、设备及存储介质,可以解决在用户行为数据稀疏的条件下,现有推荐模型的预测准确性和泛化能力不足的技术问题。
2、第一方面,本发明提供了一种多模型融合的用户行为预测方法,包括:
3、获取用户行为数据,其中,所述用户行为数据用于表征用户与待推荐对象在交互过程中的行为记录;
4、从所述用户行为数据中提取第一类特征和第二类特征,其中,所述第一类特征用于描述所述用户自身的属性信息,所述第二类特征用于描述所述待推荐对象的属性信息;
5、对所述第一类特征和所述第二类特征分别进行嵌入化处理,得到用户嵌入向量和对象嵌入向量;
6、分别获取基础模型各隐藏层的第一损失函数,以及各辅助模型的第二损失函数,其中,所述基础模型和至少一个所述辅助模型均用于对所述用户嵌入向量和所述对象嵌入向量进行预测;
7、将各所述辅助模型的第二损失函数分别与所述基础模型中对应的隐藏层的第一损失函数进行融合,并根据融合后的各隐藏层的损失函数修正对应隐藏层的反向传播梯度,以更新所述基础模型各隐藏层的网络参数;
8、基于更新后的所述基础模型各隐藏层的网络参数,训练所述基础模型;
9、将待预测的所述用户嵌入向量和所述对象嵌入向量输入训练后的所述基础模型和各所述辅助模型,分别获取所述基础模型和各所述辅助模型输出的预测结果;
10、将所述基础模型的预测结果与各所述辅助模型的预测结果进行集成,得到最终的用户行为预测结果。
11、第二方面,本发明提供了一种多模型融合的用户行为预测装置,包括:
12、数据获取模块,用于获取用户行为数据,其中,所述用户行为数据用于表征用户与待推荐对象在交互过程中的行为记录;
13、特征提取模块,用于从所述用户行为数据中提取第一类特征和第二类特征,其中,所述第一类特征用于描述所述用户自身的属性信息,所述第二类特征用于描述所述待推荐对象的属性信息;
14、嵌入化处理模块,用于对所述第一类特征和所述第二类特征分别进行嵌入化处理,得到用户嵌入向量和对象嵌入向量;
15、函数获取模块,用于分别获取基础模型各隐藏层的第一损失函数,以及各辅助模型的第二损失函数,其中,所述基础模型和至少一个所述辅助模型均用于对所述用户嵌入向量和所述对象嵌入向量进行预测;
16、函数融合模块,用于将各所述辅助模型的第二损失函数分别与所述基础模型中对应的隐藏层的第一损失函数进行融合,并根据融合后的各隐藏层的损失函数修正对应隐藏层的反向传播梯度,以更新所述基础模型各隐藏层的网络参数;
17、模型训练模块,用于基于更新后的所述基础模型各隐藏层的网络参数,训练所述基础模型;
18、预测模块,用于将待预测的所述用户嵌入向量和所述对象嵌入向量输入训练后的所述基础模型和各所述辅助模型,分别获取所述基础模型和各所述辅助模型输出的预测结果;
19、结果集成模块,用于将所述基础模型的预测结果与各所述辅助模型的预测结果进行集成,得到最终的用户行为预测结果。
20、第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述多模型融合的用户行为预测方法的步骤。
21、第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述多模型融合的用户行为预测方法的步骤。
22、可以理解的是,用户行为数据稀疏时,真实标签的数量有限,单一模型仅能依赖这些有限的真实标签进行学习,导致模型的训练信号严重匮乏。
23、本发明通过基础模型和至少一个辅助模型引入额外的信息源。虽然辅助模型与基础模型使用相同的输入数据(用户嵌入向量和对象嵌入向量),但各辅助模型可以具有不同的网络结构、模型容量或训练策略(如不同的样本采样方式、不同的特征交互建模方式等),从而从不同角度对相同的输入数据进行建模。因此,不同辅助模型计算出的损失函数能够提供彼此差异化、且不同于基础模型的监督信号。这些差异化的监督信号共同构成了比单一模型丰富得多的训练信号集合,为后续向基础模型传递知识提供了信号基础。
24、在用户行为数据稀疏的条件下,由于各模型在训练阶段彼此独立,每个模型仅能依赖有限的真实标签进行学习,无法利用其他模型在学习过程中产生的中间监督信号来弥补自身训练信号的不足。
25、针对此,首先,本发明分别获取“基础模型各隐藏层的第一损失函数”和“各辅助模型的第二损失函数”。这里的关键在于“各隐藏层”,本发明并非仅获取基础模型输出层的损失,而是获取基础模型每一个隐藏层的损失。这使得后续的融合操作可以在基础模型的任意深度进行,为在不同抽象层级上注入辅助模型的知识提供了可能。
26、其次,本发明将“各辅助模型的第二损失函数分别与基础模型中对应的隐藏层的第一损失函数进行融合”,并“根据融合后的各隐藏层的损失函数修正对应隐藏层的反向传播梯度”。“对应的隐藏层”表明各辅助模型的损失并非统一作用于基础模型的同一位置(如输出层),而是可以根据预设策略分别作用于基础模型的不同隐藏层。这一机制使得各辅助模型的监督信号能够有针对性地注入到基础模型中特征抽象层级相匹配的隐藏层中。
27、再次,“修正对应隐藏层的反向传播梯度”是一个关键动作。在神经网络的训练过程中,损失函数通过反向传播计算梯度,梯度决定了网络参数如何更新,从而决定了模型的学习方向。本发明将融合后的损失函数用于修正对应隐藏层的反向传播梯度,意味着辅助模型的监督信号不再仅仅是输出层的一个额外约束,而是直接改变了基础模型内部隐藏层的学习方向。这与在输出层叠加一个辅助损失项有本质区别,输出层叠加的损失项虽然也会通过反向传播影响各层参数,但其作用于所有层的梯度是同一信号经过链式传导后的结果;而本发明的方案是让辅助模型的损失直接修正特定隐藏层的梯度,实现了辅助信号向指定隐藏层的精准、直接注入。
28、最后,本发明进行迭代训练,使上述融合机制在每一轮迭代中持续发挥作用。经过多轮迭代,各辅助模型通过损失注入不断向基础模型输送差异化的监督信号,使基础模型在真实标签稀疏的条件下,仍能获得足够的训练信号来优化各隐藏层的网络参数。
29、需要说明的是,本发明中“将待预测数据输入训练后的基础模型和各辅助模型获取各模型预测结果,并将各模型预测结果进行集成”的步骤,是在推理阶段对各模型预测结果的进一步组合利用。本发明所实现的训练阶段的隐藏层损失融合机制,即通过辅助模型的损失直接修正基础模型隐藏层的梯度,使基础模型在训练阶段已经吸收了辅助模型的差异化知识。推理阶段的集成是在此基础上的进一步性能提升手段。
30、本发明从根源上解决了数据稀疏场景下训练信号不足的问题,基础模型的每一个隐藏层均能够吸收辅助模型提供的差异化监督信号,使得基础模型在真实标签稀疏的条件下,仍能获得足够的监督信息来优化各隐藏层的网络参数,最终提升了模型在数据稀疏条件下的预测准确性和泛化能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com